MS-E2148 - Dynamic optimization, 16.01.2019-09.04.2019
Kurssiasetusten perusteella kurssi on päättynyt 09.04.2019 Etsi kursseja: MS-E2148
Osion kuvaus
-
Lecturer: Harri Ehtamo
Assistant: Anton von Schantz
NOTE!
The first lecture is on Wed 16.1.2019 14:15-16:00 in U5,
and the first exercise session on Tue 22.1.2019 14:15-16:00 in U7.
Exam times:
Tue 9.4.2019 13-16
Fri 31.5.2019 13-16
Why this course?
This course examines dynamic (aka multistage) optimization models. They capture many relevant real-life problems: scheduling, route planning, solving optimal strategies for games, inventory control, investment problems, machine repair, text processing, dna sequence matching, stopping problems, airplane/rocket flight path optimization, minimum time/effort problems, optimal fishery management, saving/consumption optimization, optimal feedback controllers for plants and regulator problems and so on.
The models that are examined are
- Optimal control problem. Find control u(t) that makes the system
trace the optimal trajectory x*(t) that minimizes the cost
.
Function a describes how the system behaves at state x(t) at time t under control u(t). The cost function J consists of start and end point costs and running cost that is given by function L that may depend on the state x(t) and control u(t). - Calculus of variations. Find continuous/differentiable curve y(x) that is extremum for
- Dynamic Programming (DP) problem. Find optimal controls u_k (optimal policy) that minimizes the expected cost
of the discrete stochastic system
f_k describes how the system evolves to the next state x_k+1 when the state is x_k, control u_k is chosen and there is stochastic disturbance is w_k. The cost function is given by g_k. This is discrete version of the optimal control problem.
Practical matters
Teaching: Lectures (24h) and exercise sessions (24h)
Assessment methods: Exam (100%), extra points from homework and exercises
Grading scale: 0-5
Study material: Lecture slides and exercises. Additional reading:
- D. E. Kirk: Optimal Control Theory. Prentice Hall, 1970 (2004). (<- the main book)
- D. P. Bertsekas: Dynamic Programming and Optimal Control, vol 1(and 2). Athena Scientific, 1995
- M. L. Kamien and N. L. Schwartz: Dynamic Optimization - The calculus of variations and optimal control in economics and management, 2nd edition. North Holland, 1991.
Language of instruction: English
Prerequisites: 1st and 2nd years math, recommended MS-C2105 Optimoinnin perusteet (or equivalent)
- Optimal control problem. Find control u(t) that makes the system
-
books: B=Bertsekas vol 1, K=Kirk, KS=Kamien/Schwartz
-=The lecture files may be updated as we go on=-
-
The deadline for returning homework (the last problem in the paper) is the following week's Tuesday 14:00. Hand written homework is returned on paper in return box (metal boxes opposite of Y192, first floor main building main corridor, next to the big bomb shelter door, find the course code MS-E2148 on right-middle). Matlab excercises are returned on My Courses. Computer written homework in pdf-format may be returned on My Courses (no scans of hand written work).
In each exercise session there will be 1-2 problems that students present on the blackboards. You will get the solutions for these problems beforehand in My Courses. If you are prepared to present the solutions for the problems you get 1 point. In the end of the course, these points will be scaled up to 2 exam points. Each homework will be graded 0-4. In the end of the course, the homework points will be scaled up to 4 exam points. The points are updated to this Google drive document throughout the course.
In addition to the home assignments and problems that students present, there are problems that you will try to solve during the exercise session. Some more advanced problems will be demonstrated by the course assistant.
-
The main topics of the course are:
- Solving continuous problems using calculus of variations (including different end point and corner conditions). Kirk Section 4. Lectures 1-2.
- Solving optimal control problems (including different end point conditions, minimum principle, singular intervals). Kirk Section 5. Lectures 3-5.
- Solving discrete problems using DP-algorithm (including problems having stochastics and imperfect state information). Bertsekas Sections 1-5. Lectures 6-8.
- Solving infinite horizon discounted problems (including Bellman equation, value and policy iterations). Bertsekas vol 2. Section 1. Lecture 9.
- Solving optimal control problems using HJB equations. Kirk Section 3.11. Lecture 10
- Learning the relevant concepts and terminology.
Note that the main equations are given in the exam paper and you don't have to learn them by heart. Also, bringing a calculator (memory emptied) to the exam is not a bad idea.Suitable problems can be found in the exercises. You can practice solving them yourself. Similar problems and their solutions are presented in the course books. You can also find many solved problems in the Internet.
-
(The English version is from http://www.mitrikitti.fi/opthist.html )
Lines of development, breakthroughs, applications and curiosities, and links
Antiquity
- Greek mathematicians solve some optimization problems that are related to their geometrical studies.
- 300 bc Euclid considers the minimal distance between a point a line, and proves that a square has the greatest area among the rectangles with given total length of edges
- 200 bc Zenodorus studies (according to Pappus & Theon) Dido's Problem that has been described in Virgil's Aeneid 19 bc
- 100 bc Heron proves in Catoprica that light travels between two points through the path with shortest length when reflecting from a mirror
17th and 18th centuries
- Before the invention of calculus of variations only some separate optimization problems are being investigated.
- 1615 J. Kepler figures out the optimal dimensions of wine barrel. He also formulated an early version of the secretary problem (a classical application of dynamic programming) when he started to look for a new wife
- 1638 G. Galilei tries to figure out the shape of a hanging chain, but he fails
- 1646 P. de Fermat shows that at the extreme point the gradient of a function vanishes. In 1657 Fermat shows that light travels between two points in minimal time
- 1687 Newton studies the body of minimal resistance
- 1696 Johann and Jacob Bernoulli study Brachistochrone's problem (see.iagsoft's Java-applet), calculus of variations is born
- 1712 J.S. König shows that the shape of honeycomb is optimal. The French Academy of Sciences declares the phenomenom as divine guidance
- 1740 L. Euler's publication begins the research on general theory of calculus of variations
- 1746 P.L.M. de Maupertuis formulates the principle of least action to explain physical phenomena
- 1754 J.-L. Lagrange makes his first findings within CoV at the age 19.In 1760 he formulates the Plateau's problem, the problem of minimal surfaces. In 1936 J. Douglas received a Fields Medal for his solution to the problem, in 1974 E. Bombieri received Fields Medal for his work on the topic
- 1784 G. Monge investigates a combinatorial optimization problem known as the transportation problem
I. Newton (1660s) and G. W. von Leibniz (1670s) create mathematical analysis that forms the basis of calculus of variations (CoV). Some separate finite optimization problems are also considered19th century
- The first optimization algorithms are presented. K.T.W. Weierstrass,J. Steiner, W.R. Hamilton and C.G.J. Jacobi further develop CoV.
- 1806 A.-M. Legendre presents the least square method, which alsoJ.C.F. Gauss claims to have invented. Legendre made contributions in the field of CoV, too
- 1815 The idea of a (quasi) concave function appears in economics asT.R. Malthus, R. Torrens, E. West, and D. Ricardo simultaneously introduce "the Law of Dimishing Returns" for production functions
- 1826 J.B.J. Fourier formulates LP-problem for solving problems arising in mechanics and probability theory
- 1846 M. Faustmann presents the formula for the present value of the income stream of forest rotation, the solution for the problem of maximizing Faustmann's formula was solved by B. Ohlin 1924 although some foresters were already aware of the correct solution in 1860's
- 1847 A.L. Cauchy presents the gradient method
- 1857 J.W. Gibbs shows that chemical equilibrium is an energy minimum
The marginalist revolution in economics during 1870s, e.g., the works of Walras and Cournot shifts the focus of economists to utility maximizing individuals - optimization becomes an integral part of economic theory.20th century
- CoV is further developed, e.g., by O. Bolza, C. Caratheodory andG.A. Bliss.
- 1902 J. Farkas prsents his famous lemma which can be used in the proof of Karush-Kuhn-Tucker theorem
- Convexity concepts are created: J.L.W.V. Jensen introduces convex functions in 1905, the idea has already appeared in the works of J.S. Hadamard (1883), O.L. Hölder (1889), and O. Stolz (1893). H. Minkowski obtains the first results on convex sets in 1911, the earliest study on convex geometry was published by H. Brunn in 1887
- 1917 H. Hancock publishes the first text book on optimization, Theory of Minima and Maxima
- 1917 biomathematician D.W. Thompson writes the book On Growth and Form, in which he applies optimization to analyze the forms of living organisms
- 1925 H.C.M. Morse presents his theory that generalizes CoV
- 1928 F.P.P Ramsey applies CoV in his study on optimal economic growth, Ramsey's exercise is resurrected in 50's as the field of optimal growth theory starts to develop
- 1931 J. Viner presents the Viner-Wong envelope theorem
- 1932 K. Menger pressents a general formulation of the travelling salesman problem
- 1939 L.V. Kantorovich presents LP-model and an algorithm for solving it. In 1975 Kantorovich and T.C. Koopmans get the Nobel memorial price of economics for their contributions on LP-problem
- 1944 J. von Neuman and O. Morgenstern solve sequential decision problems by using the idea of dynamic programming. A. Wald (1947) did related research. Another early application of DP is presented by P. Massé (1944) for reservoir management
- 1947 G. Dantzig, who works for US air-forces, presents the Simplex method for solving LP-problems, von Neumann establishes the theory of duality for LP-problems
- 1949 the first international congress, International Symposium on Mathematical Programming, on optimization is held in Chicago. The number of papers presented in the congress is 34
After the world war II optimization develops simultaneously withoperations research. J. Von Neumann is an important person behind the development of operations research. The field of algorithmic research expands as electronic calculation develops.1950s
- 1951 H.W. Kuhn and A.W. Tucker reinvent optimality conditions for nonlinear problems. F. John in 1948 and W. Karush in 1939 had presented similar conditions earlier
- 1951 H. Markowitz presents his portfolio theory that is based on quadratic optimization. In 1990 Markowitz receives the Nobel memorial prize in economics
- 1954 L.R. Ford's and D.R. Fulkerson's research on network problems is a starting point of research on combinatorial optimization
- Algorithms for unbounded problems, such as quasi-Newton and conjugate gradient methods, are developed
- 1954 IEEE Control Systems Society is founded
- 1956 L.S. Pontryagin's research group presents maximum principle
- 1957 R. Bellman presents the optimality principle
Optimal control theory begins to develop as a separate discipline from CoV. Space race gives additional boost for research in optimal control theory1960s
- Zoutendijk (1960) presents the methods of feasible directions to generalize the Simplex method for nonlinear programs. Rosen, Wolfe, and Powell develop similar ideas
- Sequential quadratic programming method is invented for the first time by Wilson 1963. Han 1975 and Powell 1977 present it anew
1970s-
- 1973 Mathematical Programming Society is founded
- 1984 N. Karmarkar's polynomial time algorithm for LP-problems begins a boom of interior point methods.
The first polynomial time algorithm for LP, the ellipsoid method, was already presented by Khachiyan in 1979.
The complexity analysis developed in 60s and 70s begins to influence to the theory of optimization - 80s as computers become more efficient, heuristic algorithms for global optimization and large scale problems begin to gain popularity
- 90s the use of interior point methods expands to semidefinite optimization
- MacTutor history of mathematics
- History of mathematical symbols and terms (J. Miller)
- History of economics (The New School University)
- History of game theory (P. Walker)
- IEEE history pages
- Historia Mathematica journal
- Euclid's elements
- Wolfram's Mathworld
- Mathematical programming glossary (INFORMS)
- Von Neumann prize winners (INFORMS)
- Brief hostory of feedback control (F.L. Lewis)
-
Antiikki
- Kreikkalaiset matemaatikot kiinnostuvat geometriasta ja ratkovat myös muutamia geometrisia optimointitehtäviä
- 300 eaa Eukleides tarkastelee pisteen etäisyyttä suoraan ja osoittaa myös, että neliö on suurin niistä suorakulmioista, joiden yhteenlaskettu särmien pituus on kiinnitetty (kts. todistus)
- 200 eaa Zenodorus tutkii (Pappuksen & Theonin mukaan) Didon ongelmaa, jota on kuvattu myös Virgilin aeneidissa 19 eaa
- 100 eaa Heron osoittaa Catopricassa, että valo kulkee lyhintä polkua kahden pisteen välillä heijastuessaan peilistä
Uusi aika
- Ennen variaatiolaskennan syntyä tutkitaan joitakin yksittäisiä optimointitehtäviä
- 1615 Kepler pohtii optimaalista viinitynnyriä
- 1638 Galileo Galilei yrittää ratkaista miten riippuva ketju asettuu mutta epäonnistuu
- 1646 Fermat esittää, että funktion ääriarvoa tulee etsiä gradientin nollakohdasta. Vuonna 1657 Fermat osoittaa, että valo kulkee matkan kahden pisteen välillä minimiajassa
Newton (1660-luvulla) ja Leibniz (1670 luvulla) kehittävät analyysin, joka on variaatiolaskennan perustana.
Myös yksittäisiä äärellisiä optimointiongelmia tutkitaan - 1687 Newton tutkii minkä muotoisella kappaleella on pienin vastus väliaineessa (lisätietoa)
- 1696 Johann ja Jacob Bernoulli tutkivat Brakistokronen ongelmaa (kts.iagsoftin Java-animaatio), variaatiolaskenta syntyy
- 1712 Samuel König osoittaa, että mehiläiskennon muoto on optimaalinen (lisätietoa). Ranskan tiedeakatemia julistaa, että kyseessä on jumalan johdatus
- 1740 Eulerin julkaisu aloittaa variaatiolaskennan yleiseen teoriaan tähtäävän tutkimuksen
- 1754 Lagrange tekee ensimmäiset löytönsä variaatiolaskennassa 19 vuotiaana
Ensimmäiset optimointialgoritmit kehitetään 1800-luvulla.
Variaatiolaskentaa tutkivat mm. Weierstrass, Steiner, Hamilton jaJacobi - 1806 Legendre esittää pienimmän neliösumman menetelmän, jonka myös Gauss väittää keksineensä. Legendre vaikutti myös variaatiolaskennan alalla
- 1826 Fourier muotoilee LP-tehtävän mekaniikan ja todennäköisyyslaskun ongelmiin
- 1847 Cauchy esittää gradienttimenetelmän
- 1857 Gibbs osoittaa, että kemiallinen tasapaino on energiaminimi
Moderni aika
- Variaatiolaskenta kehittyy, mm Bolza, Caratheodory ja Bliss tutkivat variaatiolaskentaa 1900-luvun alussa.
- 1917 Harris Hancock julkaisee ensimmäisen optimoinnin oppikirjan,Theory of Minima and Maxima
- 1917 biomatemaatikko D'Arcy Thompson julkaisee kirjan On Growth and Form, jossa hän soveltaa optimointia eliöiden muotojen analysointiin
- 1939 Kantorovitsh esittää LP-mallin ja algoritmin LP-tehtävän ratkaisemiseksi. Vuonna 1975 Kantorovitsh ja Koopmans saavat taloustieteen Nobelin LP-tehtävän tutkimisesta
Toisen maailmansodan jälkeen optimointia aletaan ensimmäisenä soveltaa operaatiotutkimuksessa ja taloustieteessä.
Elektronisen laskennan kehittyessä optimointialgoritmien tutkimus laajenee.
Von Neumann on tärkeä taustavaikuttaja optimoinnin kehittymisessä - 1947 USA:n ilmavoimille työskentelevä Dantzig esittää Simplex-menetelmän LP-tehtävän ratkaisemiseksi
- 1949 järjestetään Chicagosssa alan ensimmäinen kansainvälinen kokous International Symposium on Mathematical Programming, jossa esitetään 34 julkaisua
1950-luku - 1951 Kuhn ja Tucker esittävät optimaalisuusehdot ehdot epälineaariselle tehtävälle. John vuonna 1948 ja Karush vuonna 1939 ovat löytäneet samaiset ehdot
- dynaaminen optimointi kehittyy Pontrjaginin tutkimusryhmän ja Bellmanin ansiosta. Optimisäätöteoria alkaa kehittyä omaksi alakseen variaatiolaskennasta
- Fordin ja Fulkersonin tutkimus verkkotehtävistä 1954 aloittaa kombinatorisen optimoinnin yleisemmän tutkimuksen
- rajoittamattoman optimoinnin algoritmit, kuten kvasi-Newton ja konjugaattigradienttimenetelmät, alkavat kehittyä
1960-luku - Zoutendijk esittää käypien suuntien menetelmät (1960) pyrkimyksenään yleistää simplex epälineaarisille tehtäville. Samantyyppisiä algoritmeja kehittelevät myös Rosen, Wolfe ja Powell
- SQP keksitään ensimmäisen kerran (Wilson 1963) ja uudemman kerran sen löytävät Han 1975 ja Powell 1977
1970- - Mathematical Programming Society perustetaan 1973
- Karmarkarin 1984 esittämä polynomiaikainen menetelmä LP-tehtävälle nostaa sisäpistemenetelmät suosioon.
Ensimmäinen polynomiaikainen menetelmä LP-tehtävälle löydettiin jo aikaisemmmin (ellipsoidimenetelmä, Hatshian 1979). Taustalla on laskennan kompleksisuusanalyysin kehittyminen 60- ja 70-luvuilla - 80-luvulla aletaan kehitellä heuristiikkoja hankaliin optimointitehtäviin
- 90-luvulla sisäpistemenetelmien käyttö yleistyy semidefiniittiin optimointiin
Optimoinnin kannalta keskeiset konveksisuuskäsitteet luodaan: konveksi funktio Jensen 1905, konveksi joukko Minkowski 1911Linkkejä
- Taustatietoa optimoinnista
- MacTutor matematiikan historiaa
- Matematiikan historia (M. Lehtinen)
- Matemaattisten symbolien ja termien historiaa (J. Miller)
- Taloustieteen historiaa
- Peliteorian historiaa (P. Walker)
- IEEE:n historiasivut
- Historia Mathematica lehti
- Britannian matematiikan historian yhdistys
- H. Ehtamon virkaanastujaisesitelmä
- Esimerkkejä optimoinnin historiasta
- Eukleideen alkeet (elements)
- Wolframin Mathworld
-
Mitä on optimointi? Optimointimalli koostuu päätösvaihtoehdoista, näitä koskevista rajoituksista ja optimoitavasta kohdefunktiosta. Päätösvaihtoehdot x1,...,xn saavat joko reaaliluku- tai kokonaislukuarvoja. Dynaamisessa optimoinnissa päätösvaihtoehdot ovat ajan, tai muun sopivan parametrin funktioita. Mallin ratkaisu antaa sen päätösvaihtoehdon arvon, joka optimoi (maksimoi tai minimoi) kohdefunktion arvon ja toteuttaa rajoitukset. Principia Cybernetica: Mitä on optimointi?
Optimointisanasto (englanniksi)Sisältö:
- Optimointitehtävien luokittelu
- Optimointimallin muodostaminen
- Optimointitehtävien ratkaiseminen ja ohjelmistot
- Visualisointeja ja demonstraatioita
- Kirjallisuus
- Tieteellisiä seuroja ja lehtiä
- Muita optimointikursseja
- Muita linkkilistoja
1. Optimointitehtävien luokittelu- Lineaarinen tehtävä (Lineaarinen optimointi; MS-E2140)
- Kohdefunktio ja rajoitukset lineaarisia
- Kohdefunktio ja rajoitukset lineaarisia
- Epälineaarinen tehtävä (Epälineaarinen optimointi; MS-E2139)
- Kohde- ja rajoitefunktiot epälineaarisia
- Epälineaarisen tehtävän erikoistapauksena on konveksi optimointitehtävä, jossa kohdefunktio f ja rajoitusfunktiot gikonvekseja ja hi lineaarisia.
- Kohde- ja rajoitefunktiot epälineaarisia
- Monitavoitetehtävä (Monitavoiteoptimointi; MS-E2144)
- Monta kohdefunktiota
- Esim. portfolion (arvopaperien) optimointi; katso myös MCS:nportfolioesimerkki.
- Maksimoidaan hyödyn odotusarvoa E(c)tx (lineaarinen tehtävä), missä c on satunnaismuuttuja ja E(c) sen odotusarvo.
- Minimoidaan riskiä xtVx (kvadraattinen tehtävä), missä V on c:n kovarianssimatriisi.
- Halutaan siis sekä maksimoida hyötyä, että minimoida riskiä; päädytään monitavoitetehtävään.
- Tehtävä on lisäksi stokastinen, ks. kohta 7.
- Verkkotehtävä (Verkko-optimointi; MS-E2143)
- Tyypillisesti tehtävä on samaa muotoa kuin kohdassa 1
- Lisäksi yleensä kokonaislukumuuttujia
- Esim. Määrättävä kahden kaupungin välinen lyhin tie olemassaolevaan tieverkostoon.
- Kokonaislukutehtävä (Kokonaislukuoptimointi; MS-E2146)
- xi:t kuuluvat kokonaislukuihin
- Jos tehtävässä on sekä kokonaisluku-, että reaalilukumuuttujia, niin kyseessä on sekalukutehtävä.
- Dynaaminen tehtävä (Dynaaminen optimointi; MS-E2148)
- Esimerkki: Määrää L pituisen köyden x(s) rajoittama maksimipinta-ala s.e. köyden päät ovat pisteissä a ja b, x(a) = x(b) = 0. Tämä on Tyrian prinsessa Didon ongelma, jonka ratkaisu johti Karthagon perustamiseen. Tehtävä on muotoa
- Esimerkki: Määrää L pituisen köyden x(s) rajoittama maksimipinta-ala s.e. köyden päät ovat pisteissä a ja b, x(a) = x(b) = 0. Tämä on Tyrian prinsessa Didon ongelma, jonka ratkaisu johti Karthagon perustamiseen. Tehtävä on muotoa
- Stokastinen tehtävä
- Tehtävä sisältää satunnaismuuttujia
- Tyypillisesti minimoidaan riskejä ja maksimoidaan hyödyn odotusarvoa; saadaan monitavoitetehtävä
- Esim. portfolion (arvopaperien) optimointi
- MCS:n portfolioesimerkki.
- Muita tehtäviä
- Semidefiniitti ohjelmointi
- Komplementaarisuusongelmat
- Epäsileä ja aligradienttioptimointi
2. Optimointimallin muodostaminen
- Vuorovaikutteisesti OR-asiantuntijan (voi olla joukko asiantuntijoita) ja asiakkaan välillä. (OR = Operations Research = Operaatiotutkimus)
- Mallinrakennuksen vaiheet (yleensäkin matemaattisessa mallintamisessa):
- Tehtävän määrittely
- Mallin muodostaminen
- Mallin ratkaiseminen
- Mallin validointi
- Ratkaisun käyttöönotto ja ylläpito
3. Optimointitehtävien ratkaiseminen ja ohjelmistot- Optimointitehtävän ratkaiseminen tapahtuu numeerisesti iteroimalla
xk+1 = f(xk,xk-1,...), k=1,2,... - Esim. funktion g lokaali minimi löydetään Newtonin iteroinnilla
xk+1 = xk - g'(xk)/g''(xk) - Vastaavaa ratkaisutekniikkaa kutsutaan yleensä ohjelmoinniksi. Siis esim. lineaarinen ohjelmointi, dynaaminen ohjelmointi, jne.
- Teoriasta ja ratkaisumenetelmistä
- Yleistä
- Konveksisuudesta
- CCA, laskennallisen konveksin analyysin projekti
- Konveksin analyysin perusteita taloustieteilijöille
- LP-tehtävistä
- Globaali optimointi; MS-E2191
- FAQ-listoja
- Ohjelmistoja
- Vinkkejä
- Yleiskäyttöisiä ohjelmistoja
- Excelin Solver
- Optimointityökaluja Matlabiin
- Epälineaarinen optimointi
- Lineaarinen-, verkko- ja sekalukuoptimointi
- GLPK - GNU:n paketti lineaaristen tehtävien ratkaisemiseen
- Ilog Cplex
- LP-Solve
- RELAX IV
- GIDEN - graafinen ympäristö verkkotehtävien optimointiin
- Java-ohjelmia operaatiotutkimukseen ja WWW linkkejä
- Dynaaminen optimointi
- RIOTS: Matlab työkaluja optimiohjaustehtävien ratkaisemiseksi
- DIRCOL ja PAREST
- Mallinnuskieliä
- Johdantoa ohjelmistoihin
4. Visualisointeja ja demonstraatioita- Lineaarisille tehtäville
- Epälineaarisille tehtäville
- Geneettisille algoritmeille
- Dynaamisille tehtäville
- Erilaisten optimointitehtävien demonstraatioita ja visualisointeja
- Konveksin kuoren laskeminen
- Perusteoksia
- H. A. Taha, Operations Research, An Introduction, Prentice-Hall International, Inc., 1997
- D. P. Bertsekas, Network optimization, Athena Scientific, 1998
- R. Fletcher, Practical Methods of Optimization, Wiley, 1995
- R. J. Vanderbei, Linear Programming, Foundations and Extensions, Kluwer, 1996
- D. Bertsimas, & J.N. Tsitsiklis, Introduction to Linear Optimization, Athena Scientific, 1997.
- M. S. Bazaraa, H. D. Sherali, & C. M. Shetty, Nonlinear Programming: Theory and Algorithms, Wiley, 1993.
- Chong, E., & Zak, S., An Introduction to Optimization, Wiley-interscience, 2nd edition, 2001 (90.48 EUR postikuluineen)
- Haataja, Optimointitehtävien ratkaiseminen, CSC, 1996
- D. G. Luenberger, Introduction to Linear and Nonlinear Programming, Addison-Wesley, 1984.
- Mangasarian, Nonlinear Programming, McGraw-Hill, 1969.
- Nash, S.G. & Sofer, A., Linear and Nonlinear Programming, McGraw-Hill, 1995 (110.57 EUR postikuluineen)
- Winston W.L., Operations Research Applications and Algorithms, Duxbury Press, 3rd edition, 1997 (65.09 EUR postikuluineen)
- Algoritmien "keittokirjoja"
- R. Fletcher, Practical Methods of Optimization, Wiley, 1987.
- D. P. Bertsekas, Nonlinear Programming, Aethena Scientific, 1995.
- N. Drakos, Mathematical optimization, verkkojulkaisu, 1995.
- Numeeriikkaa
- P. E. Gill, W. Murray, and M. H. Wright, Practical Optimization, Academic Press, 1981.
- P. E. Gill, W. Murray, and M. H. Wright, Numerical Methods for Linear Algebra and Optimization: Volume 1, Addison Wesley, 1991.
- Haataja, Heikonen, Leino, Rahola, Ruokolainen ja Savolainen, Numeeriset menetelmät käytännössä, CSC - Tieteellinen laskenta Oy, 1999.
- Konveksin analyysin raamattu
- Rockafellar, Convex Analysis, Princeton, 1970.
- Tehtävistä, joissa käypä alue on ei-konveksi
- A. V. Fiacco and G. P. McCormick, Nonlinear Programming; Sequential Unconstrained Minimization Techniques, John Wiley, 1968.
- Tehtävistä, joissa rajoite-ehdoissa on optimointitehtävä
- J.F. Bard, Practical Bilevel Optimization, Kluwer Academic Publishers, 1999.
- Epäsileästä optimoinnista
- F.H. Clarke, Optimization and Nonsmooth Analysis, Classics in Applied Mathematics 5., Society for Industrial and Applied Mathematics, 1990.
- Monitavoiteoptimointi
- P.-L. Yu, Multiple-Criteria Decision Making: Concepts, Techniques, and Extensions, Plenum Press, 1985.
- R.E. Steuer, Multiple Criteria Optimization: Theory, Computation and Application, John Wiley & Sons, 1986.
- K. Miettinen, Nonlinear Multiobjective Optimization, Kluwer Academic Publishers, Boston, 1999
- Heuristiset optimointimenetelmät
- L. F. Landweber and E. Winfree, Evolution as Computation, Springer, 2002
- R. L. Haupt and S. E. Haupt, Practical Genetic Algorithms, Wiley, 1998
- N. Ansari and E. Hou, Computational Intelligence for Optimization, Kluwer, 1997
- W. M. Spears, Evolutionary Algorithms, Springer, 2000
- H. Dawid, Adaptive Learning by Genetic Algorithms, Springer, 1999
- D. L. Kreher and D. R. Stinson, Combinatorial Algorithms, CRC, 1999
- LP-mallien kirjallisuuskokoelma
6. Tieteellisiä seuroja ja lehtiä
- Seuroja
- TKK:n kirjaston elektroniset lehtitietokannat
- Optimointilehtiä
- OR-lehtiä
- Yleisiä
- Cambridge, Englanti
- Princetonin yliopisto, USA
- Wisconsinin yliopisto, USA
- Tampereen teknillinen korkeakoulu, Suomi
- Linköpingin yliopisto, Ruotsi (på svenska)
- Uppsalan yliopisto, Ruotsi
- Uumajan yliopisto, Ruotsi (på svenska)
- Epälineaarinen ohjelmointi
- MIT, USA
- Stanford, USA
- New Yorkin yliopisto, USA
- Illinois, USA
- Jerusalemin hebrean kielinen yliopisto, Israel
- Lineaarinen ohjelmointi
- Denverin yliopisto, USA
- Muita
- Konvekseista joukoista, Moskovan riippumaton yliopisto, Venäjä (po russkij)
- Geneettisistä algoritmeista, Lillen teknillinen korkeakoulu, Ranska (en français)
- Verkkomallit, Helsingin Kauppakorkeakoulu
- Diskreetti optimointi, Münchenin teknillinen korkeakoulu, Saksa (auf Deutsch)
- Algoritmien suunnittelu ja analyysi, Teknillinen Korkeakoulu, Suomi