Osion kuvaus

• Yleinen
  Lecturer: Harri Ehtamo
  

  Assistant: Anton von Schantz

  
  

  NOTE!
  

  The first lecture is on Wed 16.1.2019 14:15-16:00 in U5,
  

  and the first exercise session on Tue 22.1.2019 14:15-16:00 in U7.
  

  
  

  Exam times:

  Tue 9.4.2019 13-16

  Fri 31.5.2019 13-16
  

  
  

  Why this course?
  

  This course examines dynamic (aka multistage) optimization models. They capture many relevant real-life problems: scheduling, route planning, solving optimal strategies for games, inventory control, investment problems, machine repair, text processing, dna sequence matching, stopping problems, airplane/rocket flight path optimization, minimum time/effort problems, optimal fishery management, saving/consumption optimization, optimal feedback controllers for plants and regulator problems and so on.

  The models that are examined are

  • Optimal control problem. Find control u(t) that makes the system  trace the optimal trajectory x*(t) that minimizes the cost .
    Function a describes how the system behaves at state x(t) at time t under control u(t). The cost function J consists of start and end point costs and running cost that is given by function L that may depend on the state x(t) and control u(t).
  • Calculus of variations. Find continuous/differentiable curve y(x) that is extremum for 
    
  • Dynamic Programming (DP) problem. Find optimal controls u_k (optimal policy) that minimizes the expected cost
    of the discrete stochastic system 
    f_k describes how the system evolves to the next state x_k+1 when the state is x_k, control u_k is chosen and there is stochastic disturbance is w_k. The cost function is given by g_k. This is discrete version of the optimal control problem.

  
  

  
  

  Practical matters
  

  Teaching: Lectures (24h) and exercise sessions (24h)

  Assessment methods: Exam (100%), extra points from homework and exercises

  Grading scale: 0-5

  Study material: Lecture slides and exercises. Additional reading:

  • D. E. Kirk: Optimal Control Theory. Prentice Hall, 1970 (2004). (<- the main book)
    
  • D. P. Bertsekas: Dynamic Programming and Optimal Control, vol 1(and 2). Athena Scientific, 1995
  • M. L. Kamien and N. L. Schwartz: Dynamic Optimization - The calculus of variations and optimal control in economics and management, 2nd edition. North Holland, 1991.

  Language of instruction: English

  Prerequisites: 1st and 2nd years math, recommended MS-C2105 Optimoinnin perusteet (or equivalent)

  • 

    Announcements Keskustelualue

• Materiaalit
  books: B=Bertsekas vol 1, K=Kirk, KS=Kamien/Schwartz

  -=The lecture files may be updated as we go on=-

• Tehtävät
  The deadline for returning homework (the last problem in the paper) is the following week's Tuesday 14:00. Hand written homework is returned on paper in return box (metal boxes opposite of Y192, first floor main building main corridor, next to the big bomb shelter door, find the course code MS-E2148 on right-middle). Matlab excercises are returned on My Courses. Computer written homework in pdf-format may be returned on My Courses (no scans of hand written work).

  In each exercise session there will be 1-2 problems that students present on the blackboards. You will get the solutions for these problems beforehand in My Courses. If you are prepared to present the solutions for the problems you get 1 point. In the end of the course, these points will be scaled up to 2 exam points. Each homework will be graded 0-4. In the end of the course, the homework points will be scaled up to 4 exam points. The points are updated to this Google drive document throughout the course.
  

  In addition to the home assignments and problems that students present, there are problems that you will try to solve during the exercise session. Some more advanced problems will be demonstrated by the course assistant.
  

• Aaltolaisille
  Saatavilla vasta, kun: Kenttä Käyttäjätunnus sisältää (käytä: aalto.fi) sisältää aalto.fi

  The main topics of the course are:

  • Solving continuous problems using calculus of variations (including different end point and corner conditions). Kirk Section 4. Lectures 1-2.
  • Solving optimal control problems (including different end point conditions, minimum principle, singular intervals). Kirk Section 5. Lectures 3-5.
  • Solving discrete problems using DP-algorithm (including problems having stochastics and imperfect state information). Bertsekas Sections 1-5. Lectures 6-8.
  • Solving infinite horizon discounted problems (including Bellman equation, value and policy iterations). Bertsekas vol 2. Section 1. Lecture 9.
  • Solving optimal control problems using HJB equations. Kirk Section 3.11. Lecture 10
  • Learning the relevant concepts and terminology.

  
  Note that the main equations are given in the exam paper and you don't have to learn them by heart. Also, bringing a calculator (memory emptied) to the exam is not a bad idea.
  

  Suitable problems can be found in the exercises. You can practice solving them yourself. Similar problems and their solutions are presented in the course books. You can also find many solved problems in the Internet.

• History of optimization
  (The English version is from http://www.mitrikitti.fi/opthist.html )

  Lines of development, breakthroughs, applications and curiosities, and links

  Antiquity

  Greek mathematicians solve some optimization problems that are related to their geometrical studies.
  
  
  • 300 bc Euclid considers the minimal distance between a point a line, and proves that a square has the greatest area among the rectangles with given total length of edges
  • 200 bc Zenodorus studies (according to Pappus & Theon) Dido's Problem that has been described in Virgil's Aeneid 19 bc
  • 100 bc Heron proves in Catoprica that light travels between two points through the path with shortest length when reflecting from a mirror

  17th and 18th centuries

  Before the invention of calculus of variations only some separate optimization problems are being investigated.
  
  
  • 1615 J. Kepler figures out the optimal dimensions of wine barrel. He also formulated an early version of the secretary problem (a classical application of dynamic programming) when he started to look for a new wife
  • 1638 G. Galilei tries to figure out the shape of a hanging chain, but he fails
  • 1646 P. de Fermat shows that at the extreme point the gradient of a function vanishes. In 1657 Fermat shows that light travels between two points in minimal time
  
  I. Newton (1660s) and G. W. von Leibniz (1670s) create mathematical analysis that forms the basis of calculus of variations (CoV). Some separate finite optimization problems are also considered
  
  
  • 1687 Newton studies the body of minimal resistance
  • 1696 Johann and Jacob Bernoulli study Brachistochrone's problem (see.iagsoft's Java-applet), calculus of variations is born
  • 1712 J.S. König shows that the shape of honeycomb is optimal. The French Academy of Sciences declares the phenomenom as divine guidance
  • 1740 L. Euler's publication begins the research on general theory of calculus of variations
  • 1746 P.L.M. de Maupertuis formulates the principle of least action to explain physical phenomena
  • 1754 J.-L. Lagrange makes his first findings within CoV at the age 19.In 1760 he formulates the Plateau's problem, the problem of minimal surfaces. In 1936 J. Douglas received a Fields Medal for his solution to the problem, in 1974 E. Bombieri received Fields Medal for his work on the topic
  • 1784 G. Monge investigates a combinatorial optimization problem known as the transportation problem

  19th century

  The first optimization algorithms are presented. K.T.W. Weierstrass,J. Steiner, W.R. Hamilton and C.G.J. Jacobi further develop CoV.
  
  
  • 1806 A.-M. Legendre presents the least square method, which alsoJ.C.F. Gauss claims to have invented. Legendre made contributions in the field of CoV, too
  • 1815 The idea of a (quasi) concave function appears in economics asT.R. Malthus, R. Torrens, E. West, and D. Ricardo simultaneously introduce "the Law of Dimishing Returns" for production functions
  • 1826 J.B.J. Fourier formulates LP-problem for solving problems arising in mechanics and probability theory
  • 1846 M. Faustmann presents the formula for the present value of the income stream of forest rotation, the solution for the problem of maximizing Faustmann's formula was solved by B. Ohlin 1924 although some foresters were already aware of the correct solution in 1860's
  • 1847 A.L. Cauchy presents the gradient method
  • 1857 J.W. Gibbs shows that chemical equilibrium is an energy minimum
  
  The marginalist revolution in economics during 1870s, e.g., the works of Walras and Cournot shifts the focus of economists to utility maximizing individuals - optimization becomes an integral part of economic theory. 
  

  20th century

  CoV is further developed, e.g., by O. Bolza, C. Caratheodory andG.A. Bliss.
  
  
  • 1902 J. Farkas prsents his famous lemma which can be used in the proof of Karush-Kuhn-Tucker theorem
  • Convexity concepts are created: J.L.W.V. Jensen introduces convex functions in 1905, the idea has already appeared in the works of J.S. Hadamard (1883), O.L. Hölder (1889), and O. Stolz (1893). H. Minkowski obtains the first results on convex sets in 1911, the earliest study on convex geometry was published by H. Brunn in 1887
  • 1917 H. Hancock publishes the first text book on optimization, Theory of Minima and Maxima
  • 1917 biomathematician D.W. Thompson writes the book On Growth and Form, in which he applies optimization to analyze the forms of living organisms
  • 1925 H.C.M. Morse presents his theory that generalizes CoV
  • 1928 F.P.P Ramsey applies CoV in his study on optimal economic growth, Ramsey's exercise is resurrected in 50's as the field of optimal growth theory starts to develop
  • 1931 J. Viner presents the Viner-Wong envelope theorem
  • 1932 K. Menger pressents a general formulation of the travelling salesman problem
  • 1939 L.V. Kantorovich presents LP-model and an algorithm for solving it. In 1975 Kantorovich and T.C. Koopmans get the Nobel memorial price of economics for their contributions on LP-problem
  
  After the world war II optimization develops simultaneously withoperations research. J. Von Neumann is an important person behind the development of operations research. The field of algorithmic research expands as electronic calculation develops.
  
  
  • 1944 J. von Neuman and O. Morgenstern solve sequential decision problems by using the idea of dynamic programming. A. Wald (1947) did related research. Another early application of DP is presented by P. Massé (1944) for reservoir management
  • 1947 G. Dantzig, who works for US air-forces, presents the Simplex method for solving LP-problems, von Neumann establishes the theory of duality for LP-problems
  • 1949 the first international congress, International Symposium on Mathematical Programming, on optimization is held in Chicago. The number of papers presented in the congress is 34

  1950s

  • 1951 H.W. Kuhn and A.W. Tucker reinvent optimality conditions for nonlinear problems. F. John in 1948 and W. Karush in 1939 had presented similar conditions earlier
  • 1951 H. Markowitz presents his portfolio theory that is based on quadratic optimization. In 1990 Markowitz receives the Nobel memorial prize in economics
  • 1954 L.R. Ford's and D.R. Fulkerson's research on network problems is a starting point of research on combinatorial optimization
  • Algorithms for unbounded problems, such as quasi-Newton and conjugate gradient methods, are developed
  
  Optimal control theory begins to develop as a separate discipline from CoV. Space race gives additional boost for research in optimal control theory
  • 1954 IEEE Control Systems Society is founded
  • 1956 L.S. Pontryagin's research group presents maximum principle
  • 1957 R. Bellman presents the optimality principle

  1960s

  • Zoutendijk (1960) presents the methods of feasible directions to generalize the Simplex method for nonlinear programs. Rosen, Wolfe, and Powell develop similar ideas
  • Sequential quadratic programming method is invented for the first time by Wilson 1963. Han 1975 and Powell 1977 present it anew

  1970s-

  • 1973 Mathematical Programming Society is founded
  • 1984 N. Karmarkar's polynomial time algorithm for LP-problems begins a boom of interior point methods.
    The first polynomial time algorithm for LP, the ellipsoid method, was already presented by Khachiyan in 1979.
    The complexity analysis developed in 60s and 70s begins to influence to the theory of optimization
  • 80s as computers become more efficient, heuristic algorithms for global optimization and large scale problems begin to gain popularity
  • 90s the use of interior point methods expands to semidefinite optimization

  
  More links
  
  

  • MacTutor history of mathematics
  • History of mathematical symbols and terms (J. Miller)
  • History of economics (The New School University)
  • History of game theory (P. Walker)
  • IEEE history pages
  • Historia Mathematica journal
  • Euclid's elements
  • Wolfram's Mathworld
  • Mathematical programming glossary (INFORMS)
  • Von Neumann prize winners (INFORMS)
  • Brief hostory of feedback control (F.L. Lewis)

  
  

• History of optimization (in Finnish)
  Antiikki

  Kreikkalaiset matemaatikot kiinnostuvat geometriasta ja ratkovat myös muutamia geometrisia optimointitehtäviä
  
  
  • 300 eaa Eukleides tarkastelee pisteen etäisyyttä suoraan ja osoittaa myös, että neliö on suurin niistä suorakulmioista, joiden yhteenlaskettu särmien pituus on kiinnitetty (kts. todistus)
  • 200 eaa Zenodorus tutkii (Pappuksen & Theonin mukaan) Didon ongelmaa, jota on kuvattu myös Virgilin aeneidissa 19 eaa
  • 100 eaa Heron osoittaa Catopricassa, että valo kulkee lyhintä polkua kahden pisteen välillä heijastuessaan peilistä

  Uusi aika

  Ennen variaatiolaskennan syntyä tutkitaan joitakin yksittäisiä optimointitehtäviä
  
  
  • 1615 Kepler pohtii optimaalista viinitynnyriä
  • 1638 Galileo Galilei yrittää ratkaista miten riippuva ketju asettuu mutta epäonnistuu
  • 1646 Fermat esittää, että funktion ääriarvoa tulee etsiä gradientin nollakohdasta. Vuonna 1657 Fermat osoittaa, että valo kulkee matkan kahden pisteen välillä minimiajassa 
    
    Newton (1660-luvulla) ja Leibniz (1670 luvulla) kehittävät analyysin, joka on variaatiolaskennan perustana.
    Myös yksittäisiä äärellisiä optimointiongelmia tutkitaan
  • 1687 Newton tutkii minkä muotoisella kappaleella on pienin vastus väliaineessa (lisätietoa)
  • 1696 Johann ja Jacob Bernoulli tutkivat Brakistokronen ongelmaa (kts.iagsoftin Java-animaatio), variaatiolaskenta syntyy
  • 1712 Samuel König osoittaa, että mehiläiskennon muoto on optimaalinen (lisätietoa). Ranskan tiedeakatemia julistaa, että kyseessä on jumalan johdatus
  • 1740 Eulerin julkaisu aloittaa variaatiolaskennan yleiseen teoriaan tähtäävän tutkimuksen
  • 1754 Lagrange tekee ensimmäiset löytönsä variaatiolaskennassa 19 vuotiaana
    
    Ensimmäiset optimointialgoritmit kehitetään 1800-luvulla.
    Variaatiolaskentaa tutkivat mm. Weierstrass, Steiner, Hamilton jaJacobi
  • 1806 Legendre esittää pienimmän neliösumman menetelmän, jonka myös Gauss väittää keksineensä. Legendre vaikutti myös variaatiolaskennan alalla
  • 1826 Fourier muotoilee LP-tehtävän mekaniikan ja todennäköisyyslaskun ongelmiin
  • 1847 Cauchy esittää gradienttimenetelmän
  • 1857 Gibbs osoittaa, että kemiallinen tasapaino on energiaminimi

  Moderni aika

  Variaatiolaskenta kehittyy, mm Bolza, Caratheodory ja Bliss tutkivat variaatiolaskentaa 1900-luvun alussa.
  Optimoinnin kannalta keskeiset konveksisuuskäsitteet luodaan: konveksi funktio Jensen 1905, konveksi joukko Minkowski 1911 
  
  
  • 1917 Harris Hancock julkaisee ensimmäisen optimoinnin oppikirjan,Theory of Minima and Maxima
  • 1917 biomatemaatikko D'Arcy Thompson julkaisee kirjan On Growth and Form, jossa hän soveltaa optimointia eliöiden muotojen analysointiin
  • 1939 Kantorovitsh esittää LP-mallin ja algoritmin LP-tehtävän ratkaisemiseksi. Vuonna 1975 Kantorovitsh ja Koopmans saavat taloustieteen Nobelin LP-tehtävän tutkimisesta 
    
    Toisen maailmansodan jälkeen optimointia aletaan ensimmäisenä soveltaa operaatiotutkimuksessa ja taloustieteessä.
    Elektronisen laskennan kehittyessä optimointialgoritmien tutkimus laajenee.
    Von Neumann on tärkeä taustavaikuttaja optimoinnin kehittymisessä
  • 1947 USA:n ilmavoimille työskentelevä Dantzig esittää Simplex-menetelmän LP-tehtävän ratkaisemiseksi
  • 1949 järjestetään Chicagosssa alan ensimmäinen kansainvälinen kokous International Symposium on Mathematical Programming, jossa esitetään 34 julkaisua
    
    1950-luku
  • 1951 Kuhn ja Tucker esittävät optimaalisuusehdot ehdot epälineaariselle tehtävälle. John vuonna 1948 ja Karush vuonna 1939 ovat löytäneet samaiset ehdot
  • dynaaminen optimointi kehittyy Pontrjaginin tutkimusryhmän ja Bellmanin ansiosta. Optimisäätöteoria alkaa kehittyä omaksi alakseen variaatiolaskennasta
  • Fordin ja Fulkersonin tutkimus verkkotehtävistä 1954 aloittaa kombinatorisen optimoinnin yleisemmän tutkimuksen
  • rajoittamattoman optimoinnin algoritmit, kuten kvasi-Newton ja konjugaattigradienttimenetelmät, alkavat kehittyä
    
    1960-luku
  • Zoutendijk esittää käypien suuntien menetelmät (1960) pyrkimyksenään yleistää simplex epälineaarisille tehtäville. Samantyyppisiä algoritmeja kehittelevät myös Rosen, Wolfe ja Powell
  • SQP keksitään ensimmäisen kerran (Wilson 1963) ja uudemman kerran sen löytävät Han 1975 ja Powell 1977
    
    1970-
  • Mathematical Programming Society perustetaan 1973
  • Karmarkarin 1984 esittämä polynomiaikainen menetelmä LP-tehtävälle nostaa sisäpistemenetelmät suosioon.
    Ensimmäinen polynomiaikainen menetelmä LP-tehtävälle löydettiin jo aikaisemmmin (ellipsoidimenetelmä, Hatshian 1979). Taustalla on laskennan kompleksisuusanalyysin kehittyminen 60- ja 70-luvuilla
  • 80-luvulla aletaan kehitellä heuristiikkoja hankaliin optimointitehtäviin
  • 90-luvulla sisäpistemenetelmien käyttö yleistyy semidefiniittiin optimointiin

  Linkkejä

  • Taustatietoa optimoinnista
  • MacTutor matematiikan historiaa
  • Matematiikan historia (M. Lehtinen)
  • Matemaattisten symbolien ja termien historiaa (J. Miller)
  • Taloustieteen historiaa
  • Peliteorian historiaa (P. Walker)
  • IEEE:n historiasivut
  • Historia Mathematica lehti
  • Britannian matematiikan historian yhdistys
  • H. Ehtamon virkaanastujaisesitelmä
  • Esimerkkejä optimoinnin historiasta
  • Eukleideen alkeet (elements)
  • Wolframin Mathworld

  
  

• Background in optimization (in Finnish)
  Mitä on optimointi?

  Optimointimalli koostuu päätösvaihtoehdoista, näitä koskevista rajoituksista ja optimoitavasta kohdefunktiosta. Päätösvaihtoehdot x1,...,xn saavat joko reaaliluku- tai kokonaislukuarvoja. Dynaamisessa optimoinnissa päätösvaihtoehdot ovat ajan, tai muun sopivan parametrin funktioita. Mallin ratkaisu antaa sen päätösvaihtoehdon arvon, joka optimoi (maksimoi tai minimoi) kohdefunktion arvon ja toteuttaa rajoitukset.

  Principia Cybernetica: Mitä on optimointi?  Optimointisanasto (englanniksi)

  Sisältö:

  1. Optimointitehtävien luokittelu
  2. Optimointimallin muodostaminen
  3. Optimointitehtävien ratkaiseminen ja ohjelmistot
  4. Visualisointeja ja demonstraatioita
  5. Kirjallisuus
  6. Tieteellisiä seuroja ja lehtiä
  7. Muita optimointikursseja
  8. Muita linkkilistoja

  
  1. Optimointitehtävien luokittelu

  1. Lineaarinen tehtävä (Lineaarinen optimointi; MS-E2140)
     • Kohdefunktio ja rajoitukset lineaarisia
       
  2. Epälineaarinen tehtävä (Epälineaarinen optimointi; MS-E2139)
     • Kohde- ja rajoitefunktiot epälineaarisia 
       
       
     • Epälineaarisen tehtävän erikoistapauksena on konveksi optimointitehtävä, jossa kohdefunktio f ja rajoitusfunktiot g_ikonvekseja ja h_i lineaarisia.
  3. Monitavoitetehtävä (Monitavoiteoptimointi; MS-E2144)
     • Monta kohdefunktiota
     • Esim. portfolion (arvopaperien) optimointi; katso myös MCS:nportfolioesimerkki.
       • Maksimoidaan hyödyn odotusarvoa E(c)^tx (lineaarinen tehtävä), missä c on satunnaismuuttuja ja E(c) sen odotusarvo.
       • Minimoidaan riskiä x^tVx (kvadraattinen tehtävä), missä V on c:n kovarianssimatriisi.
       • Halutaan siis sekä maksimoida hyötyä, että minimoida riskiä; päädytään monitavoitetehtävään.
       • Tehtävä on lisäksi stokastinen, ks. kohta 7.
  4. Verkkotehtävä (Verkko-optimointi; MS-E2143)
     • Tyypillisesti tehtävä on samaa muotoa kuin kohdassa 1
     • Lisäksi yleensä kokonaislukumuuttujia
     • Esim. Määrättävä kahden kaupungin välinen lyhin tie olemassaolevaan tieverkostoon.
  5. Kokonaislukutehtävä (Kokonaislukuoptimointi; MS-E2146)
     • x_i:t kuuluvat kokonaislukuihin
     • Jos tehtävässä on sekä kokonaisluku-, että reaalilukumuuttujia, niin kyseessä on sekalukutehtävä.
  6. Dynaaminen tehtävä (Dynaaminen optimointi; MS-E2148)
     • Esimerkki: Määrää L pituisen köyden x(s) rajoittama maksimipinta-ala s.e. köyden päät ovat pisteissä a ja b, x(a) = x(b) = 0. Tämä on Tyrian prinsessa Didon ongelma, jonka ratkaisu johti Karthagon perustamiseen. Tehtävä on muotoa
       
  7. Stokastinen tehtävä
     • Tehtävä sisältää satunnaismuuttujia
     • Tyypillisesti minimoidaan riskejä ja maksimoidaan hyödyn odotusarvoa; saadaan monitavoitetehtävä
       • Esim. portfolion (arvopaperien) optimointi
       • MCS:n portfolioesimerkki.
  8. Muita tehtäviä
     • Semidefiniitti ohjelmointi
     • Komplementaarisuusongelmat
     • Epäsileä ja aligradienttioptimointi

  2. Optimointimallin muodostaminen

  • Vuorovaikutteisesti OR-asiantuntijan (voi olla joukko asiantuntijoita) ja asiakkaan välillä. (OR = Operations Research = Operaatiotutkimus)
  • Mallinrakennuksen vaiheet (yleensäkin matemaattisessa mallintamisessa):
    1. Tehtävän määrittely
    2. Mallin muodostaminen
    3. Mallin ratkaiseminen
    4. Mallin validointi
    5. Ratkaisun käyttöönotto ja ylläpito
    Kohta 3 on ylläolevista suoraviivaisin koska se perustuu yleensä hyvin määriteltyyn matemaattiseen teoriaan. Optimointitehtävää määriteltäessä valitaan päätösmuuttujat, näitä koskevat rajoitukset ja optimoitava kohdefunktio. Mallin muodostaminen tarkoittaa edellä olevan pukemista matemattiselle kielelle. Mallin validointivaiheessa tutkitaan vastaako malli niihin kysymyksiin, joihin sen piti vastata. Ratkaisun käyttöönotto ja ylläpito pitää sisällään joukon yksinkertaisia toimintaohjeita mallin käyttäjille.

  
  3. Optimointitehtävien ratkaiseminen ja ohjelmistot

  • Optimointitehtävän ratkaiseminen tapahtuu numeerisesti iteroimalla
    x_k+1 = f(x_k,x_k-1,...), k=1,2,...
  • Esim. funktion g lokaali minimi löydetään Newtonin iteroinnilla
    x_k+1 = x_k - g^'(x_k)/g^''(x_k)
  • Vastaavaa ratkaisutekniikkaa kutsutaan yleensä ohjelmoinniksi. Siis esim. lineaarinen ohjelmointi, dynaaminen ohjelmointi, jne.
  • Teoriasta ja ratkaisumenetelmistä
    • Yleistä
      • Numeerisia reseptejä
      • Math Archives
      • Kompleksisuusanalyysistä
      • Operaatiotutkimuksesta
    • Konveksisuudesta
      • CCA, laskennallisen konveksin analyysin projekti
      • Konveksin analyysin perusteita taloustieteilijöille
    • LP-tehtävistä
      • Lineaaristen tehtävien ratkaiseminen
      • Sisäpistemenetelmiä lineaarisille tehtäville
      • Primaali-duaali sisäpistemenetelmiä lineaarisille tehtäville
      • Sisäpistemenetelmiä
    • Globaali optimointi; MS-E2191
      • Geneettisistä algoritmeista
      • Simuloidusta jäähdytyksestä
      • Klusterointimenetelmä
      • Heuristiikat
      • Menetelmiä, ohjelmistoja ja testiongelmia
      • Globaalien optimointimenetelmien vertailua
    • FAQ-listoja
      • Lineaarinen ja epälineaarinen ohjelmointi
    • Ohjelmistoja
      • Vinkkejä
        • NEOS optimointiohjelmisto-opas
        • LP ohjelmisto katsaus
        • Tutkimus viimeisimmistä trendeistä matemaattisessa ohjelmoinnissa
        • Päätöspuu optimointiohjelmistojen valitsemiseksi
        • Optimointi internetresurssina
      • Yleiskäyttöisiä ohjelmistoja
        • Excelin Solver
        • Optimointityökaluja Matlabiin
      • Epälineaarinen optimointi
        • FSQP, käypä toistettu neliöllinen optimointi
        • DONLP2
        • SUMT, toistettu rajoittamaton minimointitekniikka, klassikko
        • Lindo
      • Lineaarinen-, verkko- ja sekalukuoptimointi
        • GLPK - GNU:n paketti lineaaristen tehtävien ratkaisemiseen
        • Ilog Cplex
        • LP-Solve
        • RELAX IV
        • GIDEN - graafinen ympäristö verkkotehtävien optimointiin
        • Java-ohjelmia operaatiotutkimukseen ja WWW linkkejä
      • Dynaaminen optimointi
        • RIOTS: Matlab työkaluja optimiohjaustehtävien ratkaisemiseksi
        • DIRCOL ja PAREST
    • Mallinnuskieliä
      • GAMS (General Algebraic Modeling System; eräs vanhimmista)
      • AMPL (A Modeling Language for Mathematical Programming)
      • MPL (Mathematical Programming Language; uudehko, opiskelijaversio saatavilla www-sivuilta)
    • Johdantoa ohjelmistoihin
      • Janne Kettunen - Xpress
      • Janne Karelahti - Snopt

  
  4. Visualisointeja ja demonstraatioita

  • Lineaarisille tehtäville
    • Primaali-Duaali sisäpistemenetelmä LP-tehtävälle
    • Anima-LP
    • LP Explorer 1.0
  • Epälineaarisille tehtäville
    • Kvadraattiset funktiot
  • Geneettisille algoritmeille
  • Dynaamisille tehtäville
  • Erilaisten optimointitehtävien demonstraatioita ja visualisointeja
  • Konveksin kuoren laskeminen

  
  5. Kirjallisuus

  • Perusteoksia
    • H. A. Taha, Operations Research, An Introduction, Prentice-Hall International, Inc., 1997
    • D. P. Bertsekas, Network optimization, Athena Scientific, 1998
    • R. Fletcher, Practical Methods of Optimization, Wiley, 1995
    • R. J. Vanderbei, Linear Programming, Foundations and Extensions, Kluwer, 1996
    • D. Bertsimas, & J.N. Tsitsiklis, Introduction to Linear Optimization, Athena Scientific, 1997.
    • M. S. Bazaraa, H. D. Sherali, & C. M. Shetty, Nonlinear Programming: Theory and Algorithms, Wiley, 1993.
    • Chong, E., & Zak, S., An Introduction to Optimization, Wiley-interscience, 2nd edition, 2001 (90.48 EUR postikuluineen)
    • Haataja, Optimointitehtävien ratkaiseminen, CSC, 1996
    • D. G. Luenberger, Introduction to Linear and Nonlinear Programming, Addison-Wesley, 1984.
    • Mangasarian, Nonlinear Programming, McGraw-Hill, 1969.
    • Nash, S.G. & Sofer, A., Linear and Nonlinear Programming, McGraw-Hill, 1995 (110.57 EUR postikuluineen)
    • Winston W.L., Operations Research Applications and Algorithms, Duxbury Press, 3rd edition, 1997 (65.09 EUR postikuluineen)
  • Algoritmien "keittokirjoja"
    • R. Fletcher, Practical Methods of Optimization, Wiley, 1987.
    • D. P. Bertsekas, Nonlinear Programming, Aethena Scientific, 1995.
    • N. Drakos, Mathematical optimization, verkkojulkaisu, 1995.
  • Numeeriikkaa
    • P. E. Gill, W. Murray, and M. H. Wright, Practical Optimization, Academic Press, 1981.
    • P. E. Gill, W. Murray, and M. H. Wright, Numerical Methods for Linear Algebra and Optimization: Volume 1, Addison Wesley, 1991.
    • Haataja, Heikonen, Leino, Rahola, Ruokolainen ja Savolainen, Numeeriset menetelmät käytännössä, CSC - Tieteellinen laskenta Oy, 1999.
  • Konveksin analyysin raamattu
    • Rockafellar, Convex Analysis, Princeton, 1970.
  • Tehtävistä, joissa käypä alue on ei-konveksi
    • A. V. Fiacco and G. P. McCormick, Nonlinear Programming; Sequential Unconstrained Minimization Techniques, John Wiley, 1968.
  • Tehtävistä, joissa rajoite-ehdoissa on optimointitehtävä
    • J.F. Bard, Practical Bilevel Optimization, Kluwer Academic Publishers, 1999.
  • Epäsileästä optimoinnista
    • F.H. Clarke, Optimization and Nonsmooth Analysis, Classics in Applied Mathematics 5., Society for Industrial and Applied Mathematics, 1990.
  • Monitavoiteoptimointi
    • P.-L. Yu, Multiple-Criteria Decision Making: Concepts, Techniques, and Extensions, Plenum Press, 1985.
    • R.E. Steuer, Multiple Criteria Optimization: Theory, Computation and Application, John Wiley & Sons, 1986.
    • K. Miettinen, Nonlinear Multiobjective Optimization, Kluwer Academic Publishers, Boston, 1999
  • Heuristiset optimointimenetelmät
    • L. F. Landweber and E. Winfree, Evolution as Computation, Springer, 2002
    • R. L. Haupt and S. E. Haupt, Practical Genetic Algorithms, Wiley, 1998
    • N. Ansari and E. Hou, Computational Intelligence for Optimization, Kluwer, 1997
    • W. M. Spears, Evolutionary Algorithms, Springer, 2000
    • H. Dawid, Adaptive Learning by Genetic Algorithms, Springer, 1999
    • D. L. Kreher and D. R. Stinson, Combinatorial Algorithms, CRC, 1999
  • LP-mallien kirjallisuuskokoelma

  6. Tieteellisiä seuroja ja lehtiä

  • Seuroja
    • Mathematical Programming Society
    • SIAM Activity Group on Optimization
    • Suomen Operaatiotutkimusseura
    • IFORS
    • IEEE Control System Society
    • IEEE System, Man, and Cybernetics Society
    • The International Society of Dynamic Games
  • TKK:n kirjaston elektroniset lehtitietokannat
  • Optimointilehtiä
    • SIAM Journal on Optimization
    • Applied Mathematics & Optimization
    • Mathematical programming
    • Journal of Global Optimization
    • Journal of Optimization Theory and Applications
    • Computational Optimization
    • Optimization online
    • Journal of Convex Analysis
  • OR-lehtiä
    • Computers & Operations Research
    • European Journal of Operational Research
    • Operations Research Letters
    • Management Science
    • Mathematics of Operations Research
    • Operations Research
    • Mathematical Methods of Operations Research

  
  7. Muita optimointikursseja

  • Yleisiä
    • Cambridge, Englanti
    • Princetonin yliopisto, USA
    • Wisconsinin yliopisto, USA
    • Tampereen teknillinen korkeakoulu, Suomi
    • Linköpingin yliopisto, Ruotsi (på svenska)
    • Uppsalan yliopisto, Ruotsi
    • Uumajan yliopisto, Ruotsi (på svenska)
  • Epälineaarinen ohjelmointi
    • MIT, USA
    • Stanford, USA
    • New Yorkin yliopisto, USA
    • Illinois, USA
    • Jerusalemin hebrean kielinen yliopisto, Israel
  • Lineaarinen ohjelmointi
    • Denverin yliopisto, USA
  • Muita
    • Konvekseista joukoista, Moskovan riippumaton yliopisto, Venäjä (po russkij)
    • Geneettisistä algoritmeista, Lillen teknillinen korkeakoulu, Ranska (en français)
    • Verkkomallit, Helsingin Kauppakorkeakoulu
    • Diskreetti optimointi, Münchenin teknillinen korkeakoulu, Saksa (auf Deutsch)
    • Algoritmien suunnittelu ja analyysi, Teknillinen Korkeakoulu, Suomi

  
  8. Muita linkkilistoja

  • Kaisa Miettinen
  • Tom Cavalier