Einführung in Optimierungsprobleme - Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen

(1)

Einführung in Optimierungsprobleme

- Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen Kriterien für Optimalität

- diﬀerenzierbarer Fall; hinreichende & notwendige Bedingung Dualität

- Lagrange Funktion, duales Problem Konvexe Analysis und Optimierung

- konvexe Mengen, konvexe Funktionen, Optimalitätskriterien Optimierungsalgorithmen

- Simplex-Methode

- primal-duale Methoden

- glatte Optimierung ohne Nebenbedingungen - Optimierung mit Nebenbedingungen

Optimierung

(2)

Optimierungsproblem

Einleitung: Idee und Motivation

(3)

Typen von Optimierungsproblemen

diskretes Optimierungsproblem

kombinatorisches Optimierungsproblem Optimierung in Banachräumen

Optimierung auf Mannigfaltigkeiten

(4)

Anwendungen

Portfolio-Optimierung

- investiere optimal Geld in n Aktien; x_i = Investment in Aktie i - Nebenbedingungen an Gesamtbudget, Positivität, ...

- Zielfunktion: Gesamtrisiko, Varianz des Einkommens, ...

Prozess- oder Produktoptimierung

- x_i = Produktionsmenge von Produkt i

- Nebenbedingungen durch begrenzte Ressourcen, Produktionskapazität, ...

- Zielfunktion: Proﬁt

Daten-Fitting

- x = Modellparameter

- Nebenbedingungen: A-priori-Information (Positivität etc.) - Zielfunktion: Diskrepanz zu gemessenen Daten

(5)

Beispiel 1: Optimierung eines Hochdruck-Gasnetzwerks

(6)

Beispiel 2: Least squares ﬁtting

(7)

Unterschied zur Variationsrechnung

- beide Felder sind eng verwandt

- Variationsrechnung untersucht Existenz von Minimierern und ihre Eigenschaften, typischerweise mit "Energiemethoden"

- Optimierung versucht Minimierer zu ﬁnden und leitet Kriterien für Optimalität her;

Betonung von numerischen Methoden

(8)

Fahrplan der Vorlesung

- Einführung in Optimierungsprobleme

- Kriterien für Optimalität

- Dualität

- Konvexe Optimierung

- Optimierungsalgorithmen

(Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen)

(diﬀerenzierbarer Fall; hinreichende und notwendige Bedingungen)

(Lagrange-Funktion, duales Problem)

(konvexe Mengen, konvexe Funktionen, Optimalitätskriterien)

- Simplex-Methode

- primal-duale Methoden

- glatte Optimierung ohne Nebenbedingungen - Optimierung mit Nebenbedingungen

(9)

Grundlegende Notation

Einleitung: Optimierungsprobleme

(10)

Grundlegende Begriﬀe

(11)

Beispiele

(12)

Equivalent optimization problems

Einleitung: Umformung von Optimierungsproblemen

(13)

Einfache Umformungen I

(14)

Einfache Umformungen II

(15)

Einfache Umformungen III

(16)

Einfache Umformungen IV

(17)

Motivation und Notation

Optimalitätskriterien: Optimierung ohne Nebenbedingungen

(18)

1. Ordnung notwendige Bedingung

Optimality criteria: Unconstrained optimization

(19)

2. Ordnung notwendige Bedingung

(20)

2. Ordnung hinreichende Bedingung

(21)

Beispiel in IR

(22)

Tangentialebene und reguläre Punkte

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(23)

Tangentialebene an regulären Punkten

(24)

1. Ordnung notwendige Bedingung I

(25)

1. Ordnung notwendige Bedingung II

(26)

2. Ordnung notwendige Bedingung

(27)

2. Ordnung hinreichende Bedingung

(28)

Beispiel

(29)

Aktive Menge & reguläre Punkte

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(30)

Karush-Kuhn-Tucker (KKT)-Bedingungen

(31)

2. Ordnung notwendige Bedingung

(32)

2. Ordnung hinreichende Bedingung

(33)

Beispiel

(34)

Lagrange-duale Funktion

Lagrange-Dualität: Duale Funktion

(35)

Untere Schranke an optimalen Wert

(36)

Beispiel: Minimum-Norm-Lösung und LP

(37)

Duales Problem

(38)

Beispiel: Duales Problem für LP

(39)

Starke versus schwache Dualität

Lagrange-Dualität: Starke Dualität

(40)

Beispiele

(41)

Geometrische Intuition und nichtkonvexe Probleme

(42)

Starke und schwache Dualität von Wertemengen

(43)

Sattelpunkt-Interpretation

(44)

Zertiﬁkate

Lagrange-Dualität: Optimalitätsbedingungen

(45)

Komplementarität

(46)

KKT-Bedingungen aus starker Dualität

(47)

Motivation

Konvexe Analysis: Konvexe Mengen

(48)

Deﬁnition & Beispiele konvexer Mengen

(49)

Beispiele II

(50)

Konvexkombinationen

(51)

Konvexe Hülle

(52)

Caratheodorys Theorem

(53)

Beispiele III: Normbälle

(54)

Beispiele IV: Simplices

(55)

Topologische Begriﬀe

Konvexe Analysis: Trennungssatz

(56)

Konvexitätserhaltende Operationen

(57)

Extremalpunkte

(58)

Eigenschaften von Extremalpunkten

(59)

Seiten

(60)

Exponierte Seiten

(61)

Projektionen

(62)

Orthogonale Projektionen

(63)

Trennung konvexer Mengen

(64)

Konsequ. der Trennungseigenschaft: Tragende Hyperebenen

(65)

Konsequ. der Trennungseigenschaft: Halbräume & Extr.-Punkte

(66)

Grundbegriﬀe

Konvexe Analysis: Konvexe Funktionen

(67)

Beispiele & Eigenschaften

(68)

Konvexität und Stetigkeit

(69)

Konvexe und aﬃne Funktionen

(70)

Diﬀerenzierbare konvexe Funktionen

(71)

Konvexität und Monotonie der ersten Ableitung

(72)

Konvexitätserhaltende Operationen

(73)

Unterhalbstetigkeit

(74)

Abgeschlossene konvexe Funktionen

(75)

Die konjugierte Funktion

Konvexe Analysis: Konjugierte Funktion

(76)

Die Bikonjugierte

(77)

Beispiele

(78)

Rechenregeln

(79)

Koerzivität und die Konjugierte

(80)

Das Subdiﬀerential

Konvexe Analysis: Das Subdiﬀerential

(81)

Subdiﬀerential und Richtungsableitung

(82)

Beziehung zu Ableitung

(83)

Beispiele und Eigenschaften

(84)

Beispiele und Eigenschaften (Forts.)

(85)

Subdiﬀerential und Konjugierte

(86)

Slaters Bedingung („constraint qualiﬁcation“)

Konvexe Analysis: (Starke) Dualität

(87)

Slaters Bedingung (Forts.)

(88)

Slaters Bedingung - geometrische Intuition

(89)

Folgerungen aus constraint qualiﬁcations

(90)

Fenchel-Rockafellar-Dualität

(91)

Fenchel-Rockafellar-Dualität (Forts.)

(92)

Fenchel-Rockafellar-Dualität: Erweiterungen

(93)

Fenchel-Rockafellar-Dualität & Lagrange-Dualität

(94)

Grundlagen lineare Programme

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

(95)

Beispiele

(96)

Basispunkte & Extremalpunkte

(97)

Idee des Simplex-Verfahrens

(98)

Algorithmus des Simplex-Verfahrens

(99)

Beispiele zum Simplex-Verfahren

(100)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Anwendungsbeispiel: ROF-Modell

(101)

Der Chambolle-Pock-Algorithmus

(102)

Breakout-Room 1: Berechne Formel für prox (y) Breakout-Room 2: Berechne Formel für prox (x) Breakout-Room 3: Berechne Matrix D, Dx, D y

Implementiere Verfahren als python-jupyter-Notebook unter https://jupyterhub.wwu.de/

Wähle τ<1/n, θ=1, v(x)~round(sin(4x))+round(cos(9x)) +Gauß-Rauschen

σF*

τG

T

(103)

Der Chambolle-Pock-Algorithmus II

(104)

Der Chambolle-Pock-Algorithmus III

(105)

Der Chambolle-Pock-Algorithmus IV

(106)

Struktur von Liniensuch-Verfahren

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

(107)

Schrittweiten-Kontrolle: Armijo-Bedingung

(108)

Schrittweiten-Kontrolle: Wolfe-Bedingung

(109)

Globale Konvergenz

(110)

Gradientenabstieg, steilster Abstieg, Newton-Verfahren

(111)

Optimalitäts-Schranken aus dem Gradienten

(112)

Experimentelle Konvergenzrate

octave:1> f = @(x) x.^4/4 - 5*x.^3/3 + 3*x.^2;

octave:2> df = @(x) x^3 - 5*x^2 + 6*x; % = x*(x-2)*(x-3) octave:3> d2f = @(x) 3*x^2 - 10*x + 6;

octave:4> fun = @(x) deal(f(x),df(x),d2f(x));

octave:5> x = -1:.01:4;

octave:6> plot(x,f(x),'Linewidth',5);

octave:7> x0 = 1.3;

octave:8> maxIter = 100;

octave:9> [x,iterSteepest] = descendSteepest( fun, x0, maxIter, false );

octave:10> [x,iterNewton] = newtonMethod( fun, x0, maxIter, 1e-26, false );

octave:11> semilogy(1:length(iterSteepest),abs(iterSteepest),'r','Linewidth',5,...

> 1:length(iterNewton), abs(iterNewton), 'g','Linewidth',5);

(113)

Konvergenzrate Gradienten-/steilster Abstieg

(114)

Akzeptanz des Newton-Schritts

(115)

Konvergenzrate Newton-Verfahren

(116)

Komplexität des Newton-Verfahrens

(117)

Optimierungsalgorithmen: Nicht-innere-Punkt-Methoden

Bestrafungs-Methode

(118)

Optimierungsalgorithmen: Nicht-innere-Punkt-Methoden

Bestrafungs-Methode: Konvergenz

(119)

Optimierungsalgorithmen: Aktive-Mengen-Methoden für Ungleichungs-NB

Aktive-Mengen-Methode

(120)

Optimierungsalgorithmen: Aktive-Mengen-Methoden für Ungleichungs-NB

Aktive-Mengen-Methode: Konvergenz

(121)

Optimierungsalgorithmen: Glatte primal-duale Methoden

Lokale Konvexität

(122)

Lokale Dualität

(123)

Duale Probleme und Straﬀunktionen

(124)