• Keine Ergebnisse gefunden

Einführung in Optimierungsprobleme - Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen

N/A
N/A
Protected

Academic year: 2022

Aktie "Einführung in Optimierungsprobleme - Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen"

Copied!
124
0
0

Wird geladen.... (Jetzt Volltext ansehen)

Volltext

(1)

Einführung in Optimierungsprobleme

- Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen Kriterien für Optimalität

- differenzierbarer Fall; hinreichende & notwendige Bedingung Dualität

- Lagrange Funktion, duales Problem Konvexe Analysis und Optimierung

- konvexe Mengen, konvexe Funktionen, Optimalitätskriterien Optimierungsalgorithmen

- Simplex-Methode

- primal-duale Methoden

- glatte Optimierung ohne Nebenbedingungen - Optimierung mit Nebenbedingungen

Optimierung

(2)

Optimierungsproblem

Einleitung: Idee und Motivation

(3)

Typen von Optimierungsproblemen

Einleitung: Idee und Motivation

diskretes Optimierungsproblem

kombinatorisches Optimierungsproblem Optimierung in Banachräumen

Optimierung auf Mannigfaltigkeiten

(4)

Anwendungen

Einleitung: Idee und Motivation

Portfolio-Optimierung

- investiere optimal Geld in n Aktien; x_i = Investment in Aktie i - Nebenbedingungen an Gesamtbudget, Positivität, ...

- Zielfunktion: Gesamtrisiko, Varianz des Einkommens, ...

Prozess- oder Produktoptimierung

- x_i = Produktionsmenge von Produkt i

- Nebenbedingungen durch begrenzte Ressourcen, Produktionskapazität, ...

- Zielfunktion: Profit

Daten-Fitting

- x = Modellparameter

- Nebenbedingungen: A-priori-Information (Positivität etc.) - Zielfunktion: Diskrepanz zu gemessenen Daten

(5)

Beispiel 1: Optimierung eines Hochdruck-Gasnetzwerks

Einleitung: Idee und Motivation

(6)

Beispiel 2: Least squares fitting

Einleitung: Idee und Motivation

(7)

Unterschied zur Variationsrechnung

Einleitung: Idee und Motivation

- beide Felder sind eng verwandt

- Variationsrechnung untersucht Existenz von Minimierern und ihre Eigenschaften, typischerweise mit "Energiemethoden"

- Optimierung versucht Minimierer zu finden und leitet Kriterien für Optimalität her;

Betonung von numerischen Methoden

(8)

Fahrplan der Vorlesung

Einleitung: Idee und Motivation

- Einführung in Optimierungsprobleme

- Kriterien für Optimalität

- Dualität

- Konvexe Optimierung

- Optimierungsalgorithmen

(Minima, Maxima, zulässige Mengen, äquivalente Umformulierungen)

(differenzierbarer Fall; hinreichende und notwendige Bedingungen)

(Lagrange-Funktion, duales Problem)

(konvexe Mengen, konvexe Funktionen, Optimalitätskriterien)

- Simplex-Methode

- primal-duale Methoden

- glatte Optimierung ohne Nebenbedingungen - Optimierung mit Nebenbedingungen

(9)

Grundlegende Notation

Einleitung: Optimierungsprobleme

(10)

Grundlegende Begriffe

Einleitung: Optimierungsprobleme

(11)

Beispiele

Einleitung: Optimierungsprobleme

(12)

Equivalent optimization problems

Einleitung: Umformung von Optimierungsproblemen

(13)

Einfache Umformungen I

Einleitung: Umformung von Optimierungsproblemen

(14)

Einfache Umformungen II

Einleitung: Umformung von Optimierungsproblemen

(15)

Einfache Umformungen III

Einleitung: Umformung von Optimierungsproblemen

(16)

Einfache Umformungen IV

Einleitung: Umformung von Optimierungsproblemen

(17)

Motivation und Notation

Optimalitätskriterien: Optimierung ohne Nebenbedingungen

(18)

1. Ordnung notwendige Bedingung

Optimality criteria: Unconstrained optimization

(19)

2. Ordnung notwendige Bedingung

Optimalitätskriterien: Optimierung ohne Nebenbedingungen

(20)

2. Ordnung hinreichende Bedingung

Optimalitätskriterien: Optimierung ohne Nebenbedingungen

(21)

Beispiel in IR

Optimalitätskriterien: Optimierung ohne Nebenbedingungen

(22)

Tangentialebene und reguläre Punkte

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(23)

Tangentialebene an regulären Punkten

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(24)

1. Ordnung notwendige Bedingung I

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(25)

1. Ordnung notwendige Bedingung II

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(26)

2. Ordnung notwendige Bedingung

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(27)

2. Ordnung hinreichende Bedingung

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(28)

Beispiel

Optimalitätskriterien: Gleichungs-Nebenbedingungen

(29)

Aktive Menge & reguläre Punkte

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(30)

Karush-Kuhn-Tucker (KKT)-Bedingungen

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(31)

2. Ordnung notwendige Bedingung

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(32)

2. Ordnung hinreichende Bedingung

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(33)

Beispiel

Optimalitätskriterien: Ungleichungs-Nebenbedingungen

(34)

Lagrange-duale Funktion

Lagrange-Dualität: Duale Funktion

(35)

Untere Schranke an optimalen Wert

Lagrange-Dualität: Duale Funktion

(36)

Beispiel: Minimum-Norm-Lösung und LP

Lagrange-Dualität: Duale Funktion

(37)

Duales Problem

Lagrange-Dualität: Duale Funktion

(38)

Beispiel: Duales Problem für LP

Lagrange-Dualität: Duale Funktion

(39)

Starke versus schwache Dualität

Lagrange-Dualität: Starke Dualität

(40)

Beispiele

Lagrange-Dualität: Starke Dualität

(41)

Geometrische Intuition und nichtkonvexe Probleme

Lagrange-Dualität: Starke Dualität

(42)

Starke und schwache Dualität von Wertemengen

Lagrange-Dualität: Starke Dualität

(43)

Sattelpunkt-Interpretation

Lagrange-Dualität: Starke Dualität

(44)

Zertifikate

Lagrange-Dualität: Optimalitätsbedingungen

(45)

Komplementarität

Lagrange-Dualität: Optimalitätsbedingungen

(46)

KKT-Bedingungen aus starker Dualität

Lagrange-Dualität: Optimalitätsbedingungen

(47)

Motivation

Konvexe Analysis: Konvexe Mengen

(48)

Definition & Beispiele konvexer Mengen

Konvexe Analysis: Konvexe Mengen

(49)

Beispiele II

Konvexe Analysis: Konvexe Mengen

(50)

Konvexkombinationen

Konvexe Analysis: Konvexe Mengen

(51)

Konvexe Hülle

Konvexe Analysis: Konvexe Mengen

(52)

Caratheodorys Theorem

Konvexe Analysis: Konvexe Mengen

(53)

Beispiele III: Normbälle

Konvexe Analysis: Konvexe Mengen

(54)

Beispiele IV: Simplices

Konvexe Analysis: Konvexe Mengen

(55)

Topologische Begriffe

Konvexe Analysis: Trennungssatz

(56)

Konvexitätserhaltende Operationen

Konvexe Analysis: Trennungssatz

(57)

Extremalpunkte

Konvexe Analysis: Trennungssatz

(58)

Eigenschaften von Extremalpunkten

Konvexe Analysis: Trennungssatz

(59)

Seiten

Konvexe Analysis: Trennungssatz

(60)

Exponierte Seiten

Konvexe Analysis: Trennungssatz

(61)

Projektionen

Konvexe Analysis: Trennungssatz

(62)

Orthogonale Projektionen

Konvexe Analysis: Trennungssatz

(63)

Trennung konvexer Mengen

Konvexe Analysis: Trennungssatz

(64)

Konsequ. der Trennungseigenschaft: Tragende Hyperebenen

Konvexe Analysis: Trennungssatz

(65)

Konsequ. der Trennungseigenschaft: Halbräume & Extr.-Punkte

Konvexe Analysis: Trennungssatz

(66)

Grundbegriffe

Konvexe Analysis: Konvexe Funktionen

(67)

Beispiele & Eigenschaften

Konvexe Analysis: Konvexe Funktionen

(68)

Konvexität und Stetigkeit

Konvexe Analysis: Konvexe Funktionen

(69)

Konvexe und affine Funktionen

Konvexe Analysis: Konvexe Funktionen

(70)

Differenzierbare konvexe Funktionen

Konvexe Analysis: Konvexe Funktionen

(71)

Konvexität und Monotonie der ersten Ableitung

Konvexe Analysis: Konvexe Funktionen

(72)

Konvexitätserhaltende Operationen

Konvexe Analysis: Konvexe Funktionen

(73)

Unterhalbstetigkeit

Konvexe Analysis: Konvexe Funktionen

(74)

Abgeschlossene konvexe Funktionen

Konvexe Analysis: Konvexe Funktionen

(75)

Die konjugierte Funktion

Konvexe Analysis: Konjugierte Funktion

(76)

Die Bikonjugierte

Konvexe Analysis: Konjugierte Funktion

(77)

Beispiele

Konvexe Analysis: Konjugierte Funktion

(78)

Rechenregeln

Konvexe Analysis: Konjugierte Funktion

(79)

Koerzivität und die Konjugierte

Konvexe Analysis: Konjugierte Funktion

(80)

Das Subdifferential

Konvexe Analysis: Das Subdifferential

(81)

Subdifferential und Richtungsableitung

Konvexe Analysis: Das Subdifferential

(82)

Beziehung zu Ableitung

Konvexe Analysis: Das Subdifferential

(83)

Beispiele und Eigenschaften

Konvexe Analysis: Das Subdifferential

(84)

Beispiele und Eigenschaften (Forts.)

Konvexe Analysis: Das Subdifferential

(85)

Subdifferential und Konjugierte

Konvexe Analysis: Das Subdifferential

(86)

Slaters Bedingung („constraint qualification“)

Konvexe Analysis: (Starke) Dualität

(87)

Slaters Bedingung (Forts.)

Konvexe Analysis: (Starke) Dualität

(88)

Slaters Bedingung - geometrische Intuition

Konvexe Analysis: (Starke) Dualität

(89)

Folgerungen aus constraint qualifications

Konvexe Analysis: (Starke) Dualität

(90)

Fenchel-Rockafellar-Dualität

Konvexe Analysis: (Starke) Dualität

(91)

Fenchel-Rockafellar-Dualität (Forts.)

Konvexe Analysis: (Starke) Dualität

(92)

Fenchel-Rockafellar-Dualität: Erweiterungen

Konvexe Analysis: (Starke) Dualität

(93)

Fenchel-Rockafellar-Dualität & Lagrange-Dualität

Konvexe Analysis: (Starke) Dualität

(94)

Grundlagen lineare Programme

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

(95)

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

Beispiele

(96)

Basispunkte & Extremalpunkte

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

(97)

Idee des Simplex-Verfahrens

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

(98)

Algorithmus des Simplex-Verfahrens

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

(99)

Optimierungsalgorithmen: Simplex-Verfahren (lineare Optimierung)

Beispiele zum Simplex-Verfahren

(100)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Anwendungsbeispiel: ROF-Modell

(101)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Der Chambolle-Pock-Algorithmus

(102)

Breakout-Room 1: Berechne Formel für prox (y) Breakout-Room 2: Berechne Formel für prox (x) Breakout-Room 3: Berechne Matrix D, Dx, D y

Implementiere Verfahren als python-jupyter-Notebook unter https://jupyterhub.wwu.de/

Wähle τ<1/n, θ=1, v(x)~round(sin(4x))+round(cos(9x)) +Gauß-Rauschen

σF*

τG

T

(103)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Der Chambolle-Pock-Algorithmus II

(104)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Der Chambolle-Pock-Algorithmus III

(105)

Optimierungsalgorithmen: Primal-duale Optimierungsverfahren

Der Chambolle-Pock-Algorithmus IV

(106)

Struktur von Liniensuch-Verfahren

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

(107)

Schrittweiten-Kontrolle: Armijo-Bedingung

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

(108)

Schrittweiten-Kontrolle: Wolfe-Bedingung

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

(109)

Globale Konvergenz

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

(110)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Gradientenabstieg, steilster Abstieg, Newton-Verfahren

(111)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Optimalitäts-Schranken aus dem Gradienten

(112)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Experimentelle Konvergenzrate

octave:1> f = @(x) x.^4/4 - 5*x.^3/3 + 3*x.^2;

octave:2> df = @(x) x^3 - 5*x^2 + 6*x; % = x*(x-2)*(x-3) octave:3> d2f = @(x) 3*x^2 - 10*x + 6;

octave:4> fun = @(x) deal(f(x),df(x),d2f(x));

octave:5> x = -1:.01:4;

octave:6> plot(x,f(x),'Linewidth',5);

octave:7> x0 = 1.3;

octave:8> maxIter = 100;

octave:9> [x,iterSteepest] = descendSteepest( fun, x0, maxIter, false );

octave:10> [x,iterNewton] = newtonMethod( fun, x0, maxIter, 1e-26, false );

octave:11> semilogy(1:length(iterSteepest),abs(iterSteepest),'r','Linewidth',5,...

> 1:length(iterNewton), abs(iterNewton), 'g','Linewidth',5);

(113)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Konvergenzrate Gradienten-/steilster Abstieg

(114)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Akzeptanz des Newton-Schritts

(115)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Konvergenzrate Newton-Verfahren

(116)

Optimierungsalgorithmen: Liniensuch-Verfahren für Optimierung ohne NB

Komplexität des Newton-Verfahrens

(117)

Optimierungsalgorithmen: Nicht-innere-Punkt-Methoden

Bestrafungs-Methode

(118)

Optimierungsalgorithmen: Nicht-innere-Punkt-Methoden

Bestrafungs-Methode: Konvergenz

(119)

Optimierungsalgorithmen: Aktive-Mengen-Methoden für Ungleichungs-NB

Aktive-Mengen-Methode

(120)

Optimierungsalgorithmen: Aktive-Mengen-Methoden für Ungleichungs-NB

Aktive-Mengen-Methode: Konvergenz

(121)

Optimierungsalgorithmen: Glatte primal-duale Methoden

Lokale Konvexität

(122)

Optimierungsalgorithmen: Glatte primal-duale Methoden

Lokale Dualität

(123)

Optimierungsalgorithmen: Glatte primal-duale Methoden

Duale Probleme und Straffunktionen

(124)

Optimierungsalgorithmen: Glatte primal-duale Methoden

Augmentierte Lagrange-Methode: Motivation mittels Dualität

Referenzen

ÄHNLICHE DOKUMENTE

Mit C MV ^ 0 laBt sich der Darstellung (1.3.3) entnehmen, da6 die Funktionale //„ beziiglich Steiner- Symmetrisierung, also auch bei der Schwarzschen Abrundung und Kugelung

Falls eine Punktmenge nur ein Element enthält, ist dieser Punkt die konvexe Hülle Ansonsten zerlege die Punktmenge so in zwei Hälften, dass alle Punkte der einen Menge links von

Kant stellt fest, dass zwei als verschieden empfundene Objekte, etwa eine rechte und eine linke Hand, (idealisiert) in ihren metrischen Eigenschaften vollst¨andig

  Berechne für jedes Pixel im Inneren dessen baryzentrische Koordinaten bzgl. des

Im Unendlichdimensionalen ist der Trennungssatz prim¨ ar dann n¨ utzlich, wenn das tren- nende lineare Funktional auch stetig ist, da sich die Menge aller linearen stetigen

Beweis: Im Banachraum ist eine konvexe Menge genau dann abgeschlossen, wenn sie.. schwach

Ist etwa v konstant, so handelt es sich einfach um eine Translation, in der sich der innere Zustand des Festk¨ orpers nicht ¨ andert; dasselbe gilt, wenn x 7→ x + u(x) einer

Kapitel 6 betrachtet das VER-Problem für Anforderungen, welche durch konvexe Funktionen beschrieben werden und zeigt, dass dies ein konvexes Optimierungspro- blem darstellt..