verallgemeinertes Newton-Verfahren

1: Wählex₀ ∈X(hinreichend nahe an der Lösung ¯x)

2: fork=0,1,2, . . . do

3: Wähle einen invertierbaren Operator Mk ∈ L(X,Y).

4: Berechne s_k durch Lösen von M_ks_k = −G(x_k) und setze x_k+1 = xk+sk.

5: end for

Frage: Konvergiert verallgemeinertes Newtonverfahren bei geeigneter Wahl vonMk?

verallgemeinertes Newtonverfahren

Frage: Konvergiert verallgemeinertes Newtonverfahren bei geeigneter Wahl vonMk?

Seid_k ≔ x_k− ¯x.

Frage: Konvergiert verallgemeinertes Newtonverfahren bei geeigneter Wahl vonMk?

Seid_k ≔ x_k− ¯x.

d_k+1 =x_k+1− ¯x

=xk+sk− ¯x

=M_k⁻¹(Mkdk−G(xk))

=M_k⁻¹(G( ¯x)+M_kd_k−G(x_k))

verallgemeinertes Newtonverfahren

Frage: Konvergiert verallgemeinertes Newtonverfahren bei geeigneter Wahl vonMk?

Seid_k ≔ x_k− ¯x.

d_k+1 =x_k+1− ¯x

=xk+sk− ¯x

=M_k⁻¹(Mkdk−G(xk))

=M_k⁻¹(G( ¯x)+M_kd_k−G(x_k))

Dieser Term soll klein werden.

Voraussetzungen:

verallgemeinertes Newtonverfahren

Voraussetzungen:

verallgemeinertes Newtonverfahren

Seien die Regularitätsbedingung und die Approximationsbedingung erfüllt.

verallgemeinertes Newtonverfahren

Seien die Regularitätsbedingung und die Approximationsbedingung erfüllt.

Seien die Regularitätsbedingung und die

verallgemeinertes Newtonverfahren

Seien die Regularitätsbedingung und die Approximationsbedingung erfüllt.

Ähnlich können wir abschätzen, wenn die Regularitätsbedingung und die alternative Approximationsbedingung erfüllt sind.

Wir haben gezeigt:

verallgemeinertes Newtonverfahren

Wir haben gezeigt:

Satz

SeiG : X →Ygegeben,XundY Banachräume. Seix0

hinreichend nahe an ¯x, der Lösung der GleichungG(x)=0und seien die Regularitäts- und die (alternative)

Approximationsbedingung erfüllt. Dann giltxk→ ¯xsuperlinear (mit Konvergenzordnung(1+α)).

SeiGnun stetig Fréchet-differenzierbar. Wähle dann M_k=G^′(x_k).

Klassischer Newton als Spezialfall

SeiGnun stetig Fréchet-differenzierbar. Wähle dann M_k=G^′(x_k).

Also erfülltGdie Approximationsbedingung.

Klassischer Newton als Spezialfall

Also erfülltGdie Approximationsbedingung.

IstG^′sogarα-Hölder-stetig um ¯x, erhalten wir ähnlich die alternative Approximationsbedingung.

Die Regularitätsbedingung lautet hier

∀k≥0 :

(G^′(x_k))⁻¹

_L(Y,X)≤C

Klassischer Newton als Spezialfall

Die Regularitätsbedingung lautet hier

∀k≥0 :

Hinreichende Bedingung nach Satz von Banach über den inversen Operator, vgl. [3], Satz 4.3

G^′( ¯x)∈ L(X,Y)ist invertierbar.

→vgl.Rⁿ_!

Insgesamt:

Klassischer Newton als Spezialfall

Insgesamt:

Satz

SeiG : X →Ystetig Fréchet-differenzierbar und seiG^′( ¯x) invertierbar. Dann konvergiert das verallgemeinerte

Newtonverfahren mit M_k =G^′(x_k)lokal superlinear. FallsG^′in einer Umgebung von ¯xzusätzlichα-Hölder-stetig, dann Konvergenzordnung1+α.

Verallgemeinertes Differential und Semiglattheit

Idee: FallsGnicht glatt, brauchen wir Ersatz fürG^′.

Betrachte mengenwertige Funktion∂G : X ⇒L(X,Y)und wähle M_k ∈∂G(x_k).

Betrachte mengenwertige Funktion∂G : X (X,Y)und wähle M_k ∈∂G(x_k).

Approximationsbedingung lautet dann sup

M∈∂G( ¯x+d)

||G( ¯x+d)−G( ¯x)−Md||_Y=o(||d||_X)für||d||_X →0

Verallgemeinertes Differential und Semiglattheit

Idee: FallsGnicht glatt, brauchen wir Ersatz fürG^′.

Betrachte mengenwertige Funktion∂G : X ⇒L(X,Y)und wähle M_k ∈∂G(x_k).

SeiG : X →Ystetig Fréchet-differenzierbar, dannG{G^′}-semiglatt mit{G^′}(x)≔{G^′(x)}

Verallgemeinertes Differential und Semiglattheit

SeiG : X →Ystetig Fréchet-differenzierbar, dannG{G^′}-semiglatt mit{G^′}(x)≔{G^′(x)}

Clarkes verallgemeinertes Differential:

SeiG : X →Ystetig Fréchet-differenzierbar, dannG{G^′}-semiglatt mit{G^′}(x)≔{G^′(x)}

Clarkes verallgemeinertes Differential:

SeiG :Rⁿ→R^mlokal Lipschitz-stetig. Dann

∂^clG(x)=^conv

M : xk→ x, G^′(xk)→M, Gdifferenzierbar beixk

Verallgemeinertes Differential und Semiglattheit

SeiG : X →Ystetig Fréchet-differenzierbar, dannG{G^′}-semiglatt mit{G^′}(x)≔{G^′(x)}

Clarkes verallgemeinertes Differential:

SeiG :Rⁿ→R^mlokal Lipschitz-stetig. Dann

∂^clG(x)=^conv

M : xk→ x, G^′(xk)→M, Gdifferenzierbar beixk

→wohldefiniert nach Satz von Rademacher

Beispiel:

Verallgemeinertes Differential und Semiglattheit

Beispiel: Betrachte f :R→R, f (x)≔P[βl;βr](x).

Beispiel: Betrachte f :R→R, f (x)≔P[βl;βr](x).

⇒∂^clf (x)=















{0} x< βl∨x> βr

{1} β_l < x< β_r

conv{0,1}=[0; 1] x=β_l∨x=β_r

Verallgemeinertes Differential und Semiglattheit Ableitung zwischen 0 und 1

P_[0;1](x)

Idee: Newtonverfahren auf semiglatte Funktionen anwenden.

Newton-Verfahren für semiglatte Funktionen

Idee: Newtonverfahren auf semiglatte Funktionen anwenden.

Regularitätsbedingung:

Idee: Newtonverfahren auf semiglatte Funktionen anwenden. Lokale superlineare Konvergenz folgt direkt mit Definition von Semiglattheit.

Anwendung auf ein optimales Steuerungsproblem

Wir wollen unsere Theorie nun auf das Optimalsteuerungsproblem min

min

• Ω⊂Rⁿbeschränkte, offene Teilmenge

• y∈H¹₀(Ω)Zustand

• u∈L²(Ω)Steuerung

• A : H¹₀(Ω)→H⁻¹(Ω)ein linearer, elliptischer Differentialoperator (z.B.−∆⁾

• B∈ L(L^q(Ω),H⁻¹(Ω)),q∈[1; 2[Kontrolloperator

• r ∈H⁻¹(Ω)

Anwendung auf ein optimales Steuerungsproblem

Reduziere Problem mity=y(u)= A⁻¹(r+Bu): min

u∈L²(Ω)

J(u)ˆ = 1

2||y(u)−yd||²

L²(Ω)+ α 2||u||²

L²(Ω)

s.t. βl≤u≤βr

(10)

h∇J(u),ˆ di_L2(Ω) =hy(u)−yd,y^′(u)di_L2(Ω)+αhu,di_L2(Ω) =

=hy^′(u)^∗(y(u)−yd)+αu,di_L2(Ω)

Anwendung auf ein optimales Steuerungsproblem

h∇J(u),ˆ di_L2(Ω) =hy(u)−yd,y^′(u)di_L2(Ω)+αhu,di_L2(Ω) =

=hy^′(u)^∗(y(u)−yd)+αu,di_L2(Ω)

Also

∇J(u)ˆ =y^′(u)^∗(y(u)−y_d)+αu=αu+B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−y_d)=

≕αu+H(u)

h∇J(u),ˆ di_L2(Ω) =hy(u)−yd,y^′(u)di_L2(Ω)+αhu,di_L2(Ω) =

=hy^′(u)^∗(y(u)−yd)+αu,di_L2(Ω)

Also

∇J(u)ˆ =y^′(u)^∗(y(u)−y_d)+αu=αu+B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−y_d)=

≕αu+H(u)

DaB∈ L(L^q(Ω),H⁻¹(Ω)), istB^∗∈ L(H¹₀(Ω),L^p(Ω))mit ¹_p+ ¹_q =1, d.h. p>2.

Anwendung auf ein optimales Steuerungsproblem

h∇J(u),ˆ di_L2(Ω) =hy(u)−yd,y^′(u)di_L2(Ω)+αhu,di_L2(Ω) =

=hy^′(u)^∗(y(u)−yd)+αu,di_L2(Ω)

Also

∇J(u)ˆ =y^′(u)^∗(y(u)−y_d)+αu=αu+B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−y_d)=

≕αu+H(u)

DaB∈ L(L^q(Ω),H⁻¹(Ω)), istB^∗∈ L(H¹₀(Ω),L^p(Ω))mit ¹_p+ ¹_q =1, d.h. p>2. Weiter ist

H(u)=B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−yd)

ein affiner OperatorL²(Ω)→L^p(Ω)und somit auch lokal Lipschitz-stetig (sogar global).

h∇J(u),ˆ di_L2(Ω) =hy(u)−yd,y^′(u)di_L2(Ω)+αhu,di_L2(Ω) =

=hy^′(u)^∗(y(u)−yd)+αu,di_L2(Ω)

Also

∇J(u)ˆ =y^′(u)^∗(y(u)−y_d)+αu=αu+B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−y_d)=

≕αu+H(u)

DaB∈ L(L^q(Ω),H⁻¹(Ω)), istB^∗∈ L(H¹₀(Ω),L^p(Ω))mit ¹_p+ ¹_q =1, d.h. p>2. Weiter ist

H(u)=B^∗(A⁻¹)^∗(A⁻¹(r+Bu)−yd)

ein affiner OperatorL²(Ω)→L^p(Ω)und somit auch lokal Lipschitz-stetig (sogar global). H : L²(Ω)→L²(Ω)ist als affin lineare Funktion auch stetig Fréchet-differenzierbar.

Anwendung auf ein optimales Steuerungsproblem

Formuliere Problem als Operatorgleichung mitθ= ¹_α >0: Φ: L²(Ω)→L²(Ω)

Φ(u)=u−P[βl;βr](u−(1/α)(αu+H(u)))=u−P[βl;βr](−(1/α)H(u))=^! 0

Formuliere Problem als Operatorgleichung mitθ= ¹_α >0: Φ: L²(Ω)→L²(Ω)

Φ(u)=u−P[βl;βr](u−(1/α)(αu+H(u)))=u−P[βl;βr](−(1/α)H(u))=^! 0

gewünscht:Φ^semiglatt.

Anwendung auf ein optimales Steuerungsproblem

Problem:Φeben nicht semiglatt.

Lemma

SeiΨ:R→Reine Lipschitz-stetige, aber nicht affin-lineare Funktion. Weiter seiΩ⊂Rⁿoffen und beschränkt. Dann ist für alle q∈[1,∞[der Operator

Ψ: L^q(Ω)∋u7→Ψ(u(·))∈L^q(Ω)

nicht∂Ψ-semiglatt.

Lösung: Resultat aus [2]:

Anwendung auf ein optimales Steuerungsproblem

Lösung: Resultat aus [2]:

Satz

SeiΩmessbar mit0< λ(Ω)<∞_{. Sei}Ψ:R^m→RLipschitz-stetig.

Sei Y ein Banachraum,1≤q< p≤ ∞,G : Y →L^q(Ω)lokal Lipschitz-stetig undG : Y →L^p(Ω)stetig Fréchet-differenzierbar.

∂ΨG: Y ⇒L(Y,L^q(Ω))

∂ΨG(y)={M : Mv=g^T(G^′(y)v), g∈L^∞(Ω)^m,

g(x)∈∂^clΨ(G(y)(x))für fast alle x∈Ω}

Anwendung auf ein optimales Steuerungsproblem

Aus diesem allgemeinen Resultat folgt der Spezialfall:

Satz

Sei0< λ(Ω)<∞_, f : L²(Ω)→L²(Ω)stetig Fréchet-differenzierbar und∇f erfülle die Bedingung

Es existierenα >0undp>2, sodass∇f (u)=αu+H(u)mit H : L²(Ω)→L²(Ω)stetig Fréchet-differenzierbar,

H : L²(Ω)→L^p(Ω)lokal Lipschitz-stetig.

Satz

Sei0< λ(Ω)<∞_, f : L²(Ω)→L²(Ω)stetig Fréchet-differenzierbar und∇f erfülle die Bedingung

Es existierenα >0undp>2, sodass∇f (u)=αu+H(u)mit H : L²(Ω)→L²(Ω)stetig Fréchet-differenzierbar,

H : L²(Ω)→L^p(Ω)lokal Lipschitz-stetig.

Dann istΦ(u)=u−P[βl,βr](u− _α¹∇f (u)) ∂Φ^-semiglatt

Anwendung auf ein optimales Steuerungsproblem

Aus diesem allgemeinen Resultat folgt der Spezialfall:

Satz

Sei0< λ(Ω)<∞_, f : L²(Ω)→L²(Ω)stetig Fréchet-differenzierbar und∇f erfülle die Bedingung

Es existierenα >0undp>2, sodass∇f (u)=αu+H(u)mit

Beweis.

Setzeq=2,Ψ =P_[βl,βr]undG=−_α¹Him “allgemeinen” Satz.⇒ Semiglattheit vonΨG.

Anwendung auf ein optimales Steuerungsproblem

Beweis.

Setzeq=2,Ψ =P_[βl,βr]undG=−_α¹Him “allgemeinen” Satz.⇒ Semiglattheit vonΨG.

Φ =I−ΨG, also auch∂Φ-Semiglattheit vonΦund Formel für

∂Φ =I−∂Ψ^.

Beweis.

Setzeq=2,Ψ =P_[βl,βr]undG=−_α¹Him “allgemeinen” Satz.⇒ Semiglattheit vonΨG.

Φ =I−ΨG, also auch∂Φ-Semiglattheit vonΦund Formel für

vgl. Beispiel zu Clarkes verallgemeinertem Differential.

Anwendung auf ein optimales Steuerungsproblem

Voraussetzungen für diesen Spezialfall schon gezeigt, alsoΦ semiglatt.

Voraussetzungen für diesen Spezialfall schon gezeigt, alsoΦ semiglatt. Falls noch die Regularitätsbedingung

∀u∈L²(Ω)mit||u− ¯u||_L2(Ω)< δ: ∀M∈∂Φ(u) :

Anwendung auf ein optimales Steuerungsproblem

Voraussetzungen für diesen Spezialfall schon gezeigt, alsoΦ semiglatt. Falls noch die Regularitätsbedingung

∀u∈L²(Ω)mit||u− ¯u||_L2(Ω)< δ: ∀M∈∂Φ(u) : gilt, konvergiert das verallgemeinerte Newtonverfahren

M_ks_k =−Φ(u_k),

lokal superlinear.

Dabei

M_k ≔I+ 1

αg^k·H^′(u_k)= I+ 1

αg^k·B^∗(A⁻¹)^∗A⁻¹B.

Anwendung auf ein optimales Steuerungsproblem

Hinze, Pinnau, Ulbrich S., Ulbrich M.: Optimization with PDE Constraints, Springer Science + Business Media B.V (2009) Ulbrich, M.: Semismooth Newton methods for operator equations in function spaces. SIAM J. Optim. 13, 805–841 (2003)

T. Schick: Kurz-Skript zu “Funktionalanalysis I”,http://www3.

mathematik.tu-darmstadt.de/fileadmin/home/users/

186/Skripte_Roch/funk.pdf

Im Dokument Seminarvortrag “Optimierungsmethoden in Banachräumen” (Seite 77-140)