Seminarvortrag “Optimierungsmethoden in Banachräumen”

(1)

“Optimierungsmethoden in Banachräumen”

Klaus Eisentraut und Andreas Schmidt

5. Juli 2012

(2)

1 Einführung

2 Globale Konvergenz

3 Motivation für Newton-Verfahren

4 Newton-Verfahren in Banachräumen

(3)

Motivation

Gegeben sei das folgende Optimalsteuerungsproblem:

min

y∈H¹₀(Ω) u∈L²(Ω)

J(y,u)≔ 1

2||y−y_d||²

L²(Ω)+α

2||u||²_L2(Ω)

s.t. Ay=u, β_l ≤u≤β_r

(4)

Gegeben sei das folgende Optimalsteuerungsproblem:

min

y∈H¹₀(Ω) u∈L²(Ω)

J(y,u)≔ 1

2||y−y_d||²

L²(Ω)+α

2||u||²_L2(Ω)

s.t. Ay=u, β_l ≤u≤β_r wobei

• y∈H¹₀(Ω)Zustand

• u∈L²(Ω)Steuerung

• A : H¹₀(Ω)→H⁻¹(Ω)=(H₀¹(Ω))^∗linearer elliptischer Differentialoperator zweiter Ordnung, z.B.A=−∆

(5)

Motivation

Exkurs: Zum RaumH⁻¹

Betrachte f ∈H¹₀(Ω)undφ∈H₀¹(Ω)eine Testfunktion. Dann F(φ)≔−

Z

Ω

∇f · ∇φ= Z

Ω

(∆f )φ=(∆f, φ)_H1

0(Ω)^∗,H₀¹(Ω)

mitF : H¹₀(Ω)→R_{, also}∆f ∈(H₀¹(Ω))^∗≕H⁻¹(Ω).

Elemente ausH⁻¹ müssen keine Funktionen mehr sein, z.B.

δ∈H⁻¹(]−1; 1[), daH₀¹(]−1; 1[)⊂C(]−1; 1[).

Elemente ausH⁻¹ sind “noch(−1)-mal differenzierbar”, es sind

“einmal differenzierteL²-Funktionen”.

(6)

reduziertes Problem:

min

u∈L²(Ω)

1 2

A⁻¹u−y_d

2

L²(Ω)+ α

2||u||²_L2(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

(7)

Motivation

reduziertes Problem:

min

u∈L²(Ω)

1 2

A⁻¹u−y_d

2

L²(Ω)+ α

2||u||²_L2(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

→Minimierungsproblem im BanachraumL²(Ω)(hier sogar Hilbertraum)

(8)

Finde Klasse von global konvergenten Algorithmen für minw∈W f (w)

mit f : W →Rstetig Fréchet-differenzierbar.

(9)

Allgemeiner Algorithmus

Idee: Abstiegsmethoden, gehe iterativ "bergab"

(10)

Idee: Abstiegsmethoden, gehe iterativ "bergab"

→suche in jeder Iterationkeine Richtungskund eine Schrittweite σ_k>0:

f (w_k+σ_ks_k)< f (w_k) und

( f^′(wk),sk)W^∗,W <0

(11)

Algorithm 1 Allgemeine Iterationsvorschrift für Absteigemethoden Wähle einen Initialisierungspunktw0∈W

fork=0,1, . . . do Falls f^′(w_k)= 0, STOP.

Wähle Abstiegsrichtung sk ∈W : ( f^′(wk),sk)W^∗,W <0. Wähle Schrittweiteσ_k>0so, dass f (w_k+σ_ks_k)< f (w_k). Setzew_k+1 :=wk+σ_ksk

end for

(12)

d

dt f w_k+t s_k

||sk||_W _t=0

(13)

Betrachte d

dt f w_k+t s_k

||sk||_W

! _t=0

= ( f^′(wk),sk)W^∗,W

||sk||_W .

(14)

d

dt f w_k+t s_k

||sk||_W _t=0

= ( f (wk),sk)W^∗,W

||sk||_W .

Definition

1 Zulässigkeit der Suchrichtungen

(15)

Betrachte d

dt f w_k+t s_k

||sk||_W

! _t=0

= ( f^′(wk),sk)W^∗,W

||sk||_W .

Definition

1 Zulässigkeit der Suchrichtungen ( f^′(w_k),s_k)_W^∗_,W

||s_k||_W

k→∞−→ 0

(16)

d

dt f w_k+t s_k

||sk||_W _t=0

= ( f (wk),sk)W^∗,W

||sk||_W .

Definition

||s_k||_W

k→∞−→ 0 ⇒ f^′

_W∗

k→∞−→ 0

(17)

Betrachte d

dt f w_k+t s_k

||sk||_W

! _t=0

= ( f^′(wk),sk)W^∗,W

||sk||_W .

Definition

||s_k||_W

k→∞−→ 0 ⇒ f^′

_W∗

k→∞−→ 0

2 Zulässigkeit der Schrittweiten

(18)

d

dt f w_k+t s_k

||sk||_W _t=0

= ( f (wk),sk)W^∗,W

||sk||_W .

Definition

||s_k||_W

k→∞−→ 0 ⇒ f^′

_W∗

k→∞−→ 0

2 Zulässigkeit der Schrittweiten f (w_k+σ_ks_k)< f (w_k) ∀k,

f (w_k+σ_ks_k)− f (w_k)^k→∞−→ 0 ⇒

(19)

Betrachte d

dt f w_k+t s_k

||sk||_W

! _t=0

= ( f^′(wk),sk)W^∗,W

||sk||_W .

Definition

||s_k||_W

k→∞−→ 0 ⇒ f^′

_W∗

k→∞−→ 0

2 Zulässigkeit der Schrittweiten f (w_k+σ_ks_k)< f (w_k) ∀k,

f (w_k+σ_ks_k)− f (w_k)^k→∞−→ 0 ⇒ ( f^′(wk),sk)W^∗,W

||sk||_W

k→∞−→ 0.

(20)

Satz

Sei f eine stetig Fréchet-differenzierbare Funktion. Seien(wk),(sk) und(σk)generiert durch den Algorithmus 1. Weiterhin seien die Schrittweiten(σ_k)und die Suchrichtungen(s_k)zulässig. Sei zudem( f (wk))nach unten beschränkt. Dann gilt:

k→∞lim f^′(w_k)=0.

(21)

Beweis.

Sei f^∗:=inf_k≥0 f (w_k)>−∞.

(22)

Sei f^∗:=inf_k≥0 f (w_k)>−∞. Dann gilt wegen f (w_k+σ_ks_k)< f (w_k): f (wk)→ f^∗.

(23)

Beweis.

Betrachte

f (w₀)− f^∗=

∞

X

k=0

( f (w_k)− f (w_k+1))

=

∞

X

k=0

|f (w_k+σ_ks_k)− f (w_k)|

(24)

Betrachte

f (w₀)− f^∗=

∞

X

k=0

( f (w_k)− f (w_k+1))

=

∞

X

k=0

|f (w_k+σ_ks_k)− f (w_k)|

Damit gezeigt: f (wk+σksk)− f (wk)^k→∞−→ 0

(25)

Beweis.

Betrachte

f (w₀)− f^∗=

∞

X

k=0

( f (w_k)− f (w_k+1))

=

∞

X

k=0

|f (w_k+σ_ks_k)− f (w_k)|

Damit gezeigt: f (wk+σksk)− f (wk)^k→∞−→ 0

⇒ ( f^′(wk),sk)W^∗,W

||s_k||_W

k→∞−→ 0 ⇒ f^′(w_k)

_W∗

k→∞−→ 0.

.

(26)

MitΦk(t)≔ f (w_k+ts_k):

(27)

Φ^′_k(0)=( f^′(wk),sk)W^∗,W

<! 0

andererseits Φ^′_k(0)=( f^′(wk),sk)W^∗,W ≥ −kf^′(wk)k_W∗kskk_W

(28)

Φ^′_k(0)=( f^′(wk),sk)W^∗,W

<! 0

andererseits Φ^′_k(0)=( f^′(wk),sk)W^∗,W ≥ −kf^′(wk)k_W∗kskk_W Davon ausgehend erhalten wir die “Winkelbedingung”

( f^′(w_k),s_k)_W^∗_,W ≤ −ηkf^′(w_k)k_W^∗ks_kk_W (1) für einη∈]0,1[.

(29)

Φ^′_k(0)=( f^′(wk),sk)W^∗,W

<! 0

andererseits Φ^′_k(0)=( f^′(wk),sk)W^∗,W ≥ −kf^′(wk)k_W∗kskk_W Davon ausgehend erhalten wir die “Winkelbedingung”

( f^′(w_k),s_k)_W^∗_,W ≤ −ηkf^′(w_k)k_W^∗ks_kk_W (1) für einη∈]0,1[.

(30)

Lemma

Wenn die Suchrichtungen die Winkelbedingung ( f^′(w_k),s_k)_W^∗_,W ≤ −ηkf^′(w_k)k_W^∗ks_kk_W

erfüllt, dann sind sie zulässig.

(31)

Lemma

Wenn die Suchrichtungen die Winkelbedingung ( f^′(w_k),s_k)_W^∗_,W ≤ −ηkf^′(w_k)k_W^∗ks_kk_W

erfüllt, dann sind sie zulässig.

Beweis.

Es gilt

f^′(wk)

_W∗ ≤ −1 η

( f^′(w_k),s_k,s_k)_W^∗_,W

||s_k||_W

(32)

Wie können wir zulässige Schrittweitenσ_kerhalten?

(33)

Armijo Schrittweitenregel

Wähle das größteσ_k∈ {1,¹₂,¹₄, . . .}:

f (w_k+σ_ks_k)≤ f (w_k)+ησ_k( f^′(w_k),s_k)_W^∗_,W, η∈]0,1[.

(34)

Wähle das größteσ_k∈ {1,₂,₄, . . .}:

0 1 2 3 4 5 6

-1 -0.5 0 0.5 1 1.5 2 2.5 3

x

f(x)

(35)

Wähle das größteσ_k∈ {1,¹₂,¹₄, . . .}:

0 0.5 1 1.5 2 2.5 3 3.5 4

0 0.5 1 1.5 2 2.5 3

x

f(1.5-x) f(1.5) - 0.1 x f’(1.5) f(1.5) - 0.8 x f’(1.5)

(36)

Lemma

Sei f^′gleichmäßig stetig aufN₀^ρ={w+s : f (w)≤ f (w0),||s||_W ≤ρ} für einρ >0. Dann gilt: für alleε >0existiert einδ >0so dass für allewk ∈Wmit f (wk)≤ f (w0)und alle sk ∈W mit

( f^′(w_k),s_k)_W^∗_,W

||s_k||_W ≤ −ε

gilt:

f (w_k+σs_k)− f (w_k)≤γσ( f^′(w_k),s_k)_W^∗_,W σ∈[0, δ/||s_k||_W].

(37)

Es gilt nach dem Mittelwertsatz für einτ_σ∈[0, σ]:

(38)

Es gilt nach dem Mittelwertsatz für einτ_σ∈[0, σ]: f (w_k+σs_k)− f (w_k)=σ( f^′(w_k+τ_σs_k),s_k)_W^∗_,W

(39)

Es gilt nach dem Mittelwertsatz für einτσ∈[0, σ]: f (wk+σsk)− f (wk)=σ( f^′(wk+τσsk),sk)W^∗,W

≤σ( f^′(w_k),s_k)_W^∗_,W+ σ

f^′(w_k+τσs_k)− f^′(w_k)

_W∗||s_k||_W

(40)

Es gilt nach dem Mittelwertsatz für einτ_σ∈[0, σ]: f (w_k+σs_k)− f (w_k)=σ( f^′(w_k+τ_σs_k),s_k)_W^∗_,W

≤σ( f^′(w_k),s_k)_W^∗,W+ σ

f^′(wk+τ_σsk)− f^′(wk)

_W∗||sk||_W

=γσ( f^′(wk),sk)W^∗,W+ρk(σ)

wobei

ρ_k(σ)≔(1−γ)σ( f^′(w_k),s_k)_W^∗_,W+σ

f^′(w_k+τ_σs_k)− f^′(w_k)

_W∗||s_k||_W.

(41)

Es gilt nach dem Mittelwertsatz für einτσ∈[0, σ]: f (wk+σsk)− f (wk)=σ( f^′(wk+τσsk),sk)W^∗,W

≤σ( f^′(wk),sk)W^∗,W+ σ

_W∗||s_k||_W

=γσ( f^′(w_k),s_k)_W^∗_,W+ρ_k(σ)

wobei

ρk(σ)≔(1−γ)σ( f^′(wk),sk)W^∗,W+σ

f^′(wk+τσsk)− f^′(wk)

_W∗||sk||_W. Zeige nochρ_k(σ)≤0.

(42)

Wir wählenδ∈]0, ρ[so klein, dass gilt:

_W∗ <(1−γ)ε, ∀σ∈[0, δ/||sk||_W].

(43)

_W∗ <(1−γ)ε, ∀σ∈[0, δ/||sk||_W].

Die Wahl ist möglich, da||τ_σs_k||_W ≤σ||s_k||_W ≤δ.

(44)

_W∗ <(1−γ)ε, ∀σ∈[0, δ/||sk||_W].

Die Wahl ist möglich, da||τ_σs_k||_W ≤σ||s_k||_W ≤δ.Damit:

ρ_k(σ)=(1−γ)σ( f^′(w_k),s_k)_W^∗_,W +σ

_W∗||s_k||_W

≤ −(1−γ)εσ||s_k||_W+(1−γ)εσ||s_k||_W =0.

(45)

Die Zulässigkeit der Schrittweiten folgt aus dem folgenden Lemma

Sei f^′gleichmäßig stetig aufN₀^ρ={w+s : f (w)≤ f (w0),||s||_W ≤ρ} für einρ >0. Seien die Schritteσ_k durch die Armijoregel generiert und die Abstiegsrichtung nicht zu kurz im folgenden Sinn:

||sk||_W ≥Φ −( f^′(w_k),s_k)_W^∗_,W

||s_k||_W

! ,

wobeiΦ: [0,∞[→[0,∞[monoton steigend undΦ(t)>0für alle t>0. Dann sind die Schrittweitenσ_kzulässig.

Beweis.

Vgl. [1] Seite 102 f.

(46)

werden?

(47)

Abstiegsrichtung?

SeiWreeller Banachraum. Welche Abstiegsrichtung soll gewählt werden?

Allgemein: Wähle sk =tdsd,t>0,wobeidsd

||d||min_W=1( f^′(w),d)W^∗,W

löst.

(48)

werden?

||d||min_W=1( f^′(w),d)W^∗,W

löst. Im Hilbertraum mitW=W^∗gilt:

(49)

Abstiegsrichtung?

||d||min_W=1( f^′(w),d)W^∗,W

||d||min_W=1( f^′(w),d)W^∗,W = min

||d||_W=1(∇f (w),d)W^∗,W

(50)

werden?

||d||min_W=1( f^′(w),d)W^∗,W

||d||min_W=1( f^′(w),d)W^∗,W = min

||d||_W=1(∇f (w),d)W^∗,W ≥ −||∇f (w)||_W

(51)

Abstiegsrichtung?

||d||min_W=1( f^′(w),d)W^∗,W

||d||min_W=1( f^′(w),d)W^∗,W = min

||d||_W=1(∇f (w),d)W^∗,W ≥ −||∇f (w)||_W

=h∇f (w),− ∇f (w)

||∇f (w)||_Wi

W

(52)

werden?

||d||min_W=1( f^′(w),d)W^∗,W

||d||min_W=1( f^′(w),d)W^∗,W = min

||d||_W=1(∇f (w),d)W^∗,W ≥ −||∇f (w)||_W

=h∇f (w),− ∇f (w)

||∇f (w)||_Wi

W

Wähle also

s_k =− ∇f (w_k)

||∇f (wk)||_W

(53)

Optimierung auf abgeschlossenen konvexen Mengen

SeiS ⊂Wabgeschlossene, konvexe Menge.

Betrachte

minw∈S f (w).

(54)

Beispiel

SeiS ={w∈R²: w₁ ≥0, w₁+w₂≥3}. Betrachte die Funktion f (w)=5w²₁+w²₂

(55)

Beispiel

Am Punktwk =(1,2)^T gilt∇f (wk)=(10,4)^T mit Abstiegsrichtung s_k=−(1,2)^T.

(56)

Beispiel

Abstiegsrichtung, denn∇f (w_k)^Ts_k =−18.

(57)

Beispiel

Abstiegsrichtung, denn∇f (w_k)^Ts_k =−18. Es gilt aber P_S(w_k+σs_k)=· · ·= 1

2

! + σ

2 1

−1

!

und damit

∇f (wk)^T 1

−1

!

=6

(58)

Sei

p(w)=w−P_S(w− ∇f (w)).

Algorithm 2 Projizierte Gradientenmethode Wähle einen Initialisierungspunktw₀∈S fork=0,1, . . . do

Falls p(wk)=0, STOP.

Setzes_k =−∇f (w_k).

Wähle Schrittweiteσ_k>0so dass f (P_S(w_k+σ_ks_k))< f (w_k). Setzew_k+1 :=PS(wk+σ_ksk)

end for

(59)

Projizierte Gradientenmethode

Wähle das Maximumσk ∈ {1,¹₂,¹₄, . . .}, für das gilt:

f (P_S(w_k+σ_ks_k))− f (w_k)≤ − γ σk

kP_S(w_k+σ_ks_k)−w_kk²_W.

(60)

Setze

p(w)=w−PS(w− ∇f (w)).

(61)

Projizierte Gradientenmethode

Wähle das Maximumσk ∈ {1,¹₂,¹₄, . . .}, für das gilt:

Setze

p(w)=w−PS(w− ∇f (w)).

Lemma

Sei W ein Hilbertraum und f : W →Reine auf einer Umgebung der abgeschlossenen konvexen Menge S stetig

Fréchet-differenzierbare Funktion. Dann terminiert die

Schrittweitensuche der projizierten Armijo-Regel für allew_k∈S mit p(w_k),0.

Beweis.

Vgl. [1] Seite 107 f.

(62)

Satz

SeiWein Hilbertraum, f : W →Reine stetig

Fréchet-differenzierbare Funktion die nach unten beschränkt ist.

SeiS ⊂Wnicht leer, konvex und abgeschlossen. Betrachte das projizierte Gradientenverfahren. Sei weiterhin∇f α-Hölderstetig auf

N₀^ρ ={w+s : f (w)≤ f (w₀),ksk_W ≤ρ}.

Dann gilt:

k→∞limkp(wk)k_W =0.

Beweis.

Vgl. [1] Seite 108

(63)

Motivation

Betrachte nochmals reduziertes Problem aus Einführung:

min

u∈L²(Ω)

1 2

A⁻¹u−yd

2

L²(Ω)+ α 2||u||²

L²(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

(64)

min

u∈L²(Ω)

1 2

A⁻¹u−yd

2

L²(Ω)+ α 2||u||²

L²(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

Aus Vorlesung bekannt:

S =n

u∈L²(Ω) :βl≤u≤βr

o (2)

(65)

Motivation

min

u∈L²(Ω)

1 2

A⁻¹u−yd

2

L²(Ω)+ α 2||u||²

L²(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

S =n

o (2) u∈S, ∀v∈S : h∇J(u),ˆ v−ui_L2(Ω)≥0 (3)

(66)

min

u∈L²(Ω)

1 2

A⁻¹u−yd

2

L²(Ω)+ α 2||u||²

L²(Ω)=: ˆJ(u) s.t. β_l ≤u≤β_r

S =n

o (2) u∈S, ∀v∈S : h∇J(u),ˆ v−ui_L2(Ω)≥0 (3) Idee: Formuliere Variationsungleichung (3) zu einer Gleichung um.

(67)

Motivation

Lemma

Sei W ein Hilbertraum,C⊂Wnicht leer, abgeschlossen und konvex. Sei mitPdie Projektion aufCbezeichnet. Dann sind für alley∈Wund alleθ >0die folgenden Aussagen äquivalent:

w∈C, hy,v−wi_W ≥0 ∀v∈C. (4)

w−P(w−θy)=0. (5)

Beweis.

vgl. [1], Seite 69

(68)

Lemma

w∈C, hy,v−wi_W ≥0 ∀v∈C. (4)

w−P(w−θy)=0. (5)

Beweis.

vgl. [1], Seite 69

Damit können wir das Optimierungsproblem schreiben als:

Φ(u)≔u−P[βl,βr](u−θ∇J(u))ˆ =^! 0

(69)

Motivation

Lemma

w∈C, hy,v−wi_W ≥0 ∀v∈C. (4)

w−P(w−θy)=0. (5)

Beweis.

vgl. [1], Seite 69

Damit können wir das Optimierungsproblem schreiben als:

Φ(u)≔u−P[βl,βr](u−θ∇J(u))ˆ =^! 0

Problem reduziert auf Nullstellensuche im Banachraum

(70)

SeiF :Rⁿ→Rⁿ. Gesucht ist die Lösung von F(x)=0.

(71)

Kurze Wiederholung des Newtonverfahrens im

SeiF :Rⁿ→Rⁿ. Gesucht ist die Lösung von F(x)=0.

Iterationsvorschrift:

x_k+1= x_k−DF(x_k)⁻¹F(x_k)

(72)

Konvergenzeigenschaften des Newtonverfahrens:

(73)

• Sei f ∈C²(Rⁿ,Rⁿ)und ¯xLösung von f (x)= 0.

(74)

• Sei f ∈C²(Rⁿ,Rⁿ)und ¯xLösung von f (x)= 0.

• Für f ( ¯x)=0undD f ( ¯x)invertierbar, existiert eine Umgebung um ¯x, in der das Newtonverfahren lokal quadratisch

konvergiert.

(75)

Newtonfraktal fürz7→z³−1

Quelle: Wikipedia

(76)

Bestimme Lösung von

G(x)=0, G : X →Y

(77)

verallgemeinertes Newtonverfahren

Bestimme Lösung von

G(x)=0, G : X →Y

Algorithm 4 verallgemeinertes Newton-Verfahren

1: Wählex₀ ∈X(hinreichend nahe an der Lösung ¯x)

2: fork=0,1,2, . . . do

3: Wähle einen invertierbaren Operator Mk ∈ L(X,Y).

4: Berechne s_k durch Lösen von M_ks_k = −G(x_k) und setze x_k+1 = xk+sk.

5: end for

(78)

Frage: Konvergiert verallgemeinertes Newtonverfahren bei geeigneter Wahl vonMk?

(79)

Seid_k ≔ x_k− ¯x.

(80)

d_k+1 =x_k+1− ¯x

=xk+sk− ¯x

=M_k⁻¹(Mkdk−G(xk))

=M_k⁻¹(G( ¯x)+M_kd_k−G(x_k))

(81)

d_k+1 =x_k+1− ¯x

=xk+sk− ¯x

=M_k⁻¹(Mkdk−G(xk))

=M_k⁻¹(G( ¯x)+M_kd_k−G(x_k))

Dieser Term soll klein werden.

(82)

Voraussetzungen:

(83)

Voraussetzungen:

• Regularitätsbedingung

∀k≥0 : M_k⁻¹

_L(Y_,X)≤C (6)

(84)

Voraussetzungen:

∀k≥0 : M_k⁻¹

_L(Y_,X)≤C (6)

• Approximationsbedingung

||G( ¯x+dk)−G( ¯x)−Mkdk||_Y =o(||dk||_X)für||dk||_x →0 (7)

(85)

Voraussetzungen:

∀k≥0 : M_k⁻¹

_L(Y_,X)≤C (6)

• Approximationsbedingung

||G( ¯x+dk)−G( ¯x)−Mkdk||_Y =o(||dk||_X)für||dk||_x →0 (7)

• alternative Approximationsbedingung:

||G( ¯x+d_k)−G( ¯x)−M_kd_k||_Y =O(||d_k||^1+α_X )für||d_k||_x →0 (8)

(86)

Seien die Regularitätsbedingung und die Approximationsbedingung erfüllt.

(87)

Dann gilt:

||d_k+1||_X =

M_k⁻¹(G( ¯x)+M_kd_k−G(x_k)) _X

(88)

Dann gilt:

||d_k+1||_X =

M_k⁻¹(G( ¯x)+M_kd_k−G(x_k)) _X

≤ M_k⁻¹

_L(Y_,X)||G( ¯x)+Mkdk−G(xk)||_X

=o(||dk||_X)

=o(||xk− ¯x||_X)

(89)

Dann gilt:

||d_k+1||_X =

M_k⁻¹(G( ¯x)+M_kd_k−G(x_k)) _X

≤ M_k⁻¹

_L(Y_,X)||G( ¯x)+Mkdk−G(xk)||_X

=o(||dk||_X)

=o(||xk− ¯x||_X)

Ähnlich können wir abschätzen, wenn die Regularitätsbedingung und die alternative Approximationsbedingung erfüllt sind.

(90)

Wir haben gezeigt:

(91)

Wir haben gezeigt:

Satz

SeiG : X →Ygegeben,XundY Banachräume. Seix0

hinreichend nahe an ¯x, der Lösung der GleichungG(x)=0und seien die Regularitäts- und die (alternative)

Approximationsbedingung erfüllt. Dann giltxk→ ¯xsuperlinear (mit Konvergenzordnung(1+α)).

(92)

SeiGnun stetig Fréchet-differenzierbar. Wähle dann M_k=G^′(x_k).

(93)

Klassischer Newton als Spezialfall

SeiGnun stetig Fréchet-differenzierbar. Wähle dann M_k=G^′(x_k). Es gilt:

||G( ¯x+d_k)−G( ¯x)−M_kd_k||_Y =

G( ¯x+d_k)−G( ¯x)−G^′( ¯x+d_k)d_k _Y ≤