2.2 Residuum basierende Algorithmen

2.2 Residuum basierende Algorithmen

2.2.1 Gewöhnliche Newton

Methode

Zur Erinnerung:

F‘(x^k) ∆x^k = - F(x^k), x^k+1 = x^k + ∆x^k, k = 0,1,… (2.63)

Wir analysieren hier die Konvergenz der iterativen

Residuen {F(x^k)}, die zur einer affinen kontravarianten Version vom Newton-Mysovskikh-Theorem führt.

Sei F:D ℜⁿ eine differenzierbare Funktion mit D⊂ℜⁿ offen und konvex und sei F'x invertierbar ∀x∈D.

Theorem 2.12:

Definieren die offene Menge:

L_ω:=

{

}

Weiter gelte die affine kontravariante Lipschitz-Bedingung:

∥  F'  y −F '  x    y− x ∥≤ ω∥F'  x  y − x ∥

für x,y ∈ D .

Für einen gegebenen Anfangswert x⁰ von einer unbekannten Lösung x* sei

h₀:=ω⋅∥Fx⁰∥2, dh. x⁰∈L_ω 2.64 Dann bleiben die gewöhnlichen Newton Iterierten {x^k} in L_ω und

konvergieren gegen einen Lösungspunkt x*∈L_ω mit Fx*=0.

Die iterativen Residuen {Fx^k} konvergieren dann gegen 0 bei einem geschätzten Wert:

∥F x^k1∥≤1

2 ω⋅∥Fx^k∥² 2.65

Beweis:

∥ F  x

 λΔ x

∥=∥ F  x

 F  x

 λΔ x

− F  x

∥

=∥Fx^k

∫

x^k x^kλΔx^k

F 'udu∥

=∥F  x

 ∫

^{F'  x}

^{t x Δ}

^{ Δ x}

^{dt ∥}

=∥ λ F  x

 ∫

^{F ' x}

^{ t x Δ}

^{ Δ x}

^{dt  1− λ  F  x}

^∥

=∥− λ F ' x

 Δ x

 ∫

^{F'  x}

^{t x Δ}

^{ Δ x}

^{dt  1 − λ  F  x}

^∥

=∥ ∫

^{ F'  x}

^{t x Δ}

^{−F '  x}

^{  Δ x}

^{dt  1− λ  F  x}

^∥

¿ω

∫

=ω

∫

=





^{¿  1 − λ  λ}

^{ ⋅∥ F  x}

^∥

¿

∫

^

^

⇒∥Fx^kλΔx^k∥2 ω

⇒ x^kt xΔ ^k∈L_ω für t∈

[

]

Nehmen nun an, dass x^k1∉L_ω. Dann existiert ein minimales λ∈





mit x^kλΔx^k∈∂L_ω

und ∥Fx^kλΔx^k∥





ω , Widerspruch!

Für λ = 1 bekommt man:

∥ F  x

 Δ x

∥=∥ F  x

∥≤  ^{1 − 1  1 2 ω ∥ F  x}

^∥  ^{⋅∥ F  x}

^{∥= 1 2 ω ⋅∥ F  x}

^∥

Um zu zeigen, dass die Newton Iterierten {x^k} gegen ein x*∈L_ω mit Fx*=0 konvergieren, führen wir die Kantorovich-Größen ein:

h_k:=ω⋅∥Fx^k∥ 2.66 Mit ihnen erhält man die quadratische Rekursion:

h_k1=ω⋅∥F x^k1∥1

2 ω²∥Fx^k ∥²=1 2 h

k2=





h₁





Durch wiederholte Induktion über k:

h_k1





k ∞

h_k=0.

erhält man eine monoton fallende Folge, die gegen 0 konvergiert.

Setzen wir jetzt wieder die Residuen {Fx^k} ein, erhalten wir

∥F x^k1∥∥Fx^k ∥2

ω ⇒ lim

k∞

∥Fx^k∥=0.

Bezüglich der Iterierten { x

} haben wir dann {x

}⊂L

.

Und da L

beschränkt ist, existiert ein Häufungspunkt x*

von {x

} mit F  x* =0.

D . h . x* ist unser Lösungspunkt in L

,aber nicht notwendigerweise

eindeutig.

Konvergenz-Monitor

Als nächstes wollen wir uns die Konvergenz des Theorems genauer betrachten. Dazu führen wir Kontraktionsfaktoren ein: Θ

: = ∥ F  x

∥

∥ F  x

∥

und schreiben h

 1

2 h

um in Θ

= h

h

 1

2 h

 2.68  Für k= 0 und wegen h

 2 erhalten wir die

Residuums-Monotonie Θ

 1  2.69 

Wann immer also Θ

≥1 ist, ist die Voraussetzung h

2 im Theorem 2.12 verletzt, was soviel heißt wie:

Der geschätzte Anfangswert x

ist nicht genügend dicht am Lösungspunkt x* .

Wir nehmen nun an, dass Θ₀1 ist.

Für die Konstruktion eines quadratischen Konvergenz-Monitors führen

wir ,für die unbekannten theoretischen Größen h_k, rechenbetonte gültige Abschätzungen

[

]

Mit Θ_k=h_k1 h_k ≤1

2 h_k definieren wir die rechenbetonte a-posteriori Abschätzung:

[

]

und, wenn h_k1=Θ_k h_k ist, die a-priori Abschätzung

[

]

[

]

=h²_k1 1 2 h_k²

≤h_k²_1

h_k1 =h_k1.

Durch die Identifikation von

[

]

[

]

Θ_k1≈Θ_k²≤Θ₀1.

Die Verletzung dieser Rekursion im milderen Fall:

Θ_k1Θ₀

oder im strengeren Fall:

Θ_k1≥2Θ_k²

bricht die gewöhnliche Newton Iteration als nicht konvergent ab.

Abbruchs-Kriterium

Diese affine kontravariante Theorie stimmt mit dem Abbruchs-Kriterium der Form

∥ F  x ∥≤ FTOL  2.70 

überein, wobei FTOL eine vom Benutzer vorgeschriebener

Residuums-Fehler-Toleranz-Wert ist.

Rechenbetonter Aufwand

Eine kurze Berechnung zeigt, dass für einen gegebenen Startwert x

, die Anzahl q der Iterationen  so dass x = x

die obige Abbruchs-Anforderung erreicht  erfüllt annähernd:

q≈ ld log  FTOL /∥ F  x

∥ 

log Θ

 2.71 

Mit anderen Worten, mit einem genügend gutem Startwert x

von einer vorliegenden Lösung x*, ist der rechenbetonter Aufwand vom nicht-linearem Problem vergleichbar mit dem Aufwand vom linearisierten Problem.

Solche Probleme werden manchmal auch einbisschen {} # nicht − linear genannt.

2.2.2 Vereinfachte Newton

Methode

Zur Erinnerung:

F'  x

 Δ x

=− F  x

 , x

= x

 Δ x

, k = 0,1,2,...  2.72 

Wir analysieren hier die Konvergenz bezüglich der iterativen Residuen { F  x

} , um eine affine kontravariante Nebenform des Newton-Kontorovich-Theorems zu bekommen

-ohne irgendwelche eindeutige Resultate.

Theorem 2.12:

Sei F:D ℜⁿ in C¹





Es gelte die folgende affine kontravariante Lipschitz-Bedingung:

∥





Definieren die Menge

L_ω:=

{

}

Für x⁰∈L_ω ist h₀:=ω⋅∥Fx⁰∥≤1

2 2.74

Dann bleiben die Iterierten {x^k} in L_ω und konvergieren gegen einen

Lösungspunkt x*. Die iterativen Residuen {Fx^k} Normen konvergieren gegen 0 bei einem geschätzten Wert:

∥Fx^k1∥

∥Fx^k∥ ≤1

2







2 t²_k, k=0,1,2,....

Beweis:

∥ F  x

∥=∥ F  x

 Δ x

 F  x

− F  x

∥

=∥− F'  x

 Δ x

 ∫

^{F'  x}

^{ t x Δ}

^{ Δ x}

^{dt ∥ =∥} ∫

^{ F ' x}

^{t x Δ}

^{−F'  x}

^{  Δ x}

^{dt ∥}

¿

∫

^

^

¿ ω⋅∥F'  x

 Δ x

∥⋅ ∫

^{∥F'  x}

^{ x}

^{− x}

^{t x Δ}

^∥dt

¿ω∥Fx^k∥⋅





=ω∥F x^k∥⋅





Führen nun die Majoranten ein:

ω ∥ F'  x

 x

− x

∥≤ t

und ω ∥ F'  x

 x

− x

∥=ω ∥F  x

∥≤h

mit den Anfangswerten t

=0 und h

= 1

2 .

Mit ∥ F'  x

 x

− x

∥=∥ F'  x

 x

− x

 x

− x

∥

=∥ F'  x

 x

− x

 F'  x

 x

− x

∥

≤∥ F'  x

 x

− x

∥∥ F'  x

 x

− x

∥

und mit ∥Fx^k∥≤ω∥Fx^k-1∥⋅





wir dieselben Majoranten-Gleichungen wie in Kapitel 2.12:

t_k1=h_kt_k und h_k=h_k−1





und mit diesen beiden Gleichungen erhalten wir:

t_k1−t_k=h_k=h_k−1⋅









¿t_k−t_k−1⋅1

2 t_kt_k−1=1

2 t²_k−t²_k−1

Die Umstellung dieser Gleichung erlaubt uns die Anwendung des Ortega-Tricks:

t_k1−1

2 t_k²=t_k−1

2 t_k²₋₁=t_k-1−1

2 t²_k−2=...=t₁−1

2 t₀²=t₁=h₀ Mit der skalaren Gleichung:

gt=h₀−t1

2 t²=0 erhalten wir wieder t_k1−t_k=t_k1−1

2 t²_k−t_k1

2 t_k²=h₀−t_k1

2 t_k²=−gt_k

g 't₀ =gt_k=h_k

und somit gt_k1gt_k

⇒ h_k1h_k

⇒ ∥Fx^k1∥∥F x^k∥≤ 1

2ω

ω∥ F  x

∥≤ h

Damit ist gezeigt, dass die vereinfachten Newton Iterierten {x^k} in L_ω⊂D bleiben. Für die Konvergenz gegen einen Lösungspunkt

x*∈L_ω⊂D können die gleichen Argumente angewandt werden, wie im Beweis davor .

Für

die Konvergenzrate benützen wir die Gleichung ∥F



^{1 2}



und

erhalten:

∥F x^k∥ ≤ω⋅∥

F'

1

2

1

2

1−  ¹

Konvergenz-Monitor

Für eine effektive Anwendung dieses Theorems definieren wir die Residuums-Kontraktionsfaktoren  k =0,1,2,... 

Θ

: = ∥F  x

∥

∥F  x

∥ ≤ 1

2  t

t

 .

Für k = 0 ist der lokale Konvergenz-Bereich charakterisiert mit Θ

≤ 1

2 t

= 1

2 h

≤ 1 4 ,

welches um einiges einschränkender ist als die Bedingung

Θ

 1 für die gewöhnliche Newton Methode.