Dies bedeutet, dass das Residuum r (Fehler der Approximation) or- thogonal zu dem von den Vekto- ren a1

Normalengleichungen

Eine N¨aherungsl¨osung f¨ur ein ¨uberbestimmtes lineares Gleichungssystem Ax −b kann man durch Minimierung der Norm des Residuumsr =Ax−b erhalten:

|Ax−b|² =

m

X

j=1

n

X

k=1

aj,kxk −bj

2

→min . Man bestimmt eine beste ApproximationPn

k=1xkak zub in dem von den Spalten a1, . . . ,an von Aaufgespannten UnterraumV = BildA. F¨ur eine reelle m×n-MatrixAerf¨ullt jede L¨osungx dieses sogenannten

Ausgleichsproblems die Normalengleichungen A^tA x =A^tb. Dies bedeutet, dass das Residuum

r (Fehler der Approximation) or- thogonal zu dem von den Vekto- ren a1, . . . ,an aufgespannten Un- terraum ist:

a^t_kr = 0,∀k ⇐⇒ A^tx−b ⊥V.

Die MatrixA^tAist quadratisch und hat Dimension n. Sie ist genau dann invertierbar, wenn RangA=n, d.h. wenn die Spaltena_k vonA linear unabh¨angig sind. In diesem Fall besitzt das Ausgleichsproblem eine eindeutige L¨osung.

Die Normalengleichungen sind auch im singul¨aren Fall l¨osbar. Das Residuum r ist auch dann eindeutig, die L¨osungx jedoch nicht.

Alle Aussagen gelten, allgemeiner, ebenfalls f¨ur komplexe Matrizen;A^t ist dabei durch die adjungierte Matrix A^∗= ¯A^tzu ersetzen.

Beweis

Minimalit¨at vonx ⇐⇒ ∀t ∈R,y ∈Rⁿ:

|A(x+ty)−b|² ≥ |Ax−b|², ∀t ∈R,∀y ∈Rⁿ Einsetzen der Definition der Norm,

|A(x+ty)−b|² = ((Ax −b)^t+t(Ay)^t)(Ax−b+tAy)

|Ax −b|² = (Ax−b)^t(Ax−b), und Vereinfachung mit r=Ax−b

p =tr^tAy+ty^tA^tr

| {z }

2ty^tA^tr

+t²y^tA^tAy ≥0

(r^tAy =y^tA^tr)

p: nicht-negative Parabel in t

p ≥0 genau dann, wenn y^t(A^tr) = 0 y beliebig =⇒ A^tr = (0, . . . ,0)^t

Beispiel

Regul¨ares und singul¨ares Ausgleichsproblem (i) RangAmaximal:

A=



 2 0 1 1 0 2



, b=



 0 3 0



 Normalengleichungen

5 1 1 5

| {z }

A^tA

x₁ x₂

= 3

3

| {z }

A^tb

eindeutige L¨osungx= 1/2 1/2 t

mit Residuum

r =Ax −b =



 1

−2 1





(ii) RangAnicht maximal:

A=



 2 4 1 2 0 0



, b=



 0 3 0





linear abh¨angige Spalten singul¨are Normalengleichungen 5 10

10 20

x₁ x2

= 3

6

L¨osung

x = 3/5

0

+t −2

1

, t ∈R

nicht eindeutig, aber eindeutiges Residuum

r =Ax−b=



 2 4 1 2 0 0





3/5−2t t

−



 0 3 0



=



 6/5

−12/5 0





Beispiel

Computer-Tomographie:

Rekonstruktion einer Dichte x(u,v) aus dem Intensit¨atsverlust von R¨ontgenstrahlen entlang von k B¨undeln aus `parallelen Geraden

R_i : (ui,vi) +R(cosϑi,sinϑi), i = 1, . . . ,m=k`

Approximation von x durch eine st¨uckweise konstante Funktion auf einem Raster von Quadraten Q_j und eine N¨aherung f¨ur die Linienintegrale

b_i = Z

R

x(u_i +tcosϑ_i,v_i+tsinϑ_i)dt≈

n

X

j=1

a_i,jx_j

mit x_j einer Approximation vonx(u,v) aufQ_j und a_i,j =|R_i∩ Q_j|

der L¨ange des Durchschnitts der GeradenR_i mit dem QuadratQ_j mn Ausgleichsproblem zur Bestimmung von x aus den Datenb Abbildung:

16×16 Raster, Winkel

ϑ= 0, π/32,2π/32, . . .

mit 16 parallelen Scan-Richtungen im Abstand der Rasterquadratbreite 32·16 = 512 Gleichungen f¨ur 16·16 = 256 Unbekannte