1 Lineare Gleichungssysteme

D-CHAB und D-BIOL: Zusammenfassung Lineare Algebra

Hansruedi K¨unsch, D-MATH, ETHZ Fr¨uhlingssemester 2011

1 Lineare Gleichungssysteme

Ein lineares Gleichungssystem mit m Gleichungen undnUnbekannten hat die Form a₁₁x₁ + a₁₂x₂ + . . . + a_1nx_n = b₁

a₂₁x₁ + a₂₂x₂ + . . . + a_2nx_n = b₂

... ... = ...

am1x1 + am2x2 + . . . + amnxn = bm.

Dabei sind die Koeffizienten a_ik und die rechten Seiten bi vorgegebenen und die x_k sind gesucht.

Der Gaussalgorithmus formt dieses Gleichungssystem in ein anderes, einfacheres System um, welches die gleiche L¨osungsmenge hat. Einfacher heisst hier, dass die i-te Gleichung nur die Unbekannten x_i, x_i+1, . . . x_n enth¨alt. Die L¨osungen eines solchen Systems sind leicht zu bestimmen, siehe unten. Die Umformungen bestehen darin, dass man Gleichungen vertauscht und von einer Gleichung ein Vielfaches einer andern Gleichung subtrahiert. Zur Vereinfachung f¨uhrt man diese Schritte auf der augmentierten Matrix durch, die aus den Koeffizienten (aik) und dem Spaltenvektor (bi) der rechten Seite besteht, d.h. man l¨asst alle “x_k”, “+” und “=” weg. Statt von Gleichungen spricht man dann auch vonZeilen.

Zu Beginn desj-ten Eliminationsschrittssieht die augmentierte Matrix wie folgt aus





























a₁₁ . . . a_1n b₁

0 a22 . . . ... ...

... 0 . ..

... . .. ...

0 ajj . . . ... ...

0 0 . . . 0 amj . . . amn bm.



























 .

Dabei sind die Zahlenaikundbi nicht mehr alle dieselben wie am Anfang. Der Normalfall, den wir zuerst besprechen, setzt voraus, dass die Wertea11, . . . , aj−1,j−1, die sogenannten Pivots, alle ungleich null sind, und dass ausserdem eine der Zahlen a_jj, . . . a_mj nicht null ist. Dann k¨onnen wir mit einer Zeilenvertauschung erreichen, dass auch ajj 6= 0. Dies ist unser n¨achstes Pivot. Der eigentliche Eliminationsschritt besteht dann darin, dass wir das a_kj/a_jj-fache der Zeile Nummer j von der Zeile Nummer k subtrahieren, und zwar f¨ur

k = j+ 1, . . . m. Dies ergibt dann lauter Nullen unterhalb von ajj, d.h. wir sind einen Schritt weitergekommen. Nachm Eliminationsschritten ist das Verfahren beendet.

F¨ur m=nhaben wir dann am Schluss ein Gleichungssystem in Dreiecksform, und es ist klar, dass wir die L¨osung durchR¨uckw¨artseinsetzen finden k¨onnen: Die letzte Gleichung ergibtx_n, und wenn wir dies benutzen, erhalten wir aus der zweitletzten Gleichungxn−1, etc. Insbesondere existiert also im Normalfall (d.h. sofern man in jedem Eliminationsschritt ein Pivot gefunden hat) f¨ur beliebige rechte Seiten immer genau eine L¨osung.

Wennm < nist, dann k¨onnen wir (wieder im Normalfall)x_m+1, . . . x_nbeliebig w¨ahlen und danachx_m, . . . x₁ durch R¨uckw¨artseinsetzen bestimmen. Es existieren also stets unendlich viele L¨osungen, und zwar haben wirn−m freie Parameter.

Wennm > nist, dann haben wir (immer noch im Normalfall) am Schlussm−nGleichun- gen, bei denen alle Koeffizienten null sind. Wenn alle Werte bm+1, . . . bn auf der rechten Seite nach Beendigung des Gaussalgorithmus ebenfalls gleich null sind, dann kann man die letzten Gleichungen weglassen und die eindeutige L¨osung durch R¨uckw¨artseinsetzen bestimmen. Wenn hingegen eine oder mehrere dieser Zahlen von null verschieden sind, dann gibt es keine L¨osung.

Im Ausnahmefall kann man w¨ahrend einem Eliminationsschritt kein Pivot finden. Das heisst einfach, dass die entsprechende Unbekannte bereits eliminiert ist und man den ent- sprechenden Schritt ¨uberspringen kann. Die Pivots stehen dann nicht mehr alle in der Diagonalen, und man erh¨alt am Schluss eine sogenannte Zeilenstufenform. Jede Stufe wird von einem Pivot, das definitionsgem¨ass nicht null ist, angef¨uhrt. Die Anzahl Pivots heisst auch derRangdes Gleichungssystems und wird mitrbezeichnet. Wennr < m, dann existiert nur f¨ur gewisse rechte Seiten eine L¨osung. F¨ur r=mexistiert immer mindestens eine L¨osung. Wenn eine L¨osung existiert, dann ist sie eindeutig falls r =n ist, w¨ahrend man f¨ur r < n allex_k, die nicht zu einem Pivot geh¨oren, beliebig w¨ahlen kann.

Damit haben wir die Frage nach der Existenz und der Anzahl L¨osungen eines linearen Gleichungssystems vollst¨andig beantwortet, und wir k¨onnen auch alle L¨osungen berechnen.

Die einzige Schwierigkeit ist die, dass man einem Gleichungssystem im Allgemeinen nicht ansieht, ob man im Normal- oder im Ausnahmefall ist. Das ergibt sich erst im Verlaufe des Eliminationsverfahrens. Zum Schluss noch ein paar kleinere Bemerkungen:

• Wenn allebi = 0 sind, heisst das Systemhomogen, sonstinhomogen. Ein homogenes System hat immer die triviale L¨osungx1=x2 =. . .=xn= 0.

• Wenn man zu einer L¨osung des inhomogenen Systems eine beliebige L¨osung des zugeh¨origen homogenen Systems addiert, erh¨alt man wieder eine L¨osung des inho- mogenen Systems.

• Um ein lineares Gleichungssystem f¨ur verschiedene rechte Seiten zu l¨osen, schreibt man alle rechten Seiten nebeneinander. Die augmentierte Matrix hat dann also mehr alsn+ 1 Spalten. Die Eliminationsschritte kann man so simultan durchf¨uhren. Das R¨uckw¨artseinsetzen muss man jedoch f¨ur jede rechte Seite separat ausf¨uhren.

• Der Aufwand f¨ur das L¨osen eines linearen n×n Gleichungssystems ben¨otigt un- gef¨ahr n³/3 Divisionen bzw. Multiplikationen. Heutzutage f¨uhren viele numerische Probleme am Schluss auf riesige lineare Gleichungssysteme. In diesen Situationen ist ein Aufwand der Ordnung n³/3 beachtlich, und man entwickelt auch heute noch effizientere Algorithmen f¨ur Gleichungssysteme mit speziellen Eigenschaften.

• Bei allen Berechnungen auf dem Computer muss man sich Gedanken ¨uber Run- dungsfehler machen. Beim Gauss-Algorithmus kann man Rundungsfehler klein hal- ten durch eine geschickte Wahl der Pivots.

2 Matrizenrechnung und lineare Abbildungen

Eine m×n Matrix ist ein rechteckiges Schema von mn Zahlen, angeordnet in m Zeilen undnSpalten(Kolonnen). Diese Zahlen heissen dieElementeder Matrix. Das Element in Zeile i und Spalte j von einer Matrix A bezeichnen wir mit (A)ij oder mit aij, d.h. der erste Index gibt die Nummer der Zeile und der zweite die Nummer der Spalte an. Eine m×1 Matrix nennen wir einen Spaltenvektor und eine 1×n Matrix einen Zeilenvektor.

Elemente von Vektoren ben¨otigen nur einen Index. Die Menge der Spaltenvektoren mitm Elementen bezeichnen wir mitR^m und die Menge der m×n Matrizen mitR^m×n.

Matrizen k¨onnen wir mit einer Zahlλ∈R(einem sogenanntenSkalar) multiplizieren und zwei Matrizen der gleichen “Dimension” k¨onnen wir addieren:

(λ·A)ij =λ·(A)ij, (A+B)ij = (A)ij+ (B)ij,

d.h. die Operationen erfolgen Element f¨ur Element. Insbesondere k¨onnen wir also Linear- kombinationenλA+µB von Matrizen und Vektoren bilden.

Als n¨achstes definieren wir die Multiplikation einer Matrix A∈R^m×n mit einem Spalten- vektorx∈Rⁿ:Axist ein Spaltenvektor der Dimension mmit den Elementen

(Ax)_i =

n

X

j=1

(A)_ijx_j (i= 1,2, . . . , m).

Wir bilden also alle “Skalarprodukte” der Zeilenvektoren vonAmit dem Vektorx. Das ist nur dann m¨oglich, wennAgleich viele Spalten hat wiex Elemente. In anderen F¨allen exi- stiertAxnicht. Mit dieser Definition kann man ein lineares Gleichungssystem offensichtlich in der KurzformAx=bschreiben (ein Vorteil, der nicht zu untersch¨atzen ist).

Wenn wir nunA fixieren undx inRⁿvariieren, dann erhalten wir eine Abbildung desRⁿ in denR^m, die wir mitF_Abezeichnen

F_A:x∈Rⁿ→y=F_A(x) =Ax∈R^m. Wie man leicht nachpr¨uft, hat diese Abbildung die Eigenschaft, dass

F_A(λx) =λF_A(x), F_A(x+y) =F_A(x) +F_A(y)

f¨ur beliebige λ ∈ R, x ∈ Rⁿ und y ∈ Rⁿ. Solche Abbildungen nennen wir linear. Im Fall m = n = 3 heisst das z.B., dass Geraden in Geraden und Ebenen in Ebenen ab- gebildet werden. Die Grundidee der Differentialrechnung ist es, eine beliebige Abbildung F von Rⁿ nach R^m in der Umgebung eines Punktes x₀ durch eine lineare Abbildung zu approximieren:

F(x)−F(x0)≈A(x−x0), (A)ij = ∂Fi(x)

∂xj

x=x0

.

Wenn A eine m×n und B eine n×p Matrix ist, dann k¨onnen wir die Abbildungen F_A und F_B zusammensetzen. Das bedeutet, dass wir einen Vektor x ∈ R^p zun¨achst mit F_B

auf einen Vektor in Rⁿ und dieses Resultat anschliessend noch mit F_A auf einen Vektor inR^m abbilden:

x∈R^p →y=F_B(x) =Bx∈Rⁿ→z=F_A(y) =F_A(F_B(x)) =A(Bx)∈R^m. Es stellt sich nun heraus, dass diese zusammengesetzte Abbildung den urspr¨unglichen Vektorx mit einer neuen MatrixC ∈R^m×p multipliziert:

A(Bx) =Cx, wobei (C)_ij =

n

X

k=1

(A)_ik(B)_kj (i= 1, . . . m, j = 1, . . . p).

Wir nennen daher diese MatrixCdas MatrixproduktAB vonAundB. Damit entspricht die Matrixmultiplikation dem Zusammensetzen der zugeh¨origen linearen Abbildungen.

Die Multiplikation von Matrizen erfolgt also indem man alle “Skalarprodukte” von Zeilen von Amit Spalten von B bildet:

(AB)ij =ai1b1j +ai2b2j +. . .+ainbnj.

Damit das m¨oglich ist, m¨ussen die Matrizen “zusammenpassen”, d.h. A muss gleich viele Spalten haben wieB Zeilen. Ist das nicht der Fall, dann ist das ProduktABnicht definiert (die linearen Abbildungen lassen sich dann nicht zusammensetzen).

F¨ur Matrizen gelten die gleichen Rechenregeln wie f¨ur Zahlen, z.B. (AB)C = A(BC), A(B+C) =AB+ACetc. (vgl. die vollst¨andige Liste in Satz 2.1 von Nipp und Stoffer), mit einer wichtigen Ausnahme: DieMatrixmultiplikation ist nicht kommutativ. Im Allgemeinen existieren nicht beide Produkte AB und BA, und wenn beide existieren, dann ist im AllgemeinenAB6=BA.

Dien×nMatrix mit lauter 1 in der Diagonalen und 0 ausserhalb heisst dieEinheitsmatrix In. WeilInx=xgilt, beschreibt In die Identit¨atF_In :x→x. Ferner giltAIn=ImA=A f¨ur jedem×nMatrix A.

Eine (beliebige, d.h. nicht unbedingt lineare) AbbildungF :Rⁿ →R^m heisst umkehrbar, wenn es zu jedemy∈R^m ein eindeutig bestimmtesx∈Rⁿgibt mitF(x) =y. Wir nennen dieses x dann das Urbild vony. Ist F umkehrbar, dann kann man die Umkehrabbildung F⁻¹ definieren, welche jedem y ∈R^m das Urbild zuordnet. Die Umkehrabbildung macht also die Wirkung von F r¨uckg¨angig: F¨ur alle x ∈ Rⁿ ist F⁻¹(F(x)) = x. Ausserdem gilt auch F(F⁻¹(y)) = y f¨ur alle y ∈ R^m. Eine lineare Abbildung F_A ist genau dann umkehrbar, wenn das Gleichungssystem Ax = b f¨ur jede rechte Seite b eindeutig l¨osbar ist. Das ist genau dann der Fall, wenn n = m und der Rang von A gleich n ist. Die Umkehrabbildung ist dann ebenfalls linear und wird durch dieInversevon Abeschrieben:

Dies ist die eindeutig bestimmte Matrix X, welche XA = AX = In erf¨ullt, und wir verwenden daf¨ur die BezeichungA⁻¹. Wenn die InverseA⁻¹existiert, heisstAinvertierbar, oderregul¨ar, anderenfalls heisstA singul¨ar. WennAund B regul¨aren×nMatrizen sind, dann ist auch das Produkt AB regul¨ar, und es gilt (AB)⁻¹ =B⁻¹A⁻¹. Weshalb das so sein muss, sieht man am besten ein, indem man die zugeh¨origen linearen Abbildungen betrachtet.

Mit Hilfe der Inversen k¨onnen wir die L¨osung des Gleichungssystems Ax=bin der pr¨ag- nanten Form x = A⁻¹b schreiben. Diese Formel soll man jedoch nicht benutzen, um Gleichungssysteme konkret zu l¨osen, weil die Berechnung vonA⁻¹ aufw¨andiger ist als die L¨osung mit dem Gauss-Algorithmus.

Die Transponierte A^T einer Matrix A entsteht durch Spiegelung an der Diagonalen, d.h.

die Zeilen vonA^T sind die Spalten vonA: (A^T)ij = (A)ji. Es gilt (A^T)^T =Aund (AB)^T = B^TA^T. WennAquadratisch und regul¨ar ist, dann ist auchA^T regul¨ar, und es gilt (A^T)⁻¹ = (A⁻¹)^T.

Eine n×n Matrix heisst orthogonal, falls A^TA = I_n gilt. Weil die Elemente von A^TA gerade die Skalarprodukte der Spalten vonA sind, haben die Spalten einer orthogonalen Matrix “L¨ange” 1 und stehen “senkrecht” aufeinander. WennA orthogonal ist, dann istA regul¨ar mitA⁻¹ =A^T und es gilt auchAA^T =I_n.

3 Determinanten

Die Determinante ist eine f¨ur quadratische n×n Matrizen definierte Funktion, mit den folgenden zwei Hauptanwendungen: i) det(A) = 0 genau dann, wenn A singul¨ar ist (d.h.

die Determinante ist eine Testgr¨osse f¨ur die Singularit¨at einer Matrix), ii)|det(A)|ist das Volumen des Spats aufgespannt von den Spaltenvektoren vonA.

F¨ur n= 2 gilt

det

a b c d

=ad−bc.

F¨ur n= 3 ist

det(A) =a^(1)T(a⁽²⁾×a⁽³⁾),

wobeia^(j) derj-te Spaltenvektor vonAist und ×das Vektorprodukt bezeichnet:

a×b= (a₂b₃−a₃b₂, a₃b₁−a₁b₃, a₁b₂−a₂b₁)^T.

F¨ur eine schnelle Berechnung im Fall n= 3 schreibt man die ersten beiden Spalten noch- mals hinter die dritte und multipliziert jeweils drei Zahlen entlang von Geraden mit Stei- gung±1, addiert die drei Produkte entlang Geraden mit Steigung -1 und subtrahiert die andern drei Produkte:

a b c a b

d e f d e

g h k g h

F¨ur n > 3 ist die Determinante rekursiv definiert durch Entwicklung nach der ersten Spalte, siehe Nipp und Stoffer, p. 52 oben.

Wichtiger als die Definition sind jedoch die folgenden Eigenschaften (ohne Beweis):

• Bei der Vertauschung zweier Spalten ¨andert die Determinante das Vorzeichen. Wenn zwei Spalten gleich sind, ist die Determinante daher null.

• Die Determinante ist linear in jeder Spalte. d.h.

det(a⁽¹⁾, . . . a^(j−1), λa^(j)+µb^(j), a^(j+1), . . . a⁽ⁿ⁾) =

λdet(a⁽¹⁾, . . . a^(j−1), a^(j), a^(j+1), . . . a⁽ⁿ⁾) +µdet(a⁽¹⁾, . . . a^(j−1), b^(j), a^(j+1), . . . a⁽ⁿ⁾).

• WennA eine obere Dreiecksmatrix ist, d.h.a_ij = 0 f¨ur i > j, dann ist det(A) =a11·a22· · ·ann.

• det(A^T) = det(A). Deshalb gelten die ersten beiden Regeln auch f¨ur Zeilen anstelle von Spalten.

• det(AB) = det(A) det(B).

Daraus folgt insbesondere, dass man eine Determinante mit dem Gauss-Algorithmus be- rechnen kann, denn bei jedem Eliminationsschritt ¨andert sich h¨ochstens das Vorzeichen.

4 Vektorr¨ aume

Wie bereits fr¨uher gesagt, bezeichnetRⁿdie Menge der Spaltenvektoren mitnElementen.

Spaltenvektoren k¨onnen addiert und mit Skalaren multipliziert werden. F¨ur n = 2 und n = 3 kann man Spaltenvektoren geometrisch als “Orts-” oder “Richtungs-Vektoren” in der Ebene, bzw. im Raum auffassen. Multiplikation mit einem Skalar entspricht dann dem Strecken, bzw. Stauchen, und Addition dem Zusammensetzen gem¨ass der bekannten Parallelogrammregel. Wir werden im Folgenden diese geometrische Anschauung auch f¨ur n > 3 verwenden, d.h. wir interpretieren Spaltenvektoren der L¨ange n als “Orts-” oder

“Richtungs-Vektoren” in einem “n-dimensionalen” Raum.

4.1 Unterr¨aume und lineare Unabh¨angigkeit

Ein Unterraum U von Rⁿ ist eine nichtleere Teilmenge U ⊆Rⁿ mit der Eigenschaft, dass mitx∈U undy∈U auchαx+βy∈U f¨ur beliebige reelle Zahlenαundβ. Ein Unterraum ist also abgeschlossen bez¨uglich Addition und Multiplikation mit einer Zahl. F¨ur n= 2,3 ist ein Unterraum eine Gerade oder eine Ebene durch den Ursprung.

Die L¨osungsmenge eines homogenen linearen Gleichungssystems U = {x ∈ Rⁿ|Bx = 0}

mit einer vorgegebenen m ×n Matrix B ist ein Unterraum, der sogenannte Kern von B. F¨ur n = 3, m = 1 hat man eine Ebene durch den Ursprung, f¨ur n = 3, m = 2 eine Gerade als Schnittpunkt zweier Ebenen durch den Ursprung. Ich nenne dies eine implizite Darstellung eines Unterraums.

Im Gegensatz dazu geht man in der expliziten Darstellung von vorgegebenen Vektoren a⁽¹⁾, a⁽²⁾, . . . a^(k) ∈ Rⁿ, einem sogenannten Erzeugendensystem, aus und betrachtet alle Linearkombinationen dera⁽ⁱ⁾:

U ={x₁a⁽¹⁾+x₂a⁽²⁾+. . .+x_ka^(k)|x₁, x₂, . . . x_k ∈R}.

Diese MengeU ist offensichtlich ein Unterraum. Er wird als dielineare H¨ulleder Vektoren a⁽¹⁾, a⁽²⁾, . . . a^(k) ∈ Rⁿ, und man schreibt U = span{a⁽¹⁾, a⁽²⁾, . . . a^(k)}. F¨ur n = 3 und k= 1 ist dies die Parameterdarstellung der Geraden durch den Ursprung in Richtunga⁽¹⁾, f¨urn= 3 undk= 2 die Parameterdarstellung der Ebene aufgespannt durcha⁽¹⁾ unda⁽²⁾. Aus der Definition der Multiplikation einer Matrix A mit einem Vektor x folgt, dass Axgleich der Linearkombination x₁ mal erster Spaltenvektor von A plus x₂ mal zweiter Spaltenvektor vonA plus ... ist. Es gilt also

span{a⁽¹⁾, a⁽²⁾, . . . a^(k)}={Ax|x∈R^k},

wennAdie n×kMatrix bestehend aus den Spaltenvektorena^(j) ist. Ein Vektorbgeh¨ort also genau dann zur linearen H¨ulle der a^(j), wenn das Gleichungssystem Ax = b eine

L¨osung hat. In der Sprache der linearen Abbildungen ist die lineare H¨ulle das Bild vonR^k unter der Abbildung F_A.

F¨ur ein gegebenes Erzeugendensystem kann man sich fragen, ob es redundante Vektoren enth¨alt, die man weglassen kann, ohne dass sich die lineare H¨ulle verkleinert. Dies ist genau dann der Fall, wenn man einen Vektora^(j) mit Hilfe der anderen ausdr¨ucken kann

a^(j)=x1a⁽¹⁾+. . .+xj−1a^(j−1)+xj+1a^(j+1)+x_ka^(k).

Bringt mana^(j) auf die rechte Seite, dann sieht man, dass eine ¨aquivalente Formulierung lautet: Es gibt Zahlenx1, x2, . . . x_k, welche nicht alle gleich null sind, so dass

x1a⁽¹⁾+x2a⁽²⁾+. . .+xka^(k)= 0,

oder nochmals anders ausgedr¨uckt, das homogene Gleichungssystem Ax = 0 hat nicht- triviale L¨osungen. Ist dies der Fall, heissena⁽¹⁾, a⁽²⁾, . . . a^(k) linear abh¨angig. Ist hingegen obige Gleichung nur erf¨ullt f¨ur x₁ = x₂ = . . . = x_k = 0, so heissen die Vektoren linear unabh¨angig.

Ein linear unabh¨angiges Erzeugendensystem ist minimal und heisst eine Basis des Un- terraums. Ein Unterraum U 6= {0} hat viele Basen, aber alle Basen bestehen aus gleich vielen Vektoren. Diese Anzahl heisst dieDimensionvon U. Jeder Vektor aus U l¨asst sich eindeutig als Linearkombination von Basisvektoren darstellen. Die Koeffizienten, die in dieser Linearkombination auftreten, heissen auch die Koordinaten des Vektors bez¨uglich dieser Basis.

Mit Hilfe des Eliminationsalgorithmus von Gauss kann man eine Basis f¨ur einen Unterraum U bestimmen. Wenn U durch ein Erzeugendensystem gegeben ist, so schreibt man die erzeugenden Vektoren in die Spalten einer Matrix A: Die Spaltenvektoren von A, die zu den Pivotvariablen geh¨oren, bilden dann eine Basis von U, die andern Spaltenvektoren sind ¨uberfl¨ussig. Die Dimension des Bildes von A ist also gleich dem Rang von A. Wenn U die Menge der L¨osungen eines homogenen linearen GleichungssystemsBx= 0 ist, dann erh¨alt man den i-ten Basisvektor, indem man die i-te Nicht-Pivotvariable gleich 1 und die andern Nicht-Pivotvariablen gleich 0 setzt und die Pivotvariablen durch R¨uckw¨arts- einsetzen bestimmt. Die Dimension des Kerns von B ist daher die Anzahl Spalten minus der Rang vonB.

4.2 L¨angen und Winkel in Vektorr¨aumen

Das Standard- (oder Euklid’sche) Skalarprodukt imRⁿ ist definiert als (x, y) =

n

X

i=1

x_iy_i =x^Ty.

Daraus ergibt sich die Definition der L¨ange vonx,||x||=p

(x, x), und des Winkels zwi- schenx und y: cos(ϕ) = (x, y)/(||x|| ||y||). Wir ¨andern also die Sichtweise gegen¨uber dem Vorgehen in der Mittelschule, wo man f¨urn= 3 von der Definition (x, y) =||x|| ||y||cos(ϕ) ausgeht und dann die Formel (x, y) = x₁y₁+x₂y₂+x₃y₃ herleitet. In unserem Zugang muss man daher die sogenannte Schwarz’sche Ungleichungbeweisen, welche besagt, dass

|(x, y)| ≤ ||x|| ||y||.

Dies folgt durch Minimierung von

0≤ ||y−λx||²=||y||²−2λ(x, y) +λ²||x||²

bez¨uglichλ. Die L¨osung istλ= (x, y)/||x||², und Einsetzen ergibt die gew¨unschte Unglei- chung.

Es zeigt sich aber, dass es noch andere vern¨unftige Arten gibt, eine L¨ange (auch Norm genannt) und Winkel zu definieren. Das Einzige, was man f¨ur eine L¨ange braucht, sind die Axiome (N1) – (N3) (p. 84 im Buch). Dies ist insbesondere von Bedeutung in abstrakten Vektorr¨aumen, aber selbst im Rⁿ gibt es viele Normen. Die beiden wichtigsten sind die L1- und die L∞-Norm:

||x||₁=

n

X

i=1

|x_i|, ||x||_∞= max(|x₁|,|x₂|, . . .|x_n|).

Analog kann man ein Skalarprodukt (und damit Winkel) mit Hilfe der Axiome (S1) – (S3) (p. 93 im Buch) definieren. ¨Uberraschenderweise gibt es jedoch kein Skalarprodukt, das dieL1- oder dieL∞-Norm erzeugt.

Bei jedem Skalarprodukt sind paarweise orthogonale Vektoren a⁽¹⁾, . . . a^(k) (ungleich dem Nullvektor) automatisch linear unabh¨angig. In diesem Fall k¨onnen wir die Koordinaten von einem beliebigen Vektory∈U = span{a⁽¹⁾, . . . a^(k)}leicht berechnen: Ausy=P_k

i=1x_ia⁽ⁱ⁾ folgt durch skalare Multiplikation beider Seiten mita^(j), dass x_j = (y, a^(j))/(a^(j), a^(j)).

4.3 Ausgleichsrechnung

Wennynicht im UnterraumU = span{a⁽¹⁾, . . . a^(k)}liegt, hat das GleichungssystemAx= ykeine L¨osung. In diesem Fall muss man sich mit einer approximativen L¨osung begn¨ugen:

Wir suchen dasjenige x, f¨ur das der Fehler r = y−Axeine m¨oglichst kleine L¨ange hat.

Wir minimieren also ||y−Ax|| (oder ¨aquivalent dazu ||y−Ax||²) bez¨uglich x∈R^k. Dies heisst auch einAusgleichsproblem.

Die L¨osung h¨angt im Allgemeinen von der gew¨ahlten Norm ab. Besonders einfach wird es, wenn wir die ¨ubliche Euklid’sche Norm verwenden. Da wir dann den Ausdruck

n

X

i=1

(y_i−a_i1x₁−. . .−a_ikx_k)²

minimieren, spricht man von der Methode der kleinsten Quadrate. Die L¨osung kann man analytisch finden durch Nullsetzen der partiellen Ableitungen. Wir bevorzugen jedoch die geometrische L¨osung. Aus geometrischer Anschauung ist es offensichtlich, dass ||y−Ax||

minimal wird, fallsAxgleich der orthogonalen Projektion ˆy von y auf den Unterraum U ist. Das heisst, es muss (y−y, aˆ ⁽ⁱ⁾) = (r, a⁽ⁱ⁾) = 0 f¨ur i = 1, . . . k gelten. Weil ˆy in U liegt, k¨onnen wir ˆy mit den a^(j)’s ausdr¨ucken: ˆy = Pk

j=1xˆja^(j). Mit der Linearit¨at des Skalarprodukts erhalten wir

0 = (y−y, aˆ ⁽ⁱ⁾) = (y, a⁽ⁱ⁾)−

k

X

j=1

ˆ

xj(a^(j), a⁽ⁱ⁾), bzw. in Matrixform

(A^TA)ˆx=A^Ty.

Die L¨osung dieser sogenannten Normalgleichungen ist eindeutig, wenn die a⁽¹⁾, . . . , a^(k) linear unabh¨angig sind. Zur numerischen Berechnung soll man allerdings nicht dieses Glei- chungssystem l¨osen, sondern die sogenannte QR-Zerlegung verwenden, die wir hier nicht besprechen.

5 Eigenwerte und Eigenvektoren

Wir betrachten in diesem Abschnitt immer quadratische MatrizenA. Wenn alle Elemente von A ungleich Null sind, ist es schwierig zu verstehen, was die lineare Abbildung x → Ax bewirkt, und was geschieht, wenn wir die Abbildung mehrmals iterieren. Sehr viel einfacher wird es, wenn Aeine Diagonalmatrix ist: Dann werden die Basisvektorene^(j)= (0, . . . ,0,1,0. . .0)^T (die 1 soll an derj-ten Stelle stehen) h¨ochstens umgedreht, gestaucht oder gestreckt.

Wenn A nicht diagonal ist, kann es sein, dass andere Vektoren als die e^(j) die Richtung nicht ¨andern. Wir suchen also Vektorenxverschieden vom Nullvektor und Zahlenλderart, dass

Ax=λx.

Jeder solche Vektor heisst einEigenvektorvon A, undλheisst dann einEigenwertvon A.

Bevor wir uns ¨uberlegen, wie man Eigenwerte und Eigenvektoren findet, halten wir fest, wie sich ein Basiswechsel auf eine lineare Abbildung auswirkt.

5.1 Basistransformationen

Zus¨atzlich zur Standardbasis e⁽¹⁾, . . . , e⁽ⁿ⁾ betrachten wir nun noch eine andere Basis t⁽¹⁾, . . . , t⁽ⁿ⁾ im Rⁿ. Ein Vektor x = (x₁, . . . , x_n)^T kann dann auch als Linearkombina- tion der t^(j) dargestellt werden:

x=

n

X

j=1

yjt^(j)=T y

(die Matrix T besteht aus den Spaltenvektoren t^(j)). Der Zusammenhang zwischen den Koordinaten (x₁, . . . x_n) bez¨uglich der alten Basis und den Koordinaten (y₁, . . . , y_n) be- z¨uglich der neuen Basis ist also linear. Weil die Basisvektorent^(j) linear unabh¨angig sind, ist T invertierbar und damit gilt auchy=T⁻¹x.

Sei nunx→x⁰ =Axeine lineare Abbildung von Rⁿ nach Rⁿ und x=T y eine Koordina- tentransformation imRⁿ. Dann k¨onnen wir die Abbildung auch in den neuen Koordinaten betrachten

y=T⁻¹x→y⁰ =T⁻¹x⁰=T⁻¹Ax=T⁻¹A T y.

D.h. in der neuen Basis ist die Abbildungsmatrix gleich T⁻¹A T. 5.2 Diagonalisieren von Matrizen

Die Idee von Eigenvektoren besteht wie gesagt darin, durch Einf¨uhrung neuer Basisvek- toren A in Diagonalform zu bringen. Das heisst wir suchen eine regul¨are Matrix T so dass

T⁻¹A T = diag(λ₁, . . . λ_n), bzw.A=T diag(λ₁, . . . λ_n)T⁻¹.

WennAdurch einen Basiswechsel in Diagonalform gebracht werden kann, dann kann man insbesondere beliebige Potenzen vonA leicht berechnen, indem man

A^k=T diag(λ^k₁, . . . λ^k_n)T⁻¹ benutzt.

Um einT zu finden, dasA diagonalisiert, betrachten wir zuerst die Gleichung A T =T diag(λ1, . . . λn).

Gem¨ass der Definition der Matrixmultiplikation ist dies gleichbedeutend damit, dassAt^(j)= λjt^(j) f¨ur j = 1,2, . . . nist, wobei t^(j) derj-te Spaltenvektor von T ist. Das heisst, umA zu diagonalisieren, brauchen wir nlinear unabh¨angige Eigenvektoren vonA.

Da Ax = λx auch geschrieben werden kann als (A−λIn)x = 0, ist λ genau dann ein Eigenwert vonA, wenn det(A−λI_n) = 0 ist. Diese Determinante ist ein Polynom vom Grad ninλund heisst dascharakteristische Polynomvon A. Im Komplexen hat jedes Polynom vom Gradngenau n(eventuell zusammenfallende) Nullstellen. Zur Diagonalisierung von Matrizen muss man daher im Allgemeinen mit komplexen Zahlen arbeiten.

Ein wichtiger Satz besagt, dass Eigenvektoren zu verschiedenen Eigenwerten immer linear unabh¨angig sind. Matrizen mitnverschiedenen Eigenwerten werden alseinfachbezeichnet.

Somit ist jede einfache Matrix diagonalisierbar, zumindest wenn man mit komplexen Zah- len rechnet. Wenn ein Eigenwertλeinek-fache Nullstelle des charakteristischen Polynoms ist, dann gibt es unter Umst¨anden weniger alsk linear unabh¨angige Eigenvektoren zu λ, und in diesem Ausnahmefall ist die Matrix Aauch im Komplexen nicht diagonalisierbar.

Der letzte Sachverhalt l¨asst sich noch etwas pr¨aziser formulieren: Diealgebraische Vielfach- heiteines Eigenwertesλist die Vielfachheit als Nullstelle des charakteristischen Polynoms.

Die Summe der algebraischen Vielfachheiten ist also immer gleichn. Diegeometrische Viel- fachheitist die Dimension des Unterraums {x |Ax=λx}. Die geometrische Vielfachheit ist stets mindestens eins, und man kann zeigen, dass sie h¨ochstens gleich der algebrai- schen Vielfachheit ist. A ist also genau dann diagonalisierbar, wenn f¨ur jeden Eigenwert die geometrische und die algebraische Vielfachheit gleich sind (man sagt auch, die Matrix sei halbeinfach).

Besonders einfach ist die Situation bei symmetrischen Matrizen A (d.h.A^T =A): Dann sind n¨amlich alle Eigenwerte vonAreell, die geometrische Vielfachheit ist stets gleich der algebraischen, und Eigenvektoren zu verschiedenen Eigenwerten sind orthogonal. Daher kann man n orthonormierte Eigenvektoren w¨ahlen. Mit dieser Wahl wird die Matrix T orthogonal, und damit giltA=Tdiag(λ₁, . . . λ_n)T^T.

5.3 Lineare Differentialgleichungssysteme

Ein lineares Differentialgleichungssystem erster Ordnung mit konstanten Koeffizienten sieht in Matrixform so aus:

˙

y(t) =Ay(t).

Wenn A diagonalisierbar ist, dann kann man alle L¨osungen wie folgt bestimmen: Man berechnet die Eigenwerteλ_j und Eigenvektoren u^(j) vonAund hat damit die Darstellung T⁻¹A T =DmitT = (u⁽¹⁾. . . u⁽ⁿ⁾) undD= diag(λ1, . . . λn). Die transformierte Funktion x(t) = T⁻¹y(t) erf¨ullt dann ˙x(t) =Dx(t), bzw. in Komponenten ausgeschrieben ˙xj(t) =

λjxj(t). Die allgemeine L¨osung ist daher xj(t) = cje^λjt mit beliebigen Koeffizienten cj. Daraus erhalten wir die allgemeine L¨osung des urspr¨unglichen Systems als

y(t) =T x(t) =

n

X

j=1

c_je^λjtu^(j).

Um die L¨osung zu einer vorgegebenen Anfangsbedingung y(0) zu bestimmen, muss man dann noch das Gleichungssystem T c=y(0) l¨osen.

Wenn die MatrixAreell ist, aber komplexe Eigenwerte hat, dann gibt es f¨ur beliebige reelle Anfangsbedingungen reelle L¨osungen. Dies kann man wie folgt einsehen: Wenn λ=α+iβ ein komplexer Eigenwert vonAist mit komplexem Eigenvektor u=v+iw, dann ist auch die zuλkomplex konjugierte Zahlλ=α−iβ ein Eigenwert vonA. Zudem istu=v−iw ein Eigenvektor zuλ. Man kann dann nachrechnen, dass

e^αt(acos(βt)−bsin(βt))v−e^αt(asin(βt) +bcos(βt))w

f¨ur beliebige Werte von a und b eine L¨osung des Differentialgleichungssystems ist. Die Anfangsbedingungen legen dann aundb fest.

Aus der Formel

y(t) =

n

X

j=1

c_je^λjtu^(j)

f¨ur die allgemeine L¨osung l¨asst sich insbesondere das Verhalten f¨ur grosse Zeitentablesen.

Wenny(0) = 0, dann isty(t)≡0, d.h. 0 ist ein Fixpunkt des Systems. Wennλj einen ne- gativen Realteil hat, dann konvergierte^λjtgegen Null f¨urt→ ∞. Wenn die Realteile aller Eigenwerte negativ sind, dann konvergiert alsoy(t) f¨ur t→ ∞ bei beliebiger Anfangsbe- dingung gegen 0, d.h. der Fixpunkt 0 ist stabil. Wenn der Realteil von einemλj hingegen positiv ist, dann geht ||y(t)|| gegen unendlich, ausser wenn wir die Anfangsbedingung so w¨ahlen, dass das zugeh¨orige c_j gleich Null ist. Daher ist in diesem Fall der Fixpunkt 0 instabil.

Bei Systemen zweiter Ordnung ¨y(t) = Ay(t) geht man analog vor. Die transformierten Variablen x(t) = T⁻¹y(t) erf¨ullen dann ¨x(t) = Dx(t), und diese Gleichungen kann man explizit l¨osen. Man kann auch ein System zweiter Ordnung auf ein System erster Ordnung zur¨uckf¨uhren, indem man y(t) und ˙y(t) zu einem Vektor z(t) der doppelten L¨ange zu- sammenf¨ugt. Dies ist zwar ¨aquivalent und vom Verst¨andnis her meist einfacher, hingegen werden die Berechnung eher komplizierter.