• Keine Ergebnisse gefunden

Die Methode der kleinsten Quadrate

Die wichtigste Anwendung von Satz 15 ist die Berechnung einer Regressionsgerade. In der Ebene sind k Punkte (x1, y1), (x2, y2), . . . , (xk, yk) gegeben. Gesucht ist eine Gerade y =a1x+a0, sodass ∑k

i=1(a1xi+a0 −yi)2 minimal wird. Die Summe der Quadrate der vertikalen Abst¨ande der Punkte von der Geraden soll m¨oglichst klein sein.

Die Unbekannten sind a1 und a0. Sei M die 2-Matrix mit den Spalten (1,1, . . . ,1)

). Nach Satz 15 ist das Gleichungssystem bestehend aus S0a0+S1a1 =T0 und S1a0+S2a1 =T1 zu l¨osen. Die L¨osung ist

j=0 ajφj(x). Wir suchen so ein verallgemeinertes Polynom P(x), sodass die k Punkte (x1, y1), (x2, y2), . . . , (xk, yk) m¨oglichst nahe an der Kurve y =P(x) liegen. Die Koeffizienten a0, a1, . . . , an1 in P(x) sind so zu bestimmen, dass ∑k

i=1(P(xi)−yi)2 minimal wird. Die Summe der Quadrate der vertikalen Abst¨ande der Punkte von der Kurve soll m¨oglichst klein sein.

Sei M die k×n-Matrix mit den Spalten (φj(x1), φj(x2), . . . , φj(xk)) f¨ur 0≤j ≤n−1 und c der Spaltenvektor (y1, y2, . . . , yk). Sei a der Spaltenvektor (a0, a1, . . . , an1). Dann ist Ma der Vektor (P(x1), P(x2), . . . , P(xk)) und a ist so zu bestimmen, dass ∥Mac minimal wird. Wir nehmen an, dass k > n gilt und die Spalten von M linear unabh¨angig sind. Die Voraussetzung von Satz 15 sind erf¨ullt. Es giltMtM =R= (Ruv)0u,vn1 mit Ruv = ∑k

i=1φu(xiv(xi) und Mtc = q = (qv)0≤v≤n−1 mit qv = ∑k

i=1φv(xi)yi. Nach Satz 15 ist das Gleichungssystem Ra=q zu l¨osen. Die L¨osung agibt die Koeffizienten in P(x) an, f¨ur die ∑k

i=1(P(xi)−yi)2 minimal wird.

Wir behandeln zwei Spezialf¨alle, zuerst ein Regressionspolynom, eine Verallgemeinerung der Regressionsgerade. Man w¨ahlt P(x) = ∑n1

Zu l¨osen ist das GleichungssystemRa=q. Die L¨osungagibt die Koeffizienten im Polynom P(x) an, f¨ur die ∑k

i=1(P(xi)−yi)2 minimal wird. Der Spezialfall n = 2 ergibt die oben behandelte Regressionsgerade.

Beispiel: Wir suchen die Regressionspolynome vom Grad 1 und Grad 2 f¨ur die Punkte DaRbereits eine Diagonalmatrix ist, kann man a0 = 247 unda1 = 1 leicht berechnen. Die Regressionsgerade ist y =x+ 247 .

Um die Regressionspolynom zweiten Grades zu berechnen, ist Ra=q zu l¨osen mit R=

Links unten steht die Koeffiziententabelle zu diesem Gleichungssystem. Mit einem Elimi-nationsschritt erh¨alt man die rechtsstehende Tabelle, die bereits Dreiecksgestalt hat.

a0 a1 a2

Der zweite Spezialfall, den wir behandeln, sind trigonometrische Polynome. Wir setzen n= 2m+1 f¨ur einm≥1. Wir w¨ahlenφ0(x) = 1 undφj(x) = cosjxundφm+j(x) = sinjx f¨ur 1 j m. Wir erhalten dann P(x) = a0 + ∑m

j=1ajcosjx+ ∑m

j=1am+jsinjx.

So eine Funktion nennt man ein trigonometrisches Polynom. Durch Einsetzen in obige Formeln kann man Ruv und qu berechnen und das Gleichungssystem Ra = q l¨osen. Die L¨osung a gibt dann wieder die Koeffizienten im trigonometrischen Polynom P(x) an, f¨ur die ∑k

i=1(P(xi)−yi)2 minimal wird.

3. Fourierapproximation

Bisher waren n Punkte in der Ebene vorgegeben und gesucht war ein Polynom, das m¨oglichst gut an diese Punkte herankommt. Jetzt geben wir ein beschr¨anktes Intervall I vor und eine integrierbare Funktiong :I Rund suchen ein Polynom, das die Funktiong auf dem Intervall I m¨oglichst gut approximiert. Wir tun das wieder f¨ur ein verallgemein-ertes PolynomP(x) =∑n1

j=0 ajφj(x), wobei die Funktionenφj stetig und vorgegeben sind, zum Beispiel φj(x) = xj f¨ur j 0. Zum Approximieren verwenden wir eine kontinuier-liche Version der Methode der kleinsten Quadrate: Die Koeffizienten a0, a1, . . . , an−1 im verallgemeinerten Polynom P(x) sind so zu bestimmen, dass ∫

I(P(x)−g(x))2dx minimal wird. Die L¨osung findet man auf dieselbe Art wie im letzten Kapitel.

Satz 16: Sei R= (Ruv)0u,vn1 mit Ruv =∫

Iφu(x)φv(x) dx und sei q = (qv)0vn1 mit qv = ∫

I φv(x)g(x) dx. Wir nehmen an, dass das Gleichungssystem Ra = q eine eindeutige L¨osunga= (a0, a1, . . . , an1)besitzt. Diese L¨osung gibt dann die Koeffizienten in P(x) =∑n−1

j=0 ajφj(x) an, f¨ur die

I(P(x)−g(x))2dx minimal wird.

Beweis: Wir setzenQ(x) =n1

j=0 ajφj(x), wobei die Koeffizienten die Komponenten des L¨osungsvektors des GleichungssystemsRa=q sind. Dann gilt f¨ur 0≤i≤n−1

Der Fall, der uns hier interessiert, sind trigonometrische Polynome. Sei n= 2m+ 1 f¨ur ein m 1 und I = [−π, π]. F¨ur 1 j m sei φj(x) = cosjx und φm+j(x) = sinjx. Diagonalmatrix und das Gleichungssystem Ra=q leicht l¨osbar. Wegen q0 =∫π

πg(x) dx Somit ist das trigonometrische Polynom P(x) = a0 +∑m

j=1ajcosjx+∑m

j=1bjsinjx ge-funden, das die Funktion g auf dem Intervall [−π, π] am besten approximiert, wobei wir ab jetzt bj statt am+j schreiben. Diese Approximation nennt man Fourierapproximation.

Die Koeffizienten aj f¨urj 0 und bj f¨ur j 1 heißen Fourierkoeffizienten der Funktion g.

Wir berechnen die Fourierapproximation f¨ur einige Funktionen g : [−π, π] R. Ist g eine gerade Funktion, das heißt g(−x) = g(x) f¨ur x [−π, π], dann ist x 7→ g(x) sinjx eine ungerade Funktion und es gilt bj = 0 f¨ur alle j 1. Ist g eine ungerade Funktion, das heißt g(−x) =−g(x) f¨ur x∈[−π, π], dann ist x7→g(x) cosjxebenfalls eine ungerade Funktion und es gilt aj = 0 f¨ur alle j 0.

-3 -2 -1 1 2 3

g(x) = x42 definiert. Wir berechnen die Fourierkoeffizienten der Funktion g. Da g eine gerade Funktion ist, haben wir bj = 0 f¨ur alle j 1. aj = (−1)j2 j f¨ur j 1. Damit sind die Fourierkoeffizienten berechnet und die m-te Fourier-approximationPm(x) =a0+∑m dem Intervall [−π, π] f¨ur die Funktion g ist gefunden. In obiger Zeichnung sind die Funk-tionen g und P2 gezeichnet. Man sieht, dass die zweite Fourierapproximation P2 bereits recht gut approximiert.

ana-log wie im letzten Beispiel. Es ergibt sich bj = (−1)jj+1 f¨ur j 1. Damit

die Funktionen P2 und P7 gezeichnet. Man sieht, dass die Approximation nicht so gut ist wie im letzten Beispiel. die Funktionen P4 und P12

gezeich-net. Man sieht, dass die Approximation nicht so gut ist wie im vorletzten Beispiel.

Die Fourierapproximation Pm(x) =a0+∑m

j=1ajcosjx+∑m

j=1bjsinjx einer Funktion g ist eine stetige Funktion auf [−π, π], f¨ur die Pm(−π) = Pm(π) gilt. Hat die Funktion g eine Sprungstelle, wie es in letzten Beispiel im Punkt 0 der Fall ist, dann kann dort die Approximation nicht gut sein. Dasselbe gilt in den Endpunkten des Intervalls [−π, π], wenn g(−π) ̸= g(π) ist. Wegen Pm(−π) = Pm(π) kann dann die Approximation in der N¨ahe der Endpunkte nicht gut sein. Das sieht man in den beiden letzten Beispielen.

Die Frage, ob limm→∞Pm(x) =g(x) gilt, hat keine einfache Antwort. Wir nennen die Funktion g im Punkt x linksmonoton, wenn einδ >0 existiert, sodassg auf dem Intervall (x−δ, x) monoton ist. Wir nennen die Funktion g im Punkt x rechtsmonoton, wenn ein δ >0 existiert, sodassgauf dem Intervall (x, x+δ) monoton ist. Istgim Punktx∈(−π, π) stetig und sowohl links- als auch rechtsmonoton, dann kann man limm→∞Pm(x) = g(x) zeigen. Ist gim Punkt−π stetig und rechtsmonoton, im Punktπ stetig und linksmonoton und giltg(−π) =g(π), dann kann man limm→∞Pm(x) =g(x) auch f¨urx=−π undx=π beweisen. F¨ur eine Funktion g, die auf [−π, π] stetig und in allen Punkten links- und rechtsmonoton ist und die g(−π) =g(π) erf¨ullt, kann man sich daher gute Approximation erwarten. Die Funktion g(x) = x42 im ersten der drei Beispiele ist so eine Funktion. Man sieht auch, dass bereits P2 gut approximiert.

Ein Punktxheißt Sprungstelle vongwenng(x−) = limy↑xg(y) undg(x+) = limy↓xg(y) existieren, aber ungleich sind. Ist x (−π, π) eine Sprungstelle von g und g in x sowohl links- als auch rechtsmonoton, dann kann man limm→∞Pm(x) = g(x)+g(x+)2 zeigen.

Ahnlichs gilt f¨¨ ur −π und π. Ist g im Punkt −π stetig und rechtsmonoton und im Punkt π stetig und linksmonoton, dann gilt limm→∞Pm(−π) = limm→∞Pm(π) = g(π)+g(π)2 .

Schließlich sei noch darauf hingewiesen, dass man die Fourierapproximation auch f¨ur Funktionen auf einem Intervall [a, b] berechnen kann. Sei φ(x) = bax+a+b2 . Das ist eine linare Abbildung, die das Intervall [−π, π] auf das Intervall [a, b] abbildet. Ist f auf [a, b]

definiert, dann bildet mang(x) =f(φ(x)). Das ist eine Funktion auf dem Intervall [−π, π], f¨ur die man eine Fourierapproximation Pm berechnen kann. Eine Fourierapproximation f¨ur die urspr¨ungliche Funktionf ist dann Pm1(x)).

I. Rundungsfehler 1

1. Gleitkommaarithmetik 1

2. Fehlerfortpflanzung 2

II. Polynome 5

1. Der Horneralgorithmus 5

2. Division durch Polynome h¨oheren Grades 7

III. Nullstellen 8

1. Fixpunkte 8

2. Das Newtonverfahren zur Bestimmung von Nullstellen 9

3. Nullstellen von Polynomen 11

4. Sekantenverfahren und Regula falsi 12

IV. Integration 14

1. Trapez– und Simpsonregel 14

2. Zusammengesetzte Integrationsformeln 17

V. Lineare Gleichungssysteme 19

1. Das Gaußsche Eliminationsverfahren 19

2. Determinante und inverse Matrix. 22

VI. Lineare Optimierung 24

1. Graphische L¨osung 24

2. Das Simplexverfahren 25

3. Minimumprobleme 29

VII. Ausgleichsrechnung 31

1. ¨Uberbestimmte Gleichungssyteme 31

2. Die Methode der kleinsten Quadrate 31

3. Fourierapproximation 33