Die folgenden Fragen dienen der Wiederholung und Systematisierung des Stoffes. Sie geben Anhaltspunkte, welche Fragen in der mündlichen Prüfungen gestellt werden könnten.

Dr. Mario Helm TU Bergakademie Freiberg

Dr. Antje Franke-Börner Wintersemester 2013/14

Numerik der linearen und nichtlinearen Parameterschätzprobleme

Fragen zum Selbsttest

Die folgenden Fragen dienen der Wiederholung und Systematisierung des Stoffes. Sie geben Anhaltspunkte, welche Fragen in der mündlichen Prüfungen gestellt werden könnten.

1. Welche Typen von Kleinste-Quadrate-Problemen (KQP) haben Sie in der Vorlesung kennen- gelernt. Versuchen Sie sich an einer Systematisierung.

2. Im Kontext welcher praktischen Probleme entstehen KQP? Geben Sie einige Beispiele.

3. Welches Problem wird unter dem Namen „lineare Regression“ behandelt? Formulieren Sie die mathematische Aufgabe und skizzieren Sie deren Lösung.

4. Erklären Sie das Problem von Parameterschätzungen bei Differentialgleichungen an einem selbst gewählten Beispiel. Welcher Typ KQP resultiert aus Ihrem Beispiel?

5. Was verstehen Sie unter der Normallösung eines linearen KQP? Welcher Bezug besteht zwi- schen der Normalgleichung eines linearen KQP und dessen Lösungen? Erläutern Sie die Aus- sage der Normalgleichung an einer aussagekräftigen Skizze.

6. Die Normalgleichung lässt sich grundsätzlich mittels Gauß-Elimination/Cholesky-Zerlegung lösen (wann und wie?). Welche Probleme ergeben sich aus numerischer Sicht, und welchen Ansatz kann man zu deren Abmilderung verwenden?

7. Was verstehen Sie unter der QR-Zerlegung einer Matrix, und wie kann man diese numerisch erzeugen? Wie lassen sich lineare KQP mittels QR-Zerlegung lösen und warum? Gehen Sie sowohl auf den Vollrang- als auch auf den rangdefizienten Fall ein.

8. Was verstehen Sie unter der Singulärwertzerlegung (SVD) einer Matrix? Welche Zusammen- hänge bestehen zwischen den Singulärwerten von A und den Eigenwerten von A

A bzw. A (symmetrischer Fall)? Wie kann man A mit Hilfe der SVD als Summe von Rang-1-Matrizen schreiben?

9. Was verstehen Sie unter der Pseudoinversen einer Matrix? Wie kann man die Normallösung von Ax ∼ = b mit Hilfe der Pseudoinversen berechnen? Geben Sie die Normallösung auch als Linearkombination der Spalten von V aus der SVD an.

10. Was passiert mit der Normallösung, wenn man im KQP Ax ∼ = b von b zu b + δb bzw. von A zu A + δA übergeht? Welche Fälle müssen Sie im zweiten Fall unterscheiden? Demonstrieren Sie die Effekte an einem einfachen Beispiel.

11. Was verstehen Sie unter dem numerischen δ-Rang (Pseudorang) von A? Welcher Bezug be-

steht zu den Singulärwerten? Erläutern Sie vor dem Hintergrund von Frage 11, welches Ziel

mit der Begriffsbildung verfolgt wird.

12. Was verstehen Sie unter der TSVD-Lösung eines linearen KQP? Zwischen welchen Extremen gilt es in der Praxis einen Mittelweg zu finden? Wie kann man einen geeigneten Pseudorang bzw. ein geeignetes Fehlerniveau finden?

13. Was verstehen Sie unter Tichonov-Regularisierung? Warum ist die Lösung des regularisierten Problems eindeutig bestimmt, und wie lässt sie sich über die SVD von A darstellen? Gehen Sie wieder auf die Bestimmung des „optimalen“ Regularisierungsparameters ein.

14. Welcher Zusammenhang besteht zwischen regularisierten und restringierten linearen KQP?

15. Was verstehen Sie unter allgemeinen quadratischen Optimierungsproblemen mit linearen Gleichungs- und Ungleichungsrestriktionen? Gehen Sie in beiden Fällen auf notwendige Op- timalitätsbedingungen ein.

16. Erläutern Sie Wirkungsweise der Strategie der aktiven Mengen an einem selbst gewählten Beispiel (Skizze).

17. Welche speziellen Algorithmen zur Lösung linearer KQP mit Gleichungsrestriktionen kennen Sie? Welche Grundideen werden speziell bei der direkten Elimination und der Methode der Wichtung verfolgt?

18. Welche iterativen Verfahren für lineare KQP kennen Sie, und für welche Art Probleme werden sie verwendet? Was haben diese Verfahren mit Krylov-Räumen zu tun? Wo liegt der Unter- schied zwischen den Verfahren? Welche wesentlichen „Zutaten“ werden für die Anwendung dieser Verfahren benötigt?

19. Die Konvergenzrate von CGLS oder LSQR ist für große Konditionszahlen κ(A) schlecht. Wie kann man diese Rate verbessern? Skizzieren Sie die zugrundeliegende Idee.

20. Wie lautet die allgemeine Aufgabenstellung bei einem nichtlinearen KQP? Wie lassen sich die lokalen Minima der Zielfunktion charakterisieren?

21. Welche Idee steckt hinter dem Newton-Verfahren? Geben Sie die Verfahrensvorschrift an und interpretieren Sie diese im Eindimensionalen an einer Skizze. Wo liegen die Probleme bei diesem Verfahren, und welche Konvergenzeigenschaften weist es auf?

22. Welcher Ansatz wird beim Gauß-Newton-Verfahren verfolgt? Wie unterscheidet es sich vom Newton-Verfahren und welche Konvergenzeigenschaften können Sie erwarten? Zeigen Sie, dass das GN-Verfahren bei regulärer Jacobi-Matrix J

immer eine Abstiegsrichtung liefert.

23. Erläutern Sie das Vorgehen beim gedämpften GN-Verfahren anhand einer Profilzeichnung der Zielfunktion entlang der GN-Richtung. Welche Verbesserung kann man i. Allg. durch Dämpfung erreichen?

24. Welche weitere Globalisierungstechnik kennen Sie, und welche Strategie wird bei dieser ver- folgt?

25. Welche notwendigen Bedingungen für lokale Extrema nichtlinearer reellwertiger Funktionen unter Gleichungs- und Ungleichungsnebenbedingungen kennen Sie? Unter welchen Vorausset- zungen sind diese Bedingungen auch hinreichend?

26. Welche Strategie verfolgt man mit dem Lagrange-Newton-Verfahren? Gehen Sie detailliert auf den Fall mit Gleichungsrestriktionen ein, und skizzieren Sie, wie man zusätzliche Unglei- chungsrestriktionen behandeln könnte.

27. Was kennzeichnet ein korrekt gestelltes Problem nach Hardamard?