Von Marc Neuner, 18.11.2015ProseminarMatrixmethoden in Datenanalyse und MustererkennungWintersemester 2015/2016 Orthogonalität

Orthogonalität

Von Marc Neuner, 18.11.2015 Proseminar Matrixmethoden in Datenanalyse und Mustererkennung Wintersemester 2015/2016

Gliederung

•

Einstieg: Gute und schlechte Basisvektoren

•

Mathematische Grundlagen

•

Dreiecksmatrizen



Durch Givens-Rotation



Durch Householder-Spiegelung

•

Komplexität

•

Stabilität

Gute und schlechte Basisvektoren

Mathematische

Grundlagen

Mathematische Grundlagen

•

^{𝑥 ⊥ 𝑦 ⟺ 𝑥𝑇𝑦 = 0 x, y ∈ ℝ𝑛}

•

^𝑞₁^{, … , 𝑞}_𝑛 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙 ∈ ℝ^𝑛 ⟹ 𝑞₁, … , 𝑞_𝑛 𝑙𝑖𝑛𝑒𝑎𝑟 𝑢𝑛𝑎𝑏ℎä𝑛𝑔𝑖𝑔

•

^𝑞₁^{, … , 𝑞}_𝑛 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙 ∈ ℝ^𝑛 , 𝑞_𝑖 = 1 , 𝑖 = 1, … , 𝑛

⟹ 𝑞₁, … , 𝑞_𝑛 𝑜𝑟𝑡ℎ𝑜𝑛𝑜𝑟𝑚𝑎𝑙

•

^𝑞₁^{, … , 𝑞}_𝑛 𝑜𝑟𝑡ℎ𝑜𝑛𝑜𝑚𝑎𝑙 ⟹ 𝑄 = 𝑞₁ … 𝑞_𝑛 𝜖 ℝ^𝑛×𝑛𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙

Mathematische Grundlagen

•

^{𝑄 𝜖 ℝ𝑛×𝑛}𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙 ⟹ 𝑄^𝑇𝑄 = 𝑄𝑄^𝑇 = 𝐼 ⇒ 𝑄^𝑇 = 𝑄⁻¹

•

^𝑄₁^{, 𝑄}₂^{𝜖 ℝ𝑛×𝑛}𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙 ⟹ 𝑄₁𝑄₂ = 𝑄 𝜖 ℝ^𝑛×𝑛 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙

•

^𝑄𝑥 ₂^{2 = 𝑥} ₂^{2 , 𝑥 𝜖 ℝ𝑛 , 𝑄 𝜖 ℝ𝑛×𝑛 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙}

•

^𝑈𝐴𝑉 ₂ ^{= 𝐴} ₂ ^{, 𝐴 𝜖 ℝ𝑛×𝑛 , 𝑈, 𝑉 𝜖 ℝ𝑛×𝑛 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙}

Dreiecksmatrizen

Dreiecksmatrizen Givens-Rotation

•

Matrix-Vektor-Multiplikation: Streckung oder Drehung des Vektors

•

Idee: Eliminieren eines Elements des Vektors

•

Drehmatrix: 𝑐 𝑠

−𝑠 𝑐 = cos 𝜃 sin(𝜃)

−sin(𝜃) cos 𝜃

•

Übertragung auf Matrix: Dreiecksgestalt durch Givens-Rotation

Dreiecksmatrizen Givens-Rotation

•

Rotationsmatrix (eliminiert das Element 𝑎_𝑘𝑙 der Matrix 𝐴 ∈ ℝ^𝑛×𝑛)

𝐺_𝑘𝑙 =

1 0

⋱ 1

𝑐 𝑠

1

⋱

1

−𝑠 𝑐

1

⋱

0 1

∈ ℝ^𝑛×𝑛

𝑔_𝑘𝑙 = −𝑠, 𝑔_𝑙𝑘 = 𝑠 𝑔_𝑘𝑘 = 𝑔_𝑙𝑙 = 𝑐

𝑠 = 𝑎_𝑘𝑙 𝑎_𝑘𝑘² + 𝑎_𝑙𝑙²

, c = 𝑎_𝑙𝑙 𝑎_𝑘𝑘² + 𝑎_𝑙𝑙²

Dreiecksmatrizen Givens-Rotation

•

Rotationsmatrix operiert auf Spalten 𝐺_𝑘𝑙𝐴 = (𝐺_𝑘𝑙𝑎₁| … |𝐺_𝑘𝑙𝑎_𝑛)

•

Sukzessives Eliminieren von Elementen ≠ 0unter der Diagonalen

𝐴 =

∗ … …

∗ ⋱

⋮ ⋱ ⋱

… … ∗

⋮

⋮

⋮ ⋱

⋮

∗ … …

⋱ ⋮

⋱ ⋱ ⋮

… … ∗

↝ 𝐺₂₁𝐴 =

∗ … … 0 ⋱

∗ ∗ ⋱

… … ∗

⋮

⋮

⋮ ⋮ ⋱

⋮ ⋮

∗ ∗ …

⋱ ⋮

⋱ ⋱ ⋮

… ∗ ∗

↝ ⋯ ↝

𝐺_𝑛1 … 𝐺₂₁𝐴 =

∗ … … 0 ⋱

0 ∗ ⋱

… … ∗

⋮

⋮ 0 ⋮ ∗

0 ⋮ ⋮ 0 ∗ ∗

⋱ ⋮

⋱ ⋱ ⋮

… ∗ ∗

↝ ⋯ ↝ GA =

∗ … … 0 ⋱

⋮ ⋱ ⋱

… … ∗

⋮

⋮

⋮ ⋱

⋮

0 … …

⋱ ⋮

⋱ ⋱ ⋮

… 0 ∗

Dreiecksmatrizen

Householder-Spiegelung

•

^Idee: 𝑃𝑥 = 𝑦 mit P = I − ²

𝑣^𝑇𝑣 𝑣𝑣^𝑇 = 𝐼 − ²

𝑣 ₂² 𝑣𝑣^𝑇

•

^{Wähle: 𝑦 = 𝑥} ₂^𝑒₁ und v = x − y = x ± 𝑥 ₂𝑒₁

Wir eliminieren alle bis auf das erste Element eines Vektors ohne seine Norm zu verändern!

Dreiecksmatrizen

Householder-Spiegelung

•

Übertragung auf Matrix

𝐴 =

∗ … …

⋮ ⋱

⋮ ∗ ⋱

… … ∗

⋮

⋮

⋮ ⋮ ⋱

⋮ ⋮

∗ ∗ …

⋱ ⋮

⋱ ⋱ ⋮

… ∗ ∗

↝ 𝑃₁𝐴 =

∗ … … 0 ⋱

⋮ ∗ ⋱

… … ∗

⋮

⋮

⋮ ⋮ ∗

⋮ ⋮ ⋮ 0 ∗ ∗

⋱ ⋮

⋱ ⋱ ⋮

… ∗ ∗

↝ ⋯ ↝ 𝑃_𝑛… 𝑃₁A =

∗ … … 0 ⋱

⋮ ⋱ ⋱

… … ∗

⋮

⋮

⋮ ⋱

⋮

0 … …

⋱ ⋮

⋱ ⋱ ⋮

… 0 ∗

Komplexität

•

Householder-Spiegelung und Givens-Rotation für eine 𝑛 × 𝑛 − 𝑀𝑎𝑡𝑟𝑖𝑥 ℴ 𝑛³

•

Householder im Allgemeinen effizienter

•

Dünnbesetzte Matrix  Givens-Rotation

Stabilität

•

Householder-Spiegelung:

𝑃 − ෠𝑃

2 = ℴ 𝜇

𝑓𝑙 ෠𝑃𝐴 = 𝑃 𝐴 + 𝐸 , 𝐸 ₂ = ℴ 𝜇 𝐴 ₂

•

Givens-Rotation:

äℎ𝑛𝑙𝑖𝑐ℎ𝑒 𝐸𝑟𝑔𝑒𝑏𝑛𝑖𝑠𝑠𝑒

Quellen

•

L. Eldén:

Matrix methods in data mining and pattern recognition.

Volume 4, Society for Industrial and Applied Mathematics (SIAM), Philadelphia, PA, 2007.

•

H. R. Schwarz, N. Köckler:

Numerische Mathematik.

6.,überarbeitete Auflage, Wiesbaden, Teubner, 2006.

•

^{R. Plato:}

Numerische Mathematik kompakt.

Grundlagenwissen für Studium und Praxis, 4., aktualisierte Auflage, Wiesbaden, Vieweg + Teubner, 2010.

•

S. Weißer:

Praktische Mathematik.

Vorlesung, SS 2015