A     3A.1

3A.1 Grundbegriffe der Linearen Algebra

a Matrix, genauer

n × m

A ⁼









a ₁₁ a ₁₂ . . . a _1m a ₂₁ a ₂₂ . . . a _2m

... ... ...

a _n1 a _n2 . . . a _nm









=





2 1

− ^{1 0}

3 1





Zeilen

i ^{= 1} , ..., n

j ^{= 1} , ..., m

a _ij

Quadratische Matrix: Gleiche Anzahl Zeilen und Spalten,

n ⁼ m

B ⁼

3 1 4 − ²

Symmetrische Matrix: Es gilt

a _ij ⁼ a _ji

C ⁼

3 1 1 − ²

Diagonale einer quadratischen Matrix: Die Elemente

[ a ₁₁ , a ₂₂ , ..., a _nn ]

für

B ^[3 , − ^2]

Diagonalmatrix: Eine, die „nur aus der Diagonalen besteht",

d _ij ^{= 0}

i 6 ⁼ j

D ⁼









d ₁₁ ⁰ . . . ⁰

0 d ₂₂ . . . ⁰

... ... ...

0 0 . . . d _nn









=

3 0 0 − ²

3A.1

b Transponierte Matrix: Zeilen und Spalten vertauschen:

A ^{T =}









a ₁₁ a ₂₁ . . . a _n1 a ₁₂ a ₂₂ . . . a _n2

... ... ...

a _1m a _2m . . . a _nm









=

2 − ^{1 3}

1 0 1

Bemerkungen:

1.

( A ^{T ) T =} A

A ^{T =} A

3A.1

c Vektoren

b ⁼







 b ₁ b ₂

:

b _n









Elemente

b _i

d Transponierte Vektoren: Spaltenvektoren werden zu Zeilenvektoren:

b ^{T =}







 b ₁ b ₂

:

b _n









T

= [ b ₁ , b ₂ , ..., b _n ^] .

b ^{= [} b ₁ , b ₂ , ..., b _n ^{] T}

3A.1

e Einfache Rechenoperationen

Addition und Subtraktion: elementweise.





2 1

− ^{1 0}

3 1



 −





3 1 4 − ²

2 1



 ⁼





1 0





Multiplikation mit / Division durch eine Zahl (einen „Skalar"):

elementweise.

3 ·





2 1

− ^{1 0}

3 1



 ⁼





6 3

− ^{3 0}

9 3





Linearkombination von Vektoren:

Index für Komponente hochgestellt,

a _i ^{= [} a ⁽¹⁾ _i , a ⁽²⁾ _i , ..., a ⁽ⁿ⁾ _i ^{] T}

λ ₁ a ₁ ⁺ λ ₂ a ₂ ⁺ ... ⁺ λ _k a _k ⁼













λ ₁ a ⁽¹⁾ ₁ ⁺ λ ₂ a ⁽¹⁾ ₂ ⁺ ... ⁺ λ _k a ⁽¹⁾ _k λ ₁ a ⁽²⁾ ₁ ⁺ λ ₂ a ⁽²⁾ ₂ ⁺ ... ⁺ λ _k a ⁽²⁾ _k

...

λ ₁ a ⁽ⁿ⁾ ₁ ⁺ λ ₂ a ⁽ⁿ⁾ ₂ ⁺ ... ⁺ λ _k a ⁽ⁿ⁾ _k













3A.1

f Matrix-Multiplikation Dimensionen müssen stimmen!

c _ik ⁼ X m

j=1 a _ij b _jk

Beispiel:





2 1

− ^{1 0}

3 1



 ·

3 1 4 − ²

=





2 · ^{3 + 1} · ^{4 2} · ^{1 + 1} · ⁽ − ²⁾

( − ¹⁾ · ^{3 + 0} · ^{4 (} − ¹⁾ · ^{1 + 0} · ⁽ − ²⁾

3 · ^{3 + 1} · ^{4 3} · ^{1 + 1} · ⁽ − ²⁾



 ⁼





10 0

− ³ − ¹

13 1





Bemerkungen:

1.

B · A ⁼

2.

A · B 6 ⁼ B · A

Matrizen dürfen nicht vertauscht werden.

3.

A · B ⁼ 0 6 ⁼ ⇒ A ⁼ 0

B ⁼ 0

4. Assoziativgesetz:

( A · B ⁾ · C ⁼ A · ⁽ B · C ⁾

5. Distributivgesetz:

A · ⁽ B ⁺ C ^{) =} A · B ⁺ A · C

( A ⁺ B ⁾ · C ⁼ A · C ⁺ B · C

( A · B ^{) T =} B ^T · A ^T

Man muss beim Transponieren die Reihenfolge vertauschen!

7.

A · A ^T

A ^T · A

g Für Vektoren

a

b

a · b ^{T =}









a ₁ b ₁ a ₁ b ₂ . . . a ₁ b _m a ₂ b ₁ a ₂ b ₂ . . . a ₂ b _m

... ...

a _n b ₁ a _n b ₂ . . . a _n b _m







 .

3

− ²

· ^[2 , − ¹ , ^{0] =}

6 − ^{3 0}

− ^{4 2 0}

Wenn sie gleiche Länge haben, ist

a ^T · b ⁼ X

i a _i · b _i .

Quadrierte „Länge" eines Vektors (=„Norm"):

X

i

a ² _i ⁼ kak ^{2 =} a ^T · a

k ^[2 , − ¹ , 0] k ^{2 = [2} , − ¹ , 0]





2

− ¹

0



 = 4 + 1 + 0 = 5

„Matrix mal Spaltenvektor" = Spaltenvektor:

A · b ⁼ c





2 1

− ^{1 0}

3 1



 ·

3

− ¹

=





5

− ³

8





3A.1

h Einheitsmatrix:

I ⁼









1 0 . . . ⁰

0 1 . . . ⁰

... ... ...

0 0 . . . ¹









I · A ⁼ A

A · I ⁼ A

3A.1

i Inverse Matrix:

A

B · A ⁼ I

Schreibweise:

B ⁼ A ⁻¹

1.

A · B ⁼ I

2.

A

−→ A ⁻¹

A

−→ A ⁻¹

3.

B ⁼ A ^{−1 =} ⇒ A ⁼ B ⁻¹

4.

( A ⁻¹ ) ⁻¹ = A

5. Inverses eines Matrix-Produkts:

( A · B ^{) −1 =} B ⁻¹ · A ⁻¹

Die Reihenfolge muss also vertauscht werden!

6. Es ist

( A ^{T ) − 1 = (} A ^{− 1 ) T =} A ^−T

3A.1

j Lineares Gleichungssystem

a ₁₁ β ₁ + a ₁₂ β ₂ + ... + a _1m β _m = y ₁ a ₂₁ β ₁ ⁺ a ₂₂ β ₂ ⁺ ... ⁺ a _2m β _m ⁼ y ₂

. . . ..

a _m1 β ₁ ⁺ a _m2 β ₂ ⁺ ... ⁺ a _mm β _m ⁼ y _m

A β ⁼ y

hat genau eine Lösung, wenn

A

β ⁼ A ⁻¹ y

3A.1

k Wenn die Matrix

A

dann gibt es eine Zeile

[ a _i1 , a _i2 , ..., a _im ^]

die sich als Linearkombination der andern schreiben lässt.

Die entsprechende Gleichung führt entweder zu einem Widerspruch (keine Lösung) oder ist überflüssig (unendlich viele Lösungen).

Man spricht von linearer Abhängigkeit

der Zeilen der Matrix oder der Gleichungen.

3A.2 Modell und Schätzungen in Matrix-Schreibweise

b

Y _i = β ₀ + β ₁ x ⁽¹⁾ _i + β ₂ x ⁽²⁾ _i + . . . + β _m x ^(m) _i + E _i

Y ⁼







 Y ₁ Y ₂

:

Y _n









E ⁼









E ₁ E ₂

:

E _n









c

β ⁼









β ₁ β ₂

:

β _m









X ⁼











x ⁽¹⁾ ₁ x ⁽²⁾ ₁ . . . x ^(m) ₁ x ⁽¹⁾ ₂ x ⁽²⁾ ₂ . . . x ^(m) ₂

... ...

x ⁽¹⁾ _n x ⁽²⁾ _n . . . x ^(m) _n











Y = β ₀ 1 + X β + E

3A.2 d

X e = [ 1 X ^{] =}











1 x ⁽¹⁾ ₁ x ⁽²⁾ ₁ . . . x ^(m) ₁

1 x ⁽¹⁾ ₂ x ⁽²⁾ ₂ . . . x ^(m) ₂

... ...

1 x ⁽¹⁾ _n x ⁽²⁾ _n . . . x ^(m) _n











β e ⁼

β ₀ β

=













β ₀ β ₁ β ₂

:

β _m













Y ⁼ X e β e ⁺ E

3A.2

e Schätzung

R _i ⁼ Y _i − ⁽ β ₀ ^{∗ +} X

j

β _j ^∗ x ^(j) _i ⁾

R ⁼ Y − X e β e ^∗

Qh β e ^∗ i ⁼ X

i

R _i ^{2 =} R ^T R

minimieren!

3A.2 f

β b ^{= arg min}

β e hQh βii e

∂Qh β e i/∂β _j ⁼ X

i

∂R ² _i /∂β _j ^{= 2} X

i

R _i ∂R _i /∂β _j

∂R _i /∂β _j ⁼ ∂



 Y _i − ⁽ β ₀ ⁺ X

j

β _j x ^(j) _i ⁾



 ,

∂β _j ⁼ −x ^(j) _i

∂Qh β e i/∂β _j ⁼ − ² X

i

R _i x ^(j _i ^{) =} − ^{2 (} X e

T R ⁾ _j

Ableitungen = 0 !

g

X e

T R ^{= 0} → X e

T ( Y − X e β b ^{) = 0}

X e

T X e β b ⁼ X e

T Y

C ⁼ X e

T X e

β b ⁼ C ⁻¹ X e

T Y

h

C

"‘Kollinearität"’

3A.3 Vert. der geschätzten Koeffizienten β b ⁼ C ⁻¹ X e Y ⁼ C e Y

β b _j ⁼ X n

i=1 C e _ji Y _i Eh β b _j i ⁼ X n

i=1 C e _ji EhY _i i ⁼ X n

i=1 C e _ji

X

k X _i ^(k) β _k

=

C e X β

j

=

C ^{− 1} C β

j

= β _j

var h β b _j i ⁼ X n k=1

C e _jk 2

var hY _k i ⁼ σ ² X n k=1

C e _jk 2

= σ ²

C e C e

T

jj

C e C e

T = C ^{− 1} X e

T ( C ^{− 1} X e

T ) ^T = C ^{− 1} X e

T X e ⁽ C ^{− 1 ) T}

= C ^{− 1} C ⁽ C ^{− 1 ) T = (} C ^{− 1 ) T}

var h β b _j i ⁼ σ ²

( X ^T X ^{) − 1}

jj cov h β b _j , β b _k i ⁼ σ ²

( X ^T X ^{) − 1}

jk