3 .1 V e k to ri e lle Z u fa lls v a ri a b leaZufallsvariableundStichproben.ZurErinnerung:

46

3 M o d e lle

3 .1 V e k to ri e lle Z u fa lls v a ri a b le

aZufallsvariableundStichproben.ZurErinnerung:

Beobachtung

i

modelliertdurchZufallsvariable

X

i

∼ F

,oft

∼ N h µ ,σ

2

i

Daten

Beobachtungen

Haeufigkeit

−10123456789

0 1 2 3 4 5 6 7 8 9 10

Modell

X −10123456789

0.00 0.10 0.20 0.30

Dichte

47

jetztmultivariat!

0.640.680.720.760.800.600.640.680.720.760.80

0.35 0.40 0.45 0.50 0.55 0.60 0.65 log(Breite)

483.1

bZufallsvektor.

X =    X

(1)

X

(2)...

X

(m)

   ,

Verteilung=gemeinsameVerteilungder

X

(1)

,X

(2)

,. .., X

(m). StichprobevonZufallsvektoren

X

imitgleicherVerteilung,

unabhängigvoneinander.

AlleDatenderStichprobe

− →

Datenmatrix

X = " X

T1

.. . X

Tn

#

=     X

(1)1

X

(2)1

.. . X

(m)1

X

(1)2

X

(2)2

.. . X

(m)2... ... ...

X

(1)n

X

(2)n

.. . X

(m)n

    .

X

isindSpaltenvektoren,obwohlsie

ZeilenderDatenmatrix

X

sind.

49 Mittelwerte 1n

P ...

, 1n−1

P ... − →

Erwartungswerte

µ = E h X i =    E h X

(1)

i E h X

(2)

i

...

E h X

(m)

i   

Varianz

− →

Kovarianzmatrix|

Σ = v a r h X i =

=    v a r h X

(1)

i c o v h X

(1)

,X

(2)

i ... c o v h X

(1)

,X

(m)

i c o v h X

(2)

,X

(1)

i v a r h X

(2)

i ... c o v h X

(2)

,X

(m)

i

... ...

...

...

c o v h X

(m)

,X

(1)

i c o v h X

(m)

,X

(2)

i ... v a r h X

(m)

i   

503.1

dKovarianzmatrixalsErwartungswert.

FüreinfacheZv.:

v a r h X i = E ( X − µ )

2

= E h X

2

i − µ

2.

v a r h X i = E D X − µ X − µ

T

E = E h X X

T

i − µ µ

T

. ( X − µ ) ( X − µ )

Tisteine

m × m

-Matrix!

eLineareTransformationen.

Y = a + B X

.

E h Y i = a + B E h X i

v a r h Y i = B v a r h X i B

T

51

SummenvonunabhängigenZufallsvektoren.

E h X

1

+ X

2

i = E h X

1

i + E h X

2

i v a r h X

1

+ X

2

i = v a r h X

1

i + v a r h X

2

i

Mittelwert

X =

1n

P

ni=1

X

i.Wenn

µ = E h X

i

i ,

|

Σ = v a r h X

i

i

:

E h X i =

1n

X

n

i=1

E h X

i

i = µ

v a r h X i =

1n

2

X

n

i=1

v a r h X

i

i =

1n |

Σ

52

3 .2 D ie m e h rd im e n s io n a le N o rm a lv e rt e ilu n g

aAllg.mehrdimensionaleVerteilung.

KumulativeVerteilungsfunktion

F h x i = P h X ≤ x i

.–Mehrdim.:

F h x i = P h X ≤ x i = P h X

(1)

≤ x

(1)

,X

(2)

≤ x

(2)

,. .., X

(m)

≤ x

(m)

i .

Dichte:

f h x i

=Ableitungvon

F

=

∂

m

F ∂ x

(1)

∂ x

(2)

... ∂ x

(m).

Ereignis:

A

:

X ∈ A

.Wsch.durchIntegrationderDichte:

P hA i = R

u∈A

f h u i d u

(1)

... d u

(m).

F h x i = P h X

(1)

≤ x

(1)

,. .., X

(m)

≤ x

(m)

i

= Z

u (1)≤x (1),...,u (m)≤x (m)

f h u i d u

(1)

... d u

(m)

.

53

MehrdimensionaleStandard-Normalverteilung.

Z ∼ Φ

m

⇐ ⇒ Z

(j)

∼ Φ

1

,

unabhängig

.

f h z i = Y

m

j=1

1 √ 2 π e x p h z

(j)2

/ 2 i = (2 π )

−m/2

e x p hk z k

2

/ 2 i = e f hk z k

2

i .

−202

−2 0 2

543.2

cLineartransformierterZufallsvektor.

Linearkombination

X = b

T

Z − → ∼ N h 0 , P

j

b

2j

i = N h 0 , k b k

2

i

Lin.transf.

Z

,

X = µ + B Z − → E h X i = µ , v a r h X i = B B

T

dMultivariateNormalverteilung.=Vt.von

X = µ + B Z

!

− → X ∼ N

m

h µ , B i

Problem:Sei

B

orthogonal.Dannist

X = B Z

standard-nv.

− →

VerschiedeneParameter,

B

und

I

,mitgleicherVt.

− →

Parameternichtidentifizierbar.

GeeigneteParameter:Erw.wert

µ

undKovarianz-Matrix|

Σ

. ZweiMatrizen

B

und

B

′mitgleichem|

Σ

,also

B B

T

= B

′

B

′T

− → X = µ + B Z

und

X = µ + B

′

Z

gleichvert.,

X ∼ N

m

h µ ,

|

Σ i

55 WelcheMatrizensindals|

Σ

brauchbar?

Alle

m × m

-Matrizendiesymmetrischund„positivsemidefinit"sind,

denndannexistiert

B

mit

B B

T

=

|

Σ

. Dichte.Falls|

Σ

nichtsingulärist,istdieDichte

f h x i = c · e x p h ( x − µ )

T|

Σ

−1

( x − µ ) / 2 i c = (2 π )

m/2

d e t h

|

Σ i

1/2

Dichtekonstantfür

( x − µ )

T|

Σ

−1

( x − µ )

=Konstante.

− →

Ellipsoid.

56

−202

−2 0 2

−20246

−2 0 2 4

57 SchätzungderParameter:

b µ = X

,und

b

|

Σ

.

0.600.620.640.660.680.700.720.740.760.780.80

0.35 0.40 0.45 0.50 0.55 0.60 0.65

log(Länge)

log(Breite)

583.2

hLineareTransformation.

X ∼ N

m

h µ ,

|

Σ i − → Y = a + B X ∼ N

m

h a + B µ , B

|

Σ B

T

i

iStandardisierterZufallsvektor.

Z = B

−1

( X − µ )

mit

B B

T

=

|

Σ .

Wenn

X

normalverteilt,dann

Z

standard-normalverteilt.

59

jChiquadrat-Verteilung

=Vt.derSummevon

m

unabh.,quadriertenstandard-normalvert.

Z

(j),

U = X

m

j=1

Z

(j)2

= k Z k

2

, Z ∼ Φ

m

.

Dichte

f

m

h u i =

12 m/2Γhm/2i

· u

m/2−1

e

−u/2.

Γ

:Gamma-Funktion Mahalanobis-Distanz.

X ∼ N h µ ,

|

Σ i

d

2

h X ,µ ;

|

Σ i = k Z k

2

= Z

T

Z = ( X − µ )

T

C

T

C ( X − µ )

= ( X − µ )

T|

Σ

−1

( X − µ )

=quadrierteMahalanobis-Distanzvon

X

zu

µ

.

d

2

h x ,µ ;

|

Σ i =

konstant:gleicheDichte.

d

2

∼ χ

2m ,

m

Freiheitsgrade

603.2

lQ-Q-Diagramm.

0.00.51.01.52.02.53.03.5

0 1 2 3

theoretische Quantile

geordnete Mahalanobis−Distanzen

61 Randverteilungen.Gem.Vt.von

X − →

Vt.von

X

(j):Randverteilung

Auch„mehrdimensionaleRänder"!

UnterteilteVektorenundMatrizen

a = a

[1]

a

[2]

=       a

(1)

... a

(p)

a

(p+1)

... a

(m)

     

C = C

[11]

C

[12]

C

[21]

C

[22]

=       C

11

... C

1p

C

1,p+1

... C

1m

... ... C

p1

... C

pp

C

p,p+1

... C

pm

C

p+1,1

... C

p+1,p

C

p+1,p+1

... C

p+1,m

... ... C

m1

... C

mp

C

m,p+1

... C

mm

     

623.2 n

X ∼ N

m

h µ ,

|

Σ i

X

[1]

∼ N

p

D µ

[1]

,

|

Σ

[11]

E .

oAnderemultivariateVerteilungen:...unbedeutend...

63

3 .3 T h e o re tis c h e R e s u lt a te fü r a n d e re G e b ie te

VerteilungdergeschätztenKoeffizientenindermultiplenlin.Regression.

Y = X β + E

E ∼ N

n

h 0 ,σ

2

I i b β = X

T

X

−1

X

T

Y

= X

T

X

−1

X

T

( X β + E ) = β + C E

mit

C = X

T

X

−1

X

T

v a r h b β i = C ( σ

2

I ) C

T

= σ

2

· C C

T

= σ

2

· X

T

X

−1

X

T

· X

X

T

X

−1

T

= σ

2

· X

T

X

−1

64

M e rk p u n k te M o d e lle

•

Zufallsvektoren

− →

Dichte,Verteilungsfunktion,Erwartungswert

Kovarianzmatrix:

v a r h X i = E ( X − µ )( X − µ )

T

•

LineareTransformation

Y = a + B X v a r h Y i = B v a r h X i B

T

•

MultivariateNormalverteilung

X ∼ N µ ,

|

Σ

erzeugtdurchStandard-Nv.undlineareTransformationen

•

Stichprobe:Matrix

X − →

Schätzungen

•

StarkeBeziehungenzurLinearenAlgebra

•

Geometrieim

R

m

− →

Mahalanobis-Distanz