Statistische Analyseverfahren Abschnitt 2: Zufallsvektoren und mehrdimensionale Verteilungen

Statistische Analyseverfahren

Abschnitt 2: Zufallsvektoren und mehrdimensionale Verteilungen

Dr. Andreas W¨ unsche

TU Bergakademie Freiberg Institut f¨ur Stochastik

Oktober 2019

2.1 Zufallsvektoren und mehrdimensionale Verteilungen

I

Eine endliche Familie X

, . . . , X

von Zufallsgr¨ oßen kann als ein Zufallsvektor (ZV)

X = (X

, . . . , X

)

angesehen werden.

I

Eine doppelt indizierte Familie X

, i = 1, . . . , n ; j = 1, . . . , m , von Zufallsgr¨ oßen kann als eine Zufallsmatrix (ZM)

X = (X

)

= (X

) angesehen werden.

I

Zufallsvariable werden hier im Allgemeinen mit Großbuchstaben bezeichnet, z.B. X , deren Realisierungen durch Angabe von ω oder durch Kleinbuchstaben, z.B. X(ω) = x .

I

Vektoren werden hier durch einen Unterstrich, Matrizen durch zwei

Unterstriche gekennzeichnet.

Bezeichnungen aus der linearen Algebra

I

Verwendet werden ¨ ubliche Bezeichnungen aus der linearen Algebra.

I

Vektoren werden als Spaltenvektoren angesehen, ·

bezeichnet die Transponierung eines Vektors oder einer Matrix.

I

0

, 0

. . . n−dim. Nullvektor, Nullmatrix vom Typ n × m .

I

1

, 1

. . . n−dim. Vektor bzw. n × m−Matrix aus Einsen.

I

Analog ∞

, −∞

= −∞

.

I

M

, M

. . . Menge aller n × m− bzw. n × n−Matrizen.

I

M

, M

. . . Menge aller positiv semidefiniten bzw. positiv definiten n × n−Matrizen,

∀ 0 6= x ∈ R

: x

a x ≥ 0 (a ∈ M

) bzw. x

a x > 0 (a ∈ M

) .

I

I

. . . n × n−Einheitsmatrix.

I

k · k bezeichnet die euklidische Norm.

Verteilung eines Zufallsvektors

I

Ein Zufallsvektor X wird im Allgemeinen durch seine Verteilung gegeben.

I

Die Verteilung P

eines n-dimensionalen Zufallsvektors X

definiert die Wahrscheinlichkeiten daf¨ ur, dass die Realisierungen des Zufallsvektors in geeigneten Teilmengen des R

liegen,

P

(B) = P (X ∈ B), B ⊆ R

, geeignet.

I

Analog kann die Verteilung einer n × m−Zufallsmatrix f¨ ur geeignete Teilmengen des Raumes R

genutzt werden. Formal kann dies durch die Vektorisierung der Matrix realisiert werden

(Hintereinanderschreiben der Spalten der Matrix zu einem langen

Spaltenvektor).

Definition Verteilungsfunktion n−dim. Zufallsvektor

I

Bez.

x = (x

, . . . , x

)

< y = (y

, . . . , y

)

, falls x

< y

f¨ ur i = 1, . . . , n ;

x = (x

, . . . , x

)

≤ y = (y

, . . . , y

)

, falls x

≤ y

f¨ ur i = 1, . . . , n .

I

F¨ ur einen n−dimensionalen Zufallsvektor X wird die Verteilung eindeutig durch die zugeh¨ orige Verteilungsfunktion F

: R

→ [0, 1]

definiert:

F

(x) = P

((−∞

, x)) = P (X < x) , x ∈ R

.

I

Bem.

Oft wird die Verteilungsfunktion von X auch definiert durch

F ˜

(x) = P

((−∞

, x]) = P (X ≤ x) , x ∈ R

.

Eigenschaften Verteilungsfunktion n−dim. Zufallsvektor

I

Bez.: f¨ ur i ∈ {1, . . . , n} , a < b ∈ R sei

∆

F

(x) :=

F

(x

, . . . x

, b, x

, . . . , x

) − F

(x

, . . . x

, a, x

, . . . , x

) .

I

Eine Verteilungsfunktion F

besitzt die Eigenschaften

(i) lim

xi→−∞,i∈{1,...,n}

F

(x) = 0 ; lim

xi→∞,i=1,...,n

F

(x) = 1 ; (ii) f¨ ur beliebige a < b gilt

∆

. . . ∆

F

(x) ≥ 0 , = P

([a, b))

⇒ F

ist monoton nichtfallend bez¨ uglich jeder Variablen;

(iii) F

ist linksseitig stetig bzgl. aller Variablen, d.h. aus x

↑ x folgt

F

(x

) ↑ F

(x) , k → ∞ .

Verteilungsdichte eines n−dimensionalen Zufallsvektors

I

F¨ ur absolut stetige Zufallsvektoren wird die Verteilung auch eindeutig durch die Verteilungsdichte (auch Dichtefunktion) f

: R

→ R gegeben:

F

(x) = P (X < x) = Z

−∞_n

f

(u) du , x ∈ R

.

I

Eigenschaften von Dichtefunktionen (etwas vereinfacht):

I

f¨ ur alle x ∈ R

: f

(x) ≥ 0 ;

I

Z

Rⁿ

f

(x) dx = 1 .

I

Dann gilt f¨ ur geeignete B ⊆ R

P (X ∈ B) = Z

B

f

(x) dx .

I

Die Dichtefunktion wird im statistischen Kontext, inbesondere bei

unbekannten Parametern und einer gegebenen Realisierung

(Stichprobe) als Likelihood-Funktion bezeichnet.

Dichte einer zweidimensionalen Normalverteilung

H¨ ohenlinien einer zweidimensionalen

Normalverteilungsdichte

Randverteilungen

I

Die Verteilungsfunktion eines Teilvektors eines Zufallsvektors (die Randverteilungsfunktion) kann mit Hilfe der Verteilungsfunktion des Zufallsvektors berechnet werden.

I

Bsp.: X = (X

, . . . , X

)

⇒

∀ x

∈ R : F

(x

) = P (X

< x

) = F

(x

, ∞, . . . , ∞) .

I

Analoges gilt im Fall von absolut stetigen Zufallsvektoren f¨ ur die Randverteilungsdichten.

I

Bsp.: X = (X

, . . . , X

)

⇒ (etwas vereinfacht)

∀ x

∈ R : f

(x

) = Z

Rⁿ⁻¹

f

(x

, x

, . . . , x

) dx

. . . dx

.

I

Aus den Randverteilungsfunktionen bzw. -dichten kann man nur in

Spezialf¨ allen die Verteilungsfunktion bzw. -dichte des gesamten

Zufallsvektors bestimmen.

Satz von Cram´ er-Wold

Satz von Cram´ er-Wold

Die Verteilung des n−dimensionalen Zufallsvektors X ist vollst¨ andig

bestimmt durch die Familie der (eindimensionalen) Verteilungen der

Zufallsgr¨ oßen t

X , wobei t die Menge R

durchl¨ auft.

Erwartungswert eines Zufallsvektors

I

Erwartungswerte von Zufallsvektoren und Zufallsmatrizen werden komponentenweise definiert und existieren, falls von jeder

Komponente der skalare Erwartungswert existiert.

I

Erwartungswert des Zufallsvektors X = (X

, . . . , X

)

: E X := ( E X

, . . . , E X

)

.

I

Erwartungswert der Zufallsmatrix X = (X

) :

E X := ( E X

) .

Kovarianzmatrix eines Zufallsvektors

I

Ein Analogon der Varianz f¨ ur Zufallsvektoren, deren Komponenten endliche zweite Momente besitzen, ist die Kovarianzmatrix (oder auch Varianz-Kovarianz-Matrix) des Zufallsvektors.

I

Kovarianzmatrix des Zufallsvektors X = (X

, . . . , X

)

: VarX := E

h

[X − EX] [X − EX]

i

.

I

Auf der Hauptdiagonale der Kovarianzmatrix von X stehen die Varianzen V arX

der Komponenten, an der Stelle (i , j ) , i 6= j , jeweils die Kovarianz der Zufallsgr¨ oßen X

und X

: C ov[X

, X

] .

I

Eigenschaften einer Kovarianzmatrix Σ = V arX

I

Σ = Σ

(Σ ist symmetrisch) ;

I

∀ x ∈ R

: x

Σ x ≥ 0 (Σ ist positiv semidefinit) .

Korrelationsmatrix eines Zufallsvektors

I

Gilt f¨ ur alle Komponenten eines Zufallsvektors X = (X

, . . . , X

)

0 < V arX

< ∞ , kann man die Korrelationsmatrix definieren:

CorrX := (Corr[X

, X

])

mit Corr[X

, X

] := C ov[X

, X

]

p V arX

V arX

.

I

Die Elemente auf der Hauptdiagonale sind 1, das Element an der Stelle (i, j ) ist der Korrelationskoeffizient von X

und X

.

I

Die Korrelationsmatrix des Zufallsvektors X = (X

, . . . , X

)

ist die Kovarianzmatrix der standardisierten Komponenten von X .

I

Es gilt immer −1 ≤ C orr[X

, X

] ≤ 1 .

I

Im Fall von | Corr[X

, X

] | = 1 besteht eine lineare Beziehung

zwischen den Zufallsgr¨ oßen X

und X

.

Kreuzkovarianz zweier Zufallsvektoren

I

Sind X = (X

, . . . , X

)

und Y = (Y

, . . . , Y

)

zwei Zufallsvektoren, deren Komponenten endliche zweite Momente besitzen, definiert man die Kreuzkovarianzmatrix dieser

Zufallsvektoren als n × m−Matrix C ov[X, Y] := E

h

[X − E X] [Y − E Y]

i .

I

An der Stelle (i , j ) der Kreuzkovarianzmatrix steht die Kovarianz Cov[X

, Y

] der Zufallsgr¨ oßen X

und Y

.

I

F¨ ur einen Zufallsvektor X gilt V arX = C ov[X, X] =: C ovX .

I

Es gilt Cov[X, Y] = Cov[Y, X]

.

I

Analog kann man die Kreuzkorrelationsmatrix C orr[X, Y] zweier Zufallsvektoren X und Y definieren.

I

Gilt C ov[X, Y] = 0

, nennt man X und Y unkorreliert.

Eigenschaften bei linearen Operationen I

I

Geg.: X , Y n−dim. ZV, E kXk < ∞ , E kYk < ∞ .

I

a, b ∈ R ⇒ E [aX + bY] = a E X + b E Y ;

I

d ∈ M

, c ∈ R

⇒ E

d X + c

= d E X + c .

I

Geg.: X n−dim. ZV, E kXk

< ∞ .

I

V arX = E h

X X

i

− ( E X) ( E X)

;

I

a ∈ R

⇒ V ar a

X

= a

V ar[X] a ;

I

a ∈ M

, b ∈ R

⇒ V ar

a X + b

= a V ar[X] a

.

I

Geg.: X

, X

n−dim. ZV, Y m−dim. ZV, E kX

k

< ∞ , i = 1, 2 , E kYk

< ∞

⇒ C ov h

X

+ X

, Y i

= C ov h

X

, Y i

+ C ov h

X

, Y i

.

Eigenschaften bei linearen Operationen II

I

Geg.: X , Y n−dim. ZV, E kXk

< ∞ , E kYk

< ∞

⇒ V ar[X + Y] = V arX + C ov[X, Y] + C ov[Y, X] + V arY .

I

Geg.: X n

−dim. ZV, Y n

−dim. ZV, E kXk

< ∞ , E kYk

< ∞ , a ∈ M

, b ∈ M

⇒ C ov

a X, b Y

= a C ov[X, Y] b

.

Stochastische Unabh¨ angigkeit von Zufallsvektoren

Geg.: X n−dim. ZV, Y m−dim. ZV, Z = (X

, Y

)

.

Die Zufallsvektoren X und Y sind (stochastisch) unabh¨ angig, wenn eine der folgenden ¨ aquivalenten Bedingungen erf¨ ullt ist (Bedingung (iii) nur, falls der (n + m)−dimensionale Zufallsvektor Z (absolut) stetig ist).

(i) ∀ B

⊆ R

, ∀ B

⊆ R

, geeignet:

P ({X ∈ B

} ∩ {Y ∈ B

}) = P (X ∈ B

) · P (Y ∈ B

) . (ii) ∀ x ∈ R

, ∀ y ∈ R

: F

(x, y) = F

(x) · F

(y) . (iii) ∀ x ∈ R

, ∀ y ∈ R

: f

(x, y) = f

(x) · f

(y) .

Aus der Unabh¨ angigkeit folgt die Unkorreliertheit, falls die zweiten

Momente existieren.

2.2 Mehrdimensionale Normalverteilung (Multinormalverteilung)

I

Def. 2.2.1

Ein m−dimensionaler Zufallsvektor X = (X

, . . . , X

)

besitzt eine m−dimensionale Standardnormalverteilung, falls X

∼ N(0, 1) , i = 1, . . . , m , i.i.d.

I

Bez. X ∼ N

(0

, I

) oder X ∼ N(0

, I

) .

I

Satz 2.2.2

Geg.: Zufallsvektor X ∼ N

(0

, I

)

⇒ X ist ein stetiger Zufallsvektor mit Dichtefunktion

f

(x) = (2π)

e

= (2π)

e

, x ∈ R

.

Außerdem gelten E X = 0

und V arX = I

.

Dichte der zweidimensionalen Standardnormalverteilung

H¨ ohenlinien der 2-dim. Standardnormalverteilungsdichte

Allgemeine normalverteilte Zufallsvektoren

I

Def. 2.2.3

Ein p−dimensionaler ZV X = (X

, . . . , X

)

besitzt eine

p−dimensionale Normalverteilung, falls f¨ ur einen m−dimensionalen standardnormalverteilten Zufallsvektor Z , einen Vektor µ ∈ R

und eine p × m−Matrix a gilt

X = µ + a Z .

I

Satz 2.2.4

F¨ ur den Zufallsvektor X aus Def. 2.2.3 gelten EX = µ und VarX = a a

=: Σ .

I

Bez. X ∼ N

(µ, Σ) oder X ∼ N(µ, Σ) . Man spricht auch von Gaußschen Zufallsvektoren.

I

Bem. Die p × p−Matrix a a

= Σ ist (z.B. als Kovarianzmatrix)

symmetrisch und positiv semidefinit.

Spektraldarstellung reeller symmetrischer Matrizen

Satz 2.2.5

Ist b eine reelle symmetrische p × p−Matrix, dann kann sie geschrieben werden als

b = Γ Λ Γ

=

p

X

k=1

λ

γ

γ

,

wobei Λ die Diagonalmatrix der Eigenwerte von b ist und Γ die zugeh¨ orige orthogonale Matrix, deren Spalten die standardisierten Eigenvektoren enthalten (es gilt Γ Γ

= Γ

Γ = I

).

Ist die Matrix b positiv semidefinit, dann sind alle Eigenwerte nichtnegativ und es gilt

b = Γ Λ

Λ

Γ

=

Γ Λ

Γ Λ

.

Der Rang dieser Matrix ist gleich der Anzahl der Eigenwerte 6= 0 .

Weitere Eigenschaften

I

Satz 2.2.6

Ein p−dimensionaler Zufallsvektor X = (X

, . . . , X

)

ist genau dann normalverteilt, wenn f¨ ur jeden Vektor t ∈ R

die skalare Zufallsgr¨ oße t

X normalverteilt (oder eine Konstante) ist.

I

Satz 2.2.7

Sei X = (X

, . . . , X

)

∼ N

(µ, Σ) .

(i) F¨ ur b ∈ R

, a ∈ M

gilt Y := b + a X ∼ N

(b + a µ, a Σ a

) . (ii) Jeder Teilvektor bzw. jede Komponente von X ist ein

normalverteilter Zufallsvektor bzw. eine normalverteilte Zufallsgr¨ oße.

I

Bem.

Ist jede Komponente eines Zufallsvektors eine normalverteilte (oder konstante) Zufallsgr¨ oße, dann muss der Zufallsvektor nicht

unbedingt ein normalverteilter Zufallsvektor sein!

Regul¨ ar normalverteilte Zufallsvektoren

Def. und Satz 2.2.8

Gilt f¨ ur einen normalverteilten Zufallsvektor X aus Definition 2.2.3 p = m , V arX = a a

=: Σ mit det Σ 6= 0 , dann besitzt X eine regul¨ are Normalverteilung N

(µ, Σ) und X ist ein (absolut) stetiger Zufallsvektor mit Dichtefunktion

f

(x) = 1 q

(2π)

det Σ

e

, x ∈ R

.

Der Normierungsfaktor kann auch als det(2πΣ)

geschrieben

werden, Σ ist eine reelle, symmetrische und positiv definite

p × p−Matrix.

Zweidimensionale regul¨ ar normalverteilte Zufallsvektoren

Spezialfall m = p = 2 , X = (X

, X

)

∼ N

(µ, Σ) mit µ = (µ

, µ

)

∈ R

, Σ =

σ

% σ

σ

% σ

σ

σ

, σ

= V arX

> 0 , i = 1, 2 , % = C orr[X

, X

] ∈ (−1, 1)

⇒ det Σ = σ

σ

(1 − %

) ,

Σ

= 1 det Σ

σ

−% σ

σ

−% σ

σ

σ

! ,

f

(x

, x

) = c · e

1 2(1−%2)

(x1−µ1)2

σ2 1

−2%^(x1−µ_σ^1)(x2−µ2)

1σ2 +^(x2−µ2)

2 σ2

2

mit c = 1

2πσ

σ

p

1 − %

, (x

, x

)

∈ R

.

Dichtefunktionsgrafiken zweidimensionaler Normalverteilungen

Dichtefunktionen von normalverteilten Zufallsvektoren (X

, X

)

mit E X

= E X

= 0 , V arX

= V arX

= 1 sowie C orr[X

, X

] = 0 (links),

C orr[X

, X

] = −0.5 (mitte) und C orr[X

, X

] = −0.9 (rechts).

Auf den folgenden Folien folgen die H¨ ohenlinien der jeweiligen

Dichtefunktionen.

H¨ ohenlinien bei C orr[X 1 , X 2 ] = 0

H¨ ohenlinien bei C orr[X 1 , X 2 ] = −0.5

H¨ ohenlinien bei C orr[X 1 , X 2 ] = −0.9

Unabh¨ angigkeit von Teilvektoren bei Normalverteilung

Satz 2.2.9

Geg. X = (X

, X

)

∼ N

(µ, Σ) ,

X

= (X

, . . . , X

)

, X

= (X

, . . . , X

)

.

Dann sind X

und X

genau dann stochastisch unabh¨ angig, wenn

C ov[X

, X

] = 0

gilt.