Stochastische Signale

4 ^ei

* kann Spuren von Katzen enthalten nicht für Humorallergiker geeignet alle Angaben ohne Gewehr ^*

Stochastische Signale

1. Mengenalgebra

1.1. Mengen- und Boolsche Algebra

Kommutativ A∩· B=B∩·A A⊎B=B⊎A

Assoziativ (A∩·B)∩·C=A∩·(B∩·C) (A⊎B)⊎C=A⊎(B⊎C) Distributiv A∩·(B⊎C) = (A∩·B)⊎(A∩· C)

A⊎(B∩·C) = (A⊎B)∩·(A⊎C)

Indempotenz A∩· A=A A⊎A=A

Absorbtion A∩·(A⊎B) =A A⊎(A∩· B) =A

Neutralit¨at A∩· Ω =A A⊎ ∅=A

Dominant A∩· ∅=∅ A⊎Ω = Ω

Komplement A∩· A=∅ A⊎A= Ω

A=A Ω =∅

De Morgan A∩· B=A⊎B A⊎B=A∩· B

1.2. Kombinatorik

M¨ogliche Variationen/Kombinationen umkElemente von maximalnEle- menten zu w¨ahlen bzw.kElemente aufnFelder zu verteilen:

Mit Reihenfolge Reihenfolge egal

Mit Wiederholung n^{k n+k−1}

k

Ohne Wiederholung ^n!

(n−k)!

n k

Permutation vonnmit jeweilskgleichen Elementen:_k ^n!

1 !·k2 !·...

_n k

= _n n−k

=_k!·(n−k)!^n! ₄ 2

= 6 ₅ 2

= 10

1.3. Grundbegriffe

Tupel (i, j)̸= (j, i)f¨uri̸=j

Ungeordnetes Paar {i, j}={j, i}

Potenzmenge P(Ω)ist Menge aller Teilmengen vonΩ

1.4. Integralarten

F(x) f(x) f^′(x)

1

q+1x^q+1 x^q qx^q−1

2

√ ax3 3

√ax ₂^√a_ax

xln(ax)−x ln(ax) ¹_x

1

a2e^ax(ax−1) x·e^ax e^ax(ax+ 1) ax

ln(a) a^x a^xln(a)

´ √dt at+b= ²

√ at+b

a

´t²e^atdt=^{(ax−1)2 +1} a3 e^at

´te^atdt=^at−1

a2 e^at ´

xe^ax2dx=_2a¹e^ax2

1.5. Binome, Trinome

(a±b)²=a²±2ab+b² a²−b²= (a−b)(a+b) (a±b)³=a³±3a²b+ 3ab²±b³

(a+b+c)²=a²+b²+c²+ 2ab+ 2ac+ 2bc

2. Wahrscheinlichkeitsr¨ aume (Ω, _F , P)

Ein Wahrscheinlichkeitsraum(Ω,F,P)besteht aus

•ErgebnismengeΩ =

ω1, ω2, ... : Menge aller m¨oglichenErgebnisseω_i

•EreignisalgebraF=

A1, A2, ... : Menge von EreignisenA_i⊆Ω

•Wahrscheinlichkeitsmaß P

2.1. Ereignisalgebra

F⊆

P(Ω)

•Ω∈F

•Ai∈F⇒A^∁_i ∈F

•A₁,...,A_k∈F⇒ S^k i≥1

A_i∈F Daraus folgt:

• ∅ ∈F

•A_i\A_j∈F

•Tk i=1Ai∈F

|F|= 2Anzahl disjunkter Teilmengen(muss endlich sein) 2.1.1.σ-Algebra

Entwicklungk→ ∞. Unendlich viele Ergebnisse, aber jedesA_ibesteht aus abz¨ahlbar vielen Ergebnissen. Besitzt mindestens 2 Ereignisse.

2.2. Wahrscheinlichkeitsmaß P

P(A) =^|A|_|Ω| P(A∪B) =P(A) +P(B)−P(A∩B) 2.2.1. Axiome von Kolmogorow

Nichtnegativit¨at: P(A)≥0⇒P:F7→[0,1]

Normiertheit: P(Ω) = 1 Additivit¨at: P

∞ S i=1

A_i

!

=

∞ P i=1

P(A_i), wennA_i∩A_j=∅,∀i̸=j 2.2.2. Weitere Eigenschaften

•P(A^c) = 1−P(A)

•P(∅) = 0 P(Ω) = 1

•P(A\B) =P(A∩B^c) =P(A)−P(A∩B)

•P(A∪B) =P(A) +P(B)−P(A∩B)

•P(A∩B) =P(A) +P(B)−P(A∪B)

•A⊂B⇒P(A)≤P(B)

•P(Sk

i=1A_i)≤Pk i=1P(A_i)

3. Bedingte Wahrscheinlichkeit und Unabh¨ angigkeit

3.1. Bedingte Wahrscheinlichkeit

Bedingte Wahrscheinlichkeit f¨urAfallsBbereits eingetreten ist:

P_B(A) =P(A|B) =^P(A∩B)_P(B)

3.1.1. Totale Wahrscheinlichkeit und Satz von Bayes Es muss gelten: S

i∈I

B_i= Ωf¨urB_i∩B_j=∅,∀i̸=j Totale Wahrscheinlichkeit: P(A) =P

i∈I

P(A|B_i)P(B_i) Satz von Bayes: P(B_k|A) = P^P(A|Bk)P(Bk)

i∈I

P(A|Bi)P(Bi) 3.1.2. Multiplikationssatz

P(A∩B) =P(A|B)P(B) =P(B|A)P(A) Beliebig viele Ereignisse:

P(A₁∩A₂∩···∩A_k)

=P A_π(1)

P

A_π(2)|A_π(1) P

A_π(3)|A_π(2)∩A_π(1)

×

···×P

A_π(k)|A_π(k−1)∩···∩A_π(1)

3.2. Stochastische Unabh¨ angigkeit

EreigniseAundBsind unabh¨angig falls:

P(A∩B) =P(A)P(B)

⇒P(B|A) =P(B) Allgemein:

P T

i∈J A_i

!

= Q

i∈J

P(A_i)mit IndexmengeIund∅ ̸=J⊆I

4. Zufallsvariablen

4.1. Definition

X: Ω7→Ω^′ist Zufallsvariable, wenn f¨ur jedes EreignisA^′∈F^′ im Bildraum ein EreignisAim UrbildraumFexistiert, sodass

ω∈Ω|X(ω)∈A^′ ∈F

4.2. Unabh¨ angigkeit von Zufallsvariablen

ZufallsvariablenX1,···,Xnsind stochastisch unabh¨angig, wenn f¨ur jedes

⃗

x= [x₁,···, x_n]^⊤∈Rⁿgilt:

P({X₁≤x₁,···,Xn≤xn}) = n Y i=1

P({X_i≤x_i})

Gleichbedeutend:

F_X1,···,Xn(x₁,···, x_n) = Qⁿ i=1

F_X i(x_i) p_X1,···,Xn(x₁,···, x_n) = Qⁿ

i=1 p_X

i(x_i) f_X1,···,Xn(x₁,···, x_n) = Qⁿ

i=1 f_X

i(x_i)

4.3. Bedingte Zufallsvariablen

Bedingte Wahrscheinlichkeit f¨ur Zufallsvariablen:

Ereignis A gegeben: F_X|A(x|A) =P

X≤x |A ZVYgegeben: F_X|Y(x|y) =P

X≤x | Y=y p_X|Y(x|y) =^pX,Y_p ^(x,y)

Y(y) f_X|Y(x|y) =^fX,Y_f ^(x,y)

Y(y) = ^dFX|Y_dx^(x|y)

5. Wahrscheinlichkeitsverteilungen

5.0.1. Definition

P_X(A^′) =P({ω∈Ω|X(ω)∈A^′}) =P({X∈A^′}) ∀A^′∈F^′ 5.0.2. Kumulative Verteilungsfunktion (KVF bzw. CDF)

F_X(x) =P({X≤x}) Eigenschaften

•F_X(x)ist monoton wachsend

•F_X(x)≥0

•F_X(x)ist rechtsseitig stetig:

∀h >0 : lim

h→0F_X(x+h) =F_X(x) ∀x∈R

• lim

x→−∞F_X(x) = 0; lim

x→∞F_X(x) = 1

•P({a <X≤b}) =F_X(b)−F_X(a)

•P({X> c}) = 1−F_X(c) 5.0.3. Verteilung diskreter Zufallsvariablen

Bezeichnung Abk. Zusammenhang

Wahrscheinlichkeitsmassenfkt. pmf p_X(x) =P({X=x}) Kumulative Verteilungsfkt. cdf F_X(x) = P

ξ∈Ω′:ξ≤x p_X(ξ)

5.0.4. Verteilung stetiger Zufallsvariablen

Bezeichnung Abk. Zusammenhang

Wahrscheinlichkeitsdichtefkt. pdf f_X(x) =^dF_dx^X(x) Kumulative Verteilungsfkt. cdf F_X(x) =

´x

−∞

f_X(ξ) dξ

Berechnung vonf_X(x):

f_X(x) = lim ϵ→0 1 ϵ

x+ϵ´ x

f_X(ξ) dξ= lim ϵ→0 1

ϵP(x≤X≤x+ϵ) Normiertheit

Pp(x) +´

Rf_X(x) dx= 1^!

5.1. Mehrdimensionale Verteilungen

5.1.1. Mehrdimensionale Zufallsvariable:

⃗X= [X₁,···,Xn]^T mitX_iZufallsvariablen 5.1.2. Gemeinsame kumulative Verteilungsfunktion:

F_X

1,···,Xn(x₁,···, x_n) = F_⃗

X(⃗x) =P({⃗X≤⃗x}) = P({X₁≤x₁,···,Xn≤xn})

5.1.3. Diskrete Zufallsvariablen:

p_X

1,···,Xn(x₁,···, x_n) =P({⃗X=⃗x})(joint probability mass function) 5.1.4. Stetige Zufallsvariablen:

F_X1,···,Xn(x1,···, x_n) = x´1

−∞

···^xn´

−∞

f_X1,···,Xn(ξ1,···, ξn) dξn···dξ₁

f_X1,···,Xn(x₁,···, xn) =^{∂n F⃗}_∂x^{X(x1,···,xn)}

1···∂xn f_X,Y =f_Y,X (joint probability density function)

5.1.5. Marginalisierung

Prinzip: Lasse alle vernachl¨assigbaren ZV gegen unendlich gehen.

F_X

1,···,Xm(x₁,···, x_m) =F_X

1,···,Xn(x₁,···, x_m,∞,···,∞) Randverteilung:

Spezialfall der Marginalisierung um aus der mehrdimensionalen KVF die KVF f¨ur eine ZV zu erhalten.

F_X

1(x₁) =F_X

1,···,Xn(x₁,∞,···,∞)

Randverteilung der Wahrscheinlichkeitsmasse (PMF) (f¨ur diskrete ZV)

p_X

1(x₁) = P x2,···,xn

p_X

1,···,Xn(x₁,···, x_n) Randverteilung der Wahrscheinlichkeitsdichte (WDF) (f¨ur stetige ZV)

f_X1(x1) =

∞´

−∞

···

∞´

−∞

f_X1,···,Xn(x1,···, x_n) dxn···dx₂

Homepage:www.latex4ei.de– Fehler bittesofortmelden. von Alwin Ebermann, Emanuel Regnath, Martin Zellner, Alexander Preißner, Hendrik B¨ottcher, Lukas Kompatscher, Samuel Harder – Mail:samuel.harder@tum.de Stand: 9. February 2019 um 00:04 Uhr (git 45) 1/4

6. Funktionen von Zufallsvariablen

X: Ω→Ω^′=Rund jetztg: Ω^′→Ω^′′=R P(A^′′) =P(Y ∈A^′′) =P(

X ∈Ω^′

g(X)∈A^′′ =P(

ω∈ Ω

g(X(ω))∈A^′′

6.1. Transformation von Zufallsvariablen

Berechnung vonf_Y(y)ausf_X(x)

g(x)streng monoton & differenzierbar:

g⁻¹(y)- Umkehrfunktion f_Y(y) =f_X

g⁻¹(y)

dg(x) dx

x=g−1 (y)

−1

g(x)nur differenzierbar:

f_Y(y) = P^N i=1

f_X(x_i)

dg(x) dx

x=xi

₋₁

miti∈ {1, . . . , N} x_isind Nullstellen vony−g(x) = 0

6.1.1. Beispiel: lineare Funktion

Y=aX+b⇔g(x) =ax+bmita∈R\0, b∈R:

⇒f_Y(y) = 1

|a|f_X y−b

a

F_Y(y) =





 F_Xy−b

a

a >0 1−F_Xy−b

a

a <0

6.2. Summe unabh¨ angiger Zufallsvariablen

Z=X+Y mitXundYunabh¨angig.

⇒f_Z=X+Y(z) = (f_X∗f_Y) (z) =

∞´

−∞

f_X(z−y)f_Ydy

7. Stochastische Standardmodelle

7.1. Begriffe

Ged¨achtnislos

Eine Zufallsvariable X ist ged¨achtnislos, falls:

P({X> a+b)}|{X> a}) =P({X> b}), a, b >0

7.2. Gleichverteilung

7.2.1. Diskret

p_X(x) =_|Ω|¹ , x∈ {1, . . . ,|Ω|}

Beispiele:Wurf einer fairen M¨unze, Lottozahlen 7.2.2. Stetig (a, b:−∞< a < b <∞)

f_X(x) = ( ₁

b−a x∈[a, b]

0 sonst F_X(x) =







0 x < a x−a

b−a x∈[a, b]

1 x > b

E[X] =a+b 2 Erwartungswert

Var[X] =(b−a)² 12 Varianz

φ_X(s) =e^jωb−e^jωa jω(b−a) Charakt. Funktion Beispiele:Winkel beim Flaschendrehen, Phase einer empf. Sinusschwin- gung

7.3. Bernoulliverteilung (p

∈[0,1]) Wahrscheinlichkeitsmasse

2 Ereignisse: Erfolg und Misserfolg p: Wahrscheinlichkeit

p_X(k) =







p, k= 1 1−p k= 0

0 sonst

F_X(k) =







0, k <0 1−p 0≤k <1

1 k≥1

E[X] =p Erwartungswert

Var[X] =p(1−p) Varianz

G_X(z) =pz+ 1−p Wahrscheinlichkeitserz. Funktion Beispiele:Einmaliger Wurf einer (unfairen) M¨unze

7.4. Binomialverteilung

B(n, p)

(p

∈[0,1], n∈N

)

Folge vonnBernoulli-Experimenten

p: Wahrscheinlichkeit f¨ur Erfolg k: Anzahl der Erfolge Wahrscheinlichkeitsmasse p_X(k) =B_n,p(k) =

(_n k

p^k(1−p)^n−k k∈ {0, . . . , n}

0 sonst

mit _n

k

= _k!(n−k)!^n!

WMF/PMF: KVF/CDF:

E[X] =np Erwartungswert

Var[X] =np(1−p) Varianz

G_X(z) = (pz+ 1−p)ⁿ Wahrscheinlichkeitserz. Funktion Charakteristische Funktion φ_X(s) = 1−p+pe^sn Beispiele:Anzahl der ¨Ubertragungsfehler in einem Datenblock endlicher L¨ange, Wiederholtes Werfen einer M¨unze

7.5. Poisson-Verteilung (λ

≥0) Asymptotischer Grenzfall der Binomialverteilung n→ ∞, p→0, np→λ p_X(k) = lim

n→∞B n, λn

(k)

WMF/PMF:

p_X[k] =^λk_k!e^−λ k∈N0

KVF/CDF:

F_X[k] =zu kompliziert

E[X] =λ Erwartungswert

Var[X] =λ Varianz

G_X(z) =e^λ(z−1) Wahrscheinlichkeitserz. Funktion Charakteristische Funktion φ_X(s) = exp λ(e^s−1) Beispiele:Zahl der Ph¨anomene in einem Zeitintervall, Google-Anfragen in einer Stunde, Schadensmeldungen an Versicherungen in einem Monat

7.6. Geometrische Verteilung (p

∈[0,1])

Erster Erfolg eines Bernoulli-Experiments beim k-ten Versuch, Ged¨achtnislos

WMF/PMF:

p_X[k] = (1−p)^k−1p,k∈N

KVF/CDF:

F_X[k] = 1−(1−p)^k,k∈N

E[X] =1 p Erwartungswert

Var[X] =1−p p² Varianz

G_X(z) = pz 1−z+pz Wahrscheinlichkeitserz. Funktion

Charakteristische Funktion φ_X(s) = pe^ıs 1−(1−p)e^ıs Beispiele:diskrete Dauer bis ein technisches Ger¨at zum ersten Mal ausf¨allt, Anzahl der W¨urfe bis man eine ”6”w¨urfelt

7.7. Exponentialverteilung (λ >

0)

Wie geometrische Verteilung f¨ur stetige Zufallsvariablen (“Lebensdauer“), Ged¨achtnislos

= Wartezeit bis zum ersten Auftreten eines Ereignisses WDF/PDF:

f_X(x) =λe^−λx x≥0

KVF/CDF:

F_X(x) = 1−e^−λx x≥0

E(X) = 1 λ Erwartungswert

Var(X) = 1 λ² Varianz

φ_X(ω) = λ λ−jω Charakt. Funktion Beispiele:Lebensdauer von el. Bauteilen, Zeitdauer zwischen zwei Anrufen in einem Call-Center

7.8. Normalverteilung (µ

∈R, σ >0) WDF/PDF:

-3 -2 -1

0.8 0.6 0.4 0.2

0.0

−5 −3 1 3 5

x 1.0

−1 0 2 4

−2

−4

φμ,σ2(x) μ=0, μ=0, μ=0, μ=−2,

20.2,

σ=

21.0,

σ=

25.0,

σ=

20.5,

σ=

KVF/CDF:

-3 -2 -1

x 0.8

0.6 0.4 0.2 0.0 1.0

−5 −4 −3 −2 −1 0 1 2 3 4 5

Φμ,σ²(x) μ=0,

μ=0, μ=0, μ=−2,

20.2,

σ=

21.0,

σ=

25.0,

σ=

20.5,

σ=

WDF

f_X(x) = 1

√ 2πσ²e⁻

(x−µ)2 2σ2 x∈R

E(X) =µ Erwartungswert

Var(X) =σ² Varianz

φ_X(ω) =e^jωµ−ω 2σ2

2 Charakt. Funktion SchreibweiseX∼ N(µ, σ²)

Beispiele:Rauschen, Ort eines Teilchens relativ zu seiner Anfangsposition bei brownscher Molekularbewegung, abgefahrene Sachen, die man nicht genauer bestimmen will oder kann

7.8.1. Standartnormalverteilung ist der SpezialfallX∼ N(0,1) ϕ(x) = 1

√ 2πe^−x

2 2 Es gilt außerdem:

•Y∼ N(µ, σ²)⇒X= 1

σ(Y−µ)∼ N(0,1)

•X∼ N(0,1)⇒Y=σX+µ∼ N(µ, σ²)

Homepage:www.latex4ei.de– Fehler bittesofortmelden. von Alwin Ebermann, Emanuel Regnath, Martin Zellner, Alexander Preißner, Hendrik B¨ottcher, Lukas Kompatscher, Samuel Harder – Mail:samuel.harder@tum.de Stand: 9. February 2019 um 00:04 Uhr (git 45) 2/4

8. Erwartungswert

8.1. Erwartungswert

gibt den mittleren Wert einer Zufallsvariablen an E[X] = P

x∈Ω′x·P_X(x) diskreteX:Ω→Ω′

∧= ´ R

x·f_X(x) dx stetigeX:Ω→R

Eigenschaften:

Linearit¨at: E[αX+βY] =αE[X] +βE[Y]

Monotonie: X≤Y⇒E[X]≤E[Y]

Beweis mit der Definition und der Linearit¨at des Integrals bzw. der Summe.

E[X Y] =E[X]E[Y], fallsXundYstochastisch unabh¨angig Umkehrung nicht m¨oglich: Unkorrelliertheit̸⇒Stoch. Unabh¨angig!

E[X Y] =´ R

´ R

xy·f_X,Y(x, y) dxdy Spezialfall f¨urX: Ω→R+: E[X] =

∞´ 0

P(X> t) dt(stetig) E[X] =

∞ P k=0

P(X> k)(diskret) 8.1.1. F¨ur Funktionen von Zufallsvariableng:R→R

E[g(X)] = P

x∈Ω′g(x)P_X(x) =^∧ ´ R

g(x)f_X(x) dx

9. Varianz und Kovarianz

9.1. Varianz

ist ein Maß f¨ur die St¨arke der Abweichung vom Erwartungswert Var[X] =E

(X−E[X])²

=E[X²]−E[X]²

Var[αX+β] =α²Var[X] Var[X] =Cov[X,X]

Var

"

n P i=1

X_i

#

= n P i=1

Var[X_i] +P j̸=i

Cov[X_i,X_j] 9.1.1. Standard Abweichung

σ=p Var[X]

9.2. Kovarianz

Maß f¨ur den linearen Zusammenhang zweier Variablen Cov[X,Y] =E[(X−E[X])(Y−E[Y])] =Cov[Y,X]

Cov[X,Y] =E[X Y]−E[X]E[Y] =Cov[Y,X]

Cov[αX+β, γY+δ] =αγCov[X,Y]

Cov[X+U,Y+V] =Cov[X,Y] +Cov[X,V] +Cov[U,Y] +Cov[U,V]

9.3. Unkorreliertheit

wenn gilt:

Cov[X,Y] = 0⇔E[X Y] =E[X]E[Y] Stoch. Unabh¨angig⇒Unkorrelliertheit

wenn ZV normalverteilt (sonst nicht!):

Unkorreliertheit⇒stoch. Unabh¨angigkeit bei paarweisen unkorrellierten Zufallsvariablen:

Var[

n P i=1

X_i] = n P i=1

Var[X_i]

9.4. Orthogonalit¨ at

E[X Y] = 0 mit dem Korrelationswert E[X Y]

9.5. Korrelationskoeffizient

ρ_X,Y =√ ^Cov[X,Y]

Var[X]√

Var[Y]=_σ^cX,Y

XσY mitρ_X,Y ∈[−1,1]

Korrelationskoeffizient von X und Y

Es gilt:







negativ korreliert ρ_X,Y∈[−1,0) unkorreliert ρ_X,Y= 0 positiv korreliert ρ_X,Y∈(0,1]

10. Erzeugende und charakter. Funktionen

10.1. Wahrscheinlichkeitserzeugende Funktion

f¨urX: Ω→N0

G_X(z) =E[z^X] =

∞ X k=0

p_X(k)z^k, |z| ≤1

Anwendungen

p_X(n) =P(

X=n ) = 1 n![dⁿ

dzⁿG_X(z)]_z=0, ∀n∈N0 E[X] = [d

dzG_X(z)]_z=1 E[X²]−E[X] = [d²

dz²G_X(z)]_z=1 Var[X] = [d²

dz²G_X(z)]_z=1−E[X]²+E[X]

F¨urX_i: Ω→N0, i∈

1, . . . , n stochastisch unabh¨angige, diskrete, nichtnegative ZV undZ=Pn

i=1Xi

G_Z(z) = n Y i=1

G_Xi(z)

10.2. Charakteristische Funktion

φ_X(ω) =Eh

e^ıωXi

, ω∈R φ_X=

∞´

−∞

e^ıωxf_X(x) dx f_X(−x)

b r

φ(ω)

Erwartungswert:

E[Xⁿ] = 1 ıⁿ

"

dⁿ dωⁿφ_X(ω)

#

ω=0 Summe von ZV:Z=P_n

i=1X_i

φ_Z(ω) = n Y i=1

φ_Xi(ω)

10.3. Der zentrale Grenzwertsatz

Definition: SeienX_i, i∈1, ..., n, stochastisch unabh¨angige und iden- tisch verteilte reelle Zufallsvariablen und gelteE[Xi] =µ <∞und V ar[X_i] =σ²<∞. Dann konvergiert die Verteilung der standardi- sierten Summe

Z_n= Pⁿ i=1

(X−µ) σ√

n

d.hE[Z_n] = 0undV ar[Z_n] = 1, f¨urn→ ∞gegen die Standart- normalverteilung.

Es gilt also:

limn→∞P(Zn≤z) = Φ(z)

11. Reelle Zufallsfolgen

Eine reelle Zufallsfolge ist ganz einfach eine Folge reeller Zufallsvariablen.

Ensemble

S_n: Ω_n×Ω_n−1× · · · ×Ω₁→R

(ωn, ωn−1, . . . , ω₁)7→sn(ωn, ωn−1, . . . , ω₁), n∈N Erkl¨arung: Jede Realisierung von Sn wird erzeugt durch die Men- ge (das Ensemble) aufeinanderfolgender Realisierungen X_k mit k∈ {1, . . . , n}.

Pfad

⃗Sn= (Sn,Sn−1, . . . ,S1) : Ω⁽ⁿ⁾→Rⁿ

⃗

ω_n7→⃗s_n(⃗ω_n) = (s_n(⃗ω_n), s_n−1(⃗ω_n), . . . , s₁(⃗ω_n)), n∈N Erkl¨arung:Die Abfolge der Realisierungen von S₁bis S_n(also der Pfad von S) und somit auch jedes einzelne S_kkann als Ergebnis des Ereignisses

⃗

ωnangesehen werden.

11.1. Verteilungen und Momente

Erwartungswert µ_X(n) =E[Xn]

Varianzfolge σ_X²(n) =V ar[Xn] =E[X²_n]−E[Xn]² Autokorrelation r_X(k, l) =E[X_kX_l]

Autokovarianz c_X(k, l) =Cov[X_k,X_l]=r_X(k, l)−µ_X(k)µ_X(l)

11.2. Random Walk

n∈NSchritte mit 2 m¨oglichen BewegungsrichtungenX∈ {+δ,−δ}

S_n= n X i=1

X_i

P({X_i= +δ}) =p P({X_i=−δ}) = 1−p symmetrisch⇔p=¹₂, µ_S(n) = 0

E[S] =µ_S(n) =n(2p−1)δ E[Xi] = (2p−1)δ V ar[S] =σ_S²(n) = 4np(1−p)δ² V ar[X_i] = 4p(1−p)δ²

11.3. Stationarit¨ at

Eine Zufallsfolge iststation¨ar, wenn um ein beliebigesk(k∈N)zuein- ander verschobene Zufallsvektoren die selbe Verteilung besitzen.

Imweiteren Sinne station¨ar (W.S.S.), wenn:

µ_X(i) =µ_X(i+k)

r_X(i₁, i₂) =r_X(i₁+k, i₂+k) =r_X(i₁−i₂) (verschiebungsinvariant)

station¨ar⇒WSS (aber nicht anders herum!)

11.4. Markow-Ungleichung

P(

|X| ≥a )≤E[|X|]

a

11.5. Tschebyschow-Ungleichung

P(

|X−E[X]| ≥a )≤Var[X] a²

11.6. Das schwache Gesetz der großen Zahlen

Sei(X_i:i∈N)eine Folge reeller, paarweise unkorrelierter Zufallsvaria- blen mit beschr¨ankter Varianz:

1 n

n P i=1

(X_i−E[X_i])→0

F¨ur stochastisch unabh¨angige und identisch verteilte Folgenelemente mitE[X_i] =E[X]undV ar[X_i] =V ar[X]<∞gilt:

1 n

n P i=1

(X_i)→E[X_i]

Homepage:www.latex4ei.de– Fehler bittesofortmelden. von Alwin Ebermann, Emanuel Regnath, Martin Zellner, Alexander Preißner, Hendrik B¨ottcher, Lukas Kompatscher, Samuel Harder – Mail:samuel.harder@tum.de Stand: 9. February 2019 um 00:04 Uhr (git 45) 3/4

12. Markowketten

(bedingte Unabh¨ angigkeit: Abschnitt 14)

12.1. Markowketten

12.1.1. Allgemein

Eine Zufallsfolge (X_n:n∈N) heißt Markowkette, falls∀n_i∈N, i∈1, . . . kmitn₁<· · ·< n_kgilt:

(X_n1,X_n2, . . .X_nk−2)→X_nk−1→X_nk

⇒Die Verteilung eines Folgeelements h¨angt nur vom direkten Vorg¨anger ab

p_X

nk|Xnk−1,Xnk−2,...,Xn1(x_nk|x_nk−1, x_nk−2, ..., xn1)

=p_X

nk|Xnk−1(x_nk|x_nk−1)

f_X

nk|Xnk−1,Xnk−2,...,Xn1(x_nk|x_nk−1, x_nk−2, ..., x_n1)

=f_X

nk|Xnk−1(x_nk|x_nk−1)

12.1.2. Zustands¨ubergang Zustands¨ubergangswahrscheinlichkeit:

p_Xn|X

n−1(x_n|x_n−1) Verbund-WMF:

p_X1,...,Xn(x1, ..., xn) =p_X1(x1) n Q i=2

p_X

i|Xi−1(x_i|x_i−1) Zustands¨ubergangsdicht:

f_Xn|X

n−1(x_n|x_n−1) Verbund-WDF:

f_X1,...,Xn(x₁, ..., xn) =f_X1(x₁) n Q i=2

f_X

i|Xi−1(x_i|x_i−1)

Eine Markowkette heißthomogen, wenn die ¨Ubergangswahrscheinlichkeit unabh¨angig vom Index ist

p_X

n+1|Xn(x_n+1|x_n) =p_X

n+1+k|Xn+k(x_n+1|x_n) f_X

n+1|Xn(x_n+1|x_n) =f_X

n+1+k|Xn+k(x_n+1|x_n) 12.1.3. Chapman-Kologorow Gleichung

2-Schritt- ¨Ubergangswahrscheinlichkeit:

p_X

n+2|Xn(x_n+2|x_n) = P

ξ∈X p_X

n+2|Xn+1(x_n+2|ξ)p_X

n+1|Xn(ξ|x_n) m+l-Schritt- ¨Ubergangswahrscheinlichkeit:

p_X

n+m+l|Xn(x_n+m+l|x_n) = P

ξ∈X p_X

n+m+l|Xn+m(xn+m+l|xn+m)p_X

n+m|Xn(xn+m|xn)

12.1.4. Markowketten im endlichen Zustandsraum

⃗ pn≜













 p_Xn(x₁) p_Xn(x₂)

.. . p_Xn(x_N)















∈[0,1]^Nmit[⃗pn]_i=p_Xn(x_i)

Ubergangsmatrix:¨ Π =











p₁₁ · · · p_1N ..

. ...

p_N1 p_{N N}











∈[0,1]^N×N

Ubergangswahrscheinlichkeit:¨ p_ij=p_X

n+1|Xn(ξ_i|ξ_j) Spaltensumme muss immer 1 ergeben!

⃗

p_n+1= Π⃗p_n n∈N

⃗

p_n+m= Π^m⃗p_n n, m∈N Eine Verteilung heißtstation¨ar, wenn gilt:

⃗ p_∞= Π⃗p_∞

13. Reelle Zufallsprozesse

13.1. Ensemble und Musterfunktion

•Ein Zufallsprozess kann alsEnsembleeiner nicht abz¨ahlbaren Menge von ZufallsvariablenXtmitt∈Rinterpretiert werden.

•Ein Zufallsprozess kann alsSchar von Musterfunktionen Xt(ω) :R 7→R,mitX(ω)als deterministische Funktion vont, mit einem gegebenen Ereignisω∈Ωinterpretiert werden.

13.2. Verteilungen und Momente

Zeitlich, Kontinuierlich ver¨anderliche ZufallsvariableXt Erwartungswertfunktion:

µ_X(t) =E[Xt] Autokorrelationsfunktion:

r_X(s, t) =E[X_sX_t] Autokovarianzfunktion:

c_X(s, t) =Cov(X_s,X_t) =r_X(s, t)−µ_X(s)µ_X(t)

Hinweis:Bei Integration ¨uberr_Ximmer darauf achten, dasss−t >0.

Bei Bedarf Integral aufteilen und Grenzen anpassen.

13.3. Stationarit¨ at

Ein Zufallsprozess iststation¨ar, wenn um ein beliebigess (s ∈ R) zueinander verschobene Zufallsvektoren die selbe Verteilung besitzen.

F_Xt

1,...,Xtn(x₁, . . . x_n) =F_X

t1 +s ,...,Xtn+s(x₁, . . . x_n) Imweiteren Sinne station¨ar (WSS), wenn:

µ_X(i) =µ_X(i+k) =µ_X

r_X(i1, i2) =r_X(i1+k, i2+k) =r_X(i1−i2) Daraus folgtmits=t+τ

r_X(s, t) =E[XsXt] =E[X_t+τXt] =r_X(s−t) =r_X(τ) Imweiteren Sinne zyklisch station¨ar, wenn:

µ_X(t) =µ_X(t+T) ∧ r_X(t₁, t₂) =r_X(t₁+T , t₂+T) station¨ar⇒WSS⇒im weiteren Sinne zyklisch station¨ar (aber nicht anders herum!)

13.4. Mehrere Zufallsvariablen auf dem selben Wahrschein- lichkeitsraum

Kreuzkorrelationsfunktion:

r_X,Y(s, t) =E[XsYt] =r_Y,X(t, s) Kreuzkovarianzfunktion:

c_X,Y(s, t) =r_X,Y(s, t)−µ_X(s)µ_Y(t) =c_Y,X(t, s) 13.4.1. Gemeinsame Stationarit¨at

Zwei Zufallsprozesse auf demselben Wahrscheinlichkeitsraum sindgemein- sam station¨ar, wenn die einzelnen ZPs jeweils selbst station¨ar sind und ihre gemeinsamen Verteilungen verschiebungsinvariant sind.

13.4.2. Gemeinsam im weiteren Sinne station¨ar Voraussetzung:X_tundY_tsind gemeinsam WSS wenn,

XtundYteinzelnd WSS und r_X,Y(t₁, t₂) =r_X,Y(t₁+s, t₂+s)

gemeinsam station¨ar⇒gemeinsam WSS (aber nicht umgekehrt!) Daraus folgtmits=t+τ

r_X(s, t) =E[X_t+τXt] =r_X(τ) =r_X(−τ) r_X(τ)≤r_X(0) r_X,Y(τ) =E[X_t+τY_t] =E[Y_tX_t+τ] =r_Y,X(−τ)

13.4.3. Stochastische Unkorreliertheit

c_X,Y(s, t) = 0⇔r_X,Y(s, t) =µ(s)µ(t), ∀s, t∈R 13.4.4. Orthogonalit¨at

r_X,Y(s, t) = 0, ∀s, t∈R

13.5. Wiener-Prozess (σ >

0)

Als Basis benutzen wir den Random Walk. Durch Multiplikation mit einer Heaviside-Funktion wird der Random Walk zeitkontinuierlich:

Sn= n P i=1

X_i ⇒ St=

n P i=1

X_iu(t−iT) T >0 F¨ur n→ ∞und T→ 0, mit Schrittweiteδ =

√

σ²T folgt der Wiener Prozess:Wt

f_Wt(w) =√ ¹ 2πσ2texp

− ^w2 2σ2t

Eigenschaften

•Kein Z¨ahlprozess!

•P({W₀= 0}) = 1

•hat unabh¨angige Inkremente→r_xy(s, t) = 0

•Wt∼ N(0, σ²t),∀0≤t

•W_t−W_s∼ N(0, σ²(t−s)),∀0≤s≤t

•Wt(ω)ist eine stetige Musterfunktion mit Wahrscheinlichkeit 1

Erwartungswertfunktion. µ_W(t) = 0

Varianz σ_W² (t) =σ²t

Autokorrelationsfunktion r_W(s, t) =σ²min{s, t}

Autokovarianzfunktion c_W(s, t) =σ²min{s, t}

13.6. Poisson-Prozess (N

_t:t∈R+

)

Der Poisson-Prozess ist ein Z¨ahlprozess, bei dem der Zeitpunkt der Spr¨unge durch ZV modelliert wird, nicht die Amplitude.

Nt=

∞ P i=1

u(t−T_i), T_i= i P j=1

X_j

X_jist exponentiell verteilt,T_iist Gamma-verteilt f_Ti(t) =_(i−1)!^λi tⁱ⁻¹e^−λt, t≥0 P({N_t=n}) =^(λt)n

n! e^−(λt), ∀n∈N0, t∈R+ Eigenschaften

•ist ein Z¨ahlprozess (Nt∈N0, monoton steigend und stetig)

•hat unabh¨angige Inkremente

•Nt−Nsist Poisson-verteilt mit Parameter (λ(t−s)f¨ur alle 0≤s≤t

•hat eine Rateλ

•Zeitintervalle zwischen den Inkremetierungen sind unabh¨angig und identisch exponentialverteilt mit Parameterλ=^∧ged¨achtnislos Erwartungswertfunktion µ_N(t) =λt

Varianz σ²_N(t) =λt

Autokorrelationsfunktion r_N(s, t) =λmin{s, t}+λ²st Autokovarianzfunktion c_N(s, t) =λmin{s, t}

14. Bedingte Unabh¨ angigkeit

14.1. Bedingte Unabh¨ angigkeit

A und C heißen bedingt unabh¨angig gegeben B, wenn gilt:

P(A∩C|B) =P(A|B)P(C|B)bzw.

P(A|B∩C) =P(A|B) Dann gilt:

p_Z|Y,X(y|y, x) =p_Z|Y(z|y) f_Z|Y,X(z|y, x) =f_Z|Y(z|y)

X,Zsind bedingt unabh¨angig gegebenY, kurz:X→Y→Z

15. Zufallsprozesse(ZP) und lineare Systeme

15.1. Allgemeines

ImZeitbereich:

w(t) = (h∗v)(t) =

∞´

−∞

h(t−τ)v(τ) dτ Erwartungswert:µ_W= (µ_V∗h)(t)(nicht WSS) ImFrequenzbereich:

W(f) =H(f)V(f)

V W

^{Wt Ausgang}

V_t Eingang h(s, t)Impulsantwort Falls ZufallsprozesseWSS:

Erwartungswert:µ_W=µ_V

∞´

−∞

h(t) dt

Kreuzkorrelationsfkt:r_W,V(τ) =E[W_sV_t] = (h∗r_V)(τ) Autokorrelationsfkt:r_W(τ) =E[W_sW_t] = (˜h∗h∗r_V)(τ) mit˜h(τ) =h(−τ)

15.2. Leistungsdichtespektrum (LDS)

Nicht WSS⇒Kein LDS

S_V(f) = ˆ∞

−∞

r_V(τ)e^{−j2πf τ}dτ

r_V(τ)

b r

S_V(f) r_V,W(τ)

b r

S_V,W(f) r_V,W(−τ)

b r

S^∗_V,W(f) Auf Frequenz bezogene Signalleistung f¨ur infitisimales Frequenzband.

S_Y(f) =|H(f)|²S_X(f) S_Y,X(f) =H(f)S_X(f) S_X,Y(f) =H^∗(f)S_X(f)

X Y

A B

S_Y,X(f) = (Qⁿ i=1

H_i(f))S_X(f)

S_X,Y(f) = ( n Q i=1

H^∗_i(f))S_X(f) S_Y,B(f) = (Qⁿ

i=1

H_i(f))(^mQ j=1

G_j(f))^∗S_X,A(f)

S_X(f) =S^∗_X(f) & S_X,Y(f) =S^∗_Y,X(f), ∀f∈R S_X(f) =S_X(−f), ∀f∈R

∞´

−∞

S_X(f) df=r_X(0) =Var[X] +E[X]²=σ²_X+µ²_X S_X(f)≥0, ∀f∈R

Momenterzeugende Funktion, Multivariate Normalverteilung, Multivaria- te reelle Zufallsvariablen und Komplexe Zufallsvariablen waren im WS 2015/16 nicht pr¨ufungsrelevant und werden hier deshalb nicht behandelt.

P.S. Stochastik♡dich.

Homepage:www.latex4ei.de– Fehler bittesofortmelden. von Alwin Ebermann, Emanuel Regnath, Martin Zellner, Alexander Preißner, Hendrik B¨ottcher, Lukas Kompatscher, Samuel Harder – Mail:samuel.harder@tum.de Stand: 9. February 2019 um 00:04 Uhr (git 45) 4/4