Stochastik I - Formelsammlung von Julian Merkert, Wintersemester 2005/06, Prof. Bäuerle

Stochastik I - Formelsammlung

von Julian Merkert, Wintersemester 2005/06, Prof. Bäuerle

Ereignisse und Wahrscheinlichkeiten

Ereignis

• Ergebnisraum:Ω

• Ereignis:A⊂Ω

• Elementarereignis:{ω}, ω∈Ω

• A∩B:=AB:={ω∈Ω|ω∈Aundω∈B}

• A∪B:={ω∈Ω|ω∈Aoderω∈B}(Für disjunkte Mengen:A+B)

• A\B={ω∈Ω|ω∈A, ω /∈B}

• A^C= Ω\B

Kartesisches Produkt:Ω₁×Ω₂×...×Ω_n ={(a1, ..., a_n)|ai∈Ω_i, i= 1...n}

Potenzmenge:P(Ω) (Menge aller Teilmengen vonΩ) DeMorgansche Regeln:

• (A∪B)^C=A^C∩B^C

• (A∩B)^C=A^C∪B^C

σ-Algebra überΩ:A ⊂ P(Ω)mit...

1. Ω∈ A

2. A∈ A ⇒A^C∈ A 3. A1, A2, ...∈A⇒S∞

i=1Ai∈ A Messraum:(Ω,A)

Folge von Ereignissen:{An}

• Limes superior:limn→∞An = lim supAn=T∞ k=1

S∞

n=kAn (unendlich viele derAns treten ein)

• Limes inferior:lim_n→∞A_n = lim infA_n=S∞ k=1

T∞

n=kA_n (alle bis auf endlich viele derA_ns treten ein)

• Falls{An}wachsend (A₁⊂A₂⊂...=A_n↑)⇒lim_n→∞A_n= lim_n→∞A_n=S∞ n=1A_n

• Falls{A_n}fallend (A₁⊃A₂⊃...=A_n↓)⇒lim_n→∞A_n= lim_n→∞A_n=T∞ n=1A_n Wahrscheinlichkeitsmaÿ aufA: P:A →[0,1]im Messraum(Ω,A)mit...

1. Normiertheit:P(Ω) = 1 2. σ-Additivität:P(P∞

n=1A_n) =P∞

n=1P(A_n)für alle paarweise disjunktenA₁, A₂, ...∈ A Wahrscheinlichkeitsraum:(Ω,A, P)

• P(A^C) = 1−P(A)

• P(∅) = 0

• Endliche Additivität:P(Pn

i=1Ai) =Pn

i=1P(Ai)für alle paarweise disjunktenA1, ..., An

• Boolsche Ungleichung:P(Sn

i=1Ai)≤Pn

i=1P(Ai)

• Siebformel:P(Sn

k=2A_k) =Pn

k=1(−1)^k−1P

1≤i₁<i₂<...<i_k≤nP(A_i1∩...∩A_ik) P(A∪B) =P(A) +P(B)−P(A∩B)

P(A₁∪A₂∪A₃) =P(A₁) +P(A₂) +P(A₃)−P(A₁∩A₂)−P(A₁∩A₃)−P(A₂∩A₃) +P(A₁∩A₂∩A₃)

Laplace'scher Wahrscheinlichkeitsraum:(Ω,A, P)mitA=P(Ω)undP(A) =^|A|_|Ω| ∀ A∈Ω

• jedes Elementarereignis hat die gleiche WahrscheinlichkeitP(ω) =_|Ω|¹ Permutationen

• Die Anzahl der Permutationen vonnverschiedenen Objekten istn! = 1·2·3·...·n

• Die Anzahl der Permutationen vonnObjekten mit jeweilsn₁, n₂, ..., n_k gleichen Elementen ist _n1!·n2^n!_!·...·nk! Kombinatorik

# der Möglichkeiten bei Ziehung vom Umfangk aus{1...n}

mit Zurücklegen ohne Zurücklegen

mit Reihenfolge n^k _(n−k)!^n!

ohne Reihenfolge ^n+k−1_k n

k

=_k!(n−k)!^n!

• ^n+k−1_k

kann auch als die Anzahl der Möglichkeiten,k(nicht unterscheidbare) Objekte aufn(unterscheidbare) Fächer aufzuteilen, angesehen werden (mit Mehrfachbelegungen).

Bedingte Wahrscheinlichkeit:P(A|B) =^P(AB)_P(B)

Multiplikationssatz:P(A1∩...∩An) = Πⁿ_k=1P(Ak|A1∩...∩Ak−1)mit A0:= Ω

• P(AB) =P(A|B)·P(B)

Ereignispartition vonΩ:B1, B2, ...∈ Amit...

1. Bi∩Bj =∅ füri6=j 2. P∞

i=1Bi= Ω 3. P(Bi)>0∀i∈N

Satz von der totalen Wahrscheinlichkeit: ∀A∈ A:P(A) =P∞

j=1P(B_j)·P(A|B_j) Formel von Bayes:P(Bk|A) =P∞^{P(Bk)·P(A|Bk)}

j=1P(B_j)·P(A|Bj)

Unabhängigkeit zweier Ereignisse:P(AB) =P(A)·P(B)

Unabhängigkeit der EreignisseA₁, ..., A_n ∈ A: für allek= 1...nund für alle k-Tupel1≤i₁< i₂< ... < i_k≤n:

P(

k

\

j=1

Ai_j) = Π^k_j=1P(Ai_j)

Zufallsvariablen und Verteilungen

VonE erzeugte σ-Algebra:σ(E) :=T

A⊃E,Aistσ-AlgebraA

• E ⊂ P(Ω)heiÿt Erzeugendensystem

Borelscheσ-Algebra:B:=σ(E)mitE={(a, b],−∞< a < b <∞}

Dynkin-System:D ⊂ P(Ω) mit..

1. Ω∈ D

2. A∈ D ⇒A^C∈ D

3. A₁, A₂, ...∈ D, Ai∩A_j =∅füri6=j⇒P∞

i=1A_i∈ D

Durchschnittsstabiles (∩-stabiles) MengensystemE:A, B∈ E ⇒A∩B∈ E Zufallsvariable:X: Ω→R

• :⇔X ist(A,B)-messbar

• :⇔X⁻¹(B) ={ω|X(ω)∈B} ∈ A ∀B∈ B

• :⇔X⁻¹((−∞, a]) ={ω|X(ω)≤a} ∈ A ∀a∈R

• :⇔X stetig oder (schwach) monoton wachsend oder fallend für(R,B)

Verkettung zweier ZufallsvariablenX : Ω→RundY :R→R⇒Y ◦X: Ω→Rist wieder ZV Verteilung:PX:B →[0,1]mitPX(B) =P({ω∈Ω|X(ω)∈B}) ∀B∈ B

• Die Verteilung ist ein Wahrscheinlichkeitsmaÿ auf dem Messraum(R,B)

Verteilungsfunktion:F_X :R→[0,1]mit F_X(x) =P(X ≤x) =P({ω∈Ω|X(ω)≤x}) =P_X((−∞, x])

• lim_x→−∞FX(x) = 0,lim_x→+∞FX(x) = 1

• FX ist (schwach) monoton wachsend

• FX ist rechtsseitig stetig

Quantilfunktion:F⁻¹: [0,1]→RmitF⁻¹(y) := inf{x∈R|F(x)≥y} für eine VerteilungsfunktionF :R→[0,1]

• F stetig und streng monoton wachsend⇒F⁻¹ übliche Umkehrfunktion

Diskrete Verteilung Stetige Verteilung

X: Ω→Rheiÿt diskret, falls es eine endliche oder abzähl- bare MengeC ⊆Rgibt, so dass P(X ∈C) =pX(C) = 1 ist.

OBdA: SeiC={x1, x2, ...}

X : Ω→Rheiÿt absolutstetig, falls die Verteilungsfunk- tionFX vonxfolgende Darstellung besitzt:

FX(x) =Rx

−∞fX(y)dy∀ x∈R Zähldichte von X:p_X(k) =P(X=x_k)

• p_X(k)≥0∀k∈N

• P∞

k=1p_X(k) = 1

Dichte von X:f_X:R→[0,∞)

• R∞

−∞f_X(y)dy= 1

Diskrete Verteilungen:

• Binomialverteilung:

pX(k) =P(X =k) = ⁿ_k

·p^k·(1−p)^n−k (n∈N, p∈[0,1])

• Hypergeometrische Verteilung:

P(X =k) = (^rk)(m−k^n−r) (_mⁿ)

• Geometrische Verteilung:

P(X =k) = (1−p)·p^k−1 (p∈[0,1])

• Poisson-Verteilung:

P(X =k) =e^{−λ λ}_k!^k (λ >0)

• Diskrete Gleichverteilung auf{x₁, ..., x_m} ⊂R:

P(X =xi) = _m¹ füri= 1...m

Stetige Verteilungen:

• Gleichverteilung:

Schreibweise: X∼U(a, b) f(x) =

1

b−a a < x < b 0 sonst FX(x) =Rx

a 1

b−ady=^x−a_b−a füra < x < b

• Exponentialverteilung:

Schreibweise: X∼exp(λ) f(x) =

λe^−λx x≥0

0 sonst

FX(x) =Rx

0 λe^−λydy= 1−e^−λx fürx≥0

• Normalverteilung:

Schreibweise: X∼N(µ, σ²) f(x) =ϕ_µ,σ2(x) = ^√1

2πσexp

−¹₂^(x−µ)_σ2 ²

• Standardnormalverteilung (µ= 0, σ²= 1):

F_X(x) = Φ(x) =Rx

−∞

√1

2πexp −¹₂y² dy Elementare Zufallsvariable:X(ω) =Pm

i=1αi1A_i(ω)

• Ai∈ A, αi∈R+, m∈N

• Menge aller elementaren Zufallsvariablen im Messraum:M^E Erwartungswert von X:EX =R

XdP=Pm

i=1α_iP(A_i)

• Erwartungswert existiert⇔EX <∞

• Linearität:E(aX+bY) =aEX+bEY

• Monotonie:X ≤Y (d.h. X(ω)≤Y(ω)∀ω∈Ω)⇒EX ≤EY

• Mitg:R→Rmessbar gilt für diskreten und absolutstetigen Fall:

Eg(x)existiert⇔P∞

k=0|g(xk)| ·pX(k)<∞ Eg(x) =P∞

k=0g(xk)·pX(k) EX =P

x∈R:P(X=x)>0x·P(X =x)

Eg(x)existiert⇔R∞

−∞|g(x)| ·fX(x)dx<∞ Eg(x) =R∞

−∞g(x)·f_X(x)dx EX=R∞

−∞x·f_X(x)dx k-tes Moment von X:EX^k

k-tes zentriertes Moment von X:E(X−EX)^k

Varianz (2-tes zentriertes Moment): Var(X) =E(X−EX)²

• Var(X) =EX²−(EX)²

• Var(aX+b) =a²Var(X)∀a, b∈R

• Var(X)≥0und Var(X) = 0⇔P(X =c) = 1für einc∈R Tschebysche-Ungleichung:P(|X−EX| ≥ε)≤_ε¹2Var(X)

Erwartungswert und Varianz diskreter Verteilungen

Verteilung ZähldichteP(X=k) Erwartungsw. Varianz Anschauliche Interpretation Binomialverteilung

X∼B(n, p)

n k

·p^k·(1−p)^n−k n·p n·p·(1−p) Münze wird n-mal geworfen, P(i-ter Wurf=Kopf)=p. Die Anzahl X der Kopf- würfe ist binomialverteilt.

Hypergeometrische Verteilung

X∼H(r, n, m)

(^r_k)(_m−k^n−r)

(_mⁿ) r^m_n r^m_n 1−^m_n

· n−r

n−1

Urne mit r roten und s schwarzen Kugeln, r+s=n. Zieht man m Kugeln ohne Zu- rücklegen, ist die Anzahl X der gezogenen roten Kugeln hypergeometrisch verteilt.

Geometrische Verteilung

p·(1−p)^{k−1 1}_p ^1−p_p2 Die Wahrscheinlichkeit, dass ein Ereignis zum Erfolg führt, sei p. Die Anzahl X der Versuche, die notwendig sind um einen ers- ten Erfolg zu haben, ist geometrisch ver- teilt.

Poisson-Verteilung e^−λ·^λ_k!^k λ λ Die Poisson-Verteilung ist eine Approxi- mation der Binomialverteilung für groÿe n und kleinem p.

Diskrete

Gleichverteilung auf{x1, ..., xm}

1 m

1 m

Pm

i=1x_i berechnen! Ein Würfel wird einmal geworfen. Der ge- worfene Wert X ist gleichverteilt und hat die möglichen Ausprägungenx1= 1, x2 = 2, ..., x6= 6.

Erwartungswert und Varianz stetiger Verteilungen

Verteilung Dichtef(x) Erwartungsw. Varianz VerteilungsfunktionFX(x) Gleichverteilung

X∼U(a, b)

1

b−a a < x < b 0 sonst

b+a 2

(b−a)² 12

Rx a

1

b−ady=^x−a_b−a füra < x < b

Exponential- verteilung X∼exp(λ)

λe^−λx x≥0

0 sonst

1 λ

1 λ²

Rx

0 λe^−λydy= 1−e^−λx fürx≥0

Normalverteilung X∼N(µ, σ²)

ϕ_µ,σ2(x) =

√1

2πσexp

−¹₂^(x−µ)_σ2 ²

µ σ² Integral nicht lösbar

Standard- Normalverteilung

µ= 0, σ²= 1 0 1 Rx

−∞

√1

2πexp −¹₂y² dy= Φ(x)[Tabelle]

Zufallsvektoren

Produkt-σ-Algebra:A=A1⊗...⊗ An=σ({A1×...×An|Ai∈ A, i=i...n}) Randverteilung:Q_i(A_i) =P(Ω₁×...×Ω_i−1×A_i×Ω_i+1×...×Ω_n)

Zufallsvektor:X= (X1, ..., Xn) : Ω→Rⁿ

Verteilung:PX:B(Rⁿ)→[0,1]mitPX(B) =P({ω∈Ω|X(ω)∈B}), B∈ B(Rⁿ) Verteilungsfunkton:F_X(x₁, ..., x_n) =P(X₁≤x₁, ..., X_n≤x_n)

X heiÿt diskret, falls es eine endliche oder abzählbar un- endliche MengeC={x₁, x₂, ...} ⊂Rⁿ gibt, so dass P(X ∈C) = 1

X heiÿt absolutstetig, falls es eine integrierbare Funktion f_X:Rⁿ→[0,∞)gibt mit

FX(x1, ..., xn) =Rx1

−∞...Rxn

−∞fX(y1, ..., yn)dy1...dyn

Zähldichte:p_X(k) =P(X =x_k) Dichte:f_X :Rⁿ→[0,∞) Randzähldichte:P(Xi=yi)

• =P({ω|X(ω)∈C, X_i(ω) =y_i})

• =P

x∈C,x_i=y_iP(X=x)

Randdichte:fXi(x)

• = Z ∞

−∞

...

Z ∞

−∞

| {z }

n−1mal

fX(y1, ..., y_i−1, xi, yi+1, ..., yn)

dy1...dy_i−1dyi+1dyn

Verteilung:PX(B) =R

BfX(y)dy∀B∈ B(Rⁿ) Multinomialverteilung:

• Experiment mitrmöglichen AusgängenE1, ..., Ermit jeweiligen Wahrscheinlichkeitenp1, ..., pr(p1+...+pr= 1)

• Der Versuch wird n-mal unabhängig wiederholt

• Xi(ω)sei die Anzahl derEi-Ausgänge

• ⇒P(X1=k1, ..., Xr=kr) =p^k₁¹·...·p^k_r^r· _k ^n!

1!·...·kr!

Unabhängigkeit der ZufallsvariablenX₁, ..., X_n: Ω→R:F_X1,...,Xn(x₁, ..., x_n) = Πⁿ_i=1F_Xi(x_i)

• ⇔P(X1≤x1, ..., Xn≤xn) = Πⁿ_i=1P(Xi≤xi)∀(x1, ..., xn)∈Rⁿ

• ⇔P(X1∈B1, ..., Xn∈Bn) = Πⁿ_i=1P(Xi∈Bi)∀B1, ..., Bn∈ B

• ⇔P(B1×...×Bn) = Πⁿ_i=1PX_i(Bi)∀B1, ..., Bn ∈ B Produkt-Maÿ:P(A₁×...×A_n) =P₁(A₁)·...·P_n(A_n) i-te Projektion:Xi(ω) =Xi((ω1, ..., ωn) =ωi, i= 1...n

X1, ..., Xn unabhängig

• ⇔P(X1=x1, ..., Xn=xn) = Πⁿ_i=1P(Xi=xi)

∀(x1, ..., xn)∈Rⁿ

X1, ..., Xn unabhängig

• ⇔fX(x1, ..., xn) = Πⁿ_i=1fX_i(xi)

∀(x1, ..., xn)∈Rⁿ\B

• (B vom Lebesguemaÿ 0)

Addition zweier absolutstetiger Zufallsvariablen (X = (X1, X2) : Ω→R²) mit gemeinsamer DichtefX:

• X1+X2absolutstetig mit DichtefX₁+X₂(x) =R∞

−∞fX(y, x−y)dy∀x∈R

Faltungsformel (Addition zweier unabhängiger absolutstetiger ZV):

• fX₁+X₂(x) =R∞

−∞fX₁(y)fX₂(x−y)dy∀x∈R Faltung:P_X∗P_Y =P_X+Y für X,Y unabhängig

Erwartungswert zweier unabhängiger Zufallsvariablen:EX·Y =EX·EY

• sonst:EX·Y =R∞

−∞

R∞

−∞x·y·fX,Y(x, y)d(x, y) Cauchy-Schwarzsche Ungleichung:(EXY)²≤EX²·EY² Kovarianz: Cov(X, Y) :=E[(X−EX)(Y −EY)]

• Cov(X, Y) =EXY −EX·EY

• Cov(X, X) =Var(X)

• Cov(X, Y) =Cov(Y, X)

X und Y unkorreliert⇔Cov(X, Y) = 0

• X,Y unabhängig⇒X,Y unkorreliert Korrelationskoezient:%(X, Y) =√ ^Cov(X,Y)

Var(X)·Var(Y)

• Ist%(X, Y)deniert, so gilt:−1≤%(X, Y)≤1

• Der Korrelationskoezient ist ein Maÿ für die lineare Abhängigkeit der Zufallsvariable Berechnung der Varianz: Var(X1+...+Xn) =Pn

i=1Var(Xi) + 2P

1≤i<j≤nCov(Xi, Xj)

• Für unkorrellierteXi:Var(X1+...+Xn) =Pn

i=1Var(Xi) Erwartungsvektor:EX= (EX₁, ..., EX_n)

Kovarianzmatrix: Cov(X) = (Cov(Xi, Xj))_1≤i,j≤n Erzeugende Funktion:gX(s) =P∞

k=0pX(k)·s^k=Es^k

• Nur für X diskret

• gX : [−1,1]→Rist wohldeniert für|s| ≤1

• Zähldichte:p_X(k) = ^g

(k) X (0)

k!

• Erwartungswert:EX =g⁰_X(1−) = lim_s↑1g⁰_X(s)

• Varianz: Var(X) =g⁰⁰_X(1−) +g_X⁰ (1−)−(g⁰_X(1−))²

• Eindeutigkeit:pX(k) =pY(k)∀k∈N⇔gX(s) =gY(s)∀s∈[−1,1]

• Addition von X, Y unabhängig:gX+Y(s) =gX(s)·gY(s)∀ s∈[−1,1]

• X1, ..., Xn unabhängig⇔g^Pn

i=1Xi = Πⁿ_i=1gX_i

Konvergenz von Zufallsvariablen

p-fast-sichere Konvergenz:P({ω∈Ω|limn→∞Xn(ω)−X(ω)}) = 1

• Xn

f.s.→ X ⇔P(lim_n→∞Xn=X) = 1

Konvergenz in Wahrscheinlichkeit:lim_n→∞P({ω∈Ω| |Xn(ω)−X(ω)| ≥ε}) = 0∀ ε >0

• Xn

→p X⇔limn→∞P(|Xn−X| ≥ε) = 0∀ε >0

Konvergenz in Verteilung:lim_n→∞F_Xn(x) =F_X(x)∀x∈Ran denenF_X(x)stetig ist

• Xn

→d X⇔lim_n→∞FX_n(x) =FX(x)∀ StetigkeitsstellenxvonX Zusammenhang der Konvergenzen:

• Xn

f.s.→ X ⇒Xn

→p X

• X_n →^p X⇒X_n→^d X

• Xn

→d c, c∈R⇒Xn

→p c

Charakteristische Funktion:ϕX(t) :=Ee^itX=Ecos(tX) +iEsin(tX)

• ϕX:R→Cexistiert immer ∀t∈R

• X diskret⇒ϕ_X(t) =g_X(e^it)

• X absolutstetig⇒ϕX(t) =R∞

−∞e^itx·fX(x)dx=R∞

−∞cos(tx)·fX(x)dx+iR∞

−∞sin(tx)·fX(x)dx

• Eigenschaften:

ϕX(0) = 1

|ϕX(t)| ≤1 ∀t∈R ϕaX+b(t) =e^ibt·ϕX(at)

• Eindeutigkeit:PX =PY ⇔ϕX =ϕY

• X1, ..., Xn unabhängig⇔ϕ^Pn

i=1Xi(t) = Πⁿ_i=1ϕX_i(t)

• n-tes Moment:ϕ⁽ⁿ⁾_X (0) =iⁿEXⁿ

• Stetigkeitssatz:X_n →^d X ⇔ϕ_Xn(t)^n→∞→ ϕ(t)∀t∈Rundϕist stetig in 0 Schwaches Gesetz der groÿen Zahlen: ^X1+...+X_n ⁿ →^p µ

• nur fürX1, X2, ...u.i.v. (unabhängig und identisch verteilt)

• µ=EX_i

Starkes Gesetz der groÿen Zahlen: ^X1+...+X_n ^{n f.s.}→ µ

• nur fürX1, X2, ...u.i.v. (unabhängig und identisch verteilt)

• µ=EX_i

Zentraler Grenzwertsatz: fürX₁, X₂, ...u.i.v. mitEX_i =µund0<Var(X_i) =σ²<∞gilt:

• ^X1+...+X√_nσ^n−nµ→^d X∼N(0,1)

• P_X

1+...+X√ n−nµ

nσ ≤x_n→∞

→ Φ(x)∀ x∈R

• P

α≤^X1+...+X√_nσ^n−nµ≤β_n→∞

→ Φ(β)−Φ(α)

Parameterschätzung

Familie von Verteilungen:{P_θ|θ∈Θ} mitΘ⊂R^m Stichprobenraum:X

Zufallsstichprobe von u.i.v. ZufallsvariablenX1, ..., Xn mit Verteilung P:(X1, ..., Xn) Stichprobe: Realisierung(x₁, ..., x_n)einer Zufallsstichprobe

Schätzer vonθ: messbare AbbildungT :Xⁿ→Θ,˜ Θ˜ ⊃Θ Stichprobenmittel:T :Rⁿ →Rmit T(x) =x= _n¹Pn

i=1xi

Stichprobenvarianz:S²:Rⁿ →RmitS²(x) = _n−1¹ Pn

i=1(x_i−x)² Maximum-Likelihood-Methode

• Likelihood-Funktion der Stichprobex= (x1, ..., xn)⊂ Xⁿ: L_x(θ) =p(x₁, θ)·...·p(x_n, θ)

=P_θ(X₁=x₁)·...·P_θ(X_n=x_n) =P_θ(X=x)

L_x(θ) =f(x₁, θ)·...·f(x_n, θ)

• Maximum-Likelihood-Schätzer (MLS):θˆM L(x)mit Lx(ˆθM L(x)) = sup_θ∈ΘLx(θ)

• Ggf. kann der MLS durch Nullsetzen der Ableitung der Log-Likelihoodfunktion bestimmt werden:

∂

∂θlog (L_x(θ)) = 0 Momentenmethode

• k-tes theoretisches Moment vonX ∼Pθ:µk=µk(θ) =EθX^k, k= 1,2, ...

• k-tes empirisches Moment einer Stichprobex= (x₁, ..., x_n):x_k= ¹_nPn i=1x^k_i

• Vorgehensweise:

Setze theoretische und empirische Momente gleich⇒µk(θ) =xk, k= 1, ..., m Aufgelöst nachθergibt sich dann der Momentenschätzerθˆ_{M M}(x)∈Θ Erwartungstreuheit eines Schätzers T: ∀θ∈Θ :EθT(X1, ..., Xn) =θ

Verzerrung eines Schätzers T:b_T(θ) =E_θT(X₁, ..., X_n)−θ

• Erwartungstreue Schätzer sind unverzerrt Mittlerer quadratischer Fehler:M SE(T) =Eθ

h

(T(X1, ..., Xn)−θ)²i

=Varθ(T) +bT(θ)²

• Für erwartungstreue Schätzer gilt:M SE(T) =Varθ(T(X)) Ungleichung von Cramér-Rao: Varθ(T(X))≥ (¹⁺_∂θ^∂bT(θ))²

E_θh

(_∂θ^{∂ logL}x(θ))²ⁱ

• Fisher-Information:I(θ) =Eθ

h ∂

∂θlogLx(θ)²i

• Für erwartungstreue Schätzer gilt: Varθ(T(X))≥ _I(θ)¹ (1−α)-Kondenzintervall:[L(x), U(X)]mit...

1. L, U :Xⁿ→Θ⊂Rmessbare Funktionen 2. L(x)≤U(x)∀ x∈ Xⁿ

3. Pθ(L(X)≤θ≤U(X)) = 1−α Eigenschaften:

Testtheorie

Seiθ0∈Θ

Einseitiges Testproblem:H₀:θ≤θ₀vs.H₁:θ > θ₀ Zweiseitiges Testproblem:H0:θ=θ0 vs.H1:θ6=θ0

Kritischer Bereich:R⊂Rⁿ =Xⁿ, so dassH0 verworfen wird fürx∈R

• 0 =H0 wird nicht verworfen

• 1 =H₀ wird verworfen

Test / Testverfahren:ϕ:Xⁿ→ {0,1}

• R={x∈ Xⁿ|ϕ(x) = 1}

Gütefunktion:β(θ) =Pθ(X∈R) =Pθ(ϕ(x) = 1)

• β: Θ→[0,1]

• Fürθ∈Θ₁ heiÿtβ(θ)die Macht des Tests Niveau / Signikanzniveauαeines Tests:β(θ)≤α

• ⇔Wahrscheinlichkeit für einen Fehler 1. Art ist gleichα

wahr Entscheidung H0 H1

H₀ ok Fehler 1. Art

H1 Fehler 2. Art ok

Gleichmäÿig bester Testϕ^∗∈D_α: β^∗(θ) =P_θ(ϕ^∗(x) = 1) = max_ϕ∈DαP_θ(ϕ(x) = 1)

• Dα Menge von Test zum Niveauα

Wahl der Nullhypothese: Möchte man sich fürθ < θ0entscheiden, sollte man H0:θ≥θ0wählen X₀, X₁, ..., X_ru.i.v. mitX_i∼N(0,1), r∈N:

• χ²-Verteilung mitrFreiheitsgraden:Pr i=1X_i²

• t-Verteilung mitrFreiheitsgraden: √ ^X0

1 r

P_r

i=1X²_i

• Für ZufallsstichprobeX = (X₁, ..., X_n)zurN(µ, σ²)-Verteilung gilt:

X =_n¹Pn

i=1Xi, X∼N(µ,^σ_n²) S²(X) = _n−1¹ Pn

i=1(Xi−X)², ^(n−1)·S_σ2^2(X)∼χ²_n−1 √

n^X−µ_S(X) ∼t_n−1

Randomisierter Test:ϕ:Xⁿ→[0,1]

• Gibt an, mit welcher Wahrscheinlichkeitϕ(x)H₀ abgelehnt wird

• Gütefunktion:β(θ) =E_θϕ(X)

Neyman-Pearson-Test: randomisierter Testϕ^∗:Xⁿ→[0,1]mitϕ^∗(x) =







0 f alls L_x(θ₁)< c^∗·L_x(θ₀) γ(x) f alls L_x(θ₁) =c^∗·L_x(θ₀) 1 f alls L_x(θ₁)> c^∗·L_x(θ₀)

• c^∗∈[0,∞)konstant

• γ:Xⁿ→[0,1]eine Funktion Lemma von Neyman-Pearson:

• Istϕ^∗ ein NPT mitα=βϕ^∗(θ0), dann istϕ^∗gleichmässig bester Test unter allen Tests zum selben Niveau α

• Für jedesα∈(0,1)existiert ein NPTϕ^∗ zum Niveauα. Dabei kannγ(x)≡γ gewählt werden.

Familie von (Zähl-)Dichten mit monotonem Dichtequotienten:{f(x, θ)|θ∈Θ} bzw.{p(x, θ)|θ∈Θ} mit...

1. ∃ messbare FunktionT :Xⁿ→Rso dassq(x) =^L_L^x(θ1)

x(θ0) =q^∗(T(x₁, ..., x_n)) 2. q^∗ monoton inT(x1, ..., xn) =T(x)für alleθ0< θ1

• Bei exp-Verteilungen:T(x) =xerfüllt die Bedingung

• X ∈ Xⁿ Stichprobe zu einer Verteilung mit nicht monoton fallenden Dichtequotienten inT(x). Jeder Test der Form







0 f alls T(x)> t₀ γ f alls T(x) =t₀ 1 f alls T(x)< t₀

ist gleichmässig bester Test für das Testproblem

H₀:θ≤θ₀ vs.H₁:θ > θ₀ zum Niveauα=E_θ0ϕ(X) = sup_θ≤θ

0E_θϕ(X) Likelihood-Quotient:q(x) =^sup_sup^{θ∈Θ0Lx(θ)}

θ∈Θ1Lx(θ)

Likelihood-Quotiententest:







0 f alls q(x)> c0

γ f alls q(x) =c0 (nur im diskreten Fall) 1 f alls q(x)< c₀