Einführung in die Stochastik, Blatt 13

Einführung in die Stochastik, Blatt 13

Andreas Fackler 19. Januar 2008

Aufgabe 1

Das hier betrachtete statistische Modell ist(Rⁿ,B(Rⁿ),(N(µ, σ²)ⁿ)_{µ∈R,σ∈R}+). Dasn-dimensionale Lebesguemaß ist also ein dominierendes Maß und wir erhalten die Log-Likelihood-Funktion

logf :Rⁿ×R×R⁺→R,logf(x, µ, σ²) =

n

X

k=1

log 1

√2πσexp

−(x_k−µ)² 2σ²

= −n

2 log(2π)−nlogσ− 1 2σ²

n

X

k=1

(xk−µ)². Differentiation ergibt:

d

dµlogf(x, µ, σ²) = 1 2σ²

n

X

k=1

2(x_k−µ) = 1 σ²

n

X

k=1

x_k−nµ

!

d

dσlogf(x, µ, σ²) = −n σ+ 1

σ³

n

X

k=1

(xk−µ)²= 1 σ³

n

X

k=1

(xk−µ)²−nσ²

!

Da der Wert fürσ→0,σ→ ∞,µ→ −∞undµ→ ∞gegen−∞strebt, ist der Wert

bµ(x),σc²(x)

=



 1 n

n

X

k=1

xk, 1 n

n

X

k=1

xk− 1 n

n

X

k=1

xk

!²

,

für den der Gradient verschwindet, also der Durchschnitt derX_kund die mittlere quadratis- che Abweichung vom Durchschnitt, genau das Maximum der Log-Likelihood-Funktion, also der Maximum-Likelihood-Schätzer.

Aufgabe 2

(a)

SetzeΩ_k =N^k,A_k =P(N^k);P_n,k ist dann dask-fache Produktmaß der Gleichverteilung auf {1, . . . , n}, das heißt,Pn,k({ω})ist _n¹_k, fallsω1, . . . , ωk ≤n, und sonst0.

(b)

Da das Modell diskret ist, ist das Zählmaß ein dominierendes Maß und f : Ωk×N→R, f(ω, n) = 1_{1,...,n}k(ω)· 1

n^k

die Likelihood-Funktion. Bei festemωwird diese maximal, wennn= maxkωk, es ist also nck(ω) = max

k ωk.

(c)

E_Pn,k[cn_k] = X

ω∈{1,...,n}^k

1 n^kmax

k ω_k=n^−k

n

X

m=1

X

max_kω_k=m

m

= n^−k

n

X

m=1

(m^k−(m−1)^k)m=n^−k

n

X

m=1

(m^k+1−(m−1)^k−(m−1)^k+1)

= n^−k n^k+1−

n

X

m=1

(m−1)^k

!

=n−

n−1

X

m=1

m n

^k 6=n

Der Schätzer ist also nicht erwartungstreu.

(d)

Seiε >0. Dann gilt, da immernck< nist:

Pn,k[|nck−n|> ε] = Pn,k[nck < n−ε] =Pn,k[∀i∈ {1, . . . , k}ωi< n−ε]

=

k

Y

i=1

P_n,k[ω_i< n−ε] = (P_n,k[ω₁< n−ε])^k.

DaP_n,k[ω₁< n−ε]≤1−P_n,k[ω₁ =n] = 1−_n¹ <1, konvergiert dies fürk→ ∞gegen0, wie zu zeigen war.

Aufgabe 3

Angenommen,bσwäre ein erwartungstreuer Schätzer, das heißt, für jedesp∈[0,1]gelte:

pnp(1−p) =E_Pp[σ] =b X

ω∈{0,1}ⁿ

bσ(ω)P_p[{ω}] = X

ω∈{0,1}ⁿ

bσ(ω)p^S(ω)(1−p)^n−S(ω) Rechts steht ein Polynom inp, also istp

np(1−p)ein Polynom inp. Da sein Quadrat,np−np², Grad 2 hat, mussp

np(1−p)Grad 1 haben, also linear sein. Das ist aber nicht der Fall.

Aufgabe 4

(a)

Das statistische Modell ist hier(Ωk,Ak,(Pp,k)_p∈]0,1[)mit

Ak = P(Ωk) und der Zähldichtepp,k(ω) =QL(ω)

k=1 p^ωk(1−p)^1−ωk = p^k(1−p)^L(ω)−k vonPp,k. (Wir ingnorieren hier das Ereignis, dass niemalskEinsen fallen, da es Wahrscheinlichkeit0 hat.) Die Likelihood-Funktion ist also:

f : Ω_k×]0,1[→R, f(ω, p) =p^k(1−p)^L(ω)−k Differentiation nachpergibt

kp^k−1(1−p)^L(ω)−k−(L(ω)−k)p^k(1−p)^{L(ω)−k−1}= (k−pL(ω))p^k−1(1−p)^{L(ω)−k−1} Die Nullstelle hiervon ist das eindeutige Maximum, daf(ω,0) =f(ω,1) = 0ist. Der Maximum- Likelihood-Schätzer ist alsop(ω) =b _L(ω)^k .

(b)

Seien ε > 0 undp gegeben. Sei jeweilsXi die Wartezeit zwischen der (i−1)-ten und der i-ten Eins. Dann sind dieX_iiid geometrisch verteilt, haben also Erwartungswert¹_p, undL= Pk

i=1Xi. Nach dem schwachen Gesetz der großen Zahlen konvergiert also ^L_k in Wahrschein- lichkeit gegen ¹_p und damit:

P_p,k[|pb−p| ≤ε] = P_p,k 1

p+ε ≤L k ≤ 1

p−ε

−→1

Aufgabe 5

(a)

Wir berechnen zunächst für eine Borel-MengeA:

P[λ∈A∧N =n] = Z

A

a^s

Γ(s)x^s−1e^−axe^−xxⁿ n! dx

= a^sΓ(s+n) (a+ 1)^s+nΓ(s)

Z

A

(a+ 1)^s+n

Γ(s+n) x^n+s−1e^−(a+1)xdx Es ist also

P[λ∈A|N=n] = P[λ∈A∧N =n]

P[N =n] =

a^sΓ(s+n) (a+1)^s+nΓ(s)

R

A

(a+1)^s+n

Γ(s+n) x^n+s−1e^−(a+1)xdx

a^sΓ(s+n) (a+1)^s+nΓ(s)

R (a+1)^s+n

Γ(s+n) x^n+s−1e^−(a+1)xdx

= Z

A

(a+ 1)^s+n

Γ(s+n) x^n+s−1e^−(a+1)xdx, das heißt,λist, bedingt aufN =n,Gamma(a+ 1, s+n)-verteilt.

(b)

Damit hatλbedingt aufN =nden Erwartungswert^s+n_a+1, das heißt,λ(n) =b ^s+n_a+1

Aufgabe 6

(a)

Pm[K=k|L=l] = Pm[L=l|K=k]P[K=k]

Pn

k⁰=0P_m[L=l|K=k⁰]P[K=k⁰] =

m l

k n

^l

1−^k_n^m−l pk

Pn k⁰=0

m l

k⁰ n

^l

1−^k_n^0m−l pk⁰

= k^l(n−k)^m−lpk

Pn

k⁰=0k^0l(1−k⁰)^m−lp_k⁰, wobei wir0⁰= 1setzen, da:

Pm[K=n|L=m] = n^lp_n Pn

k⁰=0k^0lpk⁰

(b)

Zunächst beweisen wir die Bemerkung im Hinweis:

P_m[K=k|L=l]

Pm[K=k+ 1|L=l] = k^l(n−k)^m−lp_k (k+ 1)^l(n−k−1)^m−lpk+1

= p_k pk+1

k k+ 1

_m^l n−k n−k−1

1−_m^l!^m

= pk

pk+1

f k

n,k+ 1 n , l

m m

Im Fallk+ 1 =n,l=merhalten wir nach obiger Konvention _(k+1)^klpl^kp_k+1 = _p^pk

k+1f _n^k,1,1 . Für0< p < p⁰ ≤π≤1(wegen der Voraussetzung _m^l ≥ ^k+1_n wird dies in unserem Fall erfüllt sein) ist _p^p0 <1und _1−p^1−p0 >1, also wegenp⁰≤π:

p p⁰

π

≤ p

p⁰ p⁰

und

1−p 1−p⁰

1−π

≤

1−p 1−p⁰

1−p⁰

Dies beweistf(p, p⁰, π)≤ f(p, p⁰, p⁰). Fürf(p, p⁰, p⁰) <1 genügt es zu zeigen, dass der Loga- rithmus negativ ist. Da dieser strikt konkav ist, gilt:

logf(p, p⁰, p⁰) = p⁰log p

p⁰ + (1−p⁰) log 1−p 1−p⁰

< log

p⁰p

p⁰ + (1−p⁰)1−p 1−p⁰

= log 1 = 0 Nun können wir die Abschätzung fürP[K=k|L=l]beweisen:

P_m[K=k|L=l] ≤ P_m[K=k+ 1|L=l] pk

p_k+1f k

n,k+ 1 n , l

m ^m

≤ pk

pk+1

f k

n,k+ 1 n ,k+ 1

n ^m

= p_k pk+1

e^logf(_n^k,k+1_n ^,k+1_n )·m

Wegenf ^k_n,^k+1_n ,^k+1_n

<1ist dieser Logarithmus negativ. Wir setzen α = −logf

k ,k+ 1

,k+ 1 und

Dann ist Pm

L m −K

n ≥ 1 n|L=l

= X

k∈{0,...,n},_m^l−^k_n≥_n¹

Pm[K=k|L=l]

≤ X

k∈{0,...,n},_m^l−^k_n≥_n¹

Cke^−αkm

≤ (n+ 1) max

k Ck·e^−minkαkm=C·e^−αm mitC= (n+ 1) maxkCkundα= minkαk.

(c)

Die gleiche Argumentation liefert für die Anzahln−Kgrüner Kugeln und die Anzahlm−L gezogener grüner Kugeln:

C⁰e^−α0m≥Pm

m−L

m −n−K n ≥ 1

n|L=l

=Pm

− L

m−K n

≥ 1 n|L=l

MitC⁰⁰=C+C⁰undα⁰⁰= min{α, α⁰}gilt also:

P_m

L m−K

n

≥ 1 n|L=l

≤C⁰⁰e^−α00m