Satz von Etemadi (1981)

Satz von Etemadi (1981)

Satz 2.6

Es sei(Xn)neine Folge von ident. verteilten, paarweise unabh.

ZV’en auf einem W-Raum(Ω,F,P)mit E(|X1|)<∞, so gilt mit m=E(X1), dass

1 n

Pn i=1Xi

n→∞−→ m fast sicher.

Bew:

O.b.d.A. Xi≥0, andernfalls behandle X+und X−separat.

1. Schritt

Sei Yi=Xi11X_i≤i, Sn^∗=Pn

i=1Yi α >1und kn:=bαⁿc.

Tshebyschev

=⇒ P

n∈N

P(^|S

∗ kn−ES^∗

kn|

k_n ≥)≤¹2

P

n∈N V(S_kn^∗)

k²_n Biename

= ¹₂P

n 1 k_n²

k_n

P

i=1

V(Yi)≤²₂P

n 1 k_n²

k_n

P

i=1

E(Y_i²) =²₂ P

i,n∈N

1 1kn≥i 1

k_n²E(Y_i²)

=²₂ P

i∈N

P

k_n≥i 1 k_n²

E(Y_i²)≤ ²₂ P

i∈N 9 8 lnα

1

i²E(Y_i²) =:c(, α)P

i∈N E(Y_i²)

i²

=cP

i∈N 1 i²

Ri

0x²dF(x) =cP

i∈N 1 i²

i−1

P

k=0

Rk+1

k x²dF(x)

≤c P

k∈N0 1 k+1

Rk+1

k x²dF(x)≤cP

k

Rk+1

k xdF(x) =cE(X1)<∞.

Borel-Cantelli

=⇒ _k¹

n(S_k^∗_n−E(S_k^∗_n))→0fast sicher.

Bew. (Forts.)

2. Schritt

^{•E(X1) = limnE(Yn)⇒limn1}nE(S_n^∗) =E(X1)

⇒^S

∗ kn

kn →E(X1) fast sicher.

• P

n∈N

P(Xn6=Yn) =P

n

P(X >n) =P

n

R∞ n dF(x)

=P

n

P

i≥n

Ri+1

i dF(x) =P

i∈N

iRi+1

i dF(x)≤E(X1)<∞

⇒Xn6=Yn nur f¨ur endlich vielenfast sicher.

⇒^S_k^kn

n →E(X1) fast sicher.

3. Schritt

WegenXi≥0 istSn monoton.

⇒F¨ur eine beliebige Teilfolgem→ ∞gilt

S_nkm

m ≤ ^S_m^m ≤^Snkm+1_m , fallskmso gew¨ahlt, dassm∈[nkm,nkm+1[

⇒^nkm_m ≥_α¹ und ^nkm+1_m ≤α

⇒ _α¹E(X1)≤lim inf¹_nSn≤lim sup¹_nSn≤αE(X1) fast sicher Wegenα >1 beliebig folgt die Behauptung.

Satz von Etemadi: Umkehrung

Satz 2.7

Falls(Xn)Folge von paarw. unabh. ident. verteilten ZV’en, so dasslimn1

n

Pn

i=1Xi =:Y ex. fast sicher, so ist X1∈L¹(Ω)und Y ≡E(X1)fast sicher.

Lemma 2.2

F¨ur eine ZV Z ≥0 gilt E(Z^p) =pR∞

0 t^p−1P(Z ≥t)dt.

Bew:

E(Z^p) =E(pRZ

0 t^p−1dt) =pR

Ω

R

R≥0

t^p−111_t≤ZdtP(dω)

=p R

R≥0

t^p−1R

Ω

1

1_t≤ZP(dω)dt =p R

R≥0

t^p−1P(Z ≥t)dt

Bew: (

Satz 2.7) _n¹Sn→Y . f.s. ⇒ ¹_nXn= ¹_nSn−ⁿ⁻¹_{n n−1}¹ Sn−1→0 f.s.

⇒P(lim supAn) = 0mit An={|Xn| ≥n}

Chung-0/1

=⇒ P

nP(An)<∞.

P(A_n) =P(|X₁| ≥n)

Lemma 2.2

=⇒ E(|X1|)≤ P

n∈N0

P(|X1| ≥n)<∞.

Etemadi

=⇒Y = lim¹_nSn=E(X1)fast sicher.

2.3 Satz von Sanov (Große Abweichungen)

Entropie

Definition 2.4

Sei(S,S)ein messb. Raum.

P(S) :={µ|µist W-Maß auf(S,S)}

F¨urµ∈ P(S)heißt Entµ:P(S)→R∪ {∞}

Ent_µ(ν) :=

( R

S

ln(ϕ(x))ν(dx) fallsν(dx) =ϕ(x)µ(dx)

+∞ sonst.

relative Entropie (vonν) bzgl. µ.

Bemerkung

⇔Ent_µ(ν) =R

Sln(ϕ(x))ϕ(x)µ(dx)fallsν(dx) =ϕ(x)µ(dx).

Lemma 2.3

i) Entµ(ν)≥0 mit Entµ(ν) = 0⇔µ=ν.

ii) Entµ(tν1+ (1−t)ν2)≤tEntµ(ν1) + (1−t)Entµ(ν2)

Bew:

Entµ(ν) =R

Sη(ϕ(x))µ(dx)mit s→η(s) :=sln(s)konvex

Jensen

=⇒Entµ(ν) =R

Sη(ϕ(x))µ(dx)≥η(R

Sϕ(x)µ(dx)) =η(1) = 0.

Jensen∗9

=⇒ Entµ(ν) = 0⇔ϕ(x) =R

Sϕ(x)µ(dx)µ-f.s⇔ν=µ i).

ηkonvex

=⇒ η(tϕ1(x) + (1−t)ϕ2(x))≤tη(ϕ1(x)) + (1−t)η(ϕ2(x)) ii).

9Jensen^∗: F¨urη:R→Rkonvex istEP(η(X))≥η(EP(X)) mit “=” genau dann, wennX=EP(X)P-fast sicher.

Satz von Sanov (1957)

Definition 2.5

F¨ur(S,S)messb. Raum und(X1, . . . ,Xn) =:X⁽ⁿ⁾ ∈Sⁿ heißt µ_X(n)= ¹_nPn

i=1δ_Xi ∈ P(S) empirische Verteilung von(X) = (X1, . . . ,Xn).

Bemerkung

Falls S endliche Menge P(S)Standard-Simplex inR^|S|

P(S) ˆ={(µ1, . . . , µ_|S|)∈Rⁿ≥0|P

s∈S

µ(s) = 1}= ∆_n−1⊂R^|S|

|µ−ν|_P(S) :=|µ−ν|_R|S|

Satz 2.8 (Sanov)

Sei S endliche Menge,µ∈ P(S)und(Xn)eine Folge unabh.

µ-verteilter ZV’en. Dann gilt f¨ur offenesA ⊂ P(S)

1

n·lnP(µ_X(n) ∈ A)−→ − inf

ν∈AEnt_µ(ν).

Bemerkung

Exponentielle Konvergenz der empirsichen Verteilungen:

P(µ_X(n) =ν)'exp(−n Entµ(ν))

Lemma 2.4

F¨urν ∈ Pn:={µ∈ P(S)|n·µ(s)∈N∀s∈S}gilt

(_n+1¹ )^|S|e^{−nEntµ(ν)} ≤P(µ_X(n) =ν)≤e^{−nEntµ(ν)}.

Bew:

ξn:= (nµ_X(n)(s))_s∈S ∈R^|S| ist(n, µ)-multinomialverteilt π_n(ν|µ) :=P(µ_X(n) =ν) =κ_n(ν)·Q

s∈S(µ(s))^nν(s) mit

κn(ν) :=|{x⁽ⁿ⁾∈Sⁿ|µ_x(n) =ν}|=_(nν(s ^n!

1))!...(nν(s_|S|))!

Q

s∈S(µ(s))^nν(s)=exp nP

s∈S

ν(s) ln(µ(s))

] =:e^{n H(ν|µ)}

• ⇒κ_n(ν)e^nH(ν|ν)=π_n(ν|ν)≤1

⇒κ_n(ν)≤e^−nH(ν|ν)

•Multinomialverteilung

=⇒ π_n(˜ν|ν)≤π_n(ν|ν)∀ν,ν˜∈ P_n

⇒1 = P

ν∈P˜ n

πn(˜ν|ν)≤ |Pn|πn(ν|ν)≤(n+ 1)^|S|πn(ν|ν).

⇒κn(ν) =e^−nH(ν|ν)πn(ν|ν)≥e^−nH(ν|ν)·(n+ 1)^−|S|

⇒Behauptung, da H(ν|ν)−H(ν|µ) =Entµ(ν).

Bew: (

Satz 2.8

)

A⊂ P(S)

•P(µ_X(n) ∈A) = P

ν∈A∩Pn

πn(µ, ν)^{Lemma 2.4}≤ P

ν∈A∩Pn

e^{−nEntµ(ν)}

≤ |A∩ P_n|exp −ninf

ν∈AEnt_µ(ν)

≤(n+ 1)^|S|exp −ninf

ν∈AEntµ(ν)

n→∞lim

|S|

n ln(n+ 1) = 0

=⇒ lim sup

n→∞

1

nlnP(µ_X(n) ∈A)≤ −inf

ν∈AEntµ(ν)

•P(µ_X(n) ∈A) = P

ν∈A∩Pn

πn(µ, ν)

Lemma 2.4

≥ (n+ 1)^−|S| P

ν∈A∩Pn

e^{−nEntµ(ν)}

≥(n+ 1)^−|S|exp −n inf

ν∈A∩Pn

Entµ(ν)

⇒lim inf

n→∞

1

nlnP(µ_X(n)∈A)≥ −lim sup

n→∞

inf

ν∈A∩Pn

Ent_µ(ν)

•Entµ:A∩ {Entµ(.)<∞} →Rstetig, A⊂ P(S)offen

⇒ lim sup

n→∞

ν∈A∩Pinf n

Entµ(ν) = inf

ν∈AEntµ(ν)

Korollar 2.4

lim inf ¹_nlogP(µ_X(n) ∈O)≥ −infOEntµ f¨ur O⊂ P(S)offen lim sup_n¹logP(µ_X(n) ∈A)≤ −infAEntµ f¨ur A⊂ P(S)abg.

Bemerkung

Kor. 2.4↔’Prinzip der großen Abweichungen’f¨ur(µ_X(n))n