Meelis Käärik (Tartu Ülikool), 2012 Aine maht 6 EAP E-kursuse "JUHUSLIKUD PROTSESSID" materjalid

E-kursuse "JUHUSLIKUD PROTSESSID" materjalid

Aine maht 6 EAP

Meelis Käärik (Tartu Ülikool), 2012

Juhuslikud protsessid. Lühitutvustus Aine maht: 6 EAP

Ainekood: MTMS.02.003

Vastutav õppejõud: Meelis Käärik (vanemteadur, Tartu Ülikool, matemaatilise statistika

instituut)

Sihtgrupp: matemaatilise statistika bakalaureuseõppe tudengid, finants- ja

kindlustusmatemaatika magistriõppe tudengid (tasanduskursusena)

Soovituslikud eeldusained: MTMS.02.004 Tõenäosusteooria II

Kursuse lühikirjeldus: antakse ülevaade põhilistest juhuslikest protsessidest: Markovi ahelad,

juhuslik ekslemine, Poissoni protsessid, pideva ajaga Markovi ahelad, tekke ja kao protsessid, teenindussüsteemid, taastumisprotsessid, Browni liikumine, statsionaarsed protsessid.

Tutvustatakse protsesside omadusi, protsesside vahelisi seoseid, vaadeldakse ja lahendatakse seotud ülesandeid.

Kursuse eesmärgid:

anda ülevaatade põhilistest juhuslikest protsessidest

tutvustada vahendeid juhuslike protsesside analüüsimiseks ning nendega seotud probleemide lahendamiseks

Õpiväljund:

Aine läbinud üliõpilane

mõistab juhusliku protsessi olemust ja tunneb põhilisi juhuslikke protsesse;

teab olulisemate juhuslike protsesside põhiomadusi;

oskab kasutada saadud teadmisi juhuslike protsessidega seotud ülesannete lahendamisel

Lõpphindamine: eristav (A, B, C, D, E, F, mi)

Eksamile pääsemise tingimused: Kontrolltööd sooritatud (mõlema kontrolltöö tulemus peab

olema vähemalt 50% maksimumpunktidest ehk vähemalt 15 punkti)

Lõpphinde kujunemine: kontrolltööd (max 30+30 punkti) + eksam (max 40 punkti),

võimalik on koguda aktiivsuse eest lisapunkte (kodutööde esitamine, aktiivsus praktikumides), max 10 punkti.

Lõpphinne kujuneb vastavalt kogutud punktidele järgmiselt:

90+ punkti: A 80 - 89.9 punkti: B 70 - 79.9 punkti: C 60 - 69.9 punkti: D 50 - 59.9 punkti: E alla 50 punkti: F

E-õpe: käesoleva kursuse loengukonspekti saab kasutada nii abimaterjalina toetamaks

auditoorset õpet kui ka iseseisvaks õppeks. Loengukonspekt sisaldab kogu kursuse jaoks vaja minevat teoreetilist materjali (huvi korral on võimalik lisaks lugeda soovituslikke

loengumaterjale, vt allpool). Ülesannete lahendamiseks on kursusel ette nähtud 9 praktikumi, aga soovi korral on võimalik ülesandeid lahendada ka iseseisvalt. Ülesanded on jagatud vastavalt teooria peatükkidele: igale praktikumiülesannete punktile vastab teoreetiline

loengupeatükk, mis kirjeldab ära metoodika ja valemid ülesannete lahendamiseks. Tekkivaid küsimusi saab esitada Juhuslike protsesside üldfoorumisse. Lisaks praktikumiülesannetele antakse kursuse jooksul koduseid ülesandeid, mille esitamine on vabatahtlik, kuid mis annavad lisapunkte, mida arvestatakse koondhinde juures. Kodutööde esitamine ja hindamine käib läbi Moodle'i keskkonna (soovi korral võib esitada töid ka paberkandjal praktikumides), samuti on Moodle'i keskkonnas näha koondhinde kujunemine kodutööde, kontrolltööde ja

eksamitulemuste põhjal. Kontrolltööd ja eksam tuleb läbida auditoorselt.

Soovituslikud loengumaterjalid:

S. M. Ross. Introduction to Probability Models. Elsevier/Academic Press, 2009 (10th ed.).

G. R. Grimmett, D. R. Stirzaker. Probability and Random Processes. Oxford University Press, 2001 (3rd ed.).

A. A. Borovkov. Kurs teorii verojatnostej. Moskva, 1972, 1976.

A. N. Shirjajev. Verojatnost. Moskva, 1980.

D. Kannan. An Introduction to Stochastic Processes. North Holland, 1979.

Lisainfo: Meelis Käärik (meelis.kaarik@ut.ee)

Matemaatika-informaatikateaduskond

Juhuslikud protsessid (MTMS.02.003)

Loengukonspekt

Oppej˜ ˜ oud: Meelis K¨ a¨ arik

Sissejuhatus iii

1 Markovi ahelad (diskreetse ajaga) 1

1.1 Definitsioonid ja n¨aited

Markovi ahelate seisundite klassifikatsioon . . . 1

1.1.1 Definitsioonid, n¨aited . . . 1

1.1.2 Uleminek¨ k sammu jooksul. Chapman-Kolmogorovi v˜orrandid . . . 5

1.1.3 Markovi ahelate seisundite klassifikatsioon . . . 6

1.2 Tarvilikud ja piisavad tingimused seisundi korduvuseks. Soli- daarsusteoreem . . . 12

1.3 Juhuslikud ekslemised v˜orel . . . 18

1.3.1 Juhuslik ekslemine sirge t¨aisarvulistel punktidel . . . . 18

1.3.2 S¨ummeetrilised juhuslikud ekslemised ruumis R^k, k≥2 19 1.4 M¨angija laostumise probleem . . . 22

1.5 Ergoodiline teoreem . . . 24

2 Poissoni protsessid 31 2.1 Eksponentjaotus kui m¨aluta jaotus. Eksponentjaotuse omadused . . . 31

2.2 Poissoni protsessi m˜oiste . . . 34

2.3 S¨undmustevaheline aeg Poissoni protsessis . . . 38

2.4 S¨undmuste toimumishetkede tinglik jaotus . . . 40

2.5 Poissoni protsessi omadusi . . . 42

2.5.1 Osaprotsessideks lahutamine . . . 42

2.5.2 Poissoni protsesside kompositsioon . . . 43 i

2.6 Poissoni protsessi ¨uldistused . . . 45

2.6.1 Mittehomogeenne Poissoni protsess . . . 45

2.6.2 Poissoni liitprotsess . . . 47

3 Pideva ajaga Markovi ahelad 49 3.1 M˜oiste. Chapman-Kolmogorovi v˜orrandid . . . 49

3.2 Kolmogorovi taha- ja ettesuunatud v˜orrandid . . . 53

3.3 N¨aiteid Kolmogorovi v˜orrandi lahendamise kohta. S¨usteemi tasakaalu seisund . . . 56

3.4 Tekke ja kao protsessid . . . 59

3.4.1 Tekke ja kao protsessi modelleerimine . . . 60

3.4.2 Tasakaaluv˜orrandid ja nende lahendamine tekke ja kao protsesside korral . . . 61

3.5 N¨aiteid tekke ja kao protsesside uurimise kohta . . . 64

3.5.1 Kadudega teeninduss¨usteem. Erlangi valemid . . . 64

3.5.2 Teenindamine j¨arjekorraga (j¨arjekorras¨usteem M/M/n) 65 3.5.3 Masinate teenindamine . . . 66

4 Taastuvad protsessid 68 4.1 Taastuva protsessi m˜oiste . . . 68

4.2 Taastuva protsessi keskv¨a¨artusfunktsioon . . . 71

4.3 Piirteoreemid . . . 73

4.3.1 Taastuva protsessi intensiivsus . . . 73

4.3.2 Waldi v˜ordus . . . 74

4.3.3 Elementaarne taastumisteoreem . . . 75

4.4 Taastumisv˜orrand ja selle ¨uldistused . . . 78

4.5 Vahelduv taastumisprotsess . . . 80

4.6 Vanus ja j¨a¨akvanus . . . 82

4.7 Tasustatud taastuvad protsessid . . . 84

4.8 Valiku paradoks . . . 86

5 Browni liikumine 88 5.1 Browni liikumise definitsioon . . . 88

5.2 M˜oned Browni liikumisega seotud jaotused . . . 91

5.3 Gaussi protsessid. Browni sild . . . 93 6 Statsionaarsed ja n˜orgalt statsionaarsed protsessid 95

K¨aeseoleva konspekti aluseks on Sheldon M. Rossi ˜opik ”Introduction to Pro- bability Models”(Elsevier/Academic Press, 2009, 10th ed.).

Juhusliku protsessi all m˜oistetakse juhuslike suuruste peret {X(t) :t∈T}, mille iga liige X(t) on juhuslik suurus tavalises m˜ottes. Me eeldame, et k˜oik juhuslikud suurused X(t) on m¨a¨aratud ¨uhel ja samal t˜oen¨aosusruumil (Ω,F,P).

Parameeterton reaalarvuline muutuja, mida tavaliselt t˜olgendatakse ajana, kuid see v˜oib n¨aidata ka kohta ruumis. Seega juhuslik protsess on reeglina ajast s˜oltuv juhuslik suurus. Hulka, mille elementideks onX(t) k˜oikv˜oimali- kud v¨a¨artused, nimetatakse protsessiseisundite ruumiksjaX(t) on protsessi seisund ajamomendil t.

Hulka T nimetatakse juhusliku potsessi indekshulgaks. Kui T on loenduv hulk, siis ¨utleme, et juhuslik protsess ondiskreetse ajaga protsess. Sel juhul loeme kokkuleppeliselt, et T = {0,1,2, . . .}, kuigi see ei pruugi t¨ahendada v˜ordseid ajavahemikke. Kui T on mingi intervall reaaltelje positiivses osas, n¨aiteksT = [0,∞), siis ¨utleme, et juhuslik protsess onpideva ajagaprotsess.

N¨aide 1

Ajamomendil t parklas olevate autode arv X(t) on pideva aja- ga protsess, mille seisundite hulk on {0,1,2, . . . , M}. V˜oimalik k¨usimus: kui suur on t˜oen¨aosus, et parklas on vabu kohti ajamo- mendilt₀?

N¨aide 2

Olgu X(t) vee tase tammi taga ajamomendil t. See on pideva ajaga juhuslik protsess, mille seisundite hulk on mingi intervall [0, a]. Loomulik k¨usimus: milline peab olema tammi k˜orgus L,

et ¨uleujutus oleks praktiliselt v¨alistatud? Kui kaua v˜oib minna aega esimese ¨uleujutuseni antud tammi k˜orguse korral?

N¨aide 3

OlguXn, n= 0,1,2, . . . n-nda n¨adala l˜opuks lattu j¨a¨anud toode- teA arv. See on diskreetse ajaga protsess. Huvi pakub k¨usimus:

milliste X_n v¨a¨artuste korral tuleks j¨argmiseks n¨adalaks tooteid juurde tellida?

Juhuslikku protsessi {X(t) : t ∈ T} nimetatakse s˜oltumatute juurdekasvu- dega protsessiks, kui suvaliste ajamomentide t₀ < t₁ < . . . < t_n korral juhuslikud suurusedX(t1)−X(t0), X(t2)−X(t1), . . . , X(tn)−X(tn−1) on s˜oltumatud. ¨Oeldakse, et protsess on statsionaarsete s˜oltumatute juurde- kasvudega, kui lisaks eeltoodule suvaliste t₁, t₂ ∈ T ja s > 0 korral vahe X(t2+s)−X(t1+s) on sama jaotusega nagu X(t2)−X(t1).

N¨aide 4 ( ¨Uldine juhuslik ekslemine)

Olgu Y₁, Y₂, . . . s˜oltumatute sama jaotusega juhuslike suuruste jada. Siis juhuslik protsess

{X_n= Xn

k=1

Y_k, k= 1,2, . . .}

on statsionaarsete s˜oltumatute juurdekasvudega ja teda nime- tatakse ¨uldiseks juhuslikuks ekslemiseks. Kui Y_k on kauplusest k-nda n¨adala jooksul ostetud teatud esemete arv, siis X_n on n esimese n¨adala jooksul ostetud esemete koguarv. (M¨argime, et erineva jaotusegaY_k korral statsionaarsus ei kehti.)

N¨aide 5 (Wieneri protsess (ehk Browni liikumine))

Juhuslikku protsessi{X(t), t≥0} nimetatakseWieneri protses- siks, kui

(1) ta on statsionaarsete, s˜oltumatute juurdekasvudega, (2) X(0) = 0,

(3) igat >0 korralX(t) jaotub normaalselt keskv¨a¨artusega 0.

Wieneri protsessiga puutume kokku, kui j¨algime aineosakese lii- kumist vedelikus v˜oi gaasis. Osake saab teda ¨umbritsevatelt mo- lekulidelt pidevalt t˜oukeid, mille tagaj¨arjel tema asukoht on kaoo- tilises muutumises. Kui me fikseerime mingi sihi ja 0-punkti sellel, siis osakese asukoht X(t) selles sihis on h¨asti kirjeldatav

Nii juhuslik ekslemine kui ka Wieneri protsess on n¨aited ¨uhest juhuslike protsesside klassist, mida nimetatakse Markovi protsessiks. Markovi prot- sesside all m˜oeldakse juhuslikke protsesse, millel on j¨argmine omadus: kui mingil ajamomendil X(t) v¨a¨artus on teada, siis protsessi hilisem kulg st X(t+s), s ≥ 0 ei s˜oltu enam sellest, kuidas protsess kulges enne ajamo- menti t. Seega antud oleviku korral tulevik ei s˜oltu minevikust. T¨apsemalt, protsessi nimetatakse Markovi protsessiks, kui tinglik jaotusfunktsioon

P{X(t)< x|X(t1) =x1, X(t2) =x2, . . . , X(tn) =xn}=

=P{X(t)< x|X(t_n) =x_n} suvalistet₁< t₂< . . . < t_n korral.

Markovi ahelad (diskreetse ajaga)

J¨argnevas lubame katsetulemuste s˜oltuvust ¨uksteisest, st. vaatleme olukor- da, kus j¨argmiste katsete tulemused v˜oivad s˜oltuda eelmiste katsete tule- mustest.

Peame silmas, et vahel ei pruugi katsetulemuste (juhuslike suuruste X) v¨a¨artused olla arvulised (nt ilm v˜oib olla pilvine, vihmane, p¨aikeseline, . . . ).

1.1 Definitsioonid ja n¨ aited

Markovi ahelate seisundite klassifikatsioon

1.1.1 Definitsioonid, n¨aited

Olgu juhuslikul katsel G ¨ulimalt loenduv arv katsetulemusi E₁, E₂, E₃, . . ..

Kui kordame katsetGmingi l˜oplik arv kordi, siis saame katsetulemuste jada E1, E4, E3, E7, E1, E5. . ., st. indeksid tulevad mingis juhuslikus j¨arjekorras.

T¨ahistameX_n:= katse nr. n tulemus, antud juhul seegaX₁=E₁, X₂=E₄ jne.

Kui X_n s˜oltub X_n−1 −st ja ei s˜oltu eelmistest, siis on tegemist Markovi ahelaga. T¨ahistame lihtsuse m˜ottesE_j =j.

Definitsioon 1.1.1 (Markovi ahel). Juhuslike suuruste jada {X_n}, kus n v˜oib omada l˜opliku v˜oi loenduva arvu v¨a¨artusi, nimetatakse Markovi ahe- laks, kui kehtib

P{X_n=j|X₀=k₀, X₁ =k₁, . . . , X_n−2 =k_n−2

| {z }

minevik

, X_n−1=k_n−1}=

st. j¨argmise seisundi prognoosimiseks on vaja teada ainult praegust seisun- dit.

V˜oime definitsioonis toodud tingimuse s˜onastada j¨argnevalt:fikseeritud ole- viku korral tulevik ei s˜oltu minevikust.

V˜oimalikke katsetulemusi,Xnv¨a¨artusiE1, E2, . . .nimetatakse Markovi ahe- laseisunditeks ehk olekuteks. T˜oen¨aosust

P{Xn=j|Xn−1 =i}=:p⁽ⁿ⁾_ij

nimetatakse ¨uleminekut˜oen¨aosuseks (seisundist i seisundisse j ¨ulemineku t˜oen¨aosus sammuln).

Markovi ahela algseis antakse tavaliselt ette t˜oen¨aosusjaotusega P{X₀ =j}=p⁰_j, j= 1,2, . . . , X

j

p⁰_j = 1,

mis n¨aitab ¨ara millise t˜oen¨aosusega on mingi seisund l¨ahteseisundiks (s¨usteemi algolekuks).

Definitsioon 1.1.2 (Homogeenne Markovi ahel). Kui ¨uleminekut˜oen¨aosu- sedp⁽ⁿ⁾_ij ei s˜oltun-i v¨a¨artusest, st. igankorralp⁽ⁿ⁾_ij =p_ij, siis Markovi ahelat nimetataksehomogeenseks.

N¨aide 1.1.1 (M¨undivisete seeria). Olgu meil s˜oltumatute katsete jada, mis formaalselt on vaadeldav Markovi ahelana. Juhuslik suurus X v˜oib oman- dada v¨a¨artusi 0 (kiri) v˜oi 1 (kull). Sellisel juhul

P{X_n=j|X₀ =k₀, X₁ =k₁, . . . , X_n−2 =k_n−2, X_n−1 =k_n−1}=

= P{Xn=j|Xn−1=kn−1}

s˜oltumatuse t˜ottu

= P{Xn=j}= ¹₂

N¨aide 1.1.2 (Lihtsustatud ilma mudel). Oletame, et homne ilm s˜oltub t¨anasest ilmast, mitte varasematest ilmadest: kui t¨ana sajab, siis homme sajab t˜oen¨aosusegaα, kui t¨ana ei saja, siis homme sajab t˜oen¨aosusegaβ.

Eristame kahte seisundit: 0 – sajab, 1 – ei saja.

Definitsioon 1.1.3 ( ¨Uleminekumaatriks). Maatriksit P = (p_ij)

nimetatakse Markovi ahela¨uleminekumaatriksiks.

Antud n¨aites

P = 0 1

0 α β

1 1−α 1−β

P

1 1 kusα+ (1−α) = 1 jaβ+ (1−β) = 1.

N¨aide 1.1.3 (Kommunikatsioonimudel). Vaatleme digitaalse info (mis on nullidest ja ¨uhtedest koosnev jada) mitme-etapilist ¨ulekannet. ¨Ulekanne toi- mub paljude etappide kaupa, kus igal etapil v˜oib tekkida viga 0 → 1 v˜oi 1→0 t˜oen¨aosusegap. Oletame, et igal astmel s¨umbol s¨ailub t˜oen¨aosusegap ja moondub t˜oen¨aosusega 1−p. Sellisel juhul saame ¨uleminekumaatriksiks

P = 0 1

0 p 1−p

1 1−p

p ,

mis on s¨ummeetriline maatriks, st. ¨ulekandekanal on s¨ummeetriline – 0 ja 1 s¨ailimise ja muutumise t˜oen¨aosus on sama.

N¨aide 1.1.4 (Hasartm¨angu mudel). Vaatleme m¨angijat, kes igas m¨angus v˜oib v˜oita 1 krooni t˜oen¨aosusegapv˜oi kaotada 1 krooni t˜oen¨aosusega 1−p.

M¨angud on s˜oltumatud. M¨angija lahkub m¨angust, kui ta on kogu raha ¨ara raisanud v˜oi kui ta on v˜oitnud N krooni. T¨ahistagu Xn m¨angija rahalist seisu n m¨angu j¨arel ja olgu v˜oimalikud seisundid 0,1,2, . . . , N. {X_n} on Markovi ahel, kuna

P{Xn=j|X0=i0, X1 =i1, . . . , Xn−2 =in−2

| {z }

minevik

, Xn−1 =i}=

= P{X_n=j|X_n−1=i}

Minevik rolli ei m¨angi, kuna liidame ainult eelmisele v¨a¨artusele +1 v˜oi−1.

Uleminekumaatriksiks saame¨

P = 0 1 2 3 ... N











0 1 2 3 · · · N 1 0 0 0 · · · 0 1−p 0 p 0 · · · 0 0 1−p 0 p · · · 0 0 0 1−p 0 · · · 0

... ... . .. p

0 0 . . . 0 1









 P

1 1 1 1 ... 1

,

kus ¨uleminekut˜oen¨aosused on j¨argmised:pi,i+1 =p(v˜oidab ¨uhe krooni juur- de), p_i,i−1 = 1−p (kaotab ¨uhe krooni), p_0,0 = 1 ja p_N,N = 1, kusjuures i = 1, . . . , N −1. Samas n¨aiteks p_i,i+2 = 0 (¨uhe m¨anguga kahte krooni ei teeni) jap_i,i−3 = 0 (¨uhe m¨anguga kolme krooni ei kaota).

Definitsioon 1.1.4 (Neelav seisund). Seisunditi, mille korral p_ii = 1, ni- metatakse neelavaks seisundiks.

Toodud n¨aites on neelavad seisundid 0 ja N, nendest seisunditest ahel enam

N¨aide 1.1.5 (Juhuslik ekslemine).

0 1 2

1−p p

p 1−p

p 1−p

i−1 i i+ 1

t

[Joonis: osakese liikumine ajas]

Osake liigub igal sammul vasakule t˜oen¨aosusega 1−pja paremale t˜oen¨aosusega pst.pi,i−1= 1−p,pi,i+1 =p,pi,i = 0,i= 0,±1,±2, . . .. Juhuslik ekslemine ons¨ummeetriline kui p= 1−p= ¹₂.

N¨aide 1.1.6 (Juhuslik ekslemine peegeldumisega). Osake liigub igal sam- mul vasakule t˜oen¨aosusega 1−p ja paremale t˜oen¨aosusega p. Kui X_n = 0, siis X_n+1 = 1 ja X_n = N, siis X_n+1 = N −1, kus X_n t¨ahistab osakese asukohta p¨arast nsammu. Siis ¨uleminekumaatriks moodustub j¨argnevalt:

P = 0 1 2 3 ... N











0 1 2 3 · · · N 0 1 0 0 · · · 0 1−p 0 p 0 · · · 0 0 1−p 0 p · · · 0 0 0 1−p 0 · · · 0

... ... . .. p

0 0 . . . 1 0









 P

1 1 1 1 ... 1 Toodud Markovi ahela korral nimetatakse seisundeid 0 jaN peegeldavateks seisunditeks.

N¨aide 1.1.7 (Realistlikum ilma mudel (protsessi teisendamine Markovi ahelaks)). Oletame, et homne ilm s˜oltub nii t¨anasest kui eilsest ilmast, t¨ahistame s¨undmused j¨argnevalt: 0 – sajab, 1 – ei saja. Kuidas saada vasta- valt j¨argnevale tabelile Markovi ahelat?

eile t¨ana P(homme sajab) P(homme ei saja)

0 0 0.7 0.3

1 0 0.5 0.5

0 1 0.4 0.6

1 1 0.2 0.8

Tingimus, et fikseeritud oleviku korral tulevik ei s˜oltu minevikust, ei ole t¨aidetud, st. kui seisundiks lugeda ¨uhel p¨aeval toimunu (sadas/ei sadanud), siis ei ole tegu Markovi ahelaga.

Loeme protsessi seisundiks kahe j¨arjestikuse p¨aeva ilma, t¨ahistame E0 = (0,0), E₁ = (1,0), E₂ = (0,1), E₃ = (1,1). Sellisel juhul on juba tegu Mar- kovi ahelaga, sest see mis juhtub edasi kahe p¨aeva kombinatsiooni m˜ottes,

s˜oltub sellest, mis toimus ¨uks samm tagasi. Kirjutades v¨alja vastava ¨uleminekumaatriksi, saame

P = 00 10 01 11







00 10 01 11

0.7 0 0.3 0

0.5 0 0.5 0

0 0.4 0 0.6

0 0.2 0 0.8





 P

1 1 1 1 Siin maatriksis on neli tundmatut parameetrit (0.7,0.5,0.4,0.2).

1.1.2 Uleminek¨ ksammu jooksul. Chapman-Kolmogorovi v˜orrandid Olgu meile antud homogeenne Markovi ahel ¨uleminekumaatriksigaP = (p_ij)

ja olgu meie ¨ulesandeks leida

P{seisundistiseisundissej ksammu jooksul}=:pij(k).

V˜oime kirjutada

pij(k) = P{X_s+k=j|Xs=i}s on suvaline

=

= P{X_k=j|X₀ =i}=

= X∞

l=0

P{X_k=j, X_m=l|X₀ =i}^t˜oen. korrut. lause

=. . .

Tuletame meelde, et P(AB) =P(B)P(A|B), millest j¨areldub P(AB|C) = P(B|C)P(A|BC), seega saame:

. . . = X∞

l=0

P{X_m=l|X₀=i} ·P{X_k=j|X_m =l, X₀ =i}= X∞

ning seega saame valemi

p_ij(k) =P_∞

l=0p_il(m)p_lj(k−m) mida nimetatakseChapman-Kolmogorovi valemiks.

Esitame j¨argnevas selle v˜orrandi maatrikskujul. T¨ahistadesP(k) = (p_ij(k)), v˜oib v˜orrandi v¨alja kirjutada j¨argnevalt: P(k) =P(m)·P(k−m). Valides m= 1 saameP(k) =P(1)P(k−1) =P ·P(k−1). Siis n¨aiteks

k= 2 korralP(2) =P·P(1) =P·P =P², k= 3 korralP(3) =P·P(2) =P·P² =P³,

seega ¨ulemineku t˜oen¨aosusedk sammu jaoks on P(k) =P^k.

N¨aide 1.1.8 (Ilma mudel, j¨arg). Vaatleme n¨aites 2 k¨asitletud ilma mudelit, kus ¨uleminekut˜oen¨aosused olid antud maatriksiga

P =

α 1−α β 1−β

.

Soovime vastust k¨usimusele, et kui t¨anane ilm on teada, siis milline ilm on t˜oen¨aoliselt ¨ulehomme? Vastavalt ¨asjaleitud valemile

P(2) =P²=

α 1−α β 1−β

α 1−α β 1−β

=. . . ja v˜ottesα= 0.7 ningβ = 0.4 saame, et

. . .=

0.7 0.3 0.4 0.6

0.7 0.3 0.4 0.6

=

0.61 0.39 0.52 0.48

1.1.3 Markovi ahelate seisundite klassifikatsioon

Definitsioon 1.1.5 (Ebaoluline seisund). SeisunditE_i (ehki) nimetatakse ebaoluliseks, kui leidub t¨aisarv t₀>0 ja leidub seisundE_j nii, et p_ij(t₀)>0 (i-stj-i saab minna positiivse t˜oen¨aosusega), kuid p_ji(t) = 0 ∀t= 1,2, . . ..

Kui P(A) > 0, siis Suurte Arvude Seaduse p˜ohjal ⁿ_n^A → P(A) > 0 ⇒ n_A on mingist kohast alates suurem nullist t˜oen¨aosusega 1 (s¨undmusAtoimub varem v˜oi hiljem, kuna tema t˜oen¨aosus on positiivne).

Ebaoluline seisund saab esineda ainult l˜oplik arv kordi, varem v˜oi hiljem ta

”kaob”. Vastasel juhul nimetatakse seisunditoluliseks.

Definitsioon 1.1.6(Kaasnevad seisundid). SeisundeidE_i jaE_j nimetatak- sekaasnevateks, kui mingitet >0 jas >0 korralp_ij(t)>0 jap_ji(s)>0.

N¨aide 1.1.9. Olgu Markovi ahel nelja seisundiga: E₁, E₂, E₃, E₄ ja ¨ulemi- nekumaatriks olgu

P =







0 ¹₂ ¹₂ 0

1

2 0 0 ¹₂ 0 0 ¹₂ ¹₂ 0 0 ¹₂ ¹₂





.

Mida oskame ¨oelda antud Markovi ahela seisundite kohta?

E₁ on ebaoluline, sest sattudes E₃ (v˜oiE₄) pole v˜oimalik j˜ouda tagasiE₁. E₂ on ebaoluline, sest sattudes E₄ (v˜oiE₃) pole v˜oimalik j˜ouda tagasiE₂. E3, E4 on olulised ja kaasnevad (t=s= 1).

Tuletame meelde, et seisunditE_inimetatakseneelavaks, kuip_ii= 1 (¨uleminek

¨uhe sammuga), seega j¨arelikultp_ii(t) = 1,∀t= 1,2, . . ..

N¨aide 1.1.10. Vaatleme juhuslikku ekslemist, kus 0 ja N on neelavad sei- sundid. Vaatleme ¨uleminekumaatriksi

P = 0 1 2 3 ... N











0 1 2 3 · · · N 1 0 0 0 · · · 0 1−p 0 p 0 · · · 0 0 1−p 0 p · · · 0 0 0 1−p 0 · · · 0

... ... . .. p

0 0 . . . 0 1









 P

1 1 1 1 ... 1 seisundeid olulisuse/ebaolulisuse seisukohalt.

Seisundid 0 jaN on neelavad ja olulised seisundid.

Seisund 1 on ebaoluline, kunap₁₀>0, agap₀₁(t) = 0 ∀tkorral.

Seisund 2 on ebaoluline, kuna p₂₀(2) = p₂₁ ·p₁₀ = (1 −p)² > 0, aga p₀₂(t) = 0 ∀t= 1,2, . . . jaoks.

Olulisust saab n¨aidata m˜olema neelava seisundi jaoks.

Olgu{X_n} homogeenne Markovi ahel seisunditegaE₀, E₁, . . ..

T¨ahistame

S⁰ := k˜oigi ebaoluliste seisundite klass, SE_i :=Ei-ga kaasnevate seisundite klass.

Kui E ∈ S , siis E ∈ S (st. kaasnevus on s¨ummeetriline suhe). Seega

OlguE_k ∈/S_Ei. SiisS_Ek∩S_Ej =∅(on mittel˜oikuvad, sest kui leiduks ¨uhine element, siis oleks E_k ja E_i juba kaasnevad). Seega k˜oigi oluliste seisun- dite hulk jaguneb teineteist v¨alistavateks kaasnevate seisundite klassideks S¹, S², S³, . . ..

K˜oik seisundid kokku moodustavad klassiS=S⁰∪S¹∪S²∪S³∪. . ..

Lemma 1.1.1. Kui Markovi ahel satub olulisse seisundisse E_i, siis ta ei v¨alju enam kunagi klassist SEi.

◮

Vaatleme eraldi kahte v˜oimalust klassistS_Ei v¨aljumiseks:

a) S¨usteem (Markovi ahel) ei saa sattuda ¨uhessegi teise olulisse seisun- disseEj ∈/ S_Ei, vastasel juhul

1) E_j kas kaasnebE_i-ga, st. E_i ⇆ E_j, mis on vastuolus sellega, et E_j ∈/S_Ei

v˜oi

2) E_i on ebaoluline, st.E_i →E_j, agaE_i 8E_j, see on aga vastuolus lemma eeldusega, etEi on oluline seisund.

b) S¨usteem ei saa sattuda ¨uhessegi ebaolulisse seisundisse E_j ∈S⁰. Kui ta seda teeks, siis mingi E_r korral tekib variant, kus E_i→E_j →E_r, agaE_j 8E_r. Sellel on kaks alajuhtu:

(A) E_i→E_j →E_r, kuid E_j 8 E_r ja E_i 8 E_r – vastuolu eeldusega, etE_i on oluline,

(B) E_i→E_j →E_r, kuid E_j 8 E_r ja E_i ← E_r – vastuolu eeldusega, etE_j on ebaoluline, tekib teekond E_j →E_r→E_i →E_j.

◭

Definitsioon 1.1.7 (Mittelahutuv Markovi ahel). Markovi ahelat, millel on ainult ¨uks kaasnevate seisundite klass (S¹), nimetatakse mittelahutu- vaksMarkovi ahelaks. Vastasel juhul nimetatakse Markovi ahelatlahutuvaks (S¹, S², S³,. . . – l˜oplik v˜oi l˜opmatu hulk).

Allpool on kujutatud Markovi ahela struktuuri kirjeldav ¨ulevaatlik tabel.

S⁰ S¹ S² S³ S⁴ · · · S⁰ z z z z z · · · S¹ 0 SM 0 0 0 · · · S² 0 0 SM 0 0 · · · S³ 0 0 0 SM 0 · · · S⁴ 0 0 0 0 SM · · · ... ... ... ... ... ... . ..

Toodud Markovi ahelate seisundite lahutuse puhul on t¨ahistused j¨argmised:

S⁰ – ebaoluliste seisundite klass, S¹, S², S³, . . . – oluliste seisundite klassid,

0 – nullidest koosnev maatriks,

z – maatriks, mis v˜oib sisaldada ka mittenullilisi elemente, SM – stohhastiline maatriks, st. ridade summad on v˜ordsed ¨uhega.

T¨ahistame t˜oen¨aosuse, et l¨ahtudes seisundistjj˜outakse sinna esimest korda uuesti tagasi t¨apseltnsammuga, j¨argnevalt:

f_j(n) :=P{X_n=j, X_n−16=j, . . . , X₁ 6=j|X₀ =j}.

M¨argime veel, et fj(n) ≤ pjj(n), kuna t˜oen¨aosus pjj(n) lubab seisundis j k¨aia ka enne n-ndat sammu. Seisundisse tagasip¨o¨ordumise t˜oen¨aosuse saa- me, liites k˜oikf_j(n)-id ¨ule v˜oimalike nv¨a¨artuste, st.

Fj :=

X∞

n=1

fj(n) =P{l¨ahtudes seisundist j j˜outakse kunagi seisuj tagasi}. Definitsioon 1.1.8(Korduv seisund). SeisunditE_j nimetataksekorduvaks (rekurrentseks), kui Fj = 1. Kui Fj < 1, siis seisundit Ej nimetatakse m¨o¨oduvaks (i.k. transient)(st. me ei saa olla kindlad, et j˜ouame sinna sei- sundisse tagasi).

Definitsioon 1.1.9 (Nulliline seisund). Seisundit E_j nimetatakse nullili- seks, kui p_jj(n)→0, n→ ∞ (seisundisse tagasip¨o¨ordumise ˇsansid ajas ka- hanevad). Vastasel korral nimetatakse seisunditmittenulliliseks.

Definitsioon 1.1.10 (Perioodiline seisund). SeisunditEj nimetatakse pe- rioodiliseks (perioodiga d_j), kui seisundisse E_j tagasip¨o¨ordumine on posi- tiivse t˜oen¨aosusega, mis on v˜oimalik ainultd_j >1 (v˜oi selle kordse) sammu jooksul;dj on seejuures suurim sellise omadusega arv.

N¨aiteksE_j−E_j

|{z}− − − − −E_j

| {z }−E_j

|{z}− − −E_j

| {z }−. . .

N¨aide 1.1.11.

0 1 2

p=¹₂ p=

12

p=¹₂ p=

12

p=¹₂ p=

12

j j+ 1 j+ 2

t

[Joonis: paremale liikumise ja paigale j¨a¨amise t˜oen¨aosus on ¹₂] Antud juhul on tegu juhusliku ekslemisega koos paigaltammumisega. Pare- male liikumise ja kohalej¨a¨amise t˜oen¨aosus on ¹₂. Paneme t¨ahele, et

f_j(1) = ¹₂ (paigaltammumise t˜oen¨aosus), f_j(n) = 0, n >1(vasakule tagasi ei saa minna) ja

F_j :=

X∞

n=1

f_j(n) = 1 2 <1,

st. t˜oen¨aosus j˜ouda seisundist j tagasi (¨uldse kunagi) on ¹₂, seega j on m¨o¨oduv seisund.

Kuna

p_jj(n) =P{teha npaigaltammumist}= 1

2 n

→0 (n→ ∞), siis v˜oib ¨oelda, etj on nulliline seisund (∀jkorral). Perioodilisusest r¨a¨akida ei saa, sest d_j = 1, aga peaks olema d_j >1 (arvuhulk {n: p_jj(n) > 0} on antud juhul naturaalarvude hulk).

N¨aide 1.1.12(S¨ummeetriline juhuslik ekslemine). T¨ahistame liikumist sam- muln

Y_n=







+1,paremale liikumine t˜oen¨aosusega ¹₂

−1,vasakule liikumine t˜oen¨aosusega ¹₂ OlguX_n – asukoht p¨arast sammu n, siis

Xn=X0+Y1+Y2+. . .+Yn.

0 1 2 p= ₁

2

p=¹²

p=¹² p= ₁

2

p=¹² p= ₁

2

j−1 j j+ 1

t

[Joonis: paremale ja vasakule liikumise t˜oen. on ¹₂]

Paigaltammumise t˜oen¨aosus on null, st. see on v¨alistatud. Iga seisundj on perioodiline perioodigad_j = 2. Kas seisund j on korduv (st. kas F_j=1) ? f_j(1) = 0 (¨uhe sammuga tagasi ei tule, tammumist ei ole),

fj(2) =P{+−v˜oi−+}= ¹₂·¹₂ +¹₂ ·¹₂ = ¹₂, f_j(3) = 0,

f_j(4) =P{+ +− −v˜oi− −+ +}= ¹₂4

+ ¹₂4

= ¹₈, fj(5) = 0,

f_j(6) = 4· ¹₂6

= ₁₆¹, f_j(7) = 0,

fj(8) = 10· ¹₂8

= ₁₂₈⁵ .

Tekib ebareeglip¨arane t˜oen¨aosuste jada (v¨ahemalt lihtsat reeglit ei ole), ei ole selge, kas F_j = 1 v˜oi F_j < 1. Selle k¨usimuse lahendame hiljem teiste v˜otetega.

1.2 Tarvilikud ja piisavad tingimused seisundi kor- duvuseks. Solidaarsusteoreem

Tuletame mugavama kriteeriumi seisundi korduvuse kontrollimiseks. Kasu- tame sellist matemaatilist vahendit nagu genereeriv funktsioon.

Definitsioon 1.2.1 (Genereeriv funktsioon). Arvujada{an}^∞n=1 genereeri- vaks funktisooniks nimetatakse funktsioonia(z) =P_∞

n=1a_nzⁿ. ¹ Teoreem 1.2.1. E_j on korduv seisund parajasti siis, kui

P_j :=

X∞

n=1

p_jj(n) =∞.

M¨o¨oduva (mittekorduva) seisundi korral kehtib valemF_j = _1+P^Pj

j, kusP_j on l˜oplik arv.

◮

T¨aist˜oen¨aosuse valemitP(A) = P

P(A|B_i)P(B_i) rakendades (B_i-d on tei- neteist v¨alistavad) saame, et

p_jj(n) =f_j(1)p_jj(n−1) +f_j(2)p_jj(n−2) +. . .+f_j(n−1)p_jj(1) +f_j(n)·1.

(1.1) M¨argime, et jadade{pjj(n)}^∞_n=1 ja{fj(n)}^∞_n=1 genereerivad funktsioonid on

P_j(z) = X∞

n=1

p_jj(n)·zⁿ ja

F_j(z) = X∞

n=1

f_j(n)·zⁿ.

Korrutades valemit (1.1)zⁿ-ga ja seej¨arel summeerides saame, et P_j(z) =

X∞

n=1

p_jj(n)zⁿ=

= zfj(1) X∞

n=1

pjj(n−1)zⁿ⁻¹+z²fj(2) X∞

n=2

pjj(n−2)zⁿ⁻²+. . .

= F_j(z)(1 +P_j(z)),

millest suurusedPj(z) jaFj(z) avalduvad j¨argmisel kujul:

1Kui jada{an}on t˜okestatud (|an|< M), siis astmeridaa(z) koondub∀|z|<1 korral, sest

|a(z)| ≤X

|an||z|ⁿ< M X∞ n=0

|z|ⁿ=M· 1

1− |z| <∞.

(A) P_j(z) = ₁₋^Fj_F^(z)

j(z), (B) Fj(z) = _1+P^Pj(z)

j(z) = 1¹ Pj(z)+1.

Vaatleme n¨u¨ud teoreemi v¨aidet. Korduvus t¨ahendab, etF_j = 1. Seega peame n¨aitama, etPj =∞ ⇔Fj = 1.

Piisavus.

Kui P_j = ∞, siis lim_z↑1P_j(z) = P_j = ∞. (B) p˜ohjal saame n¨u¨ud, et lim_z↑1Fj(z) = 1.

Tarvilikkus.

KuiF_j = 1, siis ka lim_z↑1F_j(z) = 1 ning (A) p˜ohjal saame, et limz↑1P_j(z) =

∞ ehkP_j =∞.

M¨o¨oduva seisundi E_j korral on P_j < ∞ (l˜oplik) ja kui v˜otta z = 1, siis P_j(1) =P_j <∞ ning F_j =F_j(1)^(B)= _1+P^Pj(1)

j(1) = _1+P^Pj

j.

◭

N¨aide 1.2.1 (S¨ummeetriline juhuslik ekslemine: j¨arg). J¨atkame eelmist n¨aidet ja vaatleme s¨ummeetrilist juhuslikku ekslemist.

T¨ahistasime liikumist sammuln Y_n=







+1,paremale liikumine t˜oen¨aosusega ¹₂

−1,vasakule liikumine t˜oen¨aosusega ¹₂. Leiame

p_jj(1) = 0,

p_jj(2) = ¹₂ =C₂¹(¹₂)(¹₂),

p_jj(3) = 0, kuna oli perioodiline,

pjj(4) =P{2 paremale ja 2 vasakule}=C₄²(¹₂)²(¹₂)²= ³₈. Uldjuhul saame siit, et¨

pjj(n) =C

n

n2(¹₂)ⁿ²(¹₂)ⁿ². Kas seisundj on korduv ? Teame, et kui

P_j =P_∞

n=1p_jj(n) = ∞ ⇔ j on korduv,

< ∞ ⇔ j on m¨o¨oduv .

npaaritu, siisp_jj(n) = 0,

npaaris, siisp_jj(n) =p_jj(2k) =C_2k^k(¹₂)^k(¹₂)^k =C_2k^k ·₂¹2k, k= 1,2,3, . . .; C_2k^k = ^(2k)!_k!k!.

Rea koonduvuse kontrollimiseks kasutame Stirlingi valemit:² k!∼√

2πk k

e k

. Stirlingi valemi kohaselt

C_2k^k = (2k)!

k!k! ∼

√2π2k·(2k)^2k·e^k·e^k e^2k·√

2πk·k^k·√

2πk·k^k = 2^2k

√πk. Seega saame, etpjj(2k) =C_2k^k ·₂¹2k ∼ ^√1_πk.

Saame harmoonilise rea X∞

k=1

√1

πk = 1

√π X∞

k=1

√1

k =∞, millest X

k

p_jj(2k) =∞

ja sellest tulenevalt on seisundjkorduv (t˜oen¨aosusega 1 j˜ouame sellesse seisu tagasi). S¨ummeetrilise juhusliku ekslemise k˜oik seisundid j = 0,±1,±2, . . . on korduvad.

Milline sisu on summalP

np_jj(n)?

T¨ahistame N_jj-ga seisundisse j tagasij˜oudmiste koguarvu l¨ahtudes seisun- dist j. Defineerime indikaatori:

I_{Xn=j}=

1, kui Xn=j, 0, kui X_n6=j.

Indikaatorite summa ¨ule k˜oiginv¨a¨artuste annabkiNjj. Leiame mitu korda keskmiselt j˜outakse seisundissej tagasi:

ENjj =E(

X∞

n=1

I_{Xn=j}|X0 =j) =. . .

Kui on tegu mittenegatiivsete juhuslike suurustega, siis v˜oib keskv¨a¨artuse v˜otta igast liikmest eraldi (¨uldjuhul v˜oib l˜opmatust arvust liikmetest kesk- v¨a¨artuse v˜otmisega tekkida probleeme).

. . .= X∞

n=1

E(I_{Xn=j}|X₀ =j) =

2M¨argiga ’∼’ t¨ahistame as¨umptootilist ekvivalentsi, st. an ∼ bn parajasti siis, kui

an

bn →1, n → ∞. Samal ajal ei pea vahe (an−bn) →0. N¨aiteks 2n ∼2(n−3). Rea koonduvuse m¨a¨aramiseks ei ole vaja suuremat t¨apsust kui as¨umptootiline ekvivalents. On teada, et kuian∼bn, siis Σnan<∞ ⇔Σnbn<∞ja samuti on read koos hajuvad.

= X∞

n=1

(1·P{Xn=j|X0 =j}+ 0·P{Xn6=j|X0 =j}) =

= X∞

n=1

p_jj(n).

Meenutame, et seisunditjnimetatakse nulliliseks, kuip_jj(n)→0 (protsessis n→ ∞).

J¨areldame, et m¨o¨oduv seisund on alati nulliline st. kui rida koondub, siis rea

¨uldliige l¨aheneb nullile. Teisiti kirjapanduna:

Kui j on m¨o¨oduv ⇔X

n

p_jj(n)<∞ ⇒p_jj(n)→0, kui n→ ∞. V˜otame kokku erinevad klassifikatsioonid:

1) korduv – m¨o¨oduv,

2) perioodiline – mitteperioodiline, 3) nulliline – mittenulliline.

Seega saab k˜oik seisundid jagada 2³= 8 klassiks allj¨argnevalt.

perioodilised nulliline

+

mittenulliline k -

or du v

+ m

¨o

¨o du v

- ⋆

mitteperioodilised nulliline

+

mittenulliline k -

or du v

+ m

¨o

¨o du v

- ⋆

⋆ - m¨o¨oduv seisund ei saa olla mittenulliline. Seega j¨a¨ab j¨argi kuus seisun- dite klassi/t¨u¨upi.

Teoreem 1.2.2 (Solidaarsusteoreem). Mittelahutuvas Markovi ahelas on k˜oik seisundid ¨uht ja sama t¨u¨upi, st. kui v¨ahemalt ¨uks seisund on perioodi- line, siis ka k˜oik teised seisundid on perioodilised; kui v¨ahemalt ¨uks seisund on korduv, siis k˜oik seisundid on korduvad; kui v¨ahemalt ¨uks seisund on

◮

Nullilisus

Teame, et k˜oik seisundid mittelahutuvas Markovi ahelas kaasnevad teine- teisega. Vaatleme kahte suvalist erinevat seisundit E_k ja E_j. Kuna nad on kaasnevad, siis kaasnevuse definitsiooni kohaselt ∃ M, N : p_kj(N) > 0 ja p_jk(M) >0. Vaatleme lisaks t˜oen¨aosust p_kk(N+M+n) =. . ., rakendame Chapman-Kolmogorovi v˜orrandit, saame, et. . .=P P

p_kl(N)p_ls(n)p_sk(M), n= 0,1,2, . . .. Hindame

p_kk(N +M +n)≥p_kj(N)

| {z }

α>0

p_jj(n)p_jk(M)

| {z }

β>0

=α·β·p_jj(n), n= 0,1,2, . . .

Analoogiliselt saame, et p_jj(N +M +n) ≥ α·β·p_kk(n), n = 0,1,2, . . . Kokkuv˜ottes saame v˜orratuste paari

1

α·β ·p_kk(n+M+N)≥p_jj(n)≥α·β·p_kk(n−M−N). (1.2) Sellest j¨areldub, et E_j on nulliline (p_jj(n)→0) parajasti siis, kuip_kk(n)→ 0, n→ ∞, st. E_k on nulliline.

Korduvus

Oletame, etE_k on korduv, st.P_k:=P_∞

n=1p_kk(n) =∞, siis P_j ≥

X∞

n=N+M

p_jj(n)^(1.2)≥ αβ X∞

n=N+M

p_kk(n−M −N) =αβ X∞

n=0

p_kk(n) =∞ ja seegaE_j on korduv.

Perioodilisus

Oletame, et E_k on perioodiline perioodiga d_k, st. kui p_kk(n) > 0 mingi n korral, siis n ... d_k, n on d_k mingi t¨aisarvkordne. Kuna aga p_kk(M +N) ≥ p_kj(N)·p_jk(M) = α·β ≥0 ja kuna E_k on peroodiline, siis sammude arv peab jaguma perioodiga, st.N+M ...dk.

Vaatleme n¨u¨ud seisundit E_j ja n¨aitame, et E_j on samuti perioodiline, kus- juures d_j =d_k. Kuip_jj(n)>0, siis (1.2) t˜ottu p_kk(n+M +N)>0. Kuna E_k on perioodiline, siis sellest j¨areldub, et n+M +N ... d_k ja sellest, et N +M ... d_k j¨areldub, et n ... d_k, millest tuleneb, et E_j on perioodiline ja tema periood dj ≥ d_k. Kui n¨u¨ud l¨ahtuda seisundi Ej perioodilisusest, siis saaksimed_j ≤d_k. Seega kokkuv˜ottes saime s¨ummeetrilist arutelu kasutades, etd_k =d_j.

◭

Definitsioon 1.2.2. Mittelahutuvat Markovi ahelat nimetatakse perioodili- seks (korduvaks, nulliliseks), kui tema seisundid on perioodilised (korduvad, nullilised).

Oletame, et Markovi ahel on perioodiline. Siis Markovi ahela seisundid jagu- nevad alamklassidesse.

Teoreem 1.2.3. Kui Markovi ahel on perioodiline perioodiga d, siis tema seisundite hulk jagunebdalamklassiks R₀, R₁, R₂, . . . , R_d−1 nii, et igal sam- mul toimub t˜oen¨aosusega 1 ¨uleminek klassist R_k klassi R_k+1 ning klassist R_d−1 tagasi klassiR₀.

1.3 Juhuslikud ekslemised v˜ orel

1.3.1 Juhuslik ekslemine sirge t¨aisarvulistel punktidel

Vaatleme osakest, mis liigub v˜orel punktist k punkti k+ 1 t˜oen¨aosusega p > 0 ja punktist k punkti k−1 t˜oen¨aosusega q = 1−p > 0, kusjuures p+q= 1 ning ¨uleminekud on s˜oltumatud.

OlguX0 algseisund, seisund hetkeln (tehtud onnsammu) aga X_n=X₀+Y₁+Y₂+. . .+Y_n,

kus

Y_i =

+1, t˜oen¨aosusega p,

−1, t˜oen¨aosusega q.

Meile on teada, et seisundid (seega ka kogu ahel) on korduvad, kuip=q=

1 2.

Teoreem 1.3.1 (Korduv Markovi ahel). Ulalkirjeldatud juhuslik ekslemine¨ on korduv Markovi ahel parajasti siis, kuip=q = ¹₂.

◮

Kuna 0< p <1, siis saame j¨areldada, et k˜oik seisundid on kaasnevad, seega on ahel mittelahutuv. Sellisele ahelale saame rakendada solidaarsusteoreemi, piisab n¨aidata ¨uhe seisundi korduvust. Rakendades teoreemi 1.2.1 n¨aitame seisundij korduvust.

Seisundj on korduv ⇔ X∞

n=1

p_jj(n) =∞.

Seisundj on m¨o¨oduv ⇔ X∞

n=1

p_jj(n)<∞.

On selge, et paaritu arvu sammudega ei j˜oua tagasi samasse seisu:

• p_jj(2k+ 1) = 0, k ≥0,

• p_jj(2k) =C_2k^k p^kq^k (binoomjaotus).

Kasutame Stirlingi valemit n!∼√

2πn ⁿ_en

. Kuna C_2k^k = (2k)!

k!k! ∼ 4^k

√πk,

siis

p_jj(2k)∼ (4pq)^k

√πk . Vaatleme lugejat:

4pq= 4p(1−p) =

= 1, kui p=q= ¹₂,

<1, kui p6=q.

p=q= ¹₂ korralP_∞

k=1p_jj(2k) =∞, sestP_∞

k=1 √1

πk =∞, st. ahel on korduv (kuna kaste on ¹₂ <1).

p6=q korral

X∞

k=1

(4pq)^k

√πk < . . . kuna√

πk >1∀ kkorral, seega asendades √

πk ¨uhega, avaldis kasvab, . . . <

X∞

k=1

(4pq)^k=. . .

ja kasutades n¨u¨ud geomeetrilise jada summa valemit, saame . . .= 4pq

1−4pq <∞,

st. rida koondub. J¨arelikult koondub ka ekvivalentne ridaP_∞

k=1p_jj(2k) ning seega on mittes¨ummeetriline ekslemine m¨o¨oduv.

◭

Intuitiivne p˜ohjendus toodud teoreemile oleks j¨argmine.

Kui ekslemine on s¨ummeetriline, siis ”keskeltl¨abi tammume paigal”. Kuip >

q, siis toimub ”triiv” – igaY l¨aheb keskeltl¨abi paremale,EY_i = 1·p−1·q >0.

1.3.2 S¨ummeetrilised juhuslikud ekslemised ruumis R^k, k ≥2 Vaatleme osakest, mis liigub ruumi R^k t¨aisarvulistel punktidel. T¨ahistame seisundit antud hetkel j¨argmiselt: m₁, m₂, . . . , m_k. J¨argmisesse seisundisse minekul toimub muutus (kas +1 v˜oi−1) iga koordinaadiga, seega on kokku 2^k erinevat v˜oimalust uue seisundi saamiseks. Selline juhuslik ekslemine on s¨ummeetriline, kui iga v˜oimaliku uue seisundi t˜oen¨aosus on ₂¹k.

Vaatleme juhtu, kuik= 2.

r

r

1 4

+ +

r₁

4

+ - r

1 4

- +

1 r

4

- -

r r

r

r

@@

@@R

@@

@@

I Toodud jooniselt on n¨aha,

et on v˜oimalik liikuda nelja erinevasse punkti t˜oen¨aosusega ¹₄ ja mujale

rohkem liikuda ei saa.

N¨aitame, et korduvuse omadus j¨a¨ab kehtima tasandil, aga mitte k˜orgema- dimensonaalses ruumis.

Teoreem 1.3.2. S¨ummeetriline juhuslik ekslemine on korduv ¨uhe- ja ka- hem˜o˜otmelises ruumis, kuid on m¨o¨oduv k˜orgemadimensionaalses ruumis (k≥ 3).

◮

Vaatleme juhtuk= 2.

T¨ahistaguXn= (X_n¹, X_n²) ahela seisundit hetkeln. Tahame teada, kas Xp₀₀(n)

=∞ (st. seisund null on korduv),

<∞ (st. seisund null on m¨o¨oduv). Saame, et

p₀₀(2n) =P{X_2n= 0|X₀ = 0}=

=P{X_2n¹ = 0|X₀¹= 0} ·P{X_2n² = 0|X₀²= 0}=. . . ning tuginedes eelmise teoreemi t˜oestusele v˜oime j¨atkata, et

. . .=

"

C_2nⁿ 1

2 2n#2

∼ 1

√πn 2

= 1 πn. Kuna P_∞

n=1 1

πn = ∞, siis ka P_∞

n=1p₀₀(2n) = ∞ (sest ekvivalentsed read hajuvad korraga). J¨arelikultk= 2 korral on seisund null korduv ja solidaar- susteoreemi p˜ohjal on k˜oik seisundid korduvad, st. Markovi ahel on korduv.

Vaatleme n¨u¨ud juhtuk= 3.

Eelnevaga analoogilisele arutelule toetudes saame, et p₀₀(2n) =

"

C_2nⁿ 1

2 2n#3

∼ 1

√πn 3

= 1

(πn)^3/2.

Kuna P_∞

n=1 1

(πn)^3/2 <∞, siis seisund null on m¨o¨oduv ja k˜oik teised seisun- did on m¨o¨oduvad.

Kuik >3, siisnaste kasvab jaP_∞

n=1 1

(πn)^k/2 ja k˜oik seisundid on m¨o¨oduvad.

◭

1.4 M¨ angija laostumise probleem

K¨aesolevas peat¨ukis vaatleme j¨argmist olukorda :

m¨angija v˜oidab igas m¨angus t˜oen¨aosusegapuhe ¨¨ uhiku ja kaotab t˜oen¨aosusega q uhe ¨¨ uhiku, kusjuuresp+q= 1, p, q >0 ja m¨angud on s˜oltumatud.

Probleem: kui suur on t˜oen¨aosus, et m¨angija, kes alustab m¨anguiuhikuga,¨ kogubN uhikut enne laostumist.¨

OlguX_n= m¨angija seis p¨arast m¨angun,n= 0,1,2, . . .ning eelduse kohaselt X0 =i.X1, X2, X,. . . on Markovi ahel ¨uleminekumaatriksiga

P = 0 1 2 3 ... N











0 1 2 3 · · · N 1 0 0 0 · · · 0 q 0 p 0 · · · 0 0 q 0 p · · · 0 0 0 q 0 · · · 0 ... ... . .. p 0 0 . . . 0 1









 P

1 1 1 1 ... 1

,

kus seisundid 0, N on neelavad ja korduvad seisundid. Seisundid{ 1, 2, . . . , N-1}on m¨o¨oduvad seisundid, sest k˜oigist neist v˜oib positiivse t˜oen¨aosusega j˜ouda kas seisundisse 0 v˜oiN, millest enam tagasi ei saa.

T¨ahistame otsitava t˜oen¨aosuse

Π_i=P{m¨angija i¨uhikuga kogubN uhikut enne laostumist¨ }. Π_ileidmiseks kasutame ”tinglikustamist”ehk ”lahkamist”. Lahkame tulemu- se suhtes avam¨angu, kasutades t¨aist˜oen¨aosuse valemitP(A) =P

P(B_i)P(A|B_i).

Rekursiivse seose

Π_i=p·Π_i+1+q·Π_i−1, i= 1, . . . , N −1,

abil ongi v˜oimalik leida Πi. Etp+q = 1, siis ¨ulaltoodust j¨areldub, et qΠ_i+ pΠ_i =pΠ_i+1+qΠ_i−1 ehk Π_i+1−Π_i = ^q_p(Π_i−Π_i−1), kusi= 1,2, . . . , N−1.

Suurust Πi+1−Πinimetame diferentsiks ja suurust Πi−Πi−1seega eelmiseks diferentsiks.

Kuna Π₀ = 0, st. algkapitali 0 korral oleme kohe laostunud, siis vaatleme

diferentse, mille korrali >0.

Π2−Π1 = ^q_p(Π1−Π0) = ^q_pΠ1

Π₃−Π₂ = ^q_p(Π₂−Π₁) =

q p

2

Π₁ ...

Πi−Πi−1= ^q_p(Πi−1−Πi−2) =

q p

i−1

Π1

...

+ Π_N −Π_N−1= ^q_p(Π_N−1−Π_N−2) =

q p

N−1

Π₁ 1−Π1 =

q

p +. . .+

q p

N−1 Π1

N¨u¨ud saame, et

1 =

"

1 +q

p +. . .+ q

p

N−1# Π₁ millest j¨areldub, et

Π1 =

"

1 +q

p+. . .+ q

p

N−1#₋1

=. . .

ja kasutades geomeetrilise jadaN esimese liikme summa valemit saame, et . . .=







1−_q

p

N

1−^q_p

!₋1

= ¹⁻

q p

1−_q

p

N , kui q 6=p,

1

N , kui q =p.

Π_i leidmiseks liidameiesimest seost:

Πi−Π1 =

"

q

p +. . .+ q

p i−1#

Π1, millest j¨areldub, et

Π_i =

"

1 + q

p +. . .+ q

p i−1#

Π₁ =







1−_q

p

i

1−_q

p

N , kuiq 6=p,

i

N , kuiq =p= ¹₂. S¨ummeetrilise ekslemise korral on otsitav t˜oen¨aosus seega _Nⁱ (v˜ordeline esi- algse kapitaliga).

Kui vaatleme juhtu, kusN → ∞, siis Π_i =

( 1−

q p

i

, kui p > ¹₂,

1 1

1.5 Ergoodiline teoreem

Vaatleme olukorda, kus Markovi ahel on juba kaua toiminud (n on suur).

Osutub, et teatud tingimustel Markovi ahelate seisundite t˜oen¨aosused (sa- muti ¨uleminekut˜oen¨aosused pij(n)) stabiliseeruvad st. muutuvad konstant- seteks.

T¨ahistame t˜oen¨aosuse, etn sammu l¨abimisel oleme olnud seisundisj P{Xn=j}=:pj(n).

Sellisel juhul

p_j(n+ 1) =X

i

p_i(n)·p_ij(1). (1.3) Maatrikskujul kirjutades saame, et π_n = (p₁(n), p₂(n), . . .);P = (p_ij) ning π_n+1 = π_nP = π_n−1P² = . . . = π₀Pⁿ⁺¹, kus π₀ = (p₁(0), p₂(0), . . .) on algjaotus. V˜oib juhtuda, etpi(n+ 1) =pi(n). Kui see on nii, siis on ka k˜oik j¨argmised t˜oen¨aosused ¨uhesugused.

N¨aide 1.5.1 (Ilmaennustus). Vaatleme juba eelpool k¨asitletud ilma mude- lit, kus ¨uleminekut˜oen¨aosused olid antud maatriksiga

P =

α 1−α β 1−β

.

Olgu t¨ahistatud seisundid j¨argmiselt: 0 – sajab, 1 – ei saja, siis v˜ottesα = 0.7 ningβ = 0.4 saame, et

P² =

0.7 0.3 0.4 0.6

0.7 0.3 0.4 0.6

=

0.61 0.39 0.52 0.48

,

P⁴ =P²·P²=

0.57. . . 0.42. . . 0.56. . . 0.43. . .

,

P⁹=

0.571. . . 0.429. . . 0.571. . . 0.429. . .

, st veerud muutuvad konstantseteks.

Olguπ0 = (0.2,0.8).

Siisπ_n+1=π₀·Pⁿ⁺¹ ja j¨arelikult π₀·P⁹= (0.571. . . ,0.429. . .).

Kui π₀ = (0.3,0.7), siis saame samuti, et π₀ ·P⁹ = (0.571. . . ,0.429. . .), st. tulemus ei s˜oltu algjaotusest – ikka on 57% p¨aevadest sajused ja 43%

p¨aevadest kuivad.