《研究生課程 隨機過程 課件第四章2》由會員分享,可在線閱讀,更多相關(guān)《研究生課程 隨機過程 課件第四章2(33頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、會計學(xué)1研究生課程研究生課程 隨機過程隨機過程 課件第四章課件第四章2圖所示:狀態(tài)間的轉(zhuǎn)移規(guī)律如下??臻g例如:設(shè)馬氏鏈的狀態(tài)9 , 2 , 1I 給出如下定義:受確定性問題的啟發(fā),的最大公約數(shù)。,是,而但,雖然,對正數(shù)的可能步數(shù)再返回狀態(tài)出發(fā)從狀態(tài)由圖易見12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第1頁/共33頁0. 01,3 ,2 ,ndpMnMdnpnndinddddid,i,iiii有對一切一定有對任何的,當(dāng)然這并不意味著回到狀態(tài)步,系統(tǒng)是不可能來說,除非經(jīng)對則說明的周期若為狀態(tài)由定義可知 0, 1.01npnnDCGdnpnniiii:狀態(tài)
2、的周期,記為:該集合的最大公約數(shù)為非空,則稱,:定義:如集合。是周期的,周期為狀態(tài)非周期的。對上例來說為,則稱為周期的;如,稱通常,如21,11idid,則稱無周期。,其周期,即若對任意,不定義為空集的:注:對于使0)(10)(, 1npninpnniiii第2頁/共33頁 是否兩個具有相同周期的狀態(tài)所表現(xiàn)出來的性質(zhì)基本一致呢?下例可說明并非如此。,狀態(tài)轉(zhuǎn)移圖如下:例:設(shè)4 , 3 , 2 , 1I。后,它再也不能返回到轉(zhuǎn)移到狀態(tài)則不然,當(dāng),而狀態(tài)出發(fā)經(jīng)兩步必定返回到,但由狀態(tài)的周期都為與狀態(tài)由圖可知232233232,。,我們引入常返性概念為了區(qū)別這樣兩種狀態(tài)第3頁/共33頁簡稱首達概率。的
3、概率,步首次到達狀態(tài)出發(fā),經(jīng)為自狀態(tài),而稱:,:即的時刻。出發(fā)首次進入狀態(tài)狀態(tài)為從,稱隨機變量、定義:對任意兩個狀態(tài)首達概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第4頁/共33頁 jijiiiiijivnijnnpppiXnvjXjXPnft112111/11 ,00作出發(fā)時刻,則無關(guān)。所以,如果以刻知,首達概率與出發(fā)時注:由齊次馬氏鏈性質(zhì)的條件概率。出發(fā)經(jīng)有限步可達,表示從出發(fā),遲早要到達狀態(tài)它表示從狀態(tài),即的條件概率經(jīng)有窮步后終達狀態(tài)的條件下,氏鏈位于狀態(tài)另一個重要概念是:馬jijiTPnfffjiijnij
4、ijij1)(第5頁/共33頁不復(fù)返了。有限多次,然后就一去只返回鏈以概率是非常返時,;當(dāng)無窮次返回態(tài)時,鏈以概率為常返出發(fā),當(dāng)直觀解釋,若鏈從狀態(tài)常返iiiii11”“。非常返的,如為;稱狀態(tài)為常返的,如定義:稱狀態(tài)常返性概念11. 3iiiififi下:馬氏鏈的狀態(tài)轉(zhuǎn)移圖如例.2121212132311第6頁/共33頁 也為常返的。,即狀態(tài),2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff為非常返的;即狀態(tài)故,由圖知:對一切400)(4444,f,nfn 也為非常返的;即狀態(tài),故31321032)1 (333333f,nn,ff 為常返的;即狀態(tài),1
5、1212121212) 1 (1111111111fffff第7頁/共33頁 。出發(fā)返回的平均返步數(shù)表示了從狀態(tài)的數(shù)學(xué)期望知概率分布,且由構(gòu)成一從定義知,對常返狀態(tài)iTnTPnfnnfiiiiiiiii)(, 2 , 1,給出如下定義:不同情形,為了區(qū)分有限與無窮的遍歷狀態(tài)。非周期的正常返態(tài)稱為為零常返的。則稱常返態(tài)反之,如為正常返的;,則稱常返態(tài)定義:如iiii第8頁/共33頁 321232122111112221111nnnnnnnfnnf如上例,故它們都是遍歷狀態(tài)。,又因其周期都是都是正常返態(tài)與狀態(tài)故狀態(tài)1,21第9頁/共33頁的關(guān)系。與)()(. 4npnfijij)()()(,1,1
6、knpkfnpnjinkjjijij有:及定理:對任意狀態(tài)i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij證:第10頁/共33頁 率之和的形式。分解成較低步的轉(zhuǎn)移概可以把的關(guān)鍵性公式,它們方程及此定理是馬氏鏈npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp,取0)(1.0)(.nfnnDCGnpnDCGiiii,:周期的等價定義:第11頁/共33頁000,321332211qppqqpp,I轉(zhuǎn)移的
7、矩陣為:間例:設(shè)馬氏鏈的狀態(tài)空1p2p3p2q3q1q的概率。步轉(zhuǎn)移首次到達各狀態(tài)出發(fā)經(jīng)求從狀態(tài)n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第12頁/共33頁0, 12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理:1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn,nfmmmm第13頁/共33頁判別常返狀態(tài)及性質(zhì)如何用常返性的判別及其性質(zhì)二)(.npij 111,100iiiiniiiiniiffnpifnpi則非常返如為常返的充要條件為:定理:狀態(tài) sFs
8、Pnfnpfpiiiiiiii與的母函數(shù)為與,再設(shè)證:規(guī)定0)0(, 1)0(第14頁/共33頁1)()()()()(1nknpkfnpnfnpiinkiiiiijij的關(guān)系有:與由1)()(1)()(00sskfsFsskpsPkkiikkii有:求和并對兩邊乘以于是對1,10ns,s第15頁/共33頁)(11)()()(1)(sFsPsPsFsP,故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第16頁/共33頁 0100)()(lim1)(1)()(100)(niisni
9、iNnniiiinpsPNssPsnpsPsnpNsnp,則有再令,不減,故在上式中先令時,由于當(dāng)有:正整數(shù)與給定的,故對任意的因為01)()(limniiiisfnfsF類似地可證得:第17頁/共33頁命題得證!則若即可得:再根據(jù)常返狀態(tài)的定義兩邊令在000)(111)(11)(1)(11)(niiiiiinniiiinp,ffnpnp,ssFsP第18頁/共33頁下面解釋這個定理的結(jié)論:的次數(shù)表示馬氏鏈狀態(tài)位于,若iiXiXnnnnn001 首先令隨機變量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次數(shù)。返回出發(fā)再實際上表示了馬氏鏈從
10、可見iinpnii0)(第19頁/共33頁。窮極限的平均次數(shù)將有一個有非常返時,則返回為而當(dāng)狀態(tài)的次數(shù)將無限地增加;下去時,返回續(xù)為常返且過程無限地繼定理式告訴我,若狀態(tài)iifiiii11是非常返的。則狀態(tài)若是常返的;則狀態(tài)若結(jié)論:i,npi,npniinii00)()2()() 1 (第20頁/共33頁面的定理。可以不加證明地給出下零常返還是遍歷的呢判斷它是為常返時,如何進一步對于確知狀態(tài)?i0,)(limiiiiiindidndpd,i時當(dāng)?shù)钠骄祷貢r間為其中則常且有周期定理:設(shè)狀態(tài)01)(lim)2(0)(lim) 1 (iiiniinnpinpii為遍歷狀態(tài);為零常返為常返,則設(shè)狀態(tài)由
11、此定理立即得推論:第21頁/共33頁 0lim0)(,mod00lim) 1 (npnpdndndndpiiiniiiiini,故必然有整除時不能被周期而當(dāng),由為零常返則如證:.0)(lim, 0)(lim矛盾則由是正常返,而反之,若iiiniindndpinp 為正常返態(tài)。,即則說明;反之,若,由上面定理得為遍歷,即如inpnpdiiiiiniiin0, 01lim01lim1)2(第22頁/共33頁為遍歷的。即為非周期正常返態(tài),故狀態(tài)比較得與定理式且iiddndpndpiiiniiin1)(lim1)(lim狀態(tài)分類判別法狀態(tài)分類判別法狀態(tài)分類判別法常返態(tài)正常返零常返非常返態(tài))(0 nnp
12、iinnpii0 0niinp 0niinp第23頁/共33頁三三.狀態(tài)之間的關(guān)系狀態(tài)之間的關(guān)系(可達、互通可達、互通)。且,如果互通,并記為與;稱狀態(tài),使如果存在某個,并記作可達狀態(tài)定義:稱狀態(tài)ijjijijinpnjijiij0)(0。則如果;則即如果關(guān)系都具有傳遞性定理:可達關(guān)系與互通kikjjikikjji,第24頁/共33頁kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由,使,即存在,使,即存在證: 將可達關(guān)系的證明,正向用一次,反向用一次,就可得出互通關(guān)系的傳遞性。第25頁/共33頁互通關(guān)系
13、的狀態(tài)是同一類型.有相同的周期。與同為正常返或零常返;為常返,則它們同為常返或非常返,如與則定理:如果jijij,i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程,有于是,對任意正整數(shù),使與,故存在正整數(shù)證:因為第26頁/共33頁 也是常返的;因此,狀態(tài)更有,故則為常返若j,npmnkpnpinjjnjjnii000)(,或同為有限。為無窮相互控制,所以它們同與有類似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp,第27頁/共33頁 為
14、常返的;即,為常返,則若inpnpjniinjj00 也非常返,反之也真;故為非常返,則由若jnpnpinjjnii00也為零常返。為零常返,則若同理也是零常返的。再由為零常返,則若ij,jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第28頁/共33頁 。,故也能證得:;由對稱性,則應(yīng)有的周期為即狀態(tài)的最大公約數(shù):整除,設(shè)集能被整除,所以整除又能被既能被故而,有的,則對任一使的周期證明:設(shè)jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第29頁/共33頁礎(chǔ)。這是分解狀態(tài)空間的基態(tài)具有相同
15、的性質(zhì)此定理說明:相通的狀.Iippp,Iiii,21,21,2121001,00轉(zhuǎn)移概率為:,間為例:設(shè)馬氏鏈的狀態(tài)空21212121212121210第30頁/共33頁2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn進一步常返故一般有由上圖易知考查狀態(tài)第31頁/共33頁 狀態(tài)進行判別即可。的的識別,只需對最簡單此例說明,對互通狀態(tài)也是遍歷的。,故煩,但由定理知,因較求的,對其它狀態(tài)非周期的,因而是遍歷,所以它是為正常返狀態(tài),由于可見iinfifii0021) 1 (000第32頁/共33頁