研究生課程 隨機過程 課件第四章2

會計學1研究生課程研究生課程 隨機過程隨機過程 課件第四章課件第四章2圖所示：狀態(tài)間的轉(zhuǎn)移規(guī)律如下?？臻g例如：設馬氏鏈的狀態(tài)9 , 2 , 1I 給出如下定義：受確定性問題的啟發(fā)，的最大公約數(shù)。，是，而但，雖然，對正數(shù)的可能步數(shù)再返回狀態(tài)出發(fā)從狀態(tài)由圖易見12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第1頁/共33頁0. 01,3 ,2 ,ndpMnMdnpnndinddddid，i，iiii有對一切一定有對任何的，當然這并不意味著回到狀態(tài)步，系統(tǒng)是不可能來說，除非經(jīng)對則說明的周期若為狀態(tài)由定義可知 0, 1.01npnnDCGdnpnniiii：狀態(tài)的周期，記為：該集合的最大公約數(shù)為非空，則稱，：定義：如集合。是周期的，周期為狀態(tài)非周期的。對上例來說為，則稱為周期的；如，稱通常，如21,11idid，則稱無周期。，其周期，即若對任意，不定義為空集的：注：對于使0)(10)(, 1npninpnniiii第2頁/共33頁 是否兩個具有相同周期的狀態(tài)所表現(xiàn)出來的性質(zhì)基本一致呢?下例可說明并非如此。，狀態(tài)轉(zhuǎn)移圖如下：例：設4 , 3 , 2 , 1I。后，它再也不能返回到轉(zhuǎn)移到狀態(tài)則不然，當，而狀態(tài)出發(fā)經(jīng)兩步必定返回到，但由狀態(tài)的周期都為與狀態(tài)由圖可知232233232，。，我們引入常返性概念為了區(qū)別這樣兩種狀態(tài)第3頁/共33頁簡稱首達概率。的概率，步首次到達狀態(tài)出發(fā)，經(jīng)為自狀態(tài)，而稱：，：即的時刻。出發(fā)首次進入狀態(tài)狀態(tài)為從，稱隨機變量、定義：對任意兩個狀態(tài)首達概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第4頁/共33頁 jijiiiiijivnijnnpppiXnvjXjXPnft112111/11 ,00作出發(fā)時刻，則無關。所以，如果以刻知，首達概率與出發(fā)時注：由齊次馬氏鏈性質(zhì)的條件概率。出發(fā)經(jīng)有限步可達，表示從出發(fā)，遲早要到達狀態(tài)它表示從狀態(tài)，即的條件概率經(jīng)有窮步后終達狀態(tài)的條件下，氏鏈位于狀態(tài)另一個重要概念是：馬jijiTPnfffjiijnijijij1)(第5頁/共33頁不復返了。有限多次，然后就一去只返回鏈以概率是非常返時，；當無窮次返回態(tài)時，鏈以概率為常返出發(fā)，當直觀解釋，若鏈從狀態(tài)常返iiiii11”“。非常返的，如為；稱狀態(tài)為常返的，如定義：稱狀態(tài)常返性概念11. 3iiiififi下：馬氏鏈的狀態(tài)轉(zhuǎn)移圖如例.2121212132311第6頁/共33頁 也為常返的。，即狀態(tài)，2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff為非常返的；即狀態(tài)故，由圖知：對一切400)(4444,f,nfn 也為非常返的；即狀態(tài)，故31321032)1 (333333f,nn,ff 為常返的；即狀態(tài)，11212121212) 1 (1111111111fffff第7頁/共33頁 。出發(fā)返回的平均返步數(shù)表示了從狀態(tài)的數(shù)學期望知概率分布，且由構(gòu)成一從定義知，對常返狀態(tài)iTnTPnfnnfiiiiiiiii)(, 2 , 1,給出如下定義：不同情形，為了區(qū)分有限與無窮的遍歷狀態(tài)。非周期的正常返態(tài)稱為為零常返的。則稱常返態(tài)反之，如為正常返的；，則稱常返態(tài)定義：如iiii第8頁/共33頁 321232122111112221111nnnnnnnfnnf如上例，故它們都是遍歷狀態(tài)。，又因其周期都是都是正常返態(tài)與狀態(tài)故狀態(tài)1,21第9頁/共33頁的關系。與)()(. 4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：對任意狀態(tài)i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij證：第10頁/共33頁 率之和的形式。分解成較低步的轉(zhuǎn)移概可以把的關鍵性公式，它們方程及此定理是馬氏鏈npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取0)(1.0)(.nfnnDCGnpnDCGiiii，：周期的等價定義：第11頁/共33頁000,321332211qppqqpp，I轉(zhuǎn)移的矩陣為：間例：設馬氏鏈的狀態(tài)空1p2p3p2q3q1q的概率。步轉(zhuǎn)移首次到達各狀態(tài)出發(fā)經(jīng)求從狀態(tài)n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第12頁/共33頁0, 12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm第13頁/共33頁判別常返狀態(tài)及性質(zhì)如何用常返性的判別及其性質(zhì)二)(.npij 111,100iiiiniiiiniiffnpifnpi則非常返如為常返的充要條件為：定理：狀態(tài) sFsPnfnpfpiiiiiiii與的母函數(shù)為與，再設證：規(guī)定0)0(, 1)0(第14頁/共33頁1)()()()()(1nknpkfnpnfnpiinkiiiiijij的關系有：與由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并對兩邊乘以于是對1,10ns，s第15頁/共33頁)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第16頁/共33頁 0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，則有再令，不減，故在上式中先令時，由于當有：正整數(shù)與給定的，故對任意的因為01)()(limniiiisfnfsF類似地可證得：第17頁/共33頁命題得證！則若即可得：再根據(jù)常返狀態(tài)的定義兩邊令在000)(111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP第18頁/共33頁下面解釋這個定理的結(jié)論：的次數(shù)表示馬氏鏈狀態(tài)位于，若iiXiXnnnnn001 首先令隨機變量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次數(shù)。返回出發(fā)再實際上表示了馬氏鏈從可見iinpnii0)(第19頁/共33頁。窮極限的平均次數(shù)將有一個有非常返時，則返回為而當狀態(tài)的次數(shù)將無限地增加；下去時，返回續(xù)為常返且過程無限地繼定理式告訴我，若狀態(tài)iifiiii11是非常返的。則狀態(tài)若是常返的；則狀態(tài)若結(jié)論：i，npi，npniinii00)()2()() 1 (第20頁/共33頁面的定理?？梢圆患幼C明地給出下零常返還是遍歷的呢判斷它是為常返時，如何進一步對于確知狀態(tài)?i0,)(limiiiiiindidndpd，i時當?shù)钠骄祷貢r間為其中則常且有周期定理：設狀態(tài)01)(lim)2(0)(lim) 1 (iiiniinnpinpii為遍歷狀態(tài)；為零常返為常返，則設狀態(tài)由此定理立即得推論：第21頁/共33頁 0lim0)(,mod00lim) 1 (npnpdndndndpiiiniiiiini，故必然有整除時不能被周期而當，由為零常返則如證：.0)(lim, 0)(lim矛盾則由是正常返，而反之，若iiiniindndpinp 為正常返態(tài)。，即則說明；反之，若，由上面定理得為遍歷，即如inpnpdiiiiiniiin0, 01lim01lim1)2(第22頁/共33頁為遍歷的。即為非周期正常返態(tài)，故狀態(tài)比較得與定理式且iiddndpndpiiiniiin1)(lim1)(lim狀態(tài)分類判別法狀態(tài)分類判別法狀態(tài)分類判別法常返態(tài)正常返零常返非常返態(tài))(0 nnpiinnpii0 0niinp 0niinp第23頁/共33頁三三.狀態(tài)之間的關系狀態(tài)之間的關系(可達、互通可達、互通)。且，如果互通，并記為與；稱狀態(tài)，使如果存在某個，并記作可達狀態(tài)定義：稱狀態(tài)ijjijijinpnjijiij0)(0。則如果；則即如果關系都具有傳遞性定理：可達關系與互通kikjjikikjji,第24頁/共33頁kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由，使，即存在，使，即存在證： 將可達關系的證明,正向用一次，反向用一次，就可得出互通關系的傳遞性。第25頁/共33頁互通關系的狀態(tài)是同一類型.有相同的周期。與同為正常返或零常返；為常返，則它們同為常返或非常返，如與則定理：如果jijij，i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，對任意正整數(shù)，使與，故存在正整數(shù)證：因為第26頁/共33頁 也是常返的；因此，狀態(tài)更有，故則為常返若j，npmnkpnpinjjnjjnii000)(,或同為有限。為無窮相互控制，所以它們同與有類似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，第27頁/共33頁 為常返的；即，為常返，則若inpnpjniinjj00 也非常返，反之也真；故為非常返，則由若jnpnpinjjnii00也為零常返。為零常返，則若同理也是零常返的。再由為零常返，則若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第28頁/共33頁 。，故也能證得：；由對稱性，則應有的周期為即狀態(tài)的最大公約數(shù)：整除，設集能被整除，所以整除又能被既能被故而，有的，則對任一使的周期證明：設jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第29頁/共33頁礎。這是分解狀態(tài)空間的基態(tài)具有相同的性質(zhì)此定理說明：相通的狀.Iippp，Iiii,21,21,2121001,00轉(zhuǎn)移概率為：，間為例：設馬氏鏈的狀態(tài)空21212121212121210第30頁/共33頁2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn進一步常返故一般有由上圖易知考查狀態(tài)第31頁/共33頁 狀態(tài)進行判別即可。的的識別，只需對最簡單此例說明，對互通狀態(tài)也是遍歷的。，故煩，但由定理知，因較求的，對其它狀態(tài)非周期的，因而是遍歷，所以它是為正常返狀態(tài)，由于可見iinfifii0021) 1 (000第32頁/共33頁