隨機(jī)過(guò)程 第四章2PPT課件

《隨機(jī)過(guò)程 第四章2PPT課件》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《隨機(jī)過(guò)程 第四章2PPT課件（37頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、中，情況要復(fù)雜得多。周期。但在隨機(jī)性運(yùn)動(dòng)即聲響元素的最大公約數(shù)，也是中這其中。的集合，則單位：分鐘響時(shí)刻表示，若令分鐘發(fā)生音樂(lè)聲響的鐘例如每隔有時(shí)會(huì)呈現(xiàn)出周期性周期：確定性機(jī)械運(yùn)動(dòng)TTT30,60,30, 0)(30,. 1第1頁(yè)/共37頁(yè)圖所示：狀態(tài)間的轉(zhuǎn)移規(guī)律如下?？臻g例如：設(shè)馬氏鏈的狀態(tài)9 , 2 , 1I 給出如下定義：受確定性問(wèn)題的啟發(fā)，的最大公約數(shù)。，是，而但，雖然，對(duì)正數(shù)的可能步數(shù)再返回狀態(tài)出發(fā)從狀態(tài)由圖易見(jiàn)12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第2頁(yè)/共37頁(yè) 0, 1.01npnnDCGdnpnniiii：狀態(tài)的周期，記為：該

2、集合的最大公約數(shù)為非空，則稱(chēng)，：定義：如集合，則稱(chēng)無(wú)周期。，其周期，即若對(duì)任意，不定義為空集的：注：對(duì)于使0)(10)(, 1npninpnniiii。是周期的，周期為狀態(tài)非周期的。對(duì)上例來(lái)說(shuō)為，則稱(chēng)為周期的；如，稱(chēng)通常，如21,11idid第3頁(yè)/共37頁(yè)0. 01,3 ,2 ,ndpMnMdnpnndinddddid，i，iiii有對(duì)一切一定有對(duì)任何的，當(dāng)然這并不意味著回到狀態(tài)步，系統(tǒng)是不可能來(lái)說(shuō)，除非經(jīng)對(duì)則說(shuō)明的周期若為狀態(tài)由定義可知第4頁(yè)/共37頁(yè) 是否兩個(gè)具有相同周期的狀態(tài)所表現(xiàn)出來(lái)的性質(zhì)基本一致呢?下例可說(shuō)明并非如此。，狀態(tài)轉(zhuǎn)移圖如下：例：設(shè)4 , 3 , 2 , 1I。后，它再也

3、不能返回到轉(zhuǎn)移到狀態(tài)則不然，當(dāng)，而狀態(tài)出發(fā)經(jīng)兩步必定返回到，但由狀態(tài)的周期都為與狀態(tài)由圖可知232233232，第5頁(yè)/共37頁(yè)簡(jiǎn)稱(chēng)首達(dá)概率。的概率，步首次到達(dá)狀態(tài)出發(fā)，經(jīng)為自狀態(tài)，而稱(chēng)：，：即的時(shí)刻。出發(fā)首次進(jìn)入狀態(tài)狀態(tài)為從，稱(chēng)隨機(jī)變量、定義：對(duì)任意兩個(gè)狀態(tài)首達(dá)概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第6頁(yè)/共37頁(yè) jijiiiiijivnijnnpppiXnvjXjXPnft112111/11 ,00作出發(fā)時(shí)刻，則無(wú)關(guān)。所以，如果以刻知，首達(dá)概率與出發(fā)時(shí)注：由齊次馬氏鏈性質(zhì)的條件概率。出發(fā)經(jīng)有限步可達(dá)，表

4、示從出發(fā)，遲早要到達(dá)狀態(tài)它表示從狀態(tài)，即的條件概率經(jīng)有窮步后終達(dá)狀態(tài)的條件下，氏鏈位于狀態(tài)另一個(gè)重要概念是：馬jijiTPnfffjiijnijijij1)(第7頁(yè)/共37頁(yè)。非常返的，如為；稱(chēng)狀態(tài)為常返的，如定義：稱(chēng)狀態(tài)常返性概念11. 3iiiififi下：馬氏鏈的狀態(tài)轉(zhuǎn)移圖如例.2121212132311第8頁(yè)/共37頁(yè) 也為常返的。，即狀態(tài)，2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff為非常返的；即狀態(tài)故，由圖知：對(duì)一切400)(4444,f,nfn 也為非常返的；即狀態(tài)，故31321032)1 (333333f,nn,ff 為常返的；即狀態(tài)

5、，11212121212) 1 (1111111111fffff第9頁(yè)/共37頁(yè)( )1niiinnf遍歷狀態(tài)。非周期的正常返態(tài)稱(chēng)為為零常返的。則稱(chēng)常返態(tài)反之，如為正常返的；，則稱(chēng)常返態(tài)定義：如iiii考慮第10頁(yè)/共37頁(yè) 321232122111112221111nnnnnnnfnnf如上例，故它們都是遍歷狀態(tài)。，又因其周期都是都是正常返態(tài)與狀態(tài)故狀態(tài)1,21第11頁(yè)/共37頁(yè)的關(guān)系。與)()(. 4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：對(duì)任意狀態(tài)i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvj

6、XiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij證：第12頁(yè)/共37頁(yè) 率之和的形式。分解成較低步的轉(zhuǎn)移概可以把的關(guān)鍵性公式，它們方程及此定理是馬氏鏈npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取第13頁(yè)/共37頁(yè)000,321332211qppqqpp，I轉(zhuǎn)移的矩陣為：間例：設(shè)馬氏鏈的狀態(tài)空1p2p3p2q3q1q的概率。步轉(zhuǎn)移首次到達(dá)各狀態(tài)出發(fā)經(jīng)求從狀態(tài)n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第14頁(yè)/共37頁(yè)0, 12,1,2,)(1212

7、121131mmnqqpmmnppqpnfmm同理：1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm第15頁(yè)/共37頁(yè)回顧1 CK公式2 )()()(,1,1knpkfnpnjinkjjijij有：及定理：對(duì)任意狀態(tài) ( )rijirrjIpnpk pnk第16頁(yè)/共37頁(yè)判別常返狀態(tài)及性質(zhì)如何用常返性的判別及其性質(zhì)二)(.npij 111,100iiiiniiiiniiffnpifnpi則非常返如為常返的充要條件為：定理：狀態(tài) sFsPnfnpfpiiiiiiii與的母函數(shù)為與，再設(shè)證：規(guī)定0)0(, 1

8、)0(第17頁(yè)/共37頁(yè)1)()()()()(1nknpkfnpnfnpiinkiiiiijij的關(guān)系有：與由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并對(duì)兩邊乘以于是對(duì)1,10ns，s第18頁(yè)/共37頁(yè))(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第19頁(yè)/共37頁(yè) 0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，則有再令，不減

9、，故在上式中先令時(shí)，由于當(dāng)有：正整數(shù)與給定的，故對(duì)任意的因?yàn)?1)()(limniiiisfnfsF類(lèi)似地可證得：第20頁(yè)/共37頁(yè)命題得證！則若即可得：再根據(jù)常返狀態(tài)的定義兩邊令在000)(111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP第21頁(yè)/共37頁(yè)下面解釋這個(gè)定理的結(jié)論：的次數(shù)表示馬氏鏈狀態(tài)位于，若iiXiXnnnnn001 首先令隨機(jī)變量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次數(shù)。返回出發(fā)再實(shí)際上表示了馬氏鏈從可見(jiàn)iinpnii0)(第22頁(yè)/共37頁(yè)。窮極限的平均次數(shù)將有一個(gè)有非

10、常返時(shí)，則返回為而當(dāng)狀態(tài)的次數(shù)將無(wú)限地增加；下去時(shí)，返回續(xù)為常返且過(guò)程無(wú)限地繼定理式告訴我，若狀態(tài)iifiiii11是非常返的。則狀態(tài)若是常返的；則狀態(tài)若結(jié)論：i，npi，npniinii00)()2()() 1 (第23頁(yè)/共37頁(yè)0,)(limiiiiiindidndpd，i時(shí)當(dāng)?shù)钠骄祷貢r(shí)間為其中則常且有周期定理：設(shè)狀態(tài)(1)lim( )01(2)lim( )0iiniiniip np n由此定理立即得：i f 常返，零常返；正常返第24頁(yè)/共37頁(yè)狀態(tài)分類(lèi)判別法狀態(tài)分類(lèi)判別法常返態(tài)正常返零常返非常返態(tài))(0 nnpiinnpii0 0niinp 0niinp第25頁(yè)/共37頁(yè)三.狀態(tài)之

11、間的關(guān)系(可達(dá)、互通)。且，如果互通，并記為與；稱(chēng)狀態(tài)，使如果存在某個(gè)，并記作可達(dá)狀態(tài)定義：稱(chēng)狀態(tài)ijjijijinpnjijiij0)(0。則如果；則即如果關(guān)系都具有傳遞性定理：可達(dá)關(guān)系與互通kikjjikikjji,第26頁(yè)/共37頁(yè)kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由，使，即存在，使，即存在證： 將可達(dá)關(guān)系的證明,正向用一次，反向用一次，就可得出互通關(guān)系的傳遞性。第27頁(yè)/共37頁(yè)互通關(guān)系的狀態(tài)是同一類(lèi)型.有相同的周期。與同為正常返或零常返；為常返，則它們同為常返或非常返，如與則定理：

12、如果jijij，i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，對(duì)任意正整數(shù)，使與，故存在正整數(shù)證：因?yàn)榈?8頁(yè)/共37頁(yè) 也是常返的；因此，狀態(tài)更有，故則為常返若j，npmnkpnpinjjnjjnii000)(,或同為有限。為無(wú)窮相互控制，所以它們同與有類(lèi)似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，第29頁(yè)/共37頁(yè) 為常返的；即，為常返，則若inpnpjniinjj00 也非常返，反之也真；故為非常返，則由若jnp

13、npinjjnii00也為零常返。為零常返，則若同理也是零常返的。再由為零常返，則若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第30頁(yè)/共37頁(yè) 。，故也能證得：；由對(duì)稱(chēng)性，則應(yīng)有的周期為即狀態(tài)的最大公約數(shù)：整除，設(shè)集能被整除，所以整除又能被既能被故而，有的，則對(duì)任一使的周期證明：設(shè)jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第31頁(yè)/共37頁(yè)礎(chǔ)。這是分解狀態(tài)空間的基態(tài)具有相同的性質(zhì)此定理說(shuō)明：相通的狀.Iippp，Iiii,21,21,2121001,00轉(zhuǎn)移概率為：，間

14、為例：設(shè)馬氏鏈的狀態(tài)空21212121212121210第32頁(yè)/共37頁(yè)2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn進(jìn)一步常返故一般有由上圖易知考查狀態(tài)第33頁(yè)/共37頁(yè) 狀態(tài)進(jìn)行判別即可。的的識(shí)別，只需對(duì)最簡(jiǎn)單此例說(shuō)明，對(duì)互通狀態(tài)也是遍歷的。，故煩，但由定理知，因較求的，對(duì)其它狀態(tài)非周期的，因而是遍歷，所以它是為正常返狀態(tài)，由于可見(jiàn)iinfifii0021) 1 (000第34頁(yè)/共37頁(yè) 例：設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求11223311022012033pqpqqp（1）（2）( )( )1112,1,2,3nnffn 第35頁(yè)/共37頁(yè)例：設(shè)質(zhì)點(diǎn)在區(qū)間0,4的整數(shù)點(diǎn)作隨機(jī)游動(dòng)，到達(dá)0或4點(diǎn)后以概率1停留，在其它整數(shù)點(diǎn)分別以概率1/3向左、右移動(dòng)一格或停留在原處。求質(zhì)點(diǎn)隨機(jī)游動(dòng)的一步和二步轉(zhuǎn)移概率矩陣第36頁(yè)/共37頁(yè)感謝您的觀(guān)看！第37頁(yè)/共37頁(yè)