隨機(jī)過程 第四章2PPT課件

中，情況要復(fù)雜得多。周期。但在隨機(jī)性運(yùn)動(dòng)即聲響元素的最大公約數(shù)，也是中這其中。的集合，則單位：分鐘響時(shí)刻表示，若令分鐘發(fā)生音樂聲響的鐘例如每隔有時(shí)會(huì)呈現(xiàn)出周期性周期：確定性機(jī)械運(yùn)動(dòng)TTT30,60,30, 0)(30,. 1第1頁/共37頁圖所示：狀態(tài)間的轉(zhuǎn)移規(guī)律如下。空間例如：設(shè)馬氏鏈的狀態(tài)9 , 2 , 1I 給出如下定義：受確定性問題的啟發(fā)，的最大公約數(shù)。，是，而但，雖然，對(duì)正數(shù)的可能步數(shù)再返回狀態(tài)出發(fā)從狀態(tài)由圖易見12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第2頁/共37頁 0, 1.01npnnDCGdnpnniiii：狀態(tài)的周期，記為：該集合的最大公約數(shù)為非空，則稱，：定義：如集合，則稱無周期。，其周期，即若對(duì)任意，不定義為空集的：注：對(duì)于使0)(10)(, 1npninpnniiii。是周期的，周期為狀態(tài)非周期的。對(duì)上例來說為，則稱為周期的；如，稱通常，如21,11idid第3頁/共37頁0. 01,3 ,2 ,ndpMnMdnpnndinddddid，i，iiii有對(duì)一切一定有對(duì)任何的，當(dāng)然這并不意味著回到狀態(tài)步，系統(tǒng)是不可能來說，除非經(jīng)對(duì)則說明的周期若為狀態(tài)由定義可知第4頁/共37頁 是否兩個(gè)具有相同周期的狀態(tài)所表現(xiàn)出來的性質(zhì)基本一致呢?下例可說明并非如此。，狀態(tài)轉(zhuǎn)移圖如下：例：設(shè)4 , 3 , 2 , 1I。后，它再也不能返回到轉(zhuǎn)移到狀態(tài)則不然，當(dāng)，而狀態(tài)出發(fā)經(jīng)兩步必定返回到，但由狀態(tài)的周期都為與狀態(tài)由圖可知232233232，第5頁/共37頁簡稱首達(dá)概率。的概率，步首次到達(dá)狀態(tài)出發(fā)，經(jīng)為自狀態(tài)，而稱：，：即的時(shí)刻。出發(fā)首次進(jìn)入狀態(tài)狀態(tài)為從，稱隨機(jī)變量、定義：對(duì)任意兩個(gè)狀態(tài)首達(dá)概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第6頁/共37頁 jijiiiiijivnijnnpppiXnvjXjXPnft112111/11 ,00作出發(fā)時(shí)刻，則無關(guān)。所以，如果以刻知，首達(dá)概率與出發(fā)時(shí)注：由齊次馬氏鏈性質(zhì)的條件概率。出發(fā)經(jīng)有限步可達(dá)，表示從出發(fā)，遲早要到達(dá)狀態(tài)它表示從狀態(tài)，即的條件概率經(jīng)有窮步后終達(dá)狀態(tài)的條件下，氏鏈位于狀態(tài)另一個(gè)重要概念是：馬jijiTPnfffjiijnijijij1)(第7頁/共37頁。非常返的，如為；稱狀態(tài)為常返的，如定義：稱狀態(tài)常返性概念11. 3iiiififi下：馬氏鏈的狀態(tài)轉(zhuǎn)移圖如例.2121212132311第8頁/共37頁 也為常返的。，即狀態(tài)，2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff為非常返的；即狀態(tài)故，由圖知：對(duì)一切400)(4444,f,nfn 也為非常返的；即狀態(tài)，故31321032)1 (333333f,nn,ff 為常返的；即狀態(tài)，11212121212) 1 (1111111111fffff第9頁/共37頁( )1niiinnf遍歷狀態(tài)。非周期的正常返態(tài)稱為為零常返的。則稱常返態(tài)反之，如為正常返的；，則稱常返態(tài)定義：如iiii考慮第10頁/共37頁 321232122111112221111nnnnnnnfnnf如上例，故它們都是遍歷狀態(tài)。，又因其周期都是都是正常返態(tài)與狀態(tài)故狀態(tài)1,21第11頁/共37頁的關(guān)系。與)()(. 4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：對(duì)任意狀態(tài)i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij證：第12頁/共37頁 率之和的形式。分解成較低步的轉(zhuǎn)移概可以把的關(guān)鍵性公式，它們方程及此定理是馬氏鏈npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取第13頁/共37頁000,321332211qppqqpp，I轉(zhuǎn)移的矩陣為：間例：設(shè)馬氏鏈的狀態(tài)空1p2p3p2q3q1q的概率。步轉(zhuǎn)移首次到達(dá)各狀態(tài)出發(fā)經(jīng)求從狀態(tài)n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第14頁/共37頁0, 12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm第15頁/共37頁回顧1 CK公式2 )()()(,1,1knpkfnpnjinkjjijij有：及定理：對(duì)任意狀態(tài) ( )rijirrjIpnpk pnk第16頁/共37頁判別常返狀態(tài)及性質(zhì)如何用常返性的判別及其性質(zhì)二)(.npij 111,100iiiiniiiiniiffnpifnpi則非常返如為常返的充要條件為：定理：狀態(tài) sFsPnfnpfpiiiiiiii與的母函數(shù)為與，再設(shè)證：規(guī)定0)0(, 1)0(第17頁/共37頁1)()()()()(1nknpkfnpnfnpiinkiiiiijij的關(guān)系有：與由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并對(duì)兩邊乘以于是對(duì)1,10ns，s第18頁/共37頁)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第19頁/共37頁 0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，則有再令，不減，故在上式中先令時(shí)，由于當(dāng)有：正整數(shù)與給定的，故對(duì)任意的因?yàn)?1)()(limniiiisfnfsF類似地可證得：第20頁/共37頁命題得證！則若即可得：再根據(jù)常返狀態(tài)的定義兩邊令在000)(111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP第21頁/共37頁下面解釋這個(gè)定理的結(jié)論：的次數(shù)表示馬氏鏈狀態(tài)位于，若iiXiXnnnnn001 首先令隨機(jī)變量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次數(shù)。返回出發(fā)再實(shí)際上表示了馬氏鏈從可見iinpnii0)(第22頁/共37頁。窮極限的平均次數(shù)將有一個(gè)有非常返時(shí)，則返回為而當(dāng)狀態(tài)的次數(shù)將無限地增加；下去時(shí)，返回續(xù)為常返且過程無限地繼定理式告訴我，若狀態(tài)iifiiii11是非常返的。則狀態(tài)若是常返的；則狀態(tài)若結(jié)論：i，npi，npniinii00)()2()() 1 (第23頁/共37頁0,)(limiiiiiindidndpd，i時(shí)當(dāng)?shù)钠骄祷貢r(shí)間為其中則常且有周期定理：設(shè)狀態(tài)(1)lim( )01(2)lim( )0iiniiniip np n由此定理立即得：i f 常返，零常返；正常返第24頁/共37頁狀態(tài)分類判別法狀態(tài)分類判別法常返態(tài)正常返零常返非常返態(tài))(0 nnpiinnpii0 0niinp 0niinp第25頁/共37頁三.狀態(tài)之間的關(guān)系(可達(dá)、互通)。且，如果互通，并記為與；稱狀態(tài)，使如果存在某個(gè)，并記作可達(dá)狀態(tài)定義：稱狀態(tài)ijjijijinpnjijiij0)(0。則如果；則即如果關(guān)系都具有傳遞性定理：可達(dá)關(guān)系與互通kikjjikikjji,第26頁/共37頁kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由，使，即存在，使，即存在證： 將可達(dá)關(guān)系的證明,正向用一次，反向用一次，就可得出互通關(guān)系的傳遞性。第27頁/共37頁互通關(guān)系的狀態(tài)是同一類型.有相同的周期。與同為正常返或零常返；為常返，則它們同為常返或非常返，如與則定理：如果jijij，i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，對(duì)任意正整數(shù)，使與，故存在正整數(shù)證：因?yàn)榈?8頁/共37頁 也是常返的；因此，狀態(tài)更有，故則為常返若j，npmnkpnpinjjnjjnii000)(,或同為有限。為無窮相互控制，所以它們同與有類似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，第29頁/共37頁 為常返的；即，為常返，則若inpnpjniinjj00 也非常返，反之也真；故為非常返，則由若jnpnpinjjnii00也為零常返。為零常返，則若同理也是零常返的。再由為零常返，則若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第30頁/共37頁 。，故也能證得：；由對(duì)稱性，則應(yīng)有的周期為即狀態(tài)的最大公約數(shù)：整除，設(shè)集能被整除，所以整除又能被既能被故而，有的，則對(duì)任一使的周期證明：設(shè)jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第31頁/共37頁礎(chǔ)。這是分解狀態(tài)空間的基態(tài)具有相同的性質(zhì)此定理說明：相通的狀.Iippp，Iiii,21,21,2121001,00轉(zhuǎn)移概率為：，間為例：設(shè)馬氏鏈的狀態(tài)空21212121212121210第32頁/共37頁2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn進(jìn)一步常返故一般有由上圖易知考查狀態(tài)第33頁/共37頁 狀態(tài)進(jìn)行判別即可。的的識(shí)別，只需對(duì)最簡單此例說明，對(duì)互通狀態(tài)也是遍歷的。，故煩，但由定理知，因較求的，對(duì)其它狀態(tài)非周期的，因而是遍歷，所以它是為正常返狀態(tài)，由于可見iinfifii0021) 1 (000第34頁/共37頁 例：設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求11223311022012033pqpqqp（1）（2）( )( )1112,1,2,3nnffn 第35頁/共37頁例：設(shè)質(zhì)點(diǎn)在區(qū)間0,4的整數(shù)點(diǎn)作隨機(jī)游動(dòng)，到達(dá)0或4點(diǎn)后以概率1停留，在其它整數(shù)點(diǎn)分別以概率1/3向左、右移動(dòng)一格或停留在原處。求質(zhì)點(diǎn)隨機(jī)游動(dòng)的一步和二步轉(zhuǎn)移概率矩陣第36頁/共37頁感謝您的觀看！第37頁/共37頁