隨機(jī)過(guò)程 PPT課件

《隨機(jī)過(guò)程 PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《隨機(jī)過(guò)程 PPT課件（44頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、 函數(shù)有限維且其條件分布，及若對(duì)任意的正整數(shù)為隨機(jī)過(guò)程設(shè)、定義0,111221121nnnxt，X，xt，XxtXPtttn，TttX馬爾可夫過(guò)程 111111/nnnnnnnnxtXxtXPxt，X，xtXxtXP 為馬爾可夫過(guò)程。則稱TttX,2、馬爾可夫性系統(tǒng)在已知現(xiàn)在所處狀態(tài)的條件下，它將來(lái)所處的狀態(tài)與過(guò)去所處的狀態(tài)無(wú)關(guān)。第1頁(yè)/共44頁(yè)4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念 nT，n，aaXnXnttXaaItXn, 2 , 1 , 0, 2 , 1 , 0,)(, 2 , 1 , 0,2121即參數(shù)空間為：移可列個(gè)時(shí)刻發(fā)生狀態(tài)轉(zhuǎn)且過(guò)程只在之一，則所能取的狀態(tài)必為所處

2、狀態(tài)記為：在每一時(shí)刻而的狀態(tài)空間為假定馬爾可夫過(guò)程第2頁(yè)/共44頁(yè)即條件概率滿足：時(shí)刻以前的狀態(tài)無(wú)關(guān)過(guò)程在而與時(shí)刻的狀態(tài)有關(guān)只與過(guò)程在的概率時(shí)刻處在任一狀態(tài)在定義：若過(guò)程,)(. 1mmakmtXkmimkmmmkmimikmiimimikmaXaXPaXaXaXaXP/,/1111簡(jiǎn)稱馬氏鏈。為馬爾可夫鏈則稱此隨機(jī)過(guò)程，nXn0,4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念第3頁(yè)/共44頁(yè) 參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過(guò)程稱為馬爾可夫鏈。第4頁(yè)/共44頁(yè)2、馬氏鏈的轉(zhuǎn)移概率/,m kjmiijP XaXapm mkkmmpakmkamijji,：狀態(tài)的轉(zhuǎn)移概率，記為轉(zhuǎn)移到時(shí)刻

3、步，在狀態(tài)經(jīng)時(shí)刻處于為馬氏鏈在iajamkm稱條件概率氏鏈。下面我們僅討論齊次馬次的，無(wú)關(guān)，則稱馬氏鏈為齊與若有關(guān)，與一般均為正整數(shù)mkmmpkmjikmmpkmjiijij,第5頁(yè)/共44頁(yè)3、一步轉(zhuǎn)移概率及矩陣即得一步轉(zhuǎn)移概率在上面轉(zhuǎn)移概率中，取1k/1,1imjmijijaXaXPmmpp構(gòu)成的矩陣由所有的一步轉(zhuǎn)移概率ijp稱為馬氏鏈的一步轉(zhuǎn)移概率矩陣nnppppppP2122211211第6頁(yè)/共44頁(yè)IjaiijjiijijIapIaapp1)2(,0) 1 (具有性質(zhì)：矩陣稱為隨機(jī)矩陣。性質(zhì)的、，滿足和為即矩陣中任一和元素之個(gè)狀態(tài)是必然事件，轉(zhuǎn)移到狀態(tài)空間的某一即從)2() 1 (

4、1ia第7頁(yè)/共44頁(yè)4.多步轉(zhuǎn)移概率的確定 npnpnpnpnpnpnP：naXaXPnmmpnpnnknnimjnmijij2222111211/,) 1 (步轉(zhuǎn)移概率矩陣為對(duì)應(yīng)的步轉(zhuǎn)移概率：即得時(shí)、在轉(zhuǎn)移概率中取：，nP即也滿足性質(zhì)也為隨機(jī)矩陣)( IanpIaanpiIaijjiijj. 1)2(,. 0) 1 (第8頁(yè)/共44頁(yè)通常我們還規(guī)定： jijimmppijijij01,0(2)、切普曼柯爾莫哥洛夫方程 （Chapman-Kolmogorov） IarjirijjinrknpkpnpI，aan，nX)(, 00,有：整數(shù)則對(duì)任意的為齊次馬氏鏈定理：設(shè)方程。簡(jiǎn)稱柯爾莫哥洛夫方程

5、，此乃有名的切普曼kc knPkPnP或第9頁(yè)/共44頁(yè)ramjaiakmnm直觀解釋對(duì)照?qǐng)D第10頁(yè)/共44頁(yè) imIarkmimjnmrkmimimIajnmrkmimimjnmimimjnmijaXPaXaXaXPaXaXPaXPaXaXaXPaXPaXaXPaXaXPnprr,/,/馬爾可夫性有：證明：利用概率公式及第11頁(yè)/共44頁(yè) knpkpaXaXPaXaXPrjIairrkmjnmIaimrkmrr/用矩陣形式表示為： knPkPnPnPnPnPPPPnPPPPnnPPn，Pk)()2() 1 ()3(3) 1 () 1 ()2(2) 1()(132為任意整數(shù)時(shí)有：一般當(dāng)時(shí)：時(shí)有

6、：則在上式取 表明一步轉(zhuǎn)移概率是最基本的，它確定了馬氏鏈的狀態(tài)轉(zhuǎn)移的統(tǒng)計(jì)規(guī)律。第12頁(yè)/共44頁(yè)全概率公式v若有N個(gè)互斥事件Bn（n=1,2,N），它的并集等于整個(gè)樣本空間，則NiiiBPBAPAP1)()|()(第13頁(yè)/共44頁(yè)（1）離散型隨機(jī)變量的條件分布律及條件期望iijjijjipyjipyYxXPYX02 , 1,，有若對(duì)于給定的聯(lián)合分布律：是兩個(gè)離散型隨機(jī)變量設(shè)定義jiijiijiijyYPpxpxyYXE11/的條件分布律；關(guān)于為則稱jjijjijiyYXppyYxXPp/的條件期望為：關(guān)于則jyYX第14頁(yè)/共44頁(yè)5、初始概率與絕對(duì)概率 。和為和分布和絕對(duì)分布，簡(jiǎn)記為馬氏鏈

7、的初始和絕對(duì)概率，并分別稱為馬氏鏈的初始概率和，和分別稱為馬爾可夫鏈定義：設(shè))()0(),(),0()()()0(,0,) 1 (0nppIanpIapIaaXPnpaXPpnXjjjjjjjjnjjjn寫成向量形式:),(,),(),()(),0(,),0(),0()0(2121npnpnpnpppppjj第15頁(yè)/共44頁(yè)(2) 絕對(duì)概率與初始概率的關(guān)系)()0()()()0()() 1 (nPpnpnppnpIaijiij或具有性質(zhì)：，絕對(duì)概率和意的為馬爾可夫鏈，則對(duì)任定理：設(shè))(10,npnIanXjjnPnpnppnpnpIaijiji)1()()1()()2(或第16頁(yè)/共44頁(yè))

8、()0(/,)() 1 (000nppaXaXPaXPaXaXPaXPnpijIaiijnIaiIajnijnjiii證： 表明n時(shí)刻的絕對(duì)概率分布完全由初始分布和n步轉(zhuǎn)移概率所確定。 IaijiinjnIainIajninjnjiiipnPaXaXaXPaXaXPaXPnp) 1(/,)2(111第17頁(yè)/共44頁(yè)（3）馬氏鏈的有限維分布 IaiiiiiiniiiiininnnnpppaXaXaXPnIaaa，nX1121210,1,0,21有：和則對(duì)任意的為齊次馬氏鏈定理：設(shè)IaiiiiiiiiniiiniiiiiIaiiniiIainiiinnnnininppppaXaXaXaXPaXa

9、XaXPaXaXPaXPaXaXaXUPaXaXaXP121111121121)0(,/,/,1101020101021證：第18頁(yè)/共44頁(yè)nnnnnniiiiiiniiiiiiiiniippaXaXaXaXPpppaXaXaXP：11002111001002110/,)2()0(,) 1 (推論總結(jié)：1）齊次馬氏鏈多步轉(zhuǎn)移概率可由一步轉(zhuǎn)移概率確定； nPnP)(2) 絕對(duì)概率可由初始概率及n步轉(zhuǎn)移概率確定Iaijijinppnp)()0()(3)有限維分布可完全由初始概率及一步轉(zhuǎn)移概率確定。第19頁(yè)/共44頁(yè)賭徒輸光問(wèn)題，求甲輸光的概率。，輸?shù)母怕蕿榈母怕蕿榧宗A光為止。設(shè)在每一局中局，直到

10、兩人中一個(gè)輸者一元，沒有和元，每賭一局輸者給贏賭徒乙有元，列賭博，賭徒甲有兩賭徒甲、乙進(jìn)行一系pqpa16解：定義Xn為第n次時(shí)甲的賭資，其狀態(tài)空間為：狀態(tài)的概率。狀態(tài)先于到達(dá)出發(fā)到達(dá)點(diǎn)，現(xiàn)在問(wèn)題是求質(zhì)點(diǎn)從，cabaccI0, 2 , 1 , 0第20頁(yè)/共44頁(yè)，由全概率公式：，是吸收狀態(tài)，故和，由于即要計(jì)算的概率，出發(fā)轉(zhuǎn)移到狀態(tài)表示甲從狀態(tài)設(shè)01000caiuucuiu1i1ii0bapq 11, 2 , 1,11ciqupuuiii和事件的概率。后再輸光”這兩事件的處于狀態(tài)）去輸了一局（概率為后再輸光”和“他接下），處于狀態(tài)概率為“他接下去贏了一局（等于元開始賭到輸光的概率含義為：甲從有

11、11iqipi第21頁(yè)/共44頁(yè)程式實(shí)質(zhì)上是一個(gè)差分方由于) 1 ( , 1 qp 21, 2 , 111ciuuruuiiii 30, 10cuu，pqr邊界條件為其中cuuuiuuuuuuuuciuuuurcciiiiii010101201112, 1, 2 , 1)2(1令等差數(shù)列式：由的情況，先討論第22頁(yè)/共44頁(yè)1, 2 , 11ciciuic，uuc1100得代入最后一式將babu，b，qp，b故乙輸光的概率為：由于甲、乙地位對(duì)稱、性大，即賭本小者輸光的可能成正比賭本甲輸光的概率與乙的情況下在表明babca：uaia1,求得甲輸光的概率為令賭博遲早要結(jié)束。人要輸光，表明甲、乙中必

12、有一由于1bauu第23頁(yè)/共44頁(yè) )4(1121110111rrruuuruuruuqprckckiickiiikc式得：由的情況。，即現(xiàn)討論cccrrurruuuk11111111, 0, 0110有由于令第24頁(yè)/共44頁(yè) ccbbccaacckkrrrurrruakckrrru1,11, 2 , 1,14得甲輸光的概率令式得代入!, 1光兩人中總有一個(gè)人要輸由bauu第25頁(yè)/共44頁(yè)為隨機(jī)游動(dòng)。則稱有相同的分布，令變量序列，且是整數(shù)值獨(dú)立隨機(jī)例：隨機(jī)游動(dòng)，設(shè)0,0210210nXXnnkkn是時(shí)齊馬氏鏈。隨機(jī)游動(dòng)，隨機(jī)游動(dòng)是質(zhì)點(diǎn)的位置，則表示在時(shí)刻，于是次移動(dòng)的長(zhǎng)度為整數(shù)間質(zhì)點(diǎn)移動(dòng)

13、一次，第，每隔一個(gè)單位時(shí)為運(yùn)動(dòng)的質(zhì)點(diǎn)，初始位置上作點(diǎn)在直線上的整數(shù)格點(diǎn)隨機(jī)游動(dòng)可以解釋為質(zhì)0,0,000nXnXnXkXnnnkknk第26頁(yè)/共44頁(yè)111100110011110010,/,1nnnnnnnnniXiXiXPiXiXiXPiXiXiXiXPiii，n和整數(shù)對(duì)任意的.,121101100101100nnnnnnnnniiPiiiiiPiiiiiP111/nnnnnnniiPiXiXP同理：ijnnnijpijPiXjXPp1/一步轉(zhuǎn)移概率為：第27頁(yè)/共44頁(yè)是一隨機(jī)過(guò)程。時(shí)質(zhì)點(diǎn)的位置，則表示時(shí)刻若以格到達(dá)向左移一或以概率右移動(dòng)一格到達(dá)向，則下一步質(zhì)點(diǎn)以概率如某一時(shí)刻質(zhì)點(diǎn)位于

14、，點(diǎn)在直線上作隨機(jī)游動(dòng)無(wú)限制的隨機(jī)游動(dòng)：質(zhì)例0,111.nXnX，ipq，ipinn，I21012 其狀態(tài)空間為：齊次馬氏鏈。為隨機(jī)游動(dòng)，它是一個(gè)則第次向左移動(dòng)一格，第次向右移動(dòng)一格令nknnkX01,1幾種特殊的隨機(jī)游動(dòng)第28頁(yè)/共44頁(yè)IjiijpIipqppp：iiiiii, 1, 110 ,01,1,一步轉(zhuǎn)移概率為)(npnij步轉(zhuǎn)移概率下面求它的次，則次，向左次轉(zhuǎn)移中向右如果，次轉(zhuǎn)移的結(jié)果是從，而向右的概率為，向左的概率為可能已知每次轉(zhuǎn)移只有兩種21mmnjinpq，ijmmnmm) 1(121212,221ijnmijnm第29頁(yè)/共44頁(yè)12121)(,mnCmmnijnmm：是

15、任意的，選取方法為步向左步向右，哪步中哪偶數(shù)，且在必須是只能取整數(shù)，所以由于112,( )0mmmnijCp qnjip nnji 偶 奇第30頁(yè)/共44頁(yè)例 帶一個(gè)吸收壁的隨機(jī)游動(dòng)它的一步轉(zhuǎn)移概率為：，即非負(fù)整數(shù)集合，其狀態(tài)空間為：，這樣的狀態(tài)稱為吸收態(tài)停留在這個(gè)零狀態(tài)了，時(shí)，就點(diǎn)一旦到達(dá)僅作一點(diǎn)改變，即當(dāng)質(zhì)其規(guī)律如上例，這里動(dòng)質(zhì)點(diǎn)在直線上作隨機(jī)游, 2 , 1 , 00,IXnIiiIjiijppIiiqpppiiiiii, 1, 1, 110, 1001,1,1iip充要條件是注：狀態(tài)為吸收狀態(tài)的第31頁(yè)/共44頁(yè)pqpqP000001210210一步轉(zhuǎn)移矩陣為：矩陣為：吸收狀態(tài)，則一步

16、轉(zhuǎn)移兩狀態(tài)為，其中狀態(tài)空間為動(dòng)。若隨機(jī)游動(dòng)的帶兩個(gè)吸收壁的隨機(jī)游例aaI0, 2 , 1 , 0第32頁(yè)/共44頁(yè)100000000000000000001pqqpqPajpjpppaiiijpaiqpaippajjaaiiiiii0001111, 1, 1011110001,1,第33頁(yè)/共44頁(yè)104,103,102,101)0(4 , 3 , 2 , 1, 2 , 1 , 0, 4 , 3 , 2 , 1pInXnXnn，若間為：為齊次馬氏鏈，狀態(tài)空次拋球后拿球人標(biāo)號(hào)。表示如圖示，拋球規(guī)律標(biāo)號(hào)為四人相互拋一球，人的：例(1)已知開始第一人拿球，經(jīng)三次傳球后又回到 第一人的概率；(2)開始

17、第一人拿球，經(jīng)三次傳球后又回到第一 人的概率；(3)經(jīng)三次傳球后第一人拿球的概率；(4)經(jīng)三次傳球后，又回開始拿球人的概率。第34頁(yè)/共44頁(yè) 031313121021031310312102101P1342 9491319161316131319194916131613122PP第35頁(yè)/共44頁(yè) 92277277277187911879127727792277187911879133PP911/1)3() 1 (0311XXPp901911011/111, 1)2(03030XXPXPXXP第36頁(yè)/共44頁(yè)512771049110327710291101)3()0(1)3()3(1413

18、1iiippXPp45892104911039210291101)3()0(,)4(414130iiiiippiXiXP第37頁(yè)/共44頁(yè)。，傳輸錯(cuò)誤的概率為：為：設(shè)每步傳輸正確的概率需經(jīng)過(guò)若干個(gè)級(jí)每個(gè)數(shù)字的傳輸?shù)耐ㄐ畔到y(tǒng)和例：傳輸數(shù)字10110910qp，pqqpPI，nX，nXnn101 , 00,：其一步轉(zhuǎn)移概率矩陣為且狀態(tài)鏈?zhǔn)且粌蔂顟B(tài)的齊次馬氏則步傳輸出的數(shù)字表示第以傳輸后的誤碼率；真率與三級(jí)求系統(tǒng)二級(jí)傳輸后的傳設(shè)，p9 . 0) 1 (第38頁(yè)/共44頁(yè)10)0(1)0()2(0001XPp，XPp設(shè)初始分布又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,問(wèn)原字符也是1的概率是多少?qppqqpPP

19、nPnn21, 1)(有相異的特征根：由于步轉(zhuǎn)移概率矩陣解：先求出由線性代數(shù)知識(shí),可將P表示成對(duì)角陣第39頁(yè)/共44頁(yè)qp0010021212121212121ee，對(duì)應(yīng)的特征向量：即求出21212121,21eeH令：第40頁(yè)/共44頁(yè)nnnnnnnqpqpqpqpHHHHPHHP2121,21212121,212110111于是則244. 01 . 09 . 02121)3()3(820. 01 . 09 . 02121)2()2(9 . 0) 1 (3011020011ppppp別為：三級(jí)傳輸后的誤碼率分的傳真率與時(shí)，系統(tǒng)經(jīng)二級(jí)傳輸后當(dāng)?shù)?1頁(yè)/共44頁(yè)的概率為：，原發(fā)字符也是輸出為級(jí)傳輸后知系統(tǒng)經(jīng)根據(jù)貝葉斯公式，當(dāng)已11)2(n nnnnnqpqpnppnppnppXPXXpXPXXP121)0()()0(011/111/1111010111000一般可表示為：一步轉(zhuǎn)移概率矩陣氏蓮對(duì)于只有兩個(gè)狀態(tài)的馬，第42頁(yè)/共44頁(yè)1,0 ,1110babbaaP利用類似的方法,可得n步轉(zhuǎn)移概率矩陣為 bbaababaababbanpnpnpnpPnPnoooon1110)(1111 對(duì)齊次馬爾可夫鏈,雖然一步專移概率能夠完全決定馬爾可夫鏈的統(tǒng)計(jì)規(guī)律，但仍有許多理論上和實(shí)際上的問(wèn)題需要我們作進(jìn)一步的討論。第43頁(yè)/共44頁(yè)感謝您的觀看！第44頁(yè)/共44頁(yè)