隨機(jī)過程 PPT課件

函數(shù)有限維且其條件分布，及若對任意的正整數(shù)為隨機(jī)過程設(shè)、定義0,111221121nnnxt，X，xt，XxtXPtttn，TttX馬爾可夫過程 111111/nnnnnnnnxtXxtXPxt，X，xtXxtXP 為馬爾可夫過程。則稱TttX,2、馬爾可夫性系統(tǒng)在已知現(xiàn)在所處狀態(tài)的條件下，它將來所處的狀態(tài)與過去所處的狀態(tài)無關(guān)。第1頁/共44頁4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念 nT，n，aaXnXnttXaaItXn, 2 , 1 , 0, 2 , 1 , 0,)(, 2 , 1 , 0,2121即參數(shù)空間為：移可列個(gè)時(shí)刻發(fā)生狀態(tài)轉(zhuǎn)且過程只在之一，則所能取的狀態(tài)必為所處狀態(tài)記為：在每一時(shí)刻而的狀態(tài)空間為假定馬爾可夫過程第2頁/共44頁即條件概率滿足：時(shí)刻以前的狀態(tài)無關(guān)過程在而與時(shí)刻的狀態(tài)有關(guān)只與過程在的概率時(shí)刻處在任一狀態(tài)在定義：若過程,)(. 1mmakmtXkmimkmmmkmimikmiimimikmaXaXPaXaXaXaXP/,/1111簡稱馬氏鏈。為馬爾可夫鏈則稱此隨機(jī)過程，nXn0,4.1 馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念第3頁/共44頁 參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過程稱為馬爾可夫鏈。第4頁/共44頁2、馬氏鏈的轉(zhuǎn)移概率/,m kjmiijP XaXapm mkkmmpakmkamijji,：狀態(tài)的轉(zhuǎn)移概率，記為轉(zhuǎn)移到時(shí)刻步，在狀態(tài)經(jīng)時(shí)刻處于為馬氏鏈在iajamkm稱條件概率氏鏈。下面我們僅討論齊次馬次的，無關(guān)，則稱馬氏鏈為齊與若有關(guān)，與一般均為正整數(shù)mkmmpkmjikmmpkmjiijij,第5頁/共44頁3、一步轉(zhuǎn)移概率及矩陣即得一步轉(zhuǎn)移概率在上面轉(zhuǎn)移概率中，取1k/1,1imjmijijaXaXPmmpp構(gòu)成的矩陣由所有的一步轉(zhuǎn)移概率ijp稱為馬氏鏈的一步轉(zhuǎn)移概率矩陣nnppppppP2122211211第6頁/共44頁IjaiijjiijijIapIaapp1)2(,0) 1 (具有性質(zhì)：矩陣稱為隨機(jī)矩陣。性質(zhì)的、，滿足和為即矩陣中任一和元素之個(gè)狀態(tài)是必然事件，轉(zhuǎn)移到狀態(tài)空間的某一即從)2() 1 (1ia第7頁/共44頁4.多步轉(zhuǎn)移概率的確定 npnpnpnpnpnpnP：naXaXPnmmpnpnnknnimjnmijij2222111211/,) 1 (步轉(zhuǎn)移概率矩陣為對應(yīng)的步轉(zhuǎn)移概率：即得時(shí)、在轉(zhuǎn)移概率中?。?，nP即也滿足性質(zhì)也為隨機(jī)矩陣)( IanpIaanpiIaijjiijj. 1)2(,. 0) 1 (第8頁/共44頁通常我們還規(guī)定： jijimmppijijij01,0(2)、切普曼柯爾莫哥洛夫方程 （Chapman-Kolmogorov） IarjirijjinrknpkpnpI，aan，nX)(, 00,有：整數(shù)則對任意的為齊次馬氏鏈定理：設(shè)方程。簡稱柯爾莫哥洛夫方程，此乃有名的切普曼kc knPkPnP或第9頁/共44頁ramjaiakmnm直觀解釋對照圖第10頁/共44頁 imIarkmimjnmrkmimimIajnmrkmimimjnmimimjnmijaXPaXaXaXPaXaXPaXPaXaXaXPaXPaXaXPaXaXPnprr,/,/馬爾可夫性有：證明：利用概率公式及第11頁/共44頁 knpkpaXaXPaXaXPrjIairrkmjnmIaimrkmrr/用矩陣形式表示為： knPkPnPnPnPnPPPPnPPPPnnPPn，Pk)()2() 1 ()3(3) 1 () 1 ()2(2) 1()(132為任意整數(shù)時(shí)有：一般當(dāng)時(shí)：時(shí)有：則在上式取 表明一步轉(zhuǎn)移概率是最基本的，它確定了馬氏鏈的狀態(tài)轉(zhuǎn)移的統(tǒng)計(jì)規(guī)律。第12頁/共44頁全概率公式v若有N個(gè)互斥事件Bn（n=1,2,N），它的并集等于整個(gè)樣本空間，則NiiiBPBAPAP1)()|()(第13頁/共44頁（1）離散型隨機(jī)變量的條件分布律及條件期望iijjijjipyjipyYxXPYX02 , 1,，有若對于給定的聯(lián)合分布律：是兩個(gè)離散型隨機(jī)變量設(shè)定義jiijiijiijyYPpxpxyYXE11/的條件分布律；關(guān)于為則稱jjijjijiyYXppyYxXPp/的條件期望為：關(guān)于則jyYX第14頁/共44頁5、初始概率與絕對概率 。和為和分布和絕對分布，簡記為馬氏鏈的初始和絕對概率，并分別稱為馬氏鏈的初始概率和，和分別稱為馬爾可夫鏈定義：設(shè))()0(),(),0()()()0(,0,) 1 (0nppIanpIapIaaXPnpaXPpnXjjjjjjjjnjjjn寫成向量形式:),(,),(),()(),0(,),0(),0()0(2121npnpnpnpppppjj第15頁/共44頁(2) 絕對概率與初始概率的關(guān)系)()0()()()0()() 1 (nPpnpnppnpIaijiij或具有性質(zhì)：，絕對概率和意的為馬爾可夫鏈，則對任定理：設(shè))(10,npnIanXjjnPnpnppnpnpIaijiji)1()()1()()2(或第16頁/共44頁)()0(/,)() 1 (000nppaXaXPaXPaXaXPaXPnpijIaiijnIaiIajnijnjiii證： 表明n時(shí)刻的絕對概率分布完全由初始分布和n步轉(zhuǎn)移概率所確定。 IaijiinjnIainIajninjnjiiipnPaXaXaXPaXaXPaXPnp) 1(/,)2(111第17頁/共44頁（3）馬氏鏈的有限維分布 IaiiiiiiniiiiininnnnpppaXaXaXPnIaaa，nX1121210,1,0,21有：和則對任意的為齊次馬氏鏈定理：設(shè)IaiiiiiiiiniiiniiiiiIaiiniiIainiiinnnnininppppaXaXaXaXPaXaXaXPaXaXPaXPaXaXaXUPaXaXaXP121111121121)0(,/,/,1101020101021證：第18頁/共44頁nnnnnniiiiiiniiiiiiiiniippaXaXaXaXPpppaXaXaXP：11002111001002110/,)2()0(,) 1 (推論總結(jié)：1）齊次馬氏鏈多步轉(zhuǎn)移概率可由一步轉(zhuǎn)移概率確定； nPnP)(2) 絕對概率可由初始概率及n步轉(zhuǎn)移概率確定Iaijijinppnp)()0()(3)有限維分布可完全由初始概率及一步轉(zhuǎn)移概率確定。第19頁/共44頁賭徒輸光問題，求甲輸光的概率。，輸?shù)母怕蕿榈母怕蕿榧宗A光為止。設(shè)在每一局中局，直到兩人中一個(gè)輸者一元，沒有和元，每賭一局輸者給贏賭徒乙有元，列賭博，賭徒甲有兩賭徒甲、乙進(jìn)行一系pqpa16解：定義Xn為第n次時(shí)甲的賭資，其狀態(tài)空間為：狀態(tài)的概率。狀態(tài)先于到達(dá)出發(fā)到達(dá)點(diǎn)，現(xiàn)在問題是求質(zhì)點(diǎn)從，cabaccI0, 2 , 1 , 0第20頁/共44頁，由全概率公式：，是吸收狀態(tài)，故和，由于即要計(jì)算的概率，出發(fā)轉(zhuǎn)移到狀態(tài)表示甲從狀態(tài)設(shè)01000caiuucuiu1i1ii0bapq 11, 2 , 1,11ciqupuuiii和事件的概率。后再輸光”這兩事件的處于狀態(tài)）去輸了一局（概率為后再輸光”和“他接下），處于狀態(tài)概率為“他接下去贏了一局（等于元開始賭到輸光的概率含義為：甲從有11iqipi第21頁/共44頁程式實(shí)質(zhì)上是一個(gè)差分方由于) 1 ( , 1 qp 21, 2 , 111ciuuruuiiii 30, 10cuu，pqr邊界條件為其中cuuuiuuuuuuuuciuuuurcciiiiii010101201112, 1, 2 , 1)2(1令等差數(shù)列式：由的情況，先討論第22頁/共44頁1, 2 , 11ciciuic，uuc1100得代入最后一式將babu，b，qp，b故乙輸光的概率為：由于甲、乙地位對稱、性大，即賭本小者輸光的可能成正比賭本甲輸光的概率與乙的情況下在表明babca：uaia1,求得甲輸光的概率為令賭博遲早要結(jié)束。人要輸光，表明甲、乙中必有一由于1bauu第23頁/共44頁 )4(1121110111rrruuuruuruuqprckckiickiiikc式得：由的情況。，即現(xiàn)討論cccrrurruuuk11111111, 0, 0110有由于令第24頁/共44頁 ccbbccaacckkrrrurrruakckrrru1,11, 2 , 1,14得甲輸光的概率令式得代入!, 1光兩人中總有一個(gè)人要輸由bauu第25頁/共44頁為隨機(jī)游動(dòng)。則稱有相同的分布，令變量序列，且是整數(shù)值獨(dú)立隨機(jī)例：隨機(jī)游動(dòng)，設(shè)0,0210210nXXnnkkn是時(shí)齊馬氏鏈。隨機(jī)游動(dòng)，隨機(jī)游動(dòng)是質(zhì)點(diǎn)的位置，則表示在時(shí)刻，于是次移動(dòng)的長度為整數(shù)間質(zhì)點(diǎn)移動(dòng)一次，第，每隔一個(gè)單位時(shí)為運(yùn)動(dòng)的質(zhì)點(diǎn)，初始位置上作點(diǎn)在直線上的整數(shù)格點(diǎn)隨機(jī)游動(dòng)可以解釋為質(zhì)0,0,000nXnXnXkXnnnkknk第26頁/共44頁111100110011110010,/,1nnnnnnnnniXiXiXPiXiXiXPiXiXiXiXPiii，n和整數(shù)對任意的.,121101100101100nnnnnnnnniiPiiiiiPiiiiiP111/nnnnnnniiPiXiXP同理：ijnnnijpijPiXjXPp1/一步轉(zhuǎn)移概率為：第27頁/共44頁是一隨機(jī)過程。時(shí)質(zhì)點(diǎn)的位置，則表示時(shí)刻若以格到達(dá)向左移一或以概率右移動(dòng)一格到達(dá)向，則下一步質(zhì)點(diǎn)以概率如某一時(shí)刻質(zhì)點(diǎn)位于，點(diǎn)在直線上作隨機(jī)游動(dòng)無限制的隨機(jī)游動(dòng)：質(zhì)例0,111.nXnX，ipq，ipinn，I21012 其狀態(tài)空間為：齊次馬氏鏈。為隨機(jī)游動(dòng)，它是一個(gè)則第次向左移動(dòng)一格，第次向右移動(dòng)一格令nknnkX01,1幾種特殊的隨機(jī)游動(dòng)第28頁/共44頁IjiijpIipqppp：iiiiii, 1, 110 ,01,1,一步轉(zhuǎn)移概率為)(npnij步轉(zhuǎn)移概率下面求它的次，則次，向左次轉(zhuǎn)移中向右如果，次轉(zhuǎn)移的結(jié)果是從，而向右的概率為，向左的概率為可能已知每次轉(zhuǎn)移只有兩種21mmnjinpq，ijmmnmm) 1(121212,221ijnmijnm第29頁/共44頁12121)(,mnCmmnijnmm：是任意的，選取方法為步向左步向右，哪步中哪偶數(shù)，且在必須是只能取整數(shù)，所以由于112,( )0mmmnijCp qnjip nnji 偶 奇第30頁/共44頁例 帶一個(gè)吸收壁的隨機(jī)游動(dòng)它的一步轉(zhuǎn)移概率為：，即非負(fù)整數(shù)集合，其狀態(tài)空間為：，這樣的狀態(tài)稱為吸收態(tài)停留在這個(gè)零狀態(tài)了，時(shí)，就點(diǎn)一旦到達(dá)僅作一點(diǎn)改變，即當(dāng)質(zhì)其規(guī)律如上例，這里動(dòng)質(zhì)點(diǎn)在直線上作隨機(jī)游, 2 , 1 , 00,IXnIiiIjiijppIiiqpppiiiiii, 1, 1, 110, 1001,1,1iip充要條件是注：狀態(tài)為吸收狀態(tài)的第31頁/共44頁pqpqP000001210210一步轉(zhuǎn)移矩陣為：矩陣為：吸收狀態(tài)，則一步轉(zhuǎn)移兩狀態(tài)為，其中狀態(tài)空間為動(dòng)。若隨機(jī)游動(dòng)的帶兩個(gè)吸收壁的隨機(jī)游例aaI0, 2 , 1 , 0第32頁/共44頁100000000000000000001pqqpqPajpjpppaiiijpaiqpaippajjaaiiiiii0001111, 1, 1011110001,1,第33頁/共44頁104,103,102,101)0(4 , 3 , 2 , 1, 2 , 1 , 0, 4 , 3 , 2 , 1pInXnXnn，若間為：為齊次馬氏鏈，狀態(tài)空次拋球后拿球人標(biāo)號。表示如圖示，拋球規(guī)律標(biāo)號為四人相互拋一球，人的：例(1)已知開始第一人拿球，經(jīng)三次傳球后又回到 第一人的概率；(2)開始第一人拿球，經(jīng)三次傳球后又回到第一 人的概率；(3)經(jīng)三次傳球后第一人拿球的概率；(4)經(jīng)三次傳球后，又回開始拿球人的概率。第34頁/共44頁 031313121021031310312102101P1342 9491319161316131319194916131613122PP第35頁/共44頁 92277277277187911879127727792277187911879133PP911/1)3() 1 (0311XXPp901911011/111, 1)2(03030XXPXPXXP第36頁/共44頁512771049110327710291101)3()0(1)3()3(14131iiippXPp45892104911039210291101)3()0(,)4(414130iiiiippiXiXP第37頁/共44頁。，傳輸錯(cuò)誤的概率為：為：設(shè)每步傳輸正確的概率需經(jīng)過若干個(gè)級每個(gè)數(shù)字的傳輸?shù)耐ㄐ畔到y(tǒng)和例：傳輸數(shù)字10110910qp，pqqpPI，nX，nXnn101 , 00,：其一步轉(zhuǎn)移概率矩陣為且狀態(tài)鏈?zhǔn)且粌蔂顟B(tài)的齊次馬氏則步傳輸出的數(shù)字表示第以傳輸后的誤碼率；真率與三級求系統(tǒng)二級傳輸后的傳設(shè)，p9 . 0) 1 (第38頁/共44頁10)0(1)0()2(0001XPp，XPp設(shè)初始分布又已知系統(tǒng)經(jīng)n級傳輸后輸出為1,問原字符也是1的概率是多少?qppqqpPPnPnn21, 1)(有相異的特征根：由于步轉(zhuǎn)移概率矩陣解：先求出由線性代數(shù)知識,可將P表示成對角陣第39頁/共44頁qp0010021212121212121ee，對應(yīng)的特征向量：即求出21212121,21eeH令：第40頁/共44頁nnnnnnnqpqpqpqpHHHHPHHP2121,21212121,212110111于是則244. 01 . 09 . 02121)3()3(820. 01 . 09 . 02121)2()2(9 . 0) 1 (3011020011ppppp別為：三級傳輸后的誤碼率分的傳真率與時(shí)，系統(tǒng)經(jīng)二級傳輸后當(dāng)?shù)?1頁/共44頁的概率為：，原發(fā)字符也是輸出為級傳輸后知系統(tǒng)經(jīng)根據(jù)貝葉斯公式，當(dāng)已11)2(n nnnnnqpqpnppnppnppXPXXpXPXXP121)0()()0(011/111/1111010111000一般可表示為：一步轉(zhuǎn)移概率矩陣氏蓮對于只有兩個(gè)狀態(tài)的馬，第42頁/共44頁1,0 ,1110babbaaP利用類似的方法,可得n步轉(zhuǎn)移概率矩陣為 bbaababaababbanpnpnpnpPnPnoooon1110)(1111 對齊次馬爾可夫鏈,雖然一步專移概率能夠完全決定馬爾可夫鏈的統(tǒng)計(jì)規(guī)律，但仍有許多理論上和實(shí)際上的問題需要我們作進(jìn)一步的討論。第43頁/共44頁感謝您的觀看！第44頁/共44頁