《概率論與數(shù)理統(tǒng)計》經(jīng)典課件 隨機過程

2021-5-26 1 概 率 論 與 數(shù) 理 統(tǒng) 計 3 關 鍵 詞 ： 隨 機 過 程 狀 態(tài) 和 狀 態(tài) 空 間 樣 本 函 數(shù) 有 限 維 分 布 函 數(shù) 均 值 函 數(shù) 方 差 函 數(shù) 自 相 關 函 數(shù) 自 協(xié) 方 差 函 數(shù) 互 相 關 函 數(shù) 互 協(xié) 方 差 函 數(shù) 正 態(tài) 過 程 獨 立 增 量 過 程 泊 松 過 程 維 納 過 程第 十 章 隨 機 過 程 及 其 統(tǒng) 計 描 述 4 1 隨 機 過 程 的 概 念 隨 機 過 程 被 認 為 是 概 率 論 的 “ 動 力 學 ” 部 分 ， 即 它的 研 究 對 象 是 隨 時 間 演 變 的 隨 機 現(xiàn) 象 ， 它 是 從 多 維 隨 機變 量 向 一 族 (無 限 多 個 )隨 機 變 量 的 推 廣 。 給 定 一 隨 機 試 驗 E， 其 樣 本 空 間 S=e， 將 樣 本 空 間中 的 每 一 元 作 如 下 對 應 ， 便 得 到 一 系 列 結 果 ：( ( ), ( ),e X e Y e 1 2( ( ), ( ), ( ),ne X e X e X e 1 2( ( ), ( ), ),e X e X e ( ),e X e( ( , ) ( , ),e X e t t X 一 維即 隨 機 變 量( , )X Y即 二 維 隨 機 變 量1 2( , , )X X 即 隨 機 序 列1 2( , , , )nX X X n 維即 隨 機 變 量( ( ), ( , )X t t 即 隨 機 過 程 5 一 維 、 二 維 或 一 般 的 多 維 隨 機 變 量 的 研 究 是 概 率 論 的 研 究 內(nèi) 容 ， 而隨 機 序 列 、 隨 機 過 程 則 是 隨 機 過 程 學 科 的 研 究 內(nèi) 容 。 從 前 面 的 描 述 中 看到 ， 它 的 每 一 樣 本 點 所 對 應 的 ， 是 一 個 數(shù) 列 或 是 一 個 關 于 t的 函 數(shù) 。 ( , ), , ,( , ), ,T X e t e S t T e tS T t T X e tX e t e S t T 設 是 一 無 限 實 數(shù) 集 ， 是 對 應 于 和 的 實 數(shù) ， 即 為 定 義 在 和 上 的 二 元 函 數(shù) 。 若 此 函 數(shù) 對 任 意 固 定 的 是 一 個 隨 機 變 量 ， 定 義 ： 則 稱 是 隨 機 過 程 ；, ( , )T e t X e t為 參 數(shù) 集 ， 對 固 過 程定 的 和 稱 為 的 狀 態(tài) ； ( , )X e t 所 有 可 能 的 值 狀的 全 體 稱 為 態(tài) 空 間 ；( , ) ( )X e t X t今 后 將 簡 記 為 ( , ), ,t X e t e S t T e 對 于 隨 機 過 程 進 行 一 次 試 驗 ， 即 給 定 ，它 是 的 函 數(shù) ， 稱 為 隨 機 過 程 的 樣 本 函 數(shù) 。 6 例 1： 拋 擲 一 枚 硬 幣 的 試 驗 ， 樣 本 空 間 是 S=H,T， 現(xiàn) 定 義 ： 1( ) , ( ) ( ) 2 ( ), ,cos t HX t t P H P Tt TX t t 當 出 現(xiàn) ， 其 中當 出 現(xiàn)則 是 一 隨 機 過 程 。, ( )t X t cos t t解 ： 對 任 意 固 定 的 是 隨 機 變 量 ， 取 值 為 和 1 2 3 4( )X t 1( )X t2( )X t t1( ( ) ) ( ( ) ) 2P X t cos t P X t t 1 2( ) , ( )X t cos t X t t 此 隨 機 過 程 的 樣 本 函 數(shù) 只 有 兩 個 ， 即 7 2 ( ) ( ), , ,(0,2 ), ( ) ( ) ,(0,2 ) ,( ) ( ), X t cos t tt X t cos tx t cos t 例 ： 考 慮 式 中 和 是 正 常 數(shù) , 是 在 上 服 從 均 勻 分 布 的 隨 機 變 量 , 這 是 一 個 隨 機 過 程 。 對 每 一 固 定 的 時 刻 是 隨 機 變 量 的 函 數(shù) ,從 而 也 是 隨 機 變 量 。 它 的 狀 態(tài) 空 間 是 - . 在 內(nèi) 隨 機 取 一 數(shù) 相 應 的 就 得 到 一 個 樣 本 函 數(shù)這 族 樣 本 函 數(shù) 的 差 異 在 于 它 們 相 位 的 不 同 , 故 這 一 過 程 稱 為 隨 機 相 位 正 弦 波 。 8 3 ( ) , 0,1 ( ) ( ) 0,1( ) .X t Vcos t tV X tt X t Vcos t Vcos t vx t vcos t 例 ： 設 其 中 是 常 數(shù) ；在 上 服 從 均 勻 分 布 ,則 是 一 個 隨 機 過 程 。對 每 一 固 定 的 ， 是 隨 機 變 量 乘 以 常數(shù) ， 故 也 是 隨 機 變 量 ,對 上 隨 機 變 量 取 一 值 , 就 得 到 相 應 的 一 個 樣 本 函 數(shù) 9 4 120( ) 0, 0 ( )( ), 00,1,2, .X t t t X tX t t 例 ： 設 某 城 市 的 急 救 中 心 電 話 臺 遲 早 會 接 到 用 戶 的 呼 叫 。 以 表 示 時 間 間 隔 內(nèi) 接 到 的 呼 叫 次 數(shù) ， 它 是 一 個 隨 機 變 量 ， 且 對 于 不 同 的 ， 是 不 同 的 隨 機 變 量 ， 于 是 是 一 隨 機 過 程 ， 且 它 的 狀 態(tài) 空 間 是 1t 2t 3t 4t1t 2t 4t3t1423 1( )x t2( )x t( )x t t 例 5： 考 慮 拋 擲 一 顆 骰 子 的 試 驗 ： 16(1) ( 1) 1,2, ( ) , 1,2,3,4,5,6, 1nn nnX n n nX P X i iX n 設 是 第 次 拋 擲 的 點 數(shù) ， 對 于 的 不 同 值 ，是 隨 機 變 量 ， 服 從 相 同 的 分 布 ， 因 而 構 成 一 隨 機 過 程 ， 稱 為 伯 努 利 過 程 或 伯 努 利 隨 機 序 列 , 它 的 狀 態(tài) 空 間 為 1,2,3,4,5,6 。 (2) , 11,2,3,4,5,6n nY n Y n設 是 前 次 拋 擲 中 出 現(xiàn) 的 最 大 點 數(shù) , 也 是 一 隨 機 過 程 ， 它 的 狀 態(tài) 空 間 仍 是 。 下 面 分 別 給 出 它 們 的 一 條 樣 本 函 數(shù) ： n87654321nx321654 nx(1) (2) n87654321ny321654 ny 11 隨 機 過 程 的 分 類 ： 隨 機 過 程 可 根 據(jù) 參 數(shù) 集 T和 任 一 時 刻 的 狀 態(tài) 分 為 四 類 ， 參 數(shù) 集 T可 分 為 離 散 集 和 連 續(xù) 集 兩 種 情 況 ， 任 一 時 刻 的 狀 態(tài) 分 別 為 離 散 型 隨機 變 量 和 連 續(xù) 型 隨 機 變 量 兩 種 ：1. 連 續(xù) 參 數(shù) 連 續(xù) 型 的 隨 機 過 程 ， 如 例 2， 例 32. 連 續(xù) 參 數(shù) 離 散 型 的 隨 機 過 程 ， 如 例 1， 例 43. 離 散 參 數(shù) 離 散 型 的 隨 機 過 程 ， 如 例 54. 離 散 參 數(shù) 連 續(xù) 型 的 隨 機 過 程 ， 1 2 ,2 , , ( ), , , , , ( )n nT t t n t X tX X X X X n t 對 于 隨 機 相 位 正 弦 波 ， 若 只 在 時 間 集 上 觀 察 ， 就 得 到 例 子 隨 機 序 列 是 連 續(xù) 型 隨如 下 ： 機 變 量 。 12 2 隨 機 過 程 的 統(tǒng) 計 描 述 分 布 函 數(shù)兩 種 描 述 特 征 數(shù)( ) 一 隨 機 過 程 的 分 布 函 數(shù) 族 1 2 1 2 1 21 1 11 2 2 222 1( , , , , ) ( ) , ( )( 2,3, ) , ,( ), ( ), ( ) , 1,2,( ),( , , ; , , ) ( ), , ( )X n n nn iX n n n niF x x x t t t P X t x X t x X tn n t t t Tn X t X t X t x R i nX t t TF x x x t t t t T X t tn xnT 一 般 地 ， 對 任 意 個 不 同 的 時 刻 ，維 隨 機 變 量 的 分 布 函 數(shù) ：稱 為 隨 機 變 ； ，量 的 稱 為 的維 分 布 函 數(shù) 維 分 布 函 數(shù) 族 1 2 1 2( , , ; , , ), 1,2, ( ),X n n iF x x x t t t n t TX t t T 有 限 維 分 布一 般 地 ，稱 為 隨 機 過 程 的它 完 全 確 定 了 隨 機 過 程 函 數(shù) 族的 統(tǒng) 計 特 性 ( ), , , ( ),( , ) ),( , ) (X XF x t P X t x x RX t t T t T X t t TF x t t T 設 隨 機 ，過 程 對 每 一 固 定 的稱 為 隨 機 一過 程 的稱 維 分 布 函 數(shù)一為 ，維 分 布 函 數(shù) 族 13 例 1： 拋 擲 一 枚 硬 幣 的 試 驗 ， 定 義 一 隨 機 過 程 ： 1 2cos 1( ) , ( ) ( ) ,2 ( ) (1) ( ;0) ( ;1); (2) ( , ;0,1);t HX t t P H P Tt TX t F x F xF x x 出 現(xiàn) ， 設出 現(xiàn)試 確 定 的 ： 一 維 分 布 函 數(shù) ，二 維 分 布 函 數(shù) 1 (0) 0 HX T 出 現(xiàn)解 ： 出 現(xiàn) 0 01( ;0) 0 12 1 1xF x xx 故1 (1) 1 HX T 出 現(xiàn)出 現(xiàn) 0 11( ;1) 1 12 1 1xF x xx 故 14 例 1： 拋 擲 一 枚 硬 幣 的 試 驗 ， 定 義 一 隨 機 過 程 ： 1 2cos 1( ) , ( ) ( ) ,2 ( ) (1) ( ;0) ( ;1); (2) ( , ;0,1);t HX t t P H P Tt TX t F x F xF x x 出 現(xiàn) ， 設出 現(xiàn)試 確 定 的 ： 一 維 分 布 函 數(shù) ，二 維 分 布 函 數(shù) 1, 1 (0), (1) 0, 1 HX X T 出 現(xiàn)出 現(xiàn) 1 21 21 2 1 2120 1 1 1 0( , ;0,1) 1 1 1x xx xF x x x x 且 或故 且 其 他 1 2 3 4( )X t 1( )X t2( )X t t1x2x 15 2 ( ) , , 0,130, , , , ( )4 4 2X t Vcos t t Vt X t 例 ： 設 隨 機 過 程 ， 在 上 均 勻 分 布 求 在 時 的 密 度 函 數(shù) 。 , 0,t cos t a cos t 解 ： 對 給 定 的 若 記 ， ( )X t aV則 的 密 度 函 數(shù) 為 ： 1 0 11 ; 0 X V xx aaf x t f a a 其 他0 1a cos 1 0 1;0 0 X xf x 于 是 其 他2 ,4 2a cos 22 0; 24 0 X xf x 其 他23 ,4 2a cos 22 03; 24 0 X xf x 其 他1,a cos 1 1 0; 0 X xf x 其 他0,2a cos 0 12P X 16 2 22 22 ( ), ,( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) X XX X XX X X t t Tt E X t t E X tt D t E X t tt t 均 值 函 數(shù) 均 方 值 函給 定 隨 機 過 程 - 數(shù)方 差 函 數(shù)標 準 差 函 數(shù)-各 數(shù) 字 特 征 之 間 的 關 系 如 下 ：(二 ) 隨 機 過 程 的 數(shù) 字 特 征 1 21 2 1 2 1 2 1 21 1 2 2,( , ) ( ) ( )( , ) ( ), ( ) ( ) ( ) ( ) ( ) ( ) ( )XXXX X Xt t TR t t E X t X tC t t Cov X t X tE X t t X t t 又 設 任 自 相 關 函 數(shù) 自 協(xié)意 方 差 函 數(shù) 2 ,X Xt R t t 1 2 1 2 1 2, ,X X X XC t t R t t t t 2 2, ,X X X Xt C t t R t t t 17 2( ), , ( )( ) X t t T t T E X tX t 隨 機 過 程 ， 如 果 對 每 一 都 存 在 ， 則 稱 是 ， 二 階 矩 過 程 的 均 值 函 數(shù) 和 相 關二 階 函 數(shù)定 總義 ： 是程 矩 過 存 在 的 。 1 2 1 2( ), 1 , , , ( ), ( ), ( )( ), nnX t t T n t t t TX t X t X t nX t t T 是 一 隨 機 過 程 ， 若 它 的 每 一 個 有 限 維 分 布 都 是 正 態(tài) 分 布 ， 即 對 任 意 整 數(shù) 及 任 意服 從 維 正 態(tài) 分 布 ， 則 稱 是正 態(tài) 過 程 的 全 部 統(tǒng) 計 特 性 完 全 由 它 的 均 值 函 數(shù) 和 自 協(xié) 方 差正 函定 義 ： 態(tài) 過 程 數(shù) 所 確 定 。 18 3 , ( ) 3 , , , 1,4 , 0,2 ,( )A BX t At B t TA B A N B UX t 例 ： 設 是 兩 個 隨 機 變 量 ， 試 求 隨 機 過 程 :的 均 值 函 數(shù) 和 自 相 關 函 數(shù) 。如 果 相 互 獨 立 ， 且問 的 均 值 函 數(shù) 和 自 相 關 函 數(shù) 又 是 怎 樣 的 ？ ( ) ( )X t E X t 解 ： ( ) 3 ( )tE A E B 1 2 1 2( , ) ( ) ( )XR t t E X t X t 2 21 2 1 2 1 2( ) 3( ) ( ) 9 ( ) ,t t E A t t E AB E B t t T 1,4 , 0,2A N B U當 時 ， 2 2 4( ) 1, ( ) 5, ( ) 1, ( ) 3E A E A E B E B ,A B又 因 為 獨 立 ， ( ) ( ) ( ) 1E AB E A E B 故1 2 1 2 1 2 1 2( ) 3, ( , ) 5 3( ) 12 ,X Xt t R t t t t t t t t T 19 ( ) ( ) , (0,2 ) X t acos t t 例 4： 求 隨 機 相 位 正 弦 波在 上 均 勻 分 布 的 均 值 函 數(shù) 、 方 差 函 數(shù) 和 自 相 關 函 數(shù) 。 解 ： 由 假 設 的 概 率 密 度 為 ：1 2 1 2( , ) ( ) ( )XR t t E X t X t 1 0 22 0 f 其 他( ) ( )X t E X t 于 是 E acos t 20 1 02acos t d 2 1 2 ( ) ( )E a cos t cos t 2 2 1( )2a cos t t 22 1 20 1( ) ( ) 2a cos t cos t d 2 1 22t t a cos 2 2( ) ( , ) ( )X X Xt R t t t 2( , ) 2X aR t t 20 2 25 ( ) , , , , ,(0, )( )X t A Bt Ct t A B CNX t 例 ： 設 其 中 是相 互 獨 立 ,且 都 服 從 正 態(tài) 分 布 的 隨 機 變 量 ， 試 證 明 是 正 態(tài) 過 程 ,并 求 它 的 均 值 函 數(shù) 和 自 相 關 函 數(shù) 。 ( )X t解 ： 是 正 態(tài) 過 程 1 2 1 1 2 2, , , ( ) ( ) ( )n n nu u u u X t u X t u X t 對 任 意 一 組 數(shù) 服 從 一 維 正 態(tài) 分 布 21 1 2 2 1 1 1( ) ( ) ( ) n n nn n i i i i ii i iu X t u X t u X t A u B ut C ut 而 , , ( , , )A B C A B C因 為 是 相 互 獨 立 的 正 態(tài) 變 量 ， 故 是 三 維 正 態(tài) 變 量 ，( )X t所 以 是 正 態(tài) 過 程 1 2 1 2, , , ( ), ( ), ( )n nt t t T X t X t X t n 對 任 意 一 組 實 數(shù) 服 從 維 正 態(tài) 分 布21 1 1 , ,n n ni i i i ii i iA u B ut ut A B C C 是 的 線 性 組 合 ，因 此 它 服 從 一 維 正 態(tài) 分 布 ， 續(xù) 21 下 面 計 算 均 值 函 數(shù) 和 自 相 關 函 數(shù) :( ) ( ) ( ) ( ) ( ) ( ) 0,E A E B E C E AB E AC E BC 因 為 2 2 2 2( ) ( ) ( )E A E B E C 2( )X t E A Bt Ct 故 2( ) ( ) ( ) 0E A E B t E C t 1 2 1 2( , ) ( , )X XC t t R t t 2 21 1 2 2( )( )E A Bt Ct A Bt Ct 2 2 21 2 1 2(1 )t t t t 22 ( ), ( ), ( ), ( )( ), ( ) X t Y t t Tt T X t Y tX t Y t t T 設 是 依 賴 于 同 一 參 數(shù) 的 隨 機 過 程 ，對 于 不 同 的 ( )是 不 同 的 二 維 隨二 機 變 量 ，稱 為 維 隨 機 過 程(三 ) 二 維 隨 機 過 程 的 分 布 函 數(shù) 和 數(shù) 字 特 征 1 2 1 1 1 2 1 2 1 2 1 2 1 2 1 2( ), ( ) , , ; , ,( ), ( ), ( ); ( ), ( ), ( )( , , ; , , ; , , ; , , )n mn mn n m mX t Y t t T t t t t t t Tn m X t X t X t Y t Y t Y tF x x x t t t y y y tm tn t 給 定 二 維 隨 機 過 程 ， 是 中 任 意 兩 組 實 數(shù) ，則 維 隨 機 變 量 的分 布 函 數(shù) ：稱 為 二 維 隨 機 過 程 的 維 分 布 函 數(shù) 1 2 1 1 1 2 1 2( ), ( ) , , , ; , ,( ), ( ), ( ) ( ), ( ), ( )( ) ( ) n mn mX t Y t t Tn m t t t T t t t Tn X t X t X t m Y t Y t Y tX t Y t 給 定 二 維 隨 機 過 程對 任 意 的 正 整 數(shù) ， 任 意 的 數(shù) 組維 隨 機 變 量 與 維 隨 機 變 量相 互 獨 立 ， 稱 隨 機 變 量 和 是 相 互 獨 立 的 23 ( ), ( )X t Y t關 于 數(shù) 字 特 征 ， 除 了 各 自 的 均 值 函 數(shù) 和 自 相 關 函 數(shù) ，還 有 如 下 兩 個 數(shù) 字 特 征 : 1 21 2 ( ), ( ) , ,( , ) 0, ( ) ( )XY X t Y t t t TC t t X t Y t 如 果 二 維 隨 機 過 程 對 任 意 的恒 有 稱 和 是 不 相 關 的 。 1 2 1 2 1 21 2 1 2 1 2( , ) ( ) ( ) ,( , ) ( ) ( ) ,XYYXR t t E X t Y t t t TR t t E Y t X t t t T 互 相 關 函 數(shù) 1 2 1 1 2 21 2 1 2 1 21 2 1 2 1 2 1 2( , ) ( ) ( ) ( ) ( ) ( , ) ( ) ( ) ,( , ) ( , ) ( ) ( ) ,XY X YXY X YYX YX Y XC t t E X t t Y t tR t t t t t t TC t t R t t t t t t T 互 協(xié) 方 差 函 數(shù) 24 1 2 1 2 1 21 2 1 2 1 2 1 2( ) ( ), ( ), ( )( ), ( ), ( ), ( , ), ( , ), ( , ), ( , ), ( , ), ( , ) ( ), ( , ).X Y Z X Y ZXY YZ ZX W WW t X t Y t Z tt t t R t t R t t R t tR t t R t t R t t t R t t 例 6： 隨 機 過 程 是 三 個 隨 機 過 程 之 和 ， 已 知 ， 求 ( ) ( ) ( ) ( )W t X t Y t Z t 解 ： ( ) ( ) ( ) ( )W X Y Zt t t t 1 2 1 2 1 2 1 2( , ) ( , ) ( , ) ( , )W X Y ZR t t R t t R t t R t t 1 2 1 2 1 2( , ) ( , ) ( , )XY YX XZR t t R t t R t t 1 2 1 2 1 2( , ) ( , ) ( , )ZX YZ ZYR t t R t t R t t 1 2 1 2 1 2 1 2( , ) ( , ) ( , ) ( , )W X Y ZR t t R t t R t t R t t 則 ( ) ( ) ( ) 0X Y Zt t t 若特 ，別 的 ， ( ), ( ), ( )X t Y t Z t 兩 兩 不 相 關1 2 1 2( , ) ( ) ( ) 0,XY X YR t t t t 即 1 2 1 2( , ) 0, ( , ) 0XZ YZR t t R t t 25 3 泊 松 過 程 及 維 納 過 程 0 11 0 2 1 1( ), 0 , 0( ) ( ) 0 ,( ) ( ), ( ) ( ), ( ) ( ),( ), 0 nn nX t t s t s tX t X sn t t tn X t X t X t X t X t X tX t s tt 給 定 二 階 矩 過 程 ， 對 ， 上 的 增 量 ；獨 立 的 增 量 過 若稱 隨 機 變 量 為 隨 機 過 程 在 區(qū) 間對 任 意 選 定 的 正 整 數(shù) 和 任 意 選 定 的個 增 量 相 互 獨 立 ，稱 為 ；它 具 有 “ 在 互 不 重 疊 的 區(qū) 間 上 ， 狀 態(tài) 的 增 量 是 相 互 獨 立 ”的 程這直 觀 地 說 ，一 特 征 ； 0 , ( ) ( ) ( ) ( ) ( ) ()(0 ) ) 0, (X t Xh s X t s Xs h t hX t h X s h X t X st s s t t s 若 對 任 意 的 實 數(shù) 和與 具 有 相 同 的 分 布 ， 稱 ；這 時 ， 增 量 的 分 布 函 數(shù) 與 的 分 布 函 數(shù) 相 同 ，即 只 依 賴 于 時 間 差 而 不 依 賴 于 和 本 身 ，當 增 量 具 有 平 穩(wěn) 性 時 ， 稱 相 應 的 獨 立 增 量 過 增 量程 是 具 有 平 穩(wěn) 性齊 次 的 ； 26 獨 立 增 量 過 程 的 性 質(zhì) ： ( ), 0 (0) 0,X t t X 若 是 獨 立 增 量 過 程 ， 且 則 ：( ) ( ) ( ) (0 )1. X t X t X s s t 的 有 限 維 分 布 函 數(shù) 族 可 以 由 增 量 的 分 布 所 確 定 ； 1 2 1 21 21 2 1 1 111 21 2 1 1, , ( ), ( ), ( )( ) (0), ( ) ( ) ( ) (0),., ( ) ( )( ), ( ), ( )( ) (0), ( ) ( ), , ( ) ( ) n nn n i iin n nn t t t t t tX t X t X tX t X X t X t X t X X t X tX t X t X tX t X X t X t X t X t 事 實 上 ， 對 任 意 的 及 任 意 的 ， 不 妨 設 ,則 ：即 的 分 布 函 數(shù) 可 由 ： 的 分 布 函 數(shù) 確 定 27 ( ) ( , ) ( ,2. ) X X XD t C s t D min s t設 已 知 ， 則( ) ( ) ( ) ( )XY t X t t X t 證 明 ： 記 ， 則 當 具 有 獨 立 增 量 性 時 ，(0) 0, ( ) 0, ( ) ( )Y XY E Y t D t D t 且( )Y t 也 具 有 獨 立 增 量 性 ， 2 ( ) (0) ( ) ( ) ( ) (0)E Y s Y Y t Y s Y s Y , ( , ) ( ) ( )Xs t C s t E Y s Y t 設 則 2 ( ) (0) ( ) ( ) ( )E Y s Y Y t Y s E Y s 2( ) (0) ( ) ( ) ( ) ( )XE Y s Y E Y t Y s E Y s D s , ( , ) ( )X Xt s C s t D t 同 理 當 時 可 證 得 28 (一 ) 泊 松 分 布 ( ) 0 0,( ), 0N t t tN t t 以 表 示 在 時 間 間 隔 內(nèi) 出 現(xiàn) 得 質(zhì) 點 數(shù) ，是 一 狀 態(tài) 取 非 負 整 數(shù) 、 時 間 連 續(xù) 的 隨 機 過 程 ，稱 為 計 數(shù) 過 程 。 0 0 000 0( , ) ( ) ( ) 0,( , ) ( , ) 0,1,2k N t t N t N t t tt tP t t P N t t k k 記它 表 示 時 間 間 隔 內(nèi) 出 現(xiàn) 的 質(zhì) 點 數(shù) ，其 概 率 記 為 ： 5t4t3t2t1t()N t等間隔的 不 等 間 隔 的 29 ( )N t 計 數(shù) 過 程 滿 足 如 下 條 強 度 為定 義 的 泊件： ， 稱 作 松 過 程 。1. 在 不 相 重 疊 的 區(qū) 間 上 的 增 量 具 有 獨 立 性 12. , ( , ) ( , ) 1 ( ) , ( )t P t t t P N t t t t o tN t 對 于 充 分 小 的其 中 常 數(shù) 稱 為 常 數(shù) 的 強 度 2 2 3. ( , ) , ( )jj jt P t t t P N t t t j o t 對 于 充 分 小 的 ，4. (0) 0N 30 0 0 0 0, , 0P t t t P N t t t 證 明 ： 0( )00 00 0( ) ( )( , ) , 0,1,2,!, ( ) k t tkN t t t eP t t P N t t k kkN t t t t 若 是 強 度 為 的 泊 松 過 程 ，則 ：即 0 0 0, ,P t t P t t t條 件 1 0 0, , 0P N t t N t t t 0 0 0 0 0 0, , ,P t t t P t t P t t t o t 即 0 0, 0, , 0P N t t N t t t 2 3 0 0, 1P t t t o t 條 件 ， 0 0 0 0, ,dP t t P t tdt 0 0 0 0 0( , ) 0 ( , ) 1,N t t P t t 由 即 為 初 始 條 件0( )0 0 0( , ) t tP t t e t t 解 得 ： 0t t 等 式 兩 邊 除 以 ， 令 ， 得 ： 續(xù) 31證 畢 0( , ) 1kP t t k 再 來 計 算 0 0( , ) , ,k kP t t t P N t t N t t t k 00 , ,kj P N t t t j P N t t k j 0 0 0 1 0( , ) ( , ) , ,k k k kP t t t P t t P t t P t t t o t 00 0 ( )0 0 02,3, , ( ), , , 0,1,2! k t tk kt t k t tP t t P N t t k e t t kk 如 此 重 復 ， 即 逐 次 令 就 可 求 得 ：在 內(nèi) 出 現(xiàn) 個 質(zhì) 點 的 概 率 為 ： 0 0 1 1 0 02, , , , , ,kk k j k jjP t t t P t t P t t t P t t P t t t P t t 0 1 01 , ,k kt o t P t t t o t P t t o t 0t t 兩 邊 除 以 ， 令 ， 得 ： 0 0 1 0 0, , , k k kdP t t P t t P t t t tdt 0 0, 0 1kP t t k 初 始 條 件 ， 01 0 0 01, , t tk P t t t t e t t 令 即 可 解 得 32 0 00 ( , )N t t t tt t ， 增 量 的 概 率 分 布 是 參 數(shù) 為 ( )的 泊 松 分 布由 ，且 只 與 時 間 差 有 關 ， 所 以 強 度 為 的 泊 松 過 程 是 一 齊 次 的 獨 立此 可 見 增量 過 程 。 0 0 0( ), 0 2. 0, ( ) ( ) 3. (0) 0( ), 0 N t tt t N t N t t tNN t t 若 計 數(shù) 過 程 滿 足 下 列 三 個 條 件 ：1. 它 是泊 松 過 程 也 可 用 另 一 形 式 定 義獨 立 增 量 過 程對 任 意 的 增 量則 稱 是 強 度 為 的 ：一 泊 松 過 程 33 強 度 為 的 泊 松 過 程 的 數(shù) 字 特 征 ： 0 0 01. ,E N t t E N t N t t t 0 0 002. , 0 0 0 ,N ND N t t D N t N t t tt Nt E N t t D t D N t t 特 別 地 ， ， 由 假 設 ， 可 得 ： 3. , , , , 0 N NC s t D min s t min s t s t 24. , , , , 0N N N NR s t C s t s t min s t st s t 34 ( ), 0 (5) 4; (5) 4, (7.5) 6, (12) 9; (12) 9 (5) 4;(4) (5), (5), (5), (12).N t tP NP N N NP N NE N D N Cov N N 例 7： 設 服 從 強 度 為 的 泊 松 過 程 ， 求(1) (2) (3) 4 5(1) P 5 4 (5 ) 4!N e 解 ： (4) EN(5)=5 , 5 5 , (5), (12) 5 5 .D NCov N N D N 4 5 2 2.5 3 4.5(2) P 5 4, (7.5) 6, (12) 9P 5 4, (7.5) (5) 2, (12) (7.5) 3(5 ) 4!(2.5 ) 2!(4.5 ) 3!N N NN N N N Ne e e 5 7(3) (12) 9 (5) 4 (12) (5) 5 (5) 4 (12) (5) 5 (7 ) 5!P N NP N N NP N N e (5) 4 (12) 9P N N 問 題 ： 求 4 9 449 5 51 .12 12C 答 案 ： 35 N t 設 是 強 度 為 的 泊 松 過 程 1 ,nn n WW n W f t是 第 個 質(zhì) 點 出 現(xiàn) 的 等 待 時 間 ， 下 面 給 出 的 概 率 密 度 0,nn W nW F t P W t P N t nn t t n 的 分 布 函 數(shù) 即 第 個 質(zhì) 點 出 現(xiàn) 的 時 間 內(nèi) 至 少 個 質(zhì) 點 出 現(xiàn) 0!0 0 n k tW k n k n tP N t k e tF t k t 于 是 11 1 0! ! 1 !0 0nn n nk k k kW t t tk n k nW W dF t tk t te e e tdt k kf t n t 因 此 ， 的 概 率 密 度 為 ： ,nW n 即 服 從 分 布 。 1 1 00 0tW We tf t t 特 別 地 ， 質(zhì) 點 首 次 出 現(xiàn) 地 等 待 時 間 服 從 指 數(shù) 分 布 ： 36 11 11 01 1 1 0 0 2 1,2, 0 1 i i ii i ti i i iT T i tP T t P N t t N t e tF tT W W i Wi i 。 下 面 來 求 的 分 布 ， 設 第 個 質(zhì) 點 出 現(xiàn) 的 時 刻 為 ，記 稱 為 相 繼 出 現(xiàn) 的 第 個 質(zhì) 點 和 第 點 間 間 距 個 質(zhì) 點 的 則 , 1,2 , 0 00 0 ii ti TT i te tT f t t 即 于 是 的 概 率 密 度 為 ： 點 間 間 距 序 列 服 從 同 一 個 指 數(shù) 分 布 。 37 定 理 一 ： 強 度 為 的 泊 松 流 (泊 松 過 程 )的 點 間 間 距 是 相 互 獨 立 的 隨 機 變 量 ， 且 服 從 同 一 指 數(shù) 分 布 定 理 二 ： 如 果 任 意 相 繼 出 現(xiàn) 的 兩 個 質(zhì) 點 的 點 間 間 距 是 相 互 獨 立 ， 且 服 從 同 一 個 指 數(shù) 分 布 ： 這 兩 個 定 理 刻 畫 出 了 泊 松 過 程 的 特 征 ， 定 理 二 告 訴 我們 ， 要 確 定 一 個 計 數(shù) 過 程 是 不 是 泊 松 過 程 ， 只 要 用 統(tǒng) 計 方法 檢 驗 點 間 間 距 是 否 獨 立 ， 且 服 從 同 一 個 指 數(shù) 分 布 。 00 0te tf t t 則 質(zhì) 點 流 構 成 強 度 為 的 泊 松 過 程 38 (二 ) 維 納 過 程維 納 過 程 是 布 朗 運 動 的 數(shù) 學 模 型 以 W(t)表 示 運 動 中 一 微 粒 從 時 刻 t=0到 時 刻 t0的 位 移的 橫 坐 標 ， 且 設 W(0)=0。 由 于 微 粒 的 運 動 是 受 到 大 量 隨 機的 、 相 互 獨 立 的 分 子 碰 撞 的 結 果 ， 于 是 :(1) 粒 子 在 時 段 (s,t上 的 位 移 可 看 作 是 許 多 微 小 位 移 的 和 ， 根 據(jù) 中 心 極 限 定 理 ， 假 設 位 移 W(t)-W(s)服 從 正態(tài) 分 布 是 合 理 的 。(2) 由 于 粒 子 的 運 動 完 全 由 液 體 分 子 不 規(guī) 則 碰 撞 而 引 起的 ， 這 樣 ， 在 不 相 重 疊 的 時 間 間 隔 內(nèi) ， 碰 撞 的 次 數(shù) 、大 小 和 方 向 可 假 設 相 互 獨 立 ， 即 W(t)具 有 獨 立 增 量 ，同 時 W(t)的 增 量 具 有 平 穩(wěn) 性 。 39 2( ), 0 1. 2. 0 0, 0 3. (0) 0 W t tt s W t W s N t sW 給 定 二 階 矩 過 程 ， 如 果 它 滿 足 ：具 有 獨 立 增 量對 任 意 ， 增 量 且 稱 此 過 程 為定 義 ： 維 納 過 程 40 維 納 過 程 的 性 質(zhì) ：1. 維 納 過 程 是 齊 次 的 獨 立 增 量 過 程2. ( )維 納 過 程 是 正 態(tài) 過 程 ， 因 此 其 分 布 完 全 由 它 的 均 值 函 數(shù) 和 自 協(xié) 方 差 函 數(shù) 即 自 相 關 函 數(shù) 所 確 定 2 23. ( ) 0 ( ) , , , , , 0WWW W Wt E W tD t D W t tC s t R s t D min s t min s t s t 維 納 過 程 的 數(shù) 字 特 征 : 41 ( ), 0( ) ( 1) ( )W t tX t W t W t例 8： 設 是 一 個 維 納 過 程 ，求 + - 的 均 值 函 數(shù) 和 相 關 函 數(shù) 。( ) ( ) ( 1) ( ) 0X t E X t E W t E W t 解 ： + -( , ) ( 1) ( ) ( 1) ( )R s t E W s W s W t W t + + ( 1) ( 1) ( ) ( 1) ( 1) ( ) ( ) ( )E W s W t E W s W t E W s W t E W s W t + +(min( 1, 1) (min( , 1) (min( 1, ) (min( , )D s t D s t D s t D s t 2 222 2(min( 1, 1) ( 1), (min( , 1) ,( 1), 1(min( , ) , (min( 1, ) , 1s t D s t s D s t ss t sD s t s D s t t t s 設 ， 則 20, 1( , ) (1 ), 1t sR s t t s t s 于 是 ， 2 0, 1( , ) (1 ), 1s t t sR s t t s t s 類 似 討 論 的 情 況 ， 合 起 來 有 42 關 鍵 詞 ： 無 后 效 性 (馬 爾 可 夫 性 ) 齊 次 馬 爾 可 夫 鏈 n步 轉 移 概 率 n步 轉 移 概 率 矩 陣 C-K方 程 馬 氏 鏈 的 有 限 維 分 布 律 遍 歷 性 極 限 分 布 (平 穩(wěn) 分 布 )第 十 一 章 馬 爾 可 夫 鏈 1 馬 爾 可 夫 過 程 及 其 概 率 分 布馬 爾 可 夫 性 (無 后 效 性 ) 過 程 (或 系 統(tǒng) )在 時 刻 t0所 處 的 狀 態(tài) 為 已 知 的 條 件 下 ， 過程 在 時 刻 tt0所 處 狀 態(tài) 的 條 件 分 布 與 過 程 在 時 刻 t0之 前 所 處的 狀 態(tài) 無 關 。通 俗 地 說 ， 就 是 在 已 經(jīng) 知 道 過 程 “ 現(xiàn) 在 ” 的 條 件 下 ， 其 “ 將來 ” 不 依 賴 于 “ 過 去 ” 。用 分 布 函 數(shù) 表 述 馬 爾 可 夫 性 ： 1 2( ), , , 3,n iX t t T IT n t t t n t T 設 隨 機 過 程 其 狀 態(tài) 空 間 為對 參 數(shù) 集 中 任 意 個 數(shù) 值 1 1 1 1 1 1( ) | ( ) |n n n n n n n nP X t x X t x X t x P X t x X t x ( ),X t t T則 稱 過 程 具 有 或 ，并 稱 此 過 程 馬 爾 可 夫 性 無 后 效 性馬 爾為 可 夫 過 程 。 44 1 , 0 0 0, 0X t t XX t t 例 ： 設 是 獨 立 增 量 過 程 ， 且 證 明 ： 是 一 個 馬 爾 可 夫 過 程 。 1 2 1 ,n nT n t t t t 證 ： 對 中 任 意 個 數(shù) 值 1 1 1 1( ) | , ,n n n nP X t x X t x X t x 1 1 2 2 1 1 1 10 , 0 ,( ) , 0n n n n n nX t X x X t X xP X t X t x x X t X x 1 1 1 1( ) | 0n n n n n nP X t X t x x X t X x , 0X t t 由 定 義 知 ， 是 一 個 馬 爾 可 夫 過 程 。 證 畢 ！ 1 1( ) |n n n nP X t x X t x 45 由 上 例 知 ， 泊 松 過 程 是 時 間 連 續(xù) 狀 態(tài) 離 散 的 馬 氏 過 程 ， 維 納 過 程 是 時 間 狀 態(tài) 都 連 續(xù) 的 馬 氏 過 程 。時 間 和 狀 態(tài) 都 離 散 的 馬 爾 可 夫 過 程 稱 為 馬 爾 可 夫 鏈 ， 簡 稱 馬 氏 鏈 ，記 為 ： Xn=X(n),n=0,1,2, ,參 數(shù) 集 T=0,1,2, ，記 鏈 的 狀 態(tài) 空 間 為 ： 1 1 2 21 2, 0 ; , ,| , , , | , r rr im n j t i t i t i m im n j m i ijn r t t t m t m m n TP X a X a X a X a X aP X a X a P m m n 記 為馬對 任 意 的 正 整 數(shù) 和 ，有 爾 可 夫 鏈 用 條 件 分 布 律 來 表 示 為： ： 1 2, , iI a a a R 46 , |ij m n j m iijP m m n P X a X am am n a 條 件 概 率 ： 稱 為 馬 氏 鏈 在 時 間 處 于 狀 態(tài) 條 件 下 ，在 時 間 轉 移 到 狀 態(tài) 的 轉 移 概 率 1 1 2, 1, 1,2, ,ijj iP m m n jm am n a a 這 是 因 為 鏈 在 時 刻 以 任 何 一 個 狀 態(tài) 出 發(fā) ，到 另 一 個 時 刻 必 然 轉 移 到 諸 狀轉 移 概 率 性 質(zhì) ： 態(tài) 中 的 某 一 個 。 11 12 1321 22 2331 32 33, , , , , , , ,1P m m n P m m n P m m nP m m n P m m n P m m nP m m n P m m n P m m n P m m n 此 矩 陣 的 每 一轉 移 概 率 矩 陣 ： 行 元 素 之 和 等 于 47 0, , | |ij ijij ij m n j m i n j iP m m n i j n P nP n P m m n P X a X a X a an P X 稱 此 轉 移 概 率 為 馬 氏 鏈 的當 轉 移 概 率當 只 與 及 有 關 時 ， 把具 有 這 種 平 穩(wěn) 性 時 ， 它 記 為稱 此 鏈步 轉 是移 概 率 ； 齊 ，即 次 馬 氏 鏈 。 11 12 13 21 22 2331 32 33 11 11 12 132 21 22 23 3 31 32 33 ( ) ( ) ( )( ) ( ) ( ) ( ) ( ) ( )1 |1 ij ij m j m inP n P n P nP n P n P nP n P n P n P nP P P X a X aa P P Pa P P PP P a P P P 在 齊 次 馬 氏 鏈 中 ， 步 轉 移 概 率 矩 陣 為 ：一 步 轉 移 概 率 記 為 ：一 步 轉 移 概 率 矩 陣 記 為 ： 的狀態(tài) Xm 1 2 3a a a Xm+1的 狀 態(tài) 48 例 2： (0-1傳 輸 系 統(tǒng) )如 圖 所 示 ， 只 傳 輸 數(shù) 字 0和 1的 串 聯(lián) 系 統(tǒng) 中 ， 設 每 一 級 的 傳 真 率 為 p，誤 碼 率 為 q=1-p。 并 設 一 個 單 位 時 間 傳 輸 一 級 ， X0是 第 一 級 的 輸 入 ，Xn是 第 n級 的 輸 出 (n 1)， 那 么 Xn,n=0,1,2 是 一 隨 機 過 程 ，狀 態(tài) 空 間 I=0,1， 而 且 當 Xn=i為 已 知 時 ， Xn+1所 處 的 狀 態(tài) 的 概 率 分 布只 與 Xn=i有 關 ， 而 與 時 刻 n以 前 所 處 的 狀 態(tài) 無 關 ， 所 以 它 是 一 個 馬 氏鏈 ， 而 且 還 是 齊 次 的 ， 它 的 一 步 轉 移 概 率 和 一 步 轉 移 概 率 矩 陣分 別 為 ： 1 | , 0,1 ij n n p j iP P X j X i i jq j i n21X0 X1 X2 XnXn-1p qP q p 49 例 3： 一 維 隨 機 游 動 。 設 一 醉 漢 Q(或 看 作 一 隨 機 游 動 的 質(zhì) 點 )在 直 線 上 的 點 集 I=1,2,3,4,5作 隨 機 游 動 ， 且 僅 在 1秒 、 2秒 等 時 刻 發(fā) 生 游 動 ， 游 動 的 概 率 規(guī) 則 是 ： 如 果 Q現(xiàn) 在 位 于 點 i(1i0)表 示 經(jīng) n次 交 換 后 甲 盒 中 的 紅 球 數(shù) . (1)求 此 馬 氏 鏈 的 初 始 分 布 ; (2)求 一 步 轉 移 概 率 矩 陣 ; (3)計 算 ; (4)判 斷 此 鏈 是 否 具 有 遍 歷 性 ， 若 有 ， 求 出 極 限 分 布 。 0 2 4 2( 1, 1, 0), ( 2)P X X X P X 0X 75 0 13 2 3 0(2) 1 2 9 5 9 2 9 ,2 0 2 3 13P 0 7 27 16 27 4 27(3) (2) 1 16 81 49 81 16 81 ,2 4 27 16 27 7 27P 3 3 1 2 30 4 6 0 2 4 62 1 30 2 4 6( 0) 15, ( 1) 3 5,( 2) 15,P X C C P X C C CP X C C C 解 :(1) 0 0 1 2 15 3 5 15X 即 :0 2 4( 1, 1, 0)P X X X 2 0 02 0 12 0 22( 2) ( 0) (2) ( 1) (2) ( 2) (2)P X P X P P X P P X P 3 5 49 81 16 81 2352 32805 0.072 0 11 10( 1) (2) (2)P X P P 15 4 27 3 5 16 81 15 7 27 15 0.2 76 0 13 2 3 0(4) 1 2 9 5 9 2 9 ,2 0 2 3 13P 由 定 理 知 ， 此 鏈 有 遍 歷 性 ；1 2 3 952 23 9 32 19 3 1 0 0 11 0 1 22 1 20 1 2方 程 組 , , 0 1 2設 極 限 分 布 = ， 0 7 27 16 27 4 27(2) 1 16 81 49 81 16 81 ,2 4 27 16 27 7 27P 153515 012 77 關 鍵 詞 ： (寬 )平 穩(wěn) 過 程 時 間 均 值 時 間 相 關 函 數(shù) 各 態(tài) 歷 經(jīng) 性 譜 密 度第 十 二 章 平 穩(wěn) 隨 機 過 程 78 1 平 穩(wěn) 隨 機 過 程 的 概 念 , X t t T 是 一 隨定 義 ： 機 過 程 ， 1 21,2, , , nn n t t t T h 對 任 意 的 ， 和 任 意 實 數(shù)1 2, , , ,nt h t h t h T 當 時 1 2 1 2, , , , ,n nX t X t X tX t h X t h X t h 和具 有 相 同 的 分 布 函 數(shù) ， 1 2 1 21 2 1 2, , , ; , , , , ; , , ,n nn nF x x x t t tF x x x t h t h t hX t t T 平即 ： 則 稱 隨 機 過 程 具 有 ， 穩(wěn) 性嚴 平 穩(wěn) 隨 機 過 程 稱 此 過 程 為 ， 簡 稱 嚴 平 穩(wěn) 過 程 79 , 00, 1, 2, , 0,1,2,T 平 穩(wěn) 過 程 的 參 數(shù) 集 可 以 為 連 續(xù) 的 ,如 ， ， ， ； 可 以 為 離 散 的 ,如 1 2 1 22 1 2 1 2 1, 0 , 0 0,X XX X XX t t Tt E X t E XR t t E X t X tE X X t t R t t R t t 記 為 記 為 設 嚴 平 穩(wěn) 過 程 是 二 階 矩 過 程 則 常嚴 平 穩(wěn) 過 程 的 數(shù) 字 數(shù)特 征 ： 80 1 2 1 2 11 2 2 12 10 , , 0 ,X t X t h h tX t XX t X t X t h X t h h tX t X t X X t tt t 事 實 上 , 與 同 分 布 ， 取 則 與