系統辨識與濾波最小二乘法辨識.ppt

《系統辨識與濾波最小二乘法辨識.ppt》由會員分享，可在線閱讀，更多相關《系統辨識與濾波最小二乘法辨識.ppt（34頁珍藏版）》請在裝配圖網上搜索。

第5章 最小二乘法辨識,把待辨識的系統看作“黑箱”，只考慮系統的輸入－輸出特性，而不強調系統的內部機理。 本章主要討論單輸入－單輸出系統的差分方程作為模型的系統辨識問題。 差分方程模型的辨識問題包括階的確定和參數估計2個方面。 本章討論采用最小二乘法進行參數估計。,1、最小二乘法,設單輸入－單輸出線性定常系統的差分方程為 （1） 式中： 為輸入信號； 為理論上的輸出值。 的觀測值 可表示為 式中 為隨機干擾，則： 將 代入差分方程中，有 （4）,往往把 看作白噪聲 設 則式（4）可寫成 （5） 假設 不僅包含了 的測量誤差，而且還包含 的測量誤差和系統內部噪聲。 假定 是不相關隨機序列。 現分別測出 個輸入輸出值 ，,列出Ｎ個方程為：,設,可得到 （8） 式中： 為N維輸出向量； 為N維噪聲向量； 為 維參數向量； 為 測量矩陣。 式（8）式一個含有 個未知參數，由N個方程組成方程組。 當 ，方程數少于未知數數目，則方程組的解是不定的。 當 ，方程數正好與未知數相等，當噪聲 時，就能準確的解出,如果噪聲 ，則 從上式可以看出噪聲 對參數估計有影響，為了盡量減少噪聲 對 估值的影響，應取 此時，要采用數理統計的方法求 的值，以減少噪聲對 估計值的影響。,最小二乘估計算法,設 表示 的最優(yōu)估值， 表示 的最優(yōu)估值，則有 式中,設 表示 與 之差，即 將 稱為殘差。把 分別代入上式可得殘差 。設 則有,最小二乘估計要求殘差的平方和為最小，即按照目標函數 為最小來確定估值 。 求J對 的偏導數并令其等于0，可得 J為極小值的充分條件是 即矩陣 為正定矩陣。,這種辨識方法稱為一次完成的最小二乘估計，用來辨識的數據長度是 。算法表明，全部 組數據是一次計算完畢的，這種方法常用于離線辨識。 優(yōu)點：辨識精度高。 缺點：每取到一組新數據后，都需要重新解方程組，每算一次都需要用全部數據，致使計算的存儲量越來越大，計算量也逐漸增加。,2、最小二乘遞推算法,令 則有,考慮目標函數 極小化，可求得 （10） 當新數據 取得時，有 其中：,令 則 應用矩陣求逆引理，可得 和 的遞推關系式 矩陣求逆引理：設A為 矩陣，B和C為 矩陣，并且A， 和 都是非奇異矩陣，則有矩陣恒等式,令 ， ， ，根據引理有 由于 為標量，則 而,由于上式中第二項為 把它代入原式，消去同類項，經整理得 此式即為最小二乘的遞推算式。 利用此式計算 ， 時要已知 ， （前次估計值）， （歷史數據）和新觀測值 。,算法所需存貯空間分析： 算法中， 為2n+1個存貯單元（ ），而 是 維矩陣，顯然，將 換成 后，存貯量大為減少（因為n為模型的階數，一般遠遠小于N） 遞推公式的直觀意義： 如果用 表示預報值，那么 表示預報誤差，這就表明，新的參數估計值 是根據預報偏差來對原估計值 進行修正，修正的幅度大小是按最小二乘準則來確定的。,為了進行遞推計算，需要給出 和 的初值 和 ，有兩種給出初值的方法。 1）設 為N的初始值，則根據公式可算出初值 2）假定 是充分大的常數， 為 單位矩陣,則經過若干次遞推之后能得到較好的參數估計。,3、最小二乘估計量的統計特性,1、無偏性 定理1：假設模型（5）式中的 是均值為零的平穩(wěn)獨立隨機序列，則最小二乘估計量 是具有無偏性的，即 其中 表示參數的真實值。 證明：令誤差向量 ，由式（8） 可知,將它代入（10）式得 對上式兩邊取數學期望，并應用 為獨立，零均值得統計特性，可得 證畢。 2、誤差協方差 定理2：如果 是均值為零，方差為 的白噪聲序列，則最小二乘估計誤差 的協方差矩陣是,證明：定義誤差向量的協方差矩陣是 證畢。 上式可寫為 當 時，上式為零，即 以概率1趨近 。 因此，當 為不相關隨機序列時，最小二乘估計具有無偏性和一致性。如果系統的參數估計具有這種特性，就稱系統具有可辨識性。,現舉例說明最小二乘法的估計精度 例5.1：設單輸入－單輸出系統的差分方程為 設 是幅值為1的偽隨機二位式序列，噪聲 是一個方差 可調的正態(tài)分布 隨機序列。 從方程中可看到 ，因此 真實的 為 取觀測數據長度 ，當噪聲均方差 取不同值時，系統參數的最小二乘估計值如下表,表5.1 參數估值表,計算結果表明，當不存在噪聲時，可以獲得精確的估值 。估值 的均方差隨著噪聲均方差 的增大而增大。,3）漸進正態(tài)性 定理3：假設 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數估計值 服從正態(tài)分布，即 4）有效性 定理4：假設 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數估計量 是有效估計量，即參數估計誤差的協方差達到Cramer-Rao不等式（克拉默─勞下限 ）的下界 其中M為Fisher信息矩陣。,4、適應算法,隨著更多觀測數據的處理，遞推最小二乘法對線性定常系統的參數估計并非越來越精確，有時會發(fā)現由此得到的參數估計量與實際參數之間的誤差越來越大，即出現“數據飽和”現象。 這是因為 是正定的，而 中 是非負定的，所以 都是正定的。根據遞推最小二乘法中公式，可得： 所以 隨著遞推次數的增加， 越來越小，這會導致新采樣值對參數估計的修正不再起作用，即產生“數據飽和”現象。,另外，由于遞推在有窮字長的計算機上實現時，每步都存在舍入誤差。因此數據飽和后，由于這些原因致使新的采樣值不僅對參數估計不起改進作用，反而可能使所計算的 失去正定性，甚至失去對稱性，造成參數的估計值和真實參數之間的偏差越來越大。 為了克服數據飽和現象，可以用降低舊數據影響的辦法來修正算法。而對于時變系統，估計k時刻的參數最好用k時刻附近的數據估計較準確。否則新數據所帶來的信息將被就數據所淹沒。 幾種算法：漸消記憶法，限定記憶法與振蕩記憶法,1）漸消記憶法,該法的思想是對過去數據乘上加權因子 ，利用加權來人為地降低老數據的作用。 考慮下列目標函數 其中 ，當 時就是標準的最小二乘算法，可以證明其遞推算法是,4－1－a,4－1－b,4－1－c,證明：令 則,利用矩陣求逆,令,證畢,一般情況下,比較適宜，太小了會降低,參數估計的精度。 的一個很好的選擇是令,典型取值,,4-2,2）限定記憶法,這種估計算法只用最新的N個數據，在此前的數據，全部刪除掉。 如考慮一個固定長度為N的矩形窗，每一時刻一個新數據點增加進來，一個老數據點剔除出去，這樣就保持了每次都只取最新的N組數據。 用下標 表示用第 組直到 組觀測值計算到的各種變量，例如 表示第 組直到 組一共N＋1組觀測數據計算到的參數估計值。 而 表示第 組到 組一共N組觀測數據計算到的參數估計值。,這樣，遞推方程（4－1）中， 則可寫成 為了保持數據窗的長度等于N，要從上三式中剔除i時刻的觀測值，即求 其中：,利用矩陣求逆運算，可得,該式就是限定記憶的最小二乘遞推法,3）振蕩記憶算法,振蕩記憶算法指整段剔除N組數據的方法，即當數據長度已經達到2N時，可剔除開始的N個數據。其有用的數據在N到2N之間變化,練習,根據遞推最小二乘算法，矩陣求逆公式以及公式(4-1-b),(4-1-c)和（4-2），推導公式(4-1-a),