《最小二乘法》PPT課件.ppt

《《最小二乘法》PPT課件.ppt》由會員分享，可在線閱讀，更多相關《《最小二乘法》PPT課件.ppt（74頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第5章 線性參數(shù)的最小二乘法處理,最小二乘法是用于數(shù)據(jù)處理和誤差估計中的一個很得力的數(shù)學工具。對于從事精密科學實驗的人們說來，應用最小二乘法來解決一些實際問題，仍是目前必不可少的手段。,第一節(jié) 最小二乘法原理,最小二乘法的發(fā)展已經(jīng)歷了200多年的歷史，它最早起源于天文和大地測量的需要，其后在許多科學領域里獲得了廣泛應用。特別是近代矩陣理論與電子計算機相結合。使最小二乘法不斷地發(fā)展而久盛不衰。 最小二乘法的產生是為了解決從一組測量值中尋求最可信賴值的問題。,一、問題背景,在測量的實驗數(shù)據(jù)處理中，經(jīng)常需要根據(jù)兩個量的一批觀測數(shù)據(jù)(xi，yi)，i=1，2，…，n求出這兩個變量Y與X之間所滿足的一個函數(shù)關系式Y＝f(X)。 若變量間的函數(shù)形式根據(jù)理論分析或以往的經(jīng)驗已經(jīng)確定好了，而其中有一些參數(shù)是未知的，則可通過觀測的數(shù)據(jù)來確定這些參數(shù)； 若變量間的具體函數(shù)形式尚未確定，則需要通過觀測數(shù)據(jù)來確定函數(shù)形式及其中的參數(shù)。,一、問題背景,在多數(shù)估計和曲線擬合的問題中，不論是參數(shù)估計還是曲線擬合，都要求確定某些(或一個)未知量，使得所確定的未知量能最好地適應所測得的一組觀測值，即對觀測值提供一個好的擬合。 解決這類問題最常用的方法就是最小二乘法。 在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。,設X和Y兩個物理量之間的函數(shù)關系為 假定此函數(shù)關系f已知，但其中a1，a2，…，ak等參數(shù)還未求出，現(xiàn)對于X和Y有一批觀測數(shù)據(jù)： {xi，yi} ，i＝1，2，…,n，要利用這批數(shù)據(jù)在一定法則之下作出這些參數(shù)a1，a2，…，ak的估計。,假設諸觀測值相互獨立且服從正態(tài)分布。在等精度觀測的情況下，即認為各誤差服從相同的正態(tài)分布N(0， σy)。 現(xiàn)在的問題是一個參數(shù)估計問題：需要給出a1，a2，…，ak的估計值 ， ，…， 。 解決這類問題最常用的方法就是最小二乘法。在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。,,一般根據(jù)測量的實際情況，可假設變量X的測量沒有誤差(或與Y的誤差相比很小，可略去)，而變量Y的測量有誤差，故關于Y的觀測值yi可以寫成 這里y0i表示xi對于的Y的變量真值，△i表示相應的測量誤差。,二、最小二乘法準則與正規(guī)方程,在參數(shù)估計問題中，最小二乘法的法則是： 所選取的參數(shù)估計值 ， ，…， 應使變量Y的諸觀測值yi與其真值的估計值(又叫擬合值)，即f(xi；a1,a2，…ak)之差的平方和為最小。 用式子表示時，記殘差νi為,,,最小二乘法就是要求,=最小,在這個條件下，利用數(shù)學中求極值的方法可以求出參數(shù) ， ，…， 。這樣求出的參數(shù)叫參數(shù)的最小二乘估計。,正規(guī)方程,根據(jù)數(shù)學分析中求函數(shù)極值的條件：,=最小,共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j＝1，2，…，k)。,,不等精度情況下的最小二乘法,以上是等精度觀測的情況，若諸觀測值yi是不等精度的觀測，即它們服從不同的方差σi2的正態(tài)分布N(0，1)，那么也不難證明，在這種情況下，最小二乘法可改為： 選取的參數(shù)估值應使諸觀測值yi與其估計值 之差的加權平方和為最小。用式子表示就是要使,,=最小,其中，wi為各觀測值yi的權。wi＝σ2／σi2，，i＝1，2，…，n。這里σ2為任選的正常數(shù)，它表示單位權方差。,不等精度情況下的最小二乘法正規(guī)方程,同樣地，根據(jù)數(shù)學分析中求函數(shù)極值的條件：,共得k個方程，稱正規(guī)方程，求此聯(lián)立方程的解可得出諸參數(shù)估計值 (j＝1，2，…，k)。,最小二乘法的幾何意義,從幾何圖形上可看出,最小二乘法就是要在穿過各觀測點(xi，yi)之間找出這樣一條估計曲線，使各觀測點到該曲線的距離的平方和為最小。,Y,X,,,,,,,,,,,,,,,,,,,,,,三、最小二乘法與最大似然法的關系,如果假定各觀測值是相互獨立且服從正態(tài)分布，期望值是μ(xi；a1，a2，…，ak)，方差是σi2, 則觀測值的似然函數(shù)為,最大似然法要求上式取極大值，這就相當于要求指數(shù)項中的,=最小,這就說明了在觀測值服從正態(tài)分布的條件下，最小二乘估計與最大似然估計是一致的。,觀測值不服從正態(tài)分布時的最小二乘估計,實質上，按最小二乘條件給出最終結果能充分地利用誤差的抵償作用，可以有效地減小隨機誤差的影響，因而所得結果具有最可信賴性。 假若觀測值不服從正態(tài)分布，則最小二乘估計并不是最大似然估計。但應該指出，在有些問題中觀測值雖然不服從正態(tài)分布，但當樣本容量很大時，似然函數(shù)也趨近于正態(tài)分布，因此，這時使用最小二乘法和最大似然法實質也是一致的。,不服從正態(tài)分布時最小二乘法的統(tǒng)計學性質,若觀測值是服從正態(tài)分布的，這時最小二乘法和最大似然法實際上是一回事。但觀測值不服從正態(tài)分布或其分布未知時，這時用最小二乘法顯得缺乏理論的驗證。但應該指出，作為一種公理來使用，最小二乘法仍然是可以接受的，而且可以證明，所得到的估計仍然具有一些很好的統(tǒng)計性質，這些性質是：,(1)解是無偏的，即,(2)解是觀測值的線性組合，且有最小方差。這稱為高斯—馬爾可夫定理; (3) 加權的殘差平方和的期望值是,當σ2＝1，即取wi＝1/σi2，這時稱,為χ2 量。期望值為n－k。,第二節(jié) 線性參數(shù)的最小二乘法,一般情況下，最小二乘法可以用于線性參數(shù)的處理，也可用于非線性參數(shù)的處理。由于測量的實際問題中大量的是屬于線性的，而非線性參數(shù)借助于級數(shù)展開的方法可以在某一區(qū)域近似地化成線性的形式。 因此，線性參數(shù)的最小二乘法處理是最小二乘法理論所研究的基本內容。,一、線性參數(shù)的測量方程一般形式,線性參數(shù)的測量方程一般形式為,（5-7）,相應的估計量為,（5-8）,誤差方程,其誤差方程為,（5-9）,二、線性參數(shù)的誤差方程式的矩陣形式,設有列向量,和nt階矩陣(n＞t),則線性參數(shù)的誤差方程式(5—9)可表示為,即,（5-10）,等精度測量最小二乘原理的矩陣形式,即,或,（5-11）,（5-12）,殘余誤差平方和最小這一條件的矩陣形式為,不等精度測量最小二乘原理的矩陣形式,最小二乘原理的矩陣形式為,或,（5-14）,（5-13）,式中的P為nn階權矩陣。,線性參數(shù)的不等精度測量還可以轉化為等精度的形式，從而可以利用等精度測量時測量數(shù)據(jù)的最小二乘法處理的全部結果。,三、線性參數(shù)最小二乘法的正規(guī)方程,為了獲得更可取的結果，測量次數(shù)n總要多于未知參數(shù)的數(shù)目t，即所得誤差方程式的數(shù)目總是要多于未知數(shù)的數(shù)目。因而直接用一般解代數(shù)方程的方法是無法求解這些未知參數(shù)的。 最小二乘法則可以將誤差方程轉化為有確定解的代數(shù)方程組(其方程式數(shù)目正好等于未知數(shù)的個數(shù))，從而可求解出這些未知參數(shù)。這個有確定解的代數(shù)方程組稱為最小二乘法估計的正規(guī)方程(或稱為法方程)。,1．線性參數(shù)的最小二乘法處理的基本程序,線性參數(shù)的最小二乘法處理程序可歸結為： （1）根據(jù)具體問題列出誤差方程式； （2）按最小二乘法原理，利用求極值的方法將誤差方程轉化為正規(guī)方程； （3）求解正規(guī)方程，得到待求的估計量； （4）給出精度估計。 對于非線性參數(shù)，可先將其線性化，然后按上述線性參數(shù)的最小二乘法處理程序去處理。,建立正規(guī)方程是待求參數(shù)最小二乘法處理的基本環(huán)節(jié)。,2．等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程,線性參數(shù)的誤差方程式為,最小二乘法處理的正規(guī)方程為,（5-19）,這是一個t元線性方程組．當其系數(shù)行列式不為零時，有唯一確定的解，由此可解得欲求的估計量,線性參數(shù)正規(guī)方程的矩陣形式,正規(guī)方程(5—19)組，還可表示成如下形式,表示成矩陣形式為,線性參數(shù)正規(guī)方程的矩陣形式,（5-21）,又因,有,即,（5-22）,若令,則正規(guī)方程又可寫成,（5-22）,（5-23）,若矩陣C是滿秩的，則有,的數(shù)學期望,,因,式中Y、X為列向量(n 1階矩陣和tl階矩陣),可見,是X的無偏估計。,其中矩陣元素Y1，Y2，…，Yn為直接量的真值，而Xl，X2，…，Xn為待求量的真值。,例5—1,在不同溫度下，測定銅棒的長度如下表，試估計0℃時的銅棒長度y0和銅的線膨脹系數(shù)α。,解： （1）列出誤差方程,式中, li——在溫度ti下銅棒長度的測得值； α——銅的線膨脹系數(shù)。,令y0＝a，αy0=b為兩個待估計參量，則誤差方程可寫為,(2) 列出正規(guī)方程,為計算方便，將數(shù)據(jù)列表如下：,將表中計算出的相應系數(shù)值代人上面的正規(guī)方程得,（3）求出待求估計量,求解正規(guī)方程解得待求估計量,即,按矩陣形式解算,由正規(guī)方程，有,則,所以,（4）給出實驗結果,銅棒長度yt隨溫度t的線性變化規(guī)律為,3．不等精度測量的線性參數(shù)最小二乘法處理的正規(guī)方程,不等精度測量時線性參數(shù)的誤差方程仍如上述式(5—9)一樣，但在進行最小二乘法處理時，要取加權殘余誤差平方和為最小，即,用矩陣表示的正規(guī)方程與等精度測量情況類似，可表示為,（5-27）,即,上述正規(guī)方程又可寫成,（5-28）,該方程的解，即參數(shù)的最小二乘法處理為,（5-29）,令,則有,（5-30）,例5—2,某測量過程有誤差方程式及相應的標準差如下：,試求x1，x2的最小二乘法處理正規(guī)方程的解。,解： （1）首先確定各式的權,（2）用表格計算給出正規(guī)方程常數(shù)項和系數(shù),（3）給出正規(guī)方程,（4）求解正規(guī)方程組,解得最小二乘法處理結果為,四、最小二乘原理與算術平均值原理的關系,為了確定一個量X的估計量x，對它進行n次直接測量，得到n個數(shù)據(jù) l1，l2，…，ln，相應的權分別為p1，p2，…，pn，則測量的誤差方程為,(5-35),其最小二乘法處理的正規(guī)方程為,(5-36),由誤差方程知a＝l，因而有,可得最小二乘法處理的結果,(5-37),這正是不等精度測量時加權算術平均值原理所給出的結果。,對于等精度測量有,則由最小二乘法所確定的估計量為,此式與等精度測量時算術平均值原理給出的結果相同。,由此可見，最小二乘法原理與算術平均值原理是一致的，算術平均值原理可以看做是最小二乘法原理的特例。,第三節(jié) 精度估計,對測量數(shù)據(jù)最小二乘法處理的最終結果，不僅要給出待求量的最可信賴的估計量，而且還要確定其可信賴程度，即應給出所得估計量的精度。,一、測量數(shù)據(jù)的精度估計,為了確定最小二乘估計量X1，X2，…，Xt的精度，首先需要給出直接測量所得測量數(shù)據(jù)的精度。測量數(shù)據(jù)的精度也以標準差σ來表示。因為無法求得σ的真值，因而只能依據(jù)有限次的測量結果給出σ的估計值 ，所謂給出精度估計，實際上是求出估計值 。,,（一）等精度測量數(shù)據(jù)的精度估計,設對包含t個未知量的n個線性參數(shù)方程組（5－7）進行n次獨立的等精度測量，獲得了n個測量數(shù)據(jù)l1，l2，…，ln。其相應的測量誤差分別為δ1，δ2，…，δn，它們是互不相關的隨機誤差。因為一般情況下真誤差δ1，δ2，…，δn是未知的，只能由殘余誤差νl，ν2，…，νn給出σ的估計量。,前面已證明,是自由度為（n－t）的χ2變量。,根據(jù)χ2變量的性質，有,（5-39）,取,（5-40）,可以證明它是σ2的無偏估計量,因為,習慣上，式5-40的這個估計量也寫成σ2，即,（5-41）,因而測量數(shù)據(jù)的標準差的估計量為,（5-43）,例5．3,試求例5．1中銅棒長度的測量精度。,已知殘余誤差方程為,將ti，li，值代人上式，可得殘余誤差為,（二）不等精度測量數(shù)據(jù)的精度估計,不等精度測量數(shù)據(jù)的精度估計與等精度測量數(shù)據(jù)的精度估計相似，只是公式中的殘余誤差平方和變?yōu)榧訖嗟臍堄嗾`差平方和，測量數(shù)據(jù)的單位權方差的無偏估計為,（5-44）,通常習慣寫成,（5-45）,測量數(shù)據(jù)的單位權標準差為,（5-46）,二、最小二乘估計量的精度估計,最小二乘法所確定的估計量X1，X2，…，Xt的精度取決于測量數(shù)據(jù)的精度和線性方程組所給出的函數(shù)關系。對給定的線性方程組，若已知測量數(shù)據(jù)l1，l2，…，ln的精度，就可求得最小二乘估計量的精度。,下面首先討論等精度測量時最小二乘估計量的精度估計。,設有正規(guī)方程,現(xiàn)要給出由此方程所確定的估計量xl，x2，…，xt的精度。為此，利用不定乘數(shù)法求出xl，x2，…，xt的表達式，然后再找出估計量xl，x2，…，xt的精度與測量數(shù)據(jù)l1，l2，…，ln精度的關系，即可得到估計量精度估計的表達式。,設d11，dl2，…，dlt；d2l，d22，…，d2t：…； dtl，dt2，…，dtt分別為下列各方程組的解：,則各估計量xl，x2，…，xt的方差為,（5-52）,相應的標準差為,（5-53）,式中，σ為測量數(shù)據(jù)的標準差。,不等精度測量的情況與此類似。,矩陣形式的結果表達,利用矩陣的形式可以更方便地獲得上述結果。 設有協(xié)方差矩陣(nn階矩陣),式中,等精度獨立測量,若l1，l2，…，ln為等精度獨立測量的結果，即 且相關系數(shù)ρij = 0，即Dlij = 0,協(xié)方差矩陣,于是估計量的協(xié)方差為,式中各元素即為上述的不定乘數(shù)，可由矩陣(ATA)求逆而得，或由式(5—51)求得。,各估計量xl，x2，…，xt的方差為,不等精度測量,同樣，也可得不等精度測量的協(xié)方差矩陣,式中 σ——單位權標準差。,矩陣,式中各元素即為不定乘數(shù)，可由(ATPA)求逆得到，也可由式(5—54)求得。,例5—4 試求例5—1中銅棒長度和線膨脹系數(shù)估計量的精度,已知正規(guī)方程為,測量數(shù)據(jù)li的標準差為,解：,根據(jù)所給正規(guī)方程的系數(shù)，可列出求解不定乘數(shù)方程組,（1）列出求解不定乘數(shù)方程組，并求解,分別解得,（2）計算估計量a、b的標準差,可得估計量a、b的標準差為,因,（3）求出y0、α的標準差,故有,第四節(jié) 組合測量的最小二乘法處理,所謂組合測量，是指直接或間接測量一組被測量的不同組合值，從它們相互組合所依賴的若干函數(shù)關系中，確定出各被測量的最佳估計值。 在精密測試工作中，組合測量占有十分重要的地位。例如，作為標準量的多面棱體、度盤、砝碼、電容器以及其它標準器的檢定等，為了減小隨機誤差的影響，提高測量精度，可采用組合測量的方法。 通常組合測量數(shù)據(jù)是用最小二乘法進行處理，它是最小二乘法在精密測試中的一種重要的應用。,組合測量應用,為簡單起見，現(xiàn)以檢定三段劃線間距為例，說明組合測量的數(shù)據(jù)處理方法。 如圖5—1所示，要求檢定刻線A、B、C、D間的距離x1、x2、x3。,（1）測量方案及測量數(shù)據(jù),測量數(shù)據(jù),組合測量的方案,（2）誤差方程,根據(jù)測量方案列出誤差方程,誤差方程的矩陣形式,（3）寫出誤差方程的相關矩陣,（4）求解估計量x1、x2、x3的最佳估計值,由式（5-24）得,式中,所以,最后解得,（5）計算各次的測量誤差值,ν1 = －0.013mm ν2 = 0.002mm ν3 = 0.007mm ν4 = 0.005mm ν5 = －0.015mm ν6 = 0.008mm,將最佳估計值,代入誤差方程,得,（6）計算各次測得數(shù)據(jù)的標準差,,=0.000536mm3,因為是等精度測量，測得數(shù)據(jù)l1，l2．l3，l4，l5，l6的標準差相同，為,,（6）求出估計量x1、x2、x3的標準差,因,故有,例2,測量平面三角形的三個角，得 A＝485′10″； B＝6025′24″； C＝7042′7″。 假設各測量值權分別為1，2，3，求A、B、C的最佳估計值。,解： 本例有一個約束條件,這類約束條件容易消去，將C＝180－A－B代入即可。 另外，在計算中應注意將角度、分、秒值化度。,（1）列出不等權的測量方程組并計算,有關計算值列表如下,（2）寫出不等權的正規(guī)方程組，并求解,正規(guī)方程組,解得,（3）計算測量精度標準差,,（4）計算不定乘數(shù),不定乘數(shù)方程組 4d11＋3 d12＝1 3d11－5 d12＝0 4d21＋3 d22＝0 3d21－5 d22＝1,解得,（5）計算最佳估計值標準差,,,,（6）給出結果,即,本章重要概念小結,1. 最小二程原理,2.線性參數(shù)的正規(guī)方程 解 是X的無偏估計,,證明了最小二乘法原理與算術平均值原理是一致的,在一些情況下，即使函數(shù)值不是隨機變量，最小二乘法也可使用。,說明了在觀測值服從正態(tài)分布的條件下，最小二乘估計與最大似然估計是一致的。,為χ2 量,期望值為n－k。,一個很好的統(tǒng)計量,本章重要概念小結,3. 測量數(shù)據(jù)的精度估計,是σ2的無偏估計量,4. 各估計量xl，x2，…，xt的精度,本章作業(yè),5-1 5-2 5-3 5-6,問題？ Any Question?,