線性代數(shù)課件7-4向量到子空間的距離最小二乘法.ppt

《線性代數(shù)課件7-4向量到子空間的距離最小二乘法.ppt》由會員分享，可在線閱讀，更多相關(guān)《線性代數(shù)課件7-4向量到子空間的距離最小二乘法.ppt（9頁珍藏版）》請在裝配圖網(wǎng)上搜索。

,,,第四節(jié) 向量到子空間的距離 ? 最小二乘法,在歐氏空間中可以引入向量間的距離概念。 定義 8 長度|???|稱為向量?和?的距離，記為d(?, ?).,,不難證明距離的三條基本性質(zhì)： （1） d(?, ?) = d(?, ?)； （2） d(?, ?) ? 0 當(dāng)且僅當(dāng)? = ? 時等號成立。 （3） d(?, ?) ? d(?, ?) + d(?, ?),在中學(xué)幾何中學(xué)過一個點到一個平面（或一條直線）上所有點的距離以垂線為最短，下面可以證明一個固定向量和一個子空間中各向量間的距離也以“垂線最短”。,先設(shè)一個子空間W, 它是由向量 ?1, ?2, …, ?k所生成，即W=L(?1, ?2, …, ?k). 說一個向量?垂直于子空間W，就是指向量?垂直于 W 中任意一個向量?，F(xiàn)給定?，設(shè)?是 W中的向量，滿足 ? ? ?垂直于 W，則對W中任意向量?，有 | ? ? ?|?| ? ? ? |,證明,? ? ? = （? ? ?）+ （ ? ? ? ）,因 W 是子空間， ? ? W ， ? ? W ，則? ? ? ? W ，故? ? ?垂直于? ? ?。,,,,,,,,,,,?,?,?,W,由勾股定理 |? ? ?|2+ |? ? ? |2= |? ? ? |2 故 | ? ? ?|?| ? ? ? |,這個幾何事實可以用來解決一些實際問題。 其中的一個應(yīng)用就是解決最小二乘法問題。,最小二乘法問題：線性方程組,可能無解，即任何一組數(shù)x1, x2, …, xs都能使,不等于0。我們設(shè)法找 x10, x20, …, xs0使（2）最小，稱為方程組（1）的最小二乘解。這種問題就叫最小二乘問題。,（1）,（2）,令,（3）,用距離的概念，（2）就是 | y?B|2。,由（3）,把A的各列向量分別記為 ?1, ?2, …, ?s，由它們生成的子空間為L(?1, ?2, …, ?s )，y 就是其中的向量。,于是，找 x 使（2）最小，就是在L(?1, ?2, …, ?s )中找到一個向量 y, 使得 B 到它的距離比到該子空間中其他向量的距離都短。,設(shè),是所求向量，則,必須垂直于子空間L(?1, ?2, …, ?s )，從而有,即,而,剛好排成矩陣AT，于是有,或,這就是最小二乘解所滿足的代數(shù)方程，它是一個線性方程組。,例1 設(shè)有一組實驗數(shù)據(jù): (1, 2), (2, 3), (3, 5), (4, 7)。從數(shù)據(jù)點的趨勢看接近直線，實驗者希望使直線y = a + bx 最好的擬合數(shù)據(jù)點，求最佳擬合直線。,解 把數(shù)據(jù)代入y = a + bx 得,記作,其最小二乘解為,其中,則最佳擬合直線為y = 1.7x 。,從而,