數學建模 判別分析.ppt

《數學建模 判別分析.ppt》由會員分享，可在線閱讀，更多相關《數學建模 判別分析.ppt（61頁珍藏版）》請在裝配圖網上搜索。

第五章判別分析,5.1引言5.2距離判別5.3貝葉斯判別5.4費希爾判別,5.2距離判別,一、兩組距離判別二、多組距離判別,一、兩組距離判別,設組和的均值分別為和，協差陣分別為和，是一個新樣品(維)，現欲判斷它來自哪一組。1.時的判別2.時的判別,1.時的判別,判別規(guī)則：令，其中，，則上述判別規(guī)則可簡化為稱為兩組距離判別的判別函數，由于它是的線性函數，故又可稱為線性判別函數，稱為判別系數。,誤判概率,誤判概率正態(tài)組的誤判概率設，則其中是兩組之間的馬氏距離。,,從上述誤判概率的公式中可以看出，兩個正態(tài)組越是分開（即Δ越大），兩個誤判概率就越小，此時的判別效果也就越佳。當兩個正態(tài)組很接近時，兩個誤判概率都將很大，這時作判別分析就沒有什么實際意義。,界定組之間是否已過于接近,我們可對假設進行檢驗，若檢驗接受原假設，則說明兩組均值之間無顯著差異，此時作判別分析一般會是徒勞的；若檢驗拒絕，則兩組均值之間雖然存在顯著差異，但這種差異對進行有效的判別分析未必足夠大（即此時作判別分析未必有實際意義），故此時還應看誤判概率是否超過了一個合理的水平。,例5.2.1,,,抽取樣本估計有關未知參數,,,,誤判概率的非參數估計,若兩組不能假定為正態(tài)組，則和可以用樣本中樣品的誤判比例來估計，通常有如下三種非參數估計方法：（1）令為樣本中來自而誤判為的個數，為樣本中來自而誤判為的個數，則和可估計為該方法簡單、直觀，且易于計算。但遺憾的是，它給出的估計值通常偏低，除非和都非常大。,,（2）將整個樣本一分為二，一部分作為訓練樣本，用于構造判別函數，另一部分用作驗證樣本，用于對判別函數進行評估。誤判概率用驗證樣本的被誤判比例來估計，如此得到的估計是無偏的。但是，這種方法有兩個主要缺陷：（i）需要用大樣本；（ii）在構造判別函數時，只用了部分樣本數據，損失了過多有價值的信息。與使用所有的樣本數據構造判別函數相比，該方法將使真實的誤判概率上升。該缺陷隨樣本容量的增大而逐漸減弱，當樣本容量相當大時此缺陷基本可忽略。,,稱為交叉驗證法或刀切法。該方法既避免了樣本數據在構造判別函數的同時又被用來對該判別函數進行評價，造成不合理的信息重復使用，又幾乎避免了構造判別函數時樣本信息的損失。,2.時的判別,可采用(5.2.1)式作為判別規(guī)則的形式。另一種方式是，選擇判別函數為它是的二次函數，相應的判別規(guī)則為,,,,,二、多組距離判別,,,,,,,,,,,,,,,,,,,,,,,,5.3貝葉斯判別,一、最大后驗概率準則二、最小平均誤判代價準則,一、最大后驗概率準則,設有個組，且組的概率密度為，樣品來自組的先驗概率為，滿足。則屬于的后驗概率為最大后驗概率準則是采用如下的判別規(guī)則：,,,,,,,,,二、最小平均誤判代價準則,,,,,,,,（5.3.13）式的一些特殊情形,(1)當時，(5.3.13)式簡化為實際應用中，如果先驗概率未知，則它們通常被取成相等。,,(2)當時，(5.3.13)式簡化為該式等價于組數時的(5.3.2)式。實踐中，若誤判代價比無法確定，則通常取比值為1。(3)當時，(5.3.13)式可進一步簡化為這時，判別新樣品的歸屬，只需比較在處的兩個概率密度值和的大小。,,,,,5.4費希爾判別,費希爾判別（或稱典型判別）的基本思想是投影（或降維）：用p維向量的少數幾個線性組合（稱為判別式或典型變量）(一般r明顯小于p）來代替原始的p個變量，以達到降維的目的，并根據這r個判別式對樣品的歸屬作出判別。成功的降維將使判別更為方便和有效，且可對前兩個或前三個判別式作圖，從直觀的幾何圖形上區(qū)別各組。,一個說明性的二維例子,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,