基于LDA的人臉識(shí)別系統(tǒng)研究——畢業(yè)論文

《基于LDA的人臉識(shí)別系統(tǒng)研究——畢業(yè)論文》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于LDA的人臉識(shí)別系統(tǒng)研究——畢業(yè)論文（33頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、XX大學(xué)XX學(xué)院XXX屆本科生畢業(yè)論文（設(shè)計(jì)）基于LDA的人臉識(shí)別系統(tǒng)研究摘要人臉識(shí)別是生物特性鑒別技術(shù)的一個(gè)主要方向，它涉及圖像處理，模式識(shí)別，計(jì)算機(jī)視覺等多個(gè)研究領(lǐng)域，其研究的主要內(nèi)容是如何使得計(jì)算機(jī)具有身份識(shí)別的能力，在法律、商業(yè)等諸多領(lǐng)域具有很廣泛的應(yīng)用背景。如何在一張圖片中檢測到人臉區(qū)域并提取出使其區(qū)別于其他人的特征，是人臉識(shí)別算法研究的兩個(gè)關(guān)鍵技術(shù)。截至目前，由于人臉識(shí)別問題自身的復(fù)雜性，使雖然有眾多的科研人員潛心研究了多年，也取得了一些的成果，但距離徹底解決并且達(dá)到實(shí)用，仍然有一些關(guān)鍵性問題需要解決。本論文圍繞人臉識(shí)別原理、識(shí)別算法及其優(yōu)化等研究內(nèi)容開展工作。本文的主要工作包括一

2、下幾個(gè)方面的內(nèi)容：介紹人臉識(shí)別的研究背景、研究范圍、國內(nèi)外研究機(jī)構(gòu)，歸納了當(dāng)前人臉識(shí)別領(lǐng)域流行的幾種主要理論方法;在人臉識(shí)別算法方面，主要研究了LDA人臉識(shí)別的方法。在大量實(shí)驗(yàn)基礎(chǔ)上對LDA在各種情況下的性能作了詳細(xì)的分析，研究了各種參數(shù)設(shè)置對識(shí)別率的影響,并介紹了幾種改進(jìn)的算法。關(guān)鍵詞：人臉識(shí)別；LDA；人臉檢測；特征提取Face recognition system research based on LDAABSTRACTFace recognition is one of the main directions of the biological characteristics of

3、the identification techniques, which involves a number of research areas of image processing, pattern recognition, computer vision, the main content of their research is how to make the computer capable of identification, legal, business and other fieldshas a broad application background.A central i

4、ssue for face recognition is how to find a face in a picture and to extract discriminant feature from the facial images. This results make us know and understand more about face recognition technology and broaden our ability to solve problem. Work in this thesis includes:This paper focus on face rec

5、ognition detection principle, the identification algorithm and its optimization research work. The main work includes several aspects: on face recognition research background, research areas, research institutions at home and abroad, summed up the current face recognition popular in the field of sev

6、eral major theoretical approaches; in face recognition algorithm, LDA face recognition method. The large number of experiments on the basis of the performance of the LDA in all cases a detailed analysis of various parameter settings affect the recognition rate, and several improved algorithms.Key wo

7、rds:Face recognition;LDA; Human face examination;Feature extraction目錄1引言11.1概述11.2人臉識(shí)別的研究背景31.3人臉識(shí)別的發(fā)展過程41.4國內(nèi)外的人臉識(shí)別理論發(fā)展機(jī)構(gòu)51.5本課題研究內(nèi)容51.6論文組織62人臉識(shí)別的相關(guān)理論72.1基于幾何特征的人臉識(shí)別72.2基于人工神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別72.3基于小波特征的人臉識(shí)別82.4基于子空間的人臉識(shí)別93基于LDA的人臉識(shí)別113.1概述113.2 LDA方法原理123.3訓(xùn)練過程和識(shí)別過程143.4實(shí)驗(yàn)163.4小結(jié)164 SSDA-改進(jìn)的LDA的識(shí)別算法174.1引言

8、174.2譜回歸LDA174.2半?yún)?shù)回歸194.2.1基本含義194.2.1優(yōu)點(diǎn)194.3半?yún)?shù)半監(jiān)督判別分析204.4實(shí)驗(yàn)204.5小結(jié)225幾何平均數(shù)法-改進(jìn)的LDA的識(shí)別算法235.1概述235.2三條準(zhǔn)則235.2.1準(zhǔn)則1最大化散度的幾何均值235.2.2準(zhǔn)則2最大化所有歸一化散度的幾何均值245.2.3準(zhǔn)則3 最大化所有散度的幾何均值(MGMD)245.3實(shí)驗(yàn)245.4小結(jié)25結(jié)論26參考文獻(xiàn)27致謝281引言1.1概述生物特征是人的內(nèi)在屬性，具有很強(qiáng)的自身穩(wěn)定性 ，因此越來越多的研究將它作為身份驗(yàn)證的依據(jù)，現(xiàn)在，基于生物特征的識(shí)別技術(shù)（也稱生物特征識(shí)別技術(shù)）已經(jīng)逐漸成為國際上的

9、研究熱點(diǎn)。生物特征識(shí)別技術(shù)就是指通過計(jì)算機(jī)利用人體所固有的生理特征和行為特征來進(jìn)行身份識(shí)別和（或）個(gè)體驗(yàn)證的一門技術(shù) 。與傳統(tǒng)的身份驗(yàn)證手段相比，基于生物特征識(shí)別的身份驗(yàn)證方法具有很多優(yōu)勢，例如：1該特征不存在被遺忘和丟失的問題； 2該特征一般不易被偽造； 3該特征隨時(shí)可以被使用等。 正是由于生物特征本身所具有的這些優(yōu)勢，使基于生物特征的識(shí)別技術(shù)獲得了長足的發(fā)展，其在國家安全、司法、海關(guān)、邊境及保險(xiǎn)等領(lǐng)域也必將具有極廣闊的應(yīng)用前景。把人臉作為認(rèn)證的目標(biāo)已經(jīng)發(fā)展了幾十年，并非只能在電影中才能看到，現(xiàn)代社會(huì)已經(jīng)可以實(shí)現(xiàn)這樣的功能，當(dāng)然還有明顯的不足，運(yùn)用人臉圖像來身份識(shí)別，主要是因?yàn)槿说拿婷矊儆谌?/p>

10、本身固有的生物特征，這種特征具有不可復(fù)制，難于偽造的特點(diǎn)，具有唯一性和穩(wěn)定性，可以作為身份識(shí)別的依據(jù)。人臉識(shí)別的研究可以追溯到上個(gè)世紀(jì)六、七十年代，經(jīng)過幾十年的曲折發(fā)展已日趨成熟，人臉識(shí)別是模式識(shí)別和計(jì)算機(jī)視覺的交叉領(lǐng)域。人臉識(shí)別將計(jì)算機(jī)視覺和模式識(shí)別結(jié)合在一起，廣泛地運(yùn)用在機(jī)器人等學(xué)科中。作為人類幾個(gè)外在鑒別特征之一，人臉識(shí)別的自動(dòng)鑒別和人類自動(dòng)分辨有著非常重要的意義。人臉識(shí)別，特別指利用了分析比較人臉視覺圖像特征信息來進(jìn)行身份鑒別的計(jì)算機(jī)技術(shù)。廣義的人臉識(shí)別概念實(shí)際包括構(gòu)建人臉識(shí)別系統(tǒng)的一系列相關(guān)技術(shù)，包括人臉檢測、人臉定位、人臉識(shí)別預(yù)處理、身份確認(rèn)以及身份查找等；而狹義的人臉識(shí)別特別指通

11、過人臉進(jìn)行身份的確認(rèn)或身份查找的技術(shù)或系統(tǒng)。圖1-1人臉識(shí)別在模式識(shí)別領(lǐng)域,人臉識(shí)別的發(fā)展和應(yīng)用方面都有著重要的意義：第一能推進(jìn)對人類視覺系統(tǒng)自身的認(rèn)識(shí)；第二能實(shí)現(xiàn)人工智能應(yīng)用的功能。通過人臉識(shí)別技術(shù)，建立自動(dòng)人臉識(shí)別系統(tǒng)，采用電腦實(shí)現(xiàn)對人臉圖像的自動(dòng)識(shí)別有著極其誘人的應(yīng)用前景和非常廣闊的應(yīng)用領(lǐng)域。圖1-2人臉檢測目前人臉識(shí)別的算法可以分類為：基于人臉特征點(diǎn)的識(shí)別算法（Feature-based recognition algorithms）?；谡四槇D像的識(shí)別算法（Appearance-based recognition algorithms）?；谀０宓淖R(shí)別算法（Template-ba

12、sed recognition algorithms）。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的算法（Recognition algorithms using neural network）。目前人臉識(shí)別的到了廣泛的應(yīng)用，主要有：門禁系統(tǒng)：受到安全保護(hù)的地區(qū)可以憑借人臉識(shí)別辨別嘗試進(jìn)入者的身份。圖1-3門禁系統(tǒng)攝像監(jiān)視系統(tǒng)：在例如機(jī)場、銀行、商場、體育場、超級市場等一些公共場所對人群監(jiān)視，達(dá)到識(shí)別身份的目的。例如在機(jī)場里裝置監(jiān)視系統(tǒng)以防止恐怖分子登機(jī)。網(wǎng)絡(luò)應(yīng)用：利用人臉識(shí)別輔助信用卡進(jìn)行網(wǎng)絡(luò)支付，來防止非信用卡的持有者使用信用卡等。圖1-4信用卡支付學(xué)生考勤系統(tǒng)：港奧地區(qū)的中小學(xué)已經(jīng)開始將智能卡配合人臉識(shí)別來查

13、詢學(xué)生每天的出席記錄。相機(jī)：新型的數(shù)碼相機(jī)已經(jīng)內(nèi)建了人臉識(shí)別功能來輔助拍攝人物時(shí)進(jìn)行對焦。1.2人臉識(shí)別的研究背景隨著社會(huì)經(jīng)濟(jì)的迅速發(fā)展以及信息化的不斷深入，安全問題越來越為人們所關(guān)注，因此，社會(huì)各個(gè)方面對快速有效的自動(dòng)身份驗(yàn)證的需求也與日俱增。經(jīng)過人們不斷的研究探索，目前已經(jīng)可以將很多的信息作為身份驗(yàn)證的依據(jù)，如密碼、磁卡、人體生物特征等等，而且其方法也各具特點(diǎn)。其中，基于人體生物特征的識(shí)別技術(shù)（生物特征識(shí)別技術(shù)）是近些年來發(fā)展最快、應(yīng)用最多一種識(shí)別技術(shù)，它提供了一種基于唯一、高可靠性和穩(wěn)定性的人體生物特征的身份驗(yàn)證途徑。 生物特征，如人臉、指紋、虹膜、DNA 等，都是人體的內(nèi)在屬性，因而具

14、1有較強(qiáng)的自身穩(wěn)定性和個(gè)體差異性 ，從而成為進(jìn)行身份驗(yàn)證的理想依據(jù)。另外，與傳統(tǒng)的身份驗(yàn)證方法相比，基于生物特征識(shí)別的身份驗(yàn)證方法具有多方面的優(yōu)點(diǎn)：首先，與傳統(tǒng)的身份驗(yàn)證方法相比，基于生物特征的識(shí)別方法更為方便。傳統(tǒng)的身份驗(yàn)證方法中，有的需要用戶要費(fèi)心去記住密碼、口令；有的需要用戶隨身攜帶鑰匙、智能卡之類的東西。而基于生物特征的識(shí)別方法完全不需要用戶去做這些工作，這也大大減少了由于遺忘密碼、忘帶鑰匙而帶來的麻煩，極大的方便了用戶的使用。 其次，與傳統(tǒng)的身份驗(yàn)證方法相比，基于生物特征的識(shí)別方法更為安全。傳統(tǒng)的身份驗(yàn)證方法中往往會(huì)出現(xiàn)口令、IC卡、條紋碼、磁卡或鑰匙的丟失、被盜用等諸多問題，使安全

15、性受到威脅；而基于生物特征的識(shí)別方法認(rèn)定的是人本身，每個(gè)人的生物特征具有與其他人不同的唯一性和在一定時(shí)期內(nèi)不變的穩(wěn)定性，不易偽造和假冒，所以基于生物特征的識(shí)別方法會(huì)更可靠、更準(zhǔn)確。此外，基于生物特征的識(shí)別方法均是借助現(xiàn)代計(jì)算機(jī)技術(shù)來實(shí)現(xiàn)的，很容易與計(jì)算機(jī)以及一些監(jiān)控、管理系統(tǒng)相結(jié)合，實(shí)現(xiàn)遠(yuǎn)程的自動(dòng)化管理。正是由于基于生物特征的識(shí)別方法所具有的這些優(yōu)勢，使得其獲得了長足的發(fā)展，在國家安全、公安、司法、金融、民航、邊境、口岸、保險(xiǎn)等領(lǐng)域具有極廣闊的應(yīng)用前景。例如，該技術(shù)可用于公安布控監(jiān)控、監(jiān)獄監(jiān)控、司機(jī)駕照驗(yàn)證、司法認(rèn)證、邊境身份驗(yàn)證、各類銀行卡、信用卡、儲(chǔ)蓄卡的持卡人的身份驗(yàn)證、民航安檢、社會(huì)保

16、險(xiǎn)身份驗(yàn)證等多個(gè)方面，而且，它還可以應(yīng)用于醫(yī)療和視頻會(huì)議等方面。在諸多基于生物特征的識(shí)別方法中，利用人臉特征進(jìn)行身份驗(yàn)證的自動(dòng)人臉識(shí)別方法又是最自然、直接的方式。自動(dòng)人臉識(shí)別技術(shù)是利用計(jì)算機(jī)分析人臉圖像，并從人臉圖像中提取有效的識(shí)別信息，用來“辨認(rèn)”身份的一門技術(shù)1。與指紋、虹膜、DNA等其它人體生物特征識(shí)別方法相比，自動(dòng)人臉識(shí)別方法具有直接、友好和方便等特點(diǎn)，比如說，自動(dòng)人臉識(shí)別不需要對被測試的人進(jìn)行強(qiáng)迫約束，因此，相比于虹膜和DNA等測試方法更加友好和方便，也對被測試人沒有任何侵害性，因而它成為最容易被接受的生物特征識(shí)別方法，受到人們越來越多的重視。另外，系統(tǒng)還可以通過分析用戶面部表情，獲

17、得一些如心理反應(yīng)等其它識(shí)別系統(tǒng)難以獲得的信息。也正是因?yàn)榇嬖谶@些優(yōu)勢，自動(dòng)人臉識(shí)別技術(shù)未來可以廣泛的應(yīng)用于公安系統(tǒng)的罪犯身份識(shí)別、駕駛執(zhí)照及護(hù)照等與持證人身份核實(shí)，銀行及海關(guān)的監(jiān)控系統(tǒng)及保密部門的自動(dòng)門衛(wèi)系統(tǒng)等領(lǐng)域，幫助相關(guān)人員更輕松的完成工作。上面，我們談到的都是自動(dòng)人臉識(shí)別技術(shù)的優(yōu)勢，但是，凡事都有兩面性，自動(dòng)人臉識(shí)別技術(shù)也有一些不足，這些問題也是影響它得到更大發(fā)展的限制因素。例如，自動(dòng)人臉識(shí)別技術(shù)研究的對象是人臉，而人臉圖像的獲取過程會(huì)受到很多方面如拍攝角度、光照條件、發(fā)型等諸多因素的影響，另外，隨著人的年齡以及心情的變化，同一個(gè)人的“人臉”可能會(huì)呈現(xiàn)出不同的樣子，在這個(gè)問題上，自動(dòng)人臉

18、識(shí)別方法相比于其他方法（如DNA 識(shí)別）要做更多的工作，這些工作往往又非常困難，因此人臉自動(dòng)識(shí)別也是一項(xiàng)極具挑戰(zhàn)性的工作。1.3人臉識(shí)別的發(fā)展過程人們對人臉識(shí)別方法的研究己經(jīng)有很長的歷史了，最早可以追溯到19世紀(jì)，法國人 Galton 曾經(jīng)用一組數(shù)字代表不同的人臉側(cè)面特征 。人臉識(shí)別的輸入圖像大致可以分為三種:正面圖像、傾斜圖像、側(cè)面圖像 。其中，正面的人臉圖像由于信息量大、對稱等特點(diǎn)，更多的被人們當(dāng)作輸入數(shù)據(jù)進(jìn)行研究，人們對正面圖像的研究大致可以分為三個(gè)階段 : 第一階段是研究人臉識(shí)別所需要的面部特征，以 Bertillon, Allen和 Parke為代表。Bertillon 通過編寫一個(gè)

19、簡單程序與數(shù)據(jù)庫中的人臉的關(guān)聯(lián)，同時(shí)，他還結(jié)合指紋分析方法，研發(fā)了一個(gè)較強(qiáng)的識(shí)別系統(tǒng)；Allen為待識(shí)別人臉設(shè)計(jì)了一個(gè)有效、逼真的描述方法，該方法使得對臉部的識(shí)別率大為提高；Parke用計(jì)算機(jī)實(shí)現(xiàn)Allen的方法，生成了具有較高質(zhì)量的人臉灰度圖模型；當(dāng)然，還有其他一些人也做出了很大的貢獻(xiàn)。但是，這一階段的工作主要是依賴于手工操作，還不能完成自動(dòng)的人臉識(shí)別工作。第二階段是人機(jī)交互識(shí)別階段，以 Goldstion, Harmon和 Lesk為代表。他們探索出使用幾何特征參數(shù)來表示正面人臉圖像的方法，即采用二十一高維特征矢量表示人臉面部特征的方法；另外，Kara 和 Kobayashi1探索出了基于

20、統(tǒng)計(jì)的識(shí)別方法，用歐氏距離對人臉特征進(jìn)行表征；還有T.Kanade的方法，先使用積分投影方法計(jì)算出一簇人臉特征參數(shù)，再利用模式分類技術(shù)與標(biāo)準(zhǔn)人臉匹配等等。但這此方法需要利用操作員的某些先驗(yàn)知識(shí)，仍然擺脫不了人的干預(yù)。 第三階段是機(jī)器自動(dòng)人臉識(shí)別階段。近年來隨著高性能、高速度計(jì)算機(jī)的問世，自動(dòng)人臉模式識(shí)別方法也取得了較大的進(jìn)展。目前人臉自動(dòng)識(shí)別技術(shù)主要分為三大類:幾何特征法、統(tǒng)計(jì)特征法和連接機(jī)制法。基于幾何特征法如模板匹配法、彈性圖匹配法等，基于統(tǒng)計(jì)特征法如主分量分析、獨(dú)立分量分析和線性判別式法分析等，基于連接機(jī)制法如神經(jīng)網(wǎng)絡(luò)方法、HMM 方法、SVM 方法等。這些方法各有優(yōu)點(diǎn)，也各有不足。為了

21、使用于不同條件下的人臉識(shí)別，目前更多的人臉識(shí)別系統(tǒng)是將各種方法有機(jī)地融合在一起，發(fā)揮優(yōu)長，克服缺點(diǎn)，以適應(yīng)不同條件下的人臉識(shí)別需求，達(dá)到降低運(yùn)算量，提高識(shí)別率的目的。1.4國內(nèi)外的人臉識(shí)別理論發(fā)展機(jī)構(gòu)目前，國內(nèi)外的許多科學(xué)研究機(jī)構(gòu)都成立了專門的研究組從事人臉檢測和人臉識(shí)別的理論研究。國外的著名人臉檢測和人臉識(shí)別科研機(jī)構(gòu)有美國卡奈基梅隆大學(xué)(CMU)機(jī)器人研究所、法國的 INRIA 研究所、芬蘭的赫爾辛基大學(xué)CIS 研究所、麻省理工學(xué)院(MIT)媒體實(shí)驗(yàn)室和人工智能實(shí)驗(yàn)室、英國 Surey大學(xué)視覺語音和信號處理研究中心等。國內(nèi)關(guān)于人臉識(shí)別的研究開始于20世紀(jì)80年代，目前主要有北京大學(xué)、清華大學(xué)

22、、中國科技大學(xué)、中科院自動(dòng)化研究所和計(jì)算機(jī)研究所、北京交通大學(xué)、北京工業(yè)大學(xué)、浙江大學(xué)、西北大學(xué)、西安交通大學(xué)、大連理工大學(xué)、南京理工大學(xué)和哈爾濱工程大學(xué)等，其中中科院自動(dòng)化研究所和計(jì)算機(jī)研究所的研究工作處于國內(nèi)領(lǐng)先水平 。 1.5本課題研究內(nèi)容在這里，我們先對人臉識(shí)別的基本工作過程進(jìn)行一些說明。 廣義的人臉識(shí)別研究內(nèi)容一般包括人臉檢測、人臉表征、人臉鑒別、表情識(shí)別、物理分類五個(gè)方面 ，如圖1-1所示：圖 1-5廣義的人臉識(shí)別過程狹義的人臉識(shí)別研究方法，不涉及表情識(shí)別和物理分類兩個(gè)方面。一個(gè)狹義的人臉識(shí)別系統(tǒng)應(yīng)該包括三個(gè)主要的技術(shù)環(huán)節(jié)人臉檢測、人臉表征和人臉識(shí)別（也稱匹配識(shí)別） ，如圖1-2所

23、示：圖1-6狹義的人臉識(shí)別過程首先是人臉檢測，即檢測圖像中有沒有人臉，并確定人臉在圖像中的位置。此步驟容易受以下的因素影響：即人臉在圖像中的尺度、位置、旋轉(zhuǎn)角度，發(fā)型以及在拍攝過程中出現(xiàn)的噪聲等。其次是人臉表征，即特征提取及表示。 最后是人臉識(shí)別，人臉識(shí)別就是將待識(shí)別的人臉圖像或相關(guān)的特征值和數(shù)據(jù)庫里預(yù)先存放的人臉圖像或有關(guān)的特征值進(jìn)行比較。這里提到的人臉識(shí)別只是整個(gè)人臉識(shí)別工作中的一個(gè)子過程，是一個(gè)相對狹義的概念。本部分一般又可分為兩大類2：一類是確認(rèn)（一對一的匹配），另一類是查詢（一對多的匹配）。人臉識(shí)別算法是本課題的主要研究方向，識(shí)別之前一般需要做一些預(yù)處理工作，本實(shí)驗(yàn)是在一個(gè)已經(jīng)成型的

24、人臉檢測系統(tǒng)的基礎(chǔ)上做來的。然后，本實(shí)驗(yàn)采用LDA方法和改進(jìn)的LDA算法對人臉識(shí)別，相關(guān)內(nèi)容將在后續(xù)章節(jié)中介紹。1.6論文組織本部分初步介紹了本次論文所涉及的基本的概念，對人臉識(shí)別這個(gè)前沿課題進(jìn)行了大體的分析。首先通過引言來引出了人臉識(shí)別的重要性，然后分析了國內(nèi)外的研究現(xiàn)狀，提出了人臉識(shí)別的三個(gè)發(fā)展階段，然后又分析了人臉識(shí)別所要研究的內(nèi)容，主要分為人臉檢測，特征提取和人臉識(shí)別三大步驟。最后，本章提出了與人臉識(shí)別相關(guān)的課題以及現(xiàn)狀人臉識(shí)別技術(shù)存在的問題。第二部分的主題介紹人臉識(shí)別算法的相關(guān)理論，本部分粗略的介紹了時(shí)下幾種應(yīng)用較為廣泛的識(shí)別算法。 第三部分的主題是利用LDA 進(jìn)行人臉識(shí)別，本部分中

25、我們對LDA 方法的原理以及用LDA 方法訓(xùn)練識(shí)別人臉的步驟進(jìn)行了詳細(xì)的介紹。 第四部分的主題是介紹了一種改進(jìn)的 LDA 算法，本部分中我們對SSDA方法的原理以及實(shí)驗(yàn)數(shù)據(jù)分析進(jìn)行了詳細(xì)的介紹。第五部分的主題是介紹了另一種改進(jìn)的 LDA 算法，本部分中我們對幾何平均數(shù)方法的原理以及實(shí)驗(yàn)數(shù)據(jù)分析進(jìn)行了詳細(xì)的介紹。第六部分我們總結(jié)了全篇文章的內(nèi)容，并就此工作進(jìn)行了展望。 2人臉識(shí)別的相關(guān)理論2.1基于幾何特征的人臉識(shí)別 人臉圖像在其原始樣本空間中的分布往往并不集中，這就不利于對其進(jìn)行有效的歸類識(shí)別 。為了能區(qū)分不同的人臉圖像，可以把原始的人臉圖像通過一些變換（包括線性或者非線性變換）方法轉(zhuǎn)換到另外

26、一個(gè)空間中，使得同類（同一個(gè)人）的人臉圖像在此空間中分布更加緊湊，從而便于歸類和識(shí)別。所謂特征提取，就是通過映射或者變換的方法將高維的原始特征轉(zhuǎn)換到低維的特征空間中，得到人臉特征的低維表示。人臉識(shí)別中人臉的特征主要有以下幾類: 1幾何特征；2灰度的統(tǒng)計(jì)特征；3變換系數(shù)特征；4代數(shù)特征等；人臉的灰度的統(tǒng)計(jì)特征，就是人臉圖像中的所有像素灰度值的一些統(tǒng)計(jì)特性，如直方圖特征。提取人臉灰度的統(tǒng)計(jì)特征的工作就是將人臉圖像看作是一個(gè)二維的隨機(jī)過程，然后計(jì)算出的各階矩的值的過程。 人臉的變換系數(shù)特征，就是對人臉的圖像進(jìn)行一些數(shù)學(xué)變換如 Fourier變換，Hough 變換和小波變換等之后得到的一系列變換系數(shù)，

27、而這也是提取人臉的變換系數(shù)特征的方法。 人臉由眼睛、鼻子、嘴巴、下巴及耳朵等部分構(gòu)成，也正因?yàn)檫@些部分的形狀、大小以及結(jié)構(gòu)上的差異才構(gòu)造出世界上千差萬別的人臉，所以，我們使用一些幾何方法對這些部分的形狀以及結(jié)構(gòu)關(guān)系進(jìn)行描述，然后將描述結(jié)果作為依據(jù)進(jìn)行人臉識(shí)別。人臉的幾何特征通常是以人臉器官形狀和幾何關(guān)系為基礎(chǔ)的特征矢量，其分量一般包括人臉指定兩點(diǎn)間的歐式距離，曲率，角度等。 典型的人臉幾何特征分量包括： 1眉毛的弧度； 2眉毛的厚度及其對應(yīng)眼睛中心處的垂直距離； 3眼睛中心處到耳朵的水平距離； 2.2基于人工神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，

28、簡稱為ANN)是近幾年來發(fā)展起來的模擬人腦生物過程的人工智能技術(shù)。它是由大量簡單神經(jīng)元的廣泛互連而形成的復(fù)雜非線性系統(tǒng) ，它不需要任何的先驗(yàn)公式 ，就可以從已有的數(shù)據(jù)中自動(dòng)歸納規(guī)則 ，獲得這些數(shù)據(jù)的內(nèi)在規(guī)律 ，從而具有非常強(qiáng)的非線性映射能力 ，特別的適合于因果關(guān)系復(fù)雜的非線性推理、識(shí)別、判斷和分類等問題?；谡`差反向傳播(Back propagation) 算法的多層前饋網(wǎng)絡(luò)(Multiple - layer feedforward network ，簡稱BP網(wǎng)絡(luò)) ，是目前應(yīng)用最成功也是最多的網(wǎng)絡(luò)之一 ，構(gòu)建一個(gè)BP網(wǎng)絡(luò)需要確認(rèn)其處理單元 神經(jīng)元的特性和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。圖2-1神經(jīng)元模型神經(jīng)

29、元為神經(jīng)網(wǎng)絡(luò)的最基本組成部分。如圖2-1所示，一般有一個(gè)R個(gè)輸入的神經(jīng)元模型其中 P是輸入向量 ，w是權(quán)向量 ，b是閾值 ，f 是傳遞函數(shù) ，a 是神經(jīng)元輸出。所有輸入 P 通過一個(gè)權(quán)重w進(jìn)行加權(quán)求和后加上閾值 b再經(jīng)傳遞函數(shù)f 的作用后即為該神經(jīng)元的輸出a 。傳遞函數(shù)可以是任意可微的函數(shù) ，經(jīng)常用到的有 Sigmoid型和線性型?？傮w來講，在特征提取的方面，人工神經(jīng)網(wǎng)絡(luò)方法并沒有特殊的優(yōu)越性，而且當(dāng)類別數(shù)量變大時(shí)，人工神經(jīng)網(wǎng)絡(luò)會(huì)遇到過學(xué)習(xí)(overtraining)和過擬合(Overfitting)等問題。因?yàn)獒槍θ四樧R(shí)別的規(guī)則和規(guī)律的顯性描述是困難的，而人工神經(jīng)網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)能力很強(qiáng)大，它

30、能根據(jù)反復(fù)學(xué)習(xí)的過程來獲得對這些規(guī)則或規(guī)律隱性的表達(dá)，因而在提取特征后進(jìn)行分類識(shí)別時(shí)人工神經(jīng)網(wǎng)絡(luò)具有無與倫比的優(yōu)勢。2.3基于小波特征的人臉識(shí)別小波分析是現(xiàn)在數(shù)學(xué)上發(fā)展迅猛的一個(gè)新的領(lǐng)域。由于其優(yōu)良的時(shí)頻局部性能，近幾年來小波變換成為研究者們普遍接受的信號分析處理工具。在圖像編解碼和圖像處理領(lǐng)域，小波變換均表現(xiàn)出了良好的性斛。小波變化的本質(zhì)是對信號用一組尺度不同的帶通濾波器進(jìn)行濾波，然后將其信號分解到不同頻帶上進(jìn)行分析和處理，這和人類視覺系統(tǒng)的多通道濾波模型是一致的。所以可以考慮采用小波變換提取人臉圖像的小波特征(Waveletfeature)來進(jìn)行人臉識(shí)別。 Campben和Robson提出

31、并在心理學(xué)實(shí)驗(yàn)中證實(shí)，人類的視覺具有多分辨率和多通道的特征，因此，近年來基于多分辨率、多通道分析的算法得到廣泛重視。在諸如信號檢測、圖象壓縮、圖象分割、紋理分析和識(shí)別等領(lǐng)域，Gabor小波方法有很廣泛的應(yīng)用。大量基于簡單細(xì)胞接受場的實(shí)驗(yàn)表明，圖像在視覺皮層的表示存在空域和空頻域分量，并且可以將一幅圖像分解為反對稱和局部對稱的基函數(shù)表示，Gabor函數(shù)正是這種基信號的良好近似。Lee.T.S用ZD-Gabor小波來表征圖像，將Daubeehies的一維框架理論拓展到二維，并證明在一定條件下，ZD-Gabor小波是緊框架，原圖像能從小波系數(shù)重建，因此用小波變換的系數(shù)幅值作為特征來匹配有著良好的視覺

32、特性和生物學(xué)背景，Gabor小波的這些特性使得其對于亮度和人臉表情的變化不敏感，在人臉識(shí)別和圖像處理中有著廣泛的應(yīng)用。Lades等首先提出用基于Gabor變換的彈性圖匹配算法進(jìn)行人臉識(shí)別。節(jié)點(diǎn)上的Gabor濾波響應(yīng)作為人臉特征，通過特征匹配和節(jié)點(diǎn)幾何位置的匹配實(shí)現(xiàn)人臉識(shí)別。圖2-2基于小波特征的人臉識(shí)別2.4基于子空間的人臉識(shí)別子空間模式識(shí)別是近年來模式識(shí)別中得到快速發(fā)展的一類方法，也在人臉及相關(guān)識(shí)別中得到廣泛應(yīng)用。最初的子空間一組正交歸一的基本向量，所以統(tǒng)計(jì)正交展開（一個(gè)向量對正交歸一非隨機(jī)向最集的展開）的方法較早得到了應(yīng)用。20世紀(jì)80年代末研究人員將KL變換的思想引入圖像表達(dá)領(lǐng)域，開發(fā)出

33、一種最小均方誤差意義下描述人臉圖像的最優(yōu)技術(shù)。受此啟發(fā)，研究人員利用重構(gòu)權(quán)向量作為識(shí)別用的特征，提出了“特征臉( eigenfaces)”（所提取出的每個(gè)本征向量的圖像形式都類似于人臉而得名）識(shí)別技術(shù)，推動(dòng)了基于表征( appearance based)的子空間分析方法的發(fā)展，并逐步擴(kuò)展到本征分析( eigenanalysis)。在本征分析中，整體特征和局部特征被統(tǒng)一地結(jié)合在各種本征特征中（如本征眼、本征嘴等）。 子空問方法有一些獨(dú)特的地方，它在人臉識(shí)別方面的有效性有一定的保證。先前的研究工作已表明，在不同光照條件下獲得的人臉圖像的變化，甚至有多光源和多陰影的情況都可以利用低維線性空問來有效地

34、建模。許多模式識(shí)別技術(shù)包括特征選擇提取和模式分類兩部分，子空間方法將它們進(jìn)行了有機(jī)的結(jié)合。在子空間法中，模式的類別不再是預(yù)先在特征空間里劃分出來的有限區(qū)域，而是用分別與各個(gè)類別對應(yīng)的子空問來限定的。在于空間法中，要把每個(gè)類別中最顯著的特征個(gè)別地抽取出來，組成與該類別對應(yīng)的特征集。在決策中利用待分類模式的特征向量與各個(gè)類別對應(yīng)的子空間之間的距離作為分類的判別函數(shù)。子空間法能緊湊地表達(dá)高維的模式向量，或者說子空間的維數(shù)往往比模式空間的維數(shù)要少得多，因而向量內(nèi)積的計(jì)算量減少，可以加快分類速度。例如，在存人臉識(shí)別中，可以對面部器官如眼、鼻和嘴等特征分別建立單獨(dú)的本征子空間，以有效地表達(dá)這哆器官的特征。

35、又如，人臉圖像在不同光照條件下的變化，包括多光源和陰影的情況，可以用低維線性子空間來建模。在這個(gè)空間中的基圖像可用3種方法得到：一種利用大量的具有處于不同光照條件下日標(biāo)的圖像，借助主分量分析的方法來估計(jì)一個(gè)子空問；另一種根據(jù)點(diǎn)源照射下的3-D模型（可以從圖像中構(gòu)建出來）來合成圖像，再借助主分量分析的方法來估計(jì)一個(gè)子空間；還有一種利用在擴(kuò)散(diffuse)光下基于球諧函數(shù)得到的3-D模型直接作為基網(wǎng)像。圖2-3人臉子空間示意圖子空間法建立在線性正交展開的基礎(chǔ)上，所以首先得到應(yīng)用的是線性子空間方法，如統(tǒng)計(jì)子空間、本征子奪問、鑒別子空間、獨(dú)立分量子空問等。借助局部特征分析法、因子分析法等，混合線性

36、子空間和非線性子空間方法也得到了發(fā)展。這許多子空間及方法還可以結(jié)合起來。例如有的人臉識(shí)別方法同時(shí)在主元子空間和零空間巾進(jìn)行判別分析，并在特征層融合這兩個(gè)子空問的判別特征。通過提取每個(gè)子空間時(shí)最具有判別能力的特征，借助它們的的互補(bǔ)特性達(dá)到利用盡可能多的判別信息的目的。3基于LDA的人臉識(shí)別3.1概述模式識(shí)別中把每個(gè)對象都量化為一組特征來描述，構(gòu)建特征空間是所有模式識(shí)別問題的第一步通過直接測量得到的特征稱為原始特征，比如人體的各種生理指標(biāo)（描述健康狀況）、數(shù)字圖像中的每點(diǎn)灰度值（描述圖像內(nèi)容）。為了取得好的分類效果，搜集大量的特征，特征越多（dimension curse，over-learnin

37、g），原始特征數(shù)量可能會(huì)很大，不利于學(xué)習(xí)。如：100幅1024*768的灰度圖像，256的灰度級直接表示：每幅圖786,432bytes，進(jìn)行訓(xùn)練，空間，時(shí)間，計(jì)算量都無法承受！ 少量樣本分布在高維空間中-稀疏矩陣，過學(xué)習(xí) 如 Am*n， m7105特征空間有很大冗余，完全可用很小的空間近似表示樣本集。壓縮特征空間的方法：1特征變換（提取）：用映射（變換）的方法將原始特征變換為較少的新特征2特征選擇：從原始特征挑選出一些最具代表性（分類性能最好）的特征線性判別式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher線性判別(Fisher Linear D

38、iscriminant,FLD)，是模式識(shí)別的經(jīng)典算法，它是在1996年由Belhumeur引入模式識(shí)別和人工智能領(lǐng)域的。線性鑒別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達(dá)到抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最佳的可分離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時(shí)類內(nèi)散布矩陣最小。就是說，它能夠保證投影后模式樣本在新的空間中有最小的類內(nèi)距離和最大的類間距離，即模式在該空間中有最佳的可分離性。例如，將3維空間上的球體樣本點(diǎn)投影到二維上，W1

39、相比W2能夠獲得更好的分離效果：圖3-1例13.2 LDA方法原理假設(shè)用來區(qū)分二分類的直線（投影函數(shù))為： (3-1)LDA分類的一個(gè)目標(biāo)是使得不同類別之間的距離越遠(yuǎn)越好，同一類別之中的距離越近越好，所以我們需要定義幾個(gè)關(guān)鍵的值。類別i的原始中心點(diǎn)為（Di表示屬于類別i的點(diǎn))衡量類別i投影后，類別點(diǎn)之間分散程度(方差)為： (3-2)最終我們可以得到一個(gè)下面的公式，表示LDA投影到w后的損失函數(shù)（W 隱函數(shù)）： (3-3)分類的目標(biāo)是：J(w) 。分母表示每一個(gè)類別內(nèi)的方差之和，方差越大表示一個(gè)類別內(nèi)的點(diǎn)越分散，分子為兩個(gè)類別各自的中心點(diǎn)的距離的平方，最大化J(w)就可以求出最優(yōu)的w了。想要求

40、出最優(yōu)的w，可以使用lagrangian multiplier method，但是現(xiàn)在我們得到的J(w)里面，w是不能被單獨(dú)提出來的，我們就得想辦法將w單獨(dú)提出來。我們定義一個(gè)投影前的各類別分散程度的矩陣，這個(gè)矩陣看起來有一點(diǎn)麻煩，其實(shí)意思是，如果某一個(gè)分類的輸入點(diǎn)集Di里面的點(diǎn)距離這個(gè)分類的中心點(diǎn)mi越近，則Si里面元素的值就越小，如果分類的點(diǎn)都緊緊地圍繞著mi，則Si里面的元素值越更接近0. (3-4)帶入Si，將J(w)分母化為： (3-5) (3-6)同樣的將J(w)分子化為： (3-7)稱為Between-class scatter，是兩個(gè)向量的外積，雖然是個(gè)矩陣，但秩為1。revi

41、ews: x = (x1,x2,xk), y = (y1,y2,yk); tr(xy) max tr(x), tr(y) 這樣損失函數(shù)可以化成： (3-8)拉格朗日乘子法，但是還有一個(gè)問題，如果分子、分母是都可以取任意值的，那就會(huì)使得有無窮解，我們將分母限制為長度為1： (3-9)對于N(N2)分類的問題，直接寫出下面的結(jié)論了： (3-10)同樣是一個(gè)求特征值的問題，我們求出的第i大特征值對應(yīng)的特征向量，就是對應(yīng)的Wi了。設(shè)矩陣 特征值為：選取前m個(gè)特征值對應(yīng)的特征向量作為w這種方法的限制:1:對于k類問題； tr( ) k-1， 選出的特征最多只有k-1個(gè)，與原始特征維數(shù)n無關(guān)，對應(yīng)非零特征

42、根的特征向量最多為k-1，0特征根對應(yīng)的特征向量對J(w)沒有影響。2: LDA可能過度擬合數(shù)據(jù)，對訓(xùn)練樣本過擬合。圖3-2訓(xùn)練和測試3.3訓(xùn)練過程和識(shí)別過程(1)設(shè)定一個(gè)彩色人臉圖片訓(xùn)練集i，i=1,2,N，采用Ohta最優(yōu)基來模擬K-L變換，從而將彩色的人臉圖片訓(xùn)練集中每一張彩色的人臉圖片變換成第一主分量對應(yīng)的人臉灰度圖片Ii=1,2,N。由這些灰度人臉圖片構(gòu)成相應(yīng)的灰度人臉圖片訓(xùn)練集。(2)根據(jù)奇異值分解定理來計(jì)算相應(yīng)灰度人臉圖片訓(xùn)練集Ii，i=1,2,N對應(yīng)的奇異值特征向量x1SV, xiSV, xNSV,即xiSV=(1i, ri,0,0)T,其中i=1,2,N。(3)對奇異值特征向

43、量空間進(jìn)行坐標(biāo)軸平移，即以訓(xùn)練集奇異值特征向量x1SV, xiSV, xNSV的均值向量mSV=1Ni=1NxiSV作為新坐標(biāo)原點(diǎn)，坐標(biāo)軸平移后訓(xùn)練集的奇異值特征向量為，i=1,2,N.(4)計(jì)算由訓(xùn)練集奇異值特征向量構(gòu)成的協(xié)方差矩陣k個(gè)最大特征值對應(yīng)的特征向量。這k個(gè)特征向量構(gòu)成PCA投影矩陣。(5)利用PCA投影矩陣，將奇異值特征向量空間轉(zhuǎn)換為降維的K維MEF空間，并獲得最佳描述特征MEFs，即，其中i=1,2,N。(6)計(jì)算由訓(xùn)練集最佳描述特征構(gòu)成的類內(nèi)散布矩陣和類間散布矩陣和，然后計(jì)算對應(yīng)的l個(gè)最大特征值對應(yīng)的特征向量。由這l個(gè)最大特征值對應(yīng)的特征向量構(gòu)成FLD投影矩陣。(7)利用FL

44、D投影矩陣，將MEF空間轉(zhuǎn)換為降維的l維MDF空間，獲得對應(yīng)的最佳分類特征MDFs.即，其中i=1,2,N。(8)根據(jù)這些對應(yīng)人臉圖像訓(xùn)練集的最佳分類特征向量,組成c類人臉識(shí)別數(shù)據(jù)庫，需存儲(chǔ)的人臉訓(xùn)練樣本的特征向量書目需根據(jù)具體的分類方法來確定。若采用最近臨近法，則需存儲(chǔ)所有訓(xùn)練樣本的特征向量。為表達(dá)方便期間，在此我們不妨假設(shè)由這N個(gè)最佳分類特征向量組成的c類人臉識(shí)別數(shù)據(jù)庫中的標(biāo)準(zhǔn)樣本向量為。(9)計(jì)算兩個(gè)人臉之間允許的最大距離：。(10)計(jì)算人臉類的允許最大距離：(11)將某個(gè)待識(shí)別彩色人臉圖像采用模擬K-L變換而轉(zhuǎn)換成灰度圖像I。(12)根據(jù)奇異值分解定理計(jì)算相應(yīng)灰度人臉圖像I對應(yīng)的奇異值

45、特征向量。(13)對奇異值特征值向量空間進(jìn)行坐標(biāo)軸平移，坐標(biāo)軸平移后，待識(shí)別人臉圖像的奇異值特征向量為。(14)對奇異值特征向量x進(jìn)行DKL投影變換，得到新的L維MDF空間中的最佳分類特征。(15)找到和待識(shí)別圖像最接近的訓(xùn)練集(數(shù)據(jù)庫)的人臉類，式中表示在特征空間中的歐幾里德距離。(16)計(jì)算待識(shí)別圖像對應(yīng)的奇異值特征向量和重建奇異值特征向量之間的距離(這就是說，計(jì)算投影距離以便能夠評價(jià)測試圖像中含有人臉的可能性)：，其中x為待測試的人臉圖像奇異值特征向量，(17)判別分類：(a)如果，則表明該測試圖像為非人圖像；(b)如果，則表明測試圖像在由訓(xùn)練集人臉得到的奇異值特征向量空間中的投影點(diǎn)和人

46、臉的奇異值特征向量投影點(diǎn)非常接近，因此判斷該測試圖像為人臉圖像，進(jìn)一步地：1.如果且，則將測試圖像歸類為訓(xùn)練集中類的人臉；2.如果且，則將測試圖像歸類為非訓(xùn)練集中的人臉。3.4實(shí)驗(yàn)根據(jù)以上算法，編程實(shí)現(xiàn)并抽取Stirling-faces人臉庫和ORL人臉庫部分圖片做實(shí)驗(yàn)。Stirling-faces人臉庫包含17個(gè)男人臉灰度圖片和18個(gè)女人臉灰度圖片，每個(gè)人包括3幅圖片。表情、姿態(tài)各有差別。圖片的分辨率都是280*365.ORL人臉庫包含40個(gè)人的圖片，每個(gè)人有10幅相異的圖片，每張圖片有各異的姿態(tài)和表情，尺寸均是92*112。設(shè)置數(shù)據(jù)庫時(shí)，在Stirling-faces人臉庫中隨意抽選30張

47、圖片，在ORL人臉庫中隨機(jī)抽選7個(gè)人的圖片，一共37個(gè)人的圖片。每個(gè)人選擇兩幅圖片來進(jìn)行訓(xùn)練，另外一幅圖像做測試，結(jié)果如表3-1所示。表3-1實(shí)驗(yàn)結(jié)果3.4小結(jié)在傳統(tǒng)特征臉方法的基礎(chǔ)上，研究者注意到特征值打的特征向量（即特征臉）并一定是分類性能最好的方向，而且對K-L變換而言，外在因素帶來的圖像的差異和人臉本身帶來的差異是無法區(qū)分的，特征連在很大程度上反映了光照等的差異。研究表明，特征臉，特征臉方法隨著光線，角度和人臉尺寸等因素的引入，識(shí)別率急劇下降，因此特征臉方法用于人臉識(shí)別還存在理論的缺陷。線性判別式分析提取的特征向量集，強(qiáng)調(diào)的是不同人臉的差異而不是人臉表情、照明條件等條件的變化，從而有助

48、于提高識(shí)別效果。4 SSDA-改進(jìn)的LDA的識(shí)別算法4.1引言線性判別分析（LDA）是一種流行的特征提取方法，在計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域中激發(fā)了相當(dāng)多研究者的興趣。LDA的投影向量通常是通過最大化數(shù)據(jù)集的類間散度同時(shí)最小化類內(nèi)散度來獲得的。然而，在實(shí)際中，通常缺乏足夠多的有標(biāo)注數(shù)據(jù)，這就使得對我們所估計(jì)的投影方向不準(zhǔn)確。為了解決上面的限制，有學(xué)者提出一種新的半監(jiān)督判別分析方法。與傳統(tǒng)的基于圖的方法不同，這個(gè)所提出的方法將有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)之間的幾何分布信息通過半?yún)?shù)化的形式加入進(jìn)來。具體的，最終所獲得的判別投影包含兩部分：判別的部分（在有標(biāo)注數(shù)據(jù)上利用傳統(tǒng)LDA或是KDA）；保持幾何結(jié)構(gòu)的

49、部分（在所有樣本點(diǎn)上通過 KPCA學(xué)習(xí)得到）。因此，我們命名我們的算法版參數(shù)化的半監(jiān)督判別分析（SSDA）。在人臉識(shí)別和圖像任務(wù)上的實(shí)驗(yàn)結(jié)果表明了這種方法的有效性。下面我將對這種算法作簡要介紹。4.2譜回歸LDA1. 傳統(tǒng)LDA訓(xùn)練樣本集合:n個(gè)樣本,C個(gè)類別,m維特征有標(biāo)注數(shù)據(jù):未標(biāo)注數(shù)據(jù):LDA目標(biāo)函數(shù): （4-1）有監(jiān)督學(xué)習(xí)類內(nèi)與類間散度只能利用有標(biāo)注數(shù)據(jù)計(jì)算基于正則化的LDA半監(jiān)督擴(kuò)展 （4-2） （4-3）2. LDA解法LDA標(biāo)準(zhǔn)解法: （4-4）當(dāng)維數(shù)高于樣本總數(shù)時(shí)不存在LDA的SVD解法: （4-5） （4-6）SVD+LGE(線性圖嵌入)時(shí)間復(fù)雜度很高SVD+LGE譜回歸降低

50、復(fù)雜度3. 譜回歸LDA基本步驟: （4-7） （4-8）正則化的目的：避免當(dāng)樣本數(shù)目小于特征維數(shù)時(shí),未知數(shù)的個(gè)數(shù)大于方程的個(gè)數(shù),無窮多個(gè)解。正規(guī)化最小二乘： （4-9）圖4-1Figure: q = 2 和 lasso regularizer q = 1時(shí)的最優(yōu)解w示意圖4.2半?yún)?shù)回歸4.2.1基本含義半?yún)?shù)回歸指的是回歸模型中的predictor既包含參數(shù)化又包含非參數(shù)化的成分。為一族參數(shù)化函數(shù)參數(shù)化模型是指h(x)可以表示成x的顯示函數(shù)，例如：線性回歸：非參數(shù)模型是指f(x)不能通過顯示的參數(shù)函數(shù)估計(jì)，只能通過數(shù)據(jù)來進(jìn)行直接估計(jì)，例如：kNN Parzen窗方法。4.2.1優(yōu)點(diǎn)1. 非

51、參數(shù)化部分：直接通過數(shù)據(jù)進(jìn)行估計(jì)，因此準(zhǔn)確度較高。2. 參數(shù)化部分：根據(jù)數(shù)據(jù)特性，將一些額外的知識(shí)加入到已有模型中，容易理解，同時(shí)可以修正預(yù)測值使其朝著某些趨勢變化。（correct the data from some (e.g. linear) trend）。4.3半?yún)?shù)半監(jiān)督判別分析1. 非參數(shù)化部分f：a) 利用有標(biāo)注數(shù)據(jù)進(jìn)行kernel DA b) F是特征空間為F空間的標(biāo)準(zhǔn)正交基（投影軸）為第c維的投影方向） （4-10）2. 參數(shù)化部分a) 基本思想：利用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)所包含的幾何信息。b) 采用方法：通過kernel PCA 找到特征空間中包含最大方差的主軸方向，并根據(jù)

52、該方向建立參數(shù)化函數(shù)加入到已有的模型中，修正最終的預(yù)測函數(shù)。3. KPCA（4-11）是在特征空間的數(shù)據(jù)集4.4實(shí)驗(yàn)實(shí)驗(yàn)一 數(shù)據(jù)庫：40個(gè)人，每人10張圖片，7張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)： 32*32，共50次隨機(jī)實(shí)驗(yàn)表4-2 在ORL人臉庫上做的識(shí)別結(jié)果分析實(shí)驗(yàn)二 數(shù)據(jù)庫：20個(gè)人，每人28張圖片，20張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)： 32*32，共50次隨機(jī)實(shí)驗(yàn)表4-3 在UMIST人臉庫上的識(shí)別結(jié)果分析實(shí)驗(yàn)三 數(shù)據(jù)庫：68個(gè)人，每人43張圖片，30張訓(xùn)練集，其中1張有標(biāo)注圖像維數(shù)： 32*32，共50次隨機(jī)實(shí)驗(yàn)表4-4 在PIE人臉庫上的識(shí)別結(jié)果分析4.5小結(jié)這篇文章提出了一種新

53、的半監(jiān)督判別分析方法，這種方法是通過半?yún)?shù)回歸實(shí)現(xiàn)的，而不是傳統(tǒng)基于圖的正則化的框架。該方法能處理out-of-sample問題，其核心思想可以推廣到其他的回歸問題。實(shí)驗(yàn)驗(yàn)證了該方法的有效性。5幾何平均數(shù)法-改進(jìn)的LDA的識(shí)別算法5.1概述子空間選擇方法是模式分類和數(shù)據(jù)可視化的有力工具.一種最重要的子空間方法是Fisher線性判別分析(FLDA)中的線性降維.它已經(jīng)被成功應(yīng)用到許多領(lǐng)域中,如生物學(xué),生物信息學(xué)和多媒體信息管理.然而,FLDA中的線性降維存在一個(gè)嚴(yán)重的缺點(diǎn)：對于c類的分類任務(wù),如果投影子空間的維數(shù)嚴(yán)格地低于c-1,那么,投影將易于合并那些在原始空間中距離比較近的類別.如果各類樣本

54、采樣自具有同方差的高斯分布, FLDA中的線性降維將最大化不同類別之間KL散度的平均值.基于這一點(diǎn),本章研究了基于幾何均值的子空間選擇.本章分析了三條準(zhǔn)則: 1) 最大化KL散度的平均值. 2) 最大化歸一化KL散度的平均值. 3) 1)和2)的組合.基于合成數(shù)據(jù)UCI機(jī)器學(xué)習(xí)庫和手寫字體的初步實(shí)驗(yàn)結(jié)果表明, 第3條準(zhǔn)則是一種潛在的判別子空間選擇方法.同F(xiàn)LDA以及它的幾種典型性的擴(kuò)展相比, 它能夠較大程度上解決類可分問題.5.2三條準(zhǔn)則5.2.1準(zhǔn)則1最大化散度的幾何均值對數(shù)函數(shù): 增強(qiáng)小散度的影響并降低大散度的影響。 （5-1） （5-2）5.2.2準(zhǔn)則2最大化所有歸一化散度的幾何均值 （

55、5-3） （5-4）準(zhǔn)則2使得各個(gè)類對之間的散度盡可能相等時(shí)才能取得最大值.5.2.3準(zhǔn)則3 最大化所有散度的幾何均值(MGMD) 實(shí)驗(yàn)中發(fā)現(xiàn), 存在W使得所有類對之間散度都很小但是歸一化后的散度數(shù)值相當(dāng), 此時(shí)的W不太適合于分類任務(wù)。組合準(zhǔn)則1與準(zhǔn)則2, 既保證各類別對的散度盡可能大同時(shí)又保證它們的散度值在一定程度上接近。 （5-5）5.3實(shí)驗(yàn)United States Postal Services database，9298個(gè)樣本,10個(gè)類別, 256維，訓(xùn)練集: 7291。表5-15.4小結(jié)本章方法能夠解決FLDA中的三個(gè)問題:異方差,多模態(tài)以及類可分。但這種方法通過迭代求解, 計(jì)算復(fù)

56、雜度高,理論上不能保證求得最優(yōu)解，而且文章中缺乏該方法在生物特征(如人臉)上的分類實(shí)驗(yàn)。結(jié)論全文總結(jié)第一部分我們介紹了人臉識(shí)別的背景、發(fā)展過程、國內(nèi)外人臉識(shí)別理論研究機(jī)構(gòu)以及本課題的研究內(nèi)容。 第二部分的主題介紹人臉識(shí)別算法的相關(guān)理論，本章粗略的介紹了時(shí)下幾種應(yīng)用較為廣泛的識(shí)別算法。 第三部分的主題是利用LDA 進(jìn)行人臉識(shí)別，本章中我們對LDA 方法的原理以及用LDA 方法訓(xùn)練識(shí)別人臉的步驟進(jìn)行了詳細(xì)的介紹。 第四部分的主題是介紹了一種改進(jìn)的 LDA 算法，本章中我們對其方法的原理以及用SSDA方法識(shí)別人臉實(shí)驗(yàn)進(jìn)行了詳細(xì)的介紹。 第五部分的主題是介紹了另外一種改進(jìn)的 LDA 算法，本章中我們對

57、其方法的原理以及用幾何平均數(shù)方法識(shí)別人臉實(shí)驗(yàn)進(jìn)行了詳細(xì)的介紹。 全文展望人臉識(shí)別作為模式識(shí)別領(lǐng)域中的重要應(yīng)用，近年來取得了很大的發(fā)展。線性降維技術(shù)發(fā)展的已經(jīng)比較成熟，隨著 SVM 理論的提出以及不斷的發(fā)展，基于核技術(shù)的非線性降維技術(shù)取得了很大的成功，己經(jīng)也越來引起人們的關(guān)注和興趣。 參考文獻(xiàn)1 OToole A J，Abdi H，Deffenbacher K A，etal. A low dimensional representation of faces in the higher dimensions of space.J.Journal of the Optical Society of

58、 2 America，1993，10：4054112 張翠萍，蘇光大.人臉識(shí)別技術(shù)綜述.中國圖像圖形學(xué)報(bào)，2000，5(11)：885-8943 邱建勇，基于獨(dú)立分量分析的人臉識(shí)別研究，20054 王正平，2008年 華南理工大學(xué)，基于Gabor特征的人臉識(shí)別及其在安保系統(tǒng)中的應(yīng)用5 祝磊，基于子空間分析的人臉識(shí)別研究，20076 Cheng Y. Liu K，Yang J，etal.Human face recognition method based on the statistical model of small sample size. SPIE Proc，Intell. Robot

59、s and Computer Vision X： Algorithms and Techn.1991，1606：85-957 周德龍，基于奇異值分解和判別式KL投影的人臉識(shí)別，2003，軟件學(xué)報(bào)8 董博生，人臉識(shí)別技術(shù)的實(shí)現(xiàn)及其在遠(yuǎn)程身份驗(yàn)證中的應(yīng)用，2007，北方工業(yè)大學(xué)9 鄒丹丹，人臉識(shí)別技術(shù)的研究與實(shí)際應(yīng)用，2003，北京郵電大學(xué)10 何坤賢，基于模塊C-2DPCA改進(jìn)算法的人臉識(shí)別方法，2009，東南大學(xué)11 Tao D, Li X, Wu X, Maybank SJ, Geometric mean for subspace selection, IEEE Trans Pattern

60、Anal Mach Intell. 2009 Feb;31(2):260-74.致謝首先要特別的感謝導(dǎo)師XXX教授。本文從課題到成文自始至終都是在XXX的悉心指導(dǎo)下完成的。導(dǎo)師淵博的知識(shí)、嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、孜孜不倦的敬業(yè)精神和平易近人的待人態(tài)度給我留下深刻的印象，論文選題階段，李老師就在研究方向上給予了有效的指導(dǎo)；論文研究階段，李老師的言傳身教更起到了很大的作用，使我能順利的克服面臨的諸多的困難。論文的完成離不開李老師的幫助。論文從選題、撰寫、修改到定稿，老師都給予了悉心的指導(dǎo)且傾注了大量的心血。另外，與其他一些同學(xué)的學(xué)習(xí)交流，也使我受益匪淺，對他們給予的幫助，這里再一次表示我衷心的感謝！ 29