《計(jì)算智能》PPT課件

《《計(jì)算智能》PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《《計(jì)算智能》PPT課件（68頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、1,4 計(jì)算智能,4.1概述 4.2神經(jīng)計(jì)算,2,4.1概述,人工智能分成兩大類：一類是符號(hào)智能，一類是計(jì)算智能。 符號(hào)智能是以知識(shí)為基礎(chǔ)，通過(guò)推理進(jìn)行問(wèn)題求解。也即所謂的傳統(tǒng)人工智能。 計(jì)算智能是以數(shù)據(jù)為基礎(chǔ)，通過(guò)訓(xùn)練建立聯(lián)系，進(jìn)行問(wèn)題求解。人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊系統(tǒng)、進(jìn)化程序設(shè)計(jì)、人工生命等都可以包括在計(jì)算智能。,3,4.1概述（續(xù)）,定義 貝茲德克（Bezdek，1992）：計(jì)算智能取決于制造者提供的數(shù)據(jù)，而不依賴于知識(shí)；另一方面，傳統(tǒng)人工智能則應(yīng)用知識(shí)精品（knowledge tidbits）。,4,4.1概述（續(xù)）,計(jì)算智能與傳統(tǒng)人工智能的區(qū)別 貝茲德克提出了模式識(shí)別（PR）與

2、生物神經(jīng)網(wǎng)絡(luò)（BNN）、人工神經(jīng)網(wǎng)絡(luò)（ANN）和計(jì)算神經(jīng)網(wǎng)絡(luò)（CNN）的關(guān)系，以及模式識(shí)別與其它智能的關(guān)系。 貝茲德克對(duì)這些相關(guān)術(shù)語(yǔ)給予一定的符號(hào)和簡(jiǎn)要說(shuō)明或定義。,5,4.1概述（續(xù)）,ABC理論： AArtificial， 表示人工的（非生物的），即人造的 BBiological， 表示物理的化學(xué)的（？）生物的 CComputational， 表示數(shù)學(xué)計(jì)算機(jī),6,4.1概述（續(xù)）,下圖表示ABC及其與神經(jīng)網(wǎng)絡(luò)（NN）、模式識(shí)別（PR）和智能（I）之間的關(guān)系（貝茲德克1994）。,7,4.1概述（續(xù)）,圖中中間部分共有9個(gè)節(jié)點(diǎn)，表示9個(gè)研究領(lǐng)域或?qū)W科。節(jié)點(diǎn)之間的距離衡量領(lǐng)域間的差異，如CNN

3、與CPR間的差異要比BNN與BPR之間的差異小的多。 圖中符號(hào)表示“適當(dāng)?shù)淖蛹?。如中層ANNARP AI，對(duì)于右列有：CIAI BI等 在定義時(shí)，任何計(jì)算機(jī)系統(tǒng)都是人工系統(tǒng)，但反命題不能成立。,8,4.1概述（續(xù)）,ABC及其相關(guān)領(lǐng)域的定義,9,4.1概述（續(xù)）,計(jì)算智能是一種智力方式的低層認(rèn)知，與傳統(tǒng)人工智能的區(qū)別知識(shí)認(rèn)知層次從中層下降至低層。中層系統(tǒng)含有知識(shí)，低層系統(tǒng)則沒(méi)有。 當(dāng)一個(gè)系統(tǒng)只涉及數(shù)值（低層）數(shù)據(jù)，含有模式識(shí)別部分，不應(yīng)用傳統(tǒng)人工智能意義上的知識(shí)，而且能夠呈現(xiàn)出： （1）計(jì)算適應(yīng)性； （2）計(jì)算容錯(cuò)性； （3）接近人的速度； （4）誤差率與人相近， 則該系統(tǒng)就是計(jì)算智能系統(tǒng)。

4、 當(dāng)一個(gè)計(jì)算智能系統(tǒng)以非數(shù)值方式加上知識(shí)（精品）值，即成為人工智能系統(tǒng)。,10,4.2神經(jīng)計(jì)算,神經(jīng)計(jì)算：以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的計(jì)算 人工神經(jīng)網(wǎng)絡(luò)的定義： （1）HechtNielsen（1988年） ANN是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PEProcessing Element）具有內(nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。,11,4.2神經(jīng)計(jì)算（續(xù)）,處理單元的輸出信號(hào)可以是任何需要的

5、數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。 強(qiáng)調(diào)： 并行、分布處理結(jié)構(gòu)； 一個(gè)處理單元的輸出可以被任意分枝，且大小不變； 輸出信號(hào)可以是任意的數(shù)學(xué)模型； 處理單元完全的局部操作,12,4.2神經(jīng)計(jì)算（續(xù)）,（2）Rumellhart，McClelland，Hinton的并行分布處理 （PDP） 1）一組處理單元（PE或AN）； 2）處理單元的激活狀態(tài)（ai）； 3）每個(gè)處理單元的輸出函數(shù)（fi）； 4）處理單元之間的聯(lián)接模式； 5）傳遞規(guī)則（wijoi）； 6）把處理單元的輸入及當(dāng)

6、前狀態(tài)結(jié)合起來(lái)產(chǎn)生激活值的激活規(guī)則（Fi）； 7）通過(guò)經(jīng)驗(yàn)修改聯(lián)接強(qiáng)度的學(xué)習(xí)規(guī)則； 8）系統(tǒng)運(yùn)行的環(huán)境（樣本集合）。,13,4.2神經(jīng)計(jì)算（續(xù)）,（3）Simpson（1987年） ANN是一個(gè)非線性的有向圖，圖中含有可以通過(guò)改變權(quán)大小來(lái)存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。,14,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展,40年代初，美國(guó)McCulloch和Pitts從信息處理的角度，研究神經(jīng)細(xì)胞行為的數(shù)學(xué)模型表達(dá)，提出了二值神經(jīng)元模型。MP模型的提出開(kāi)始了對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)程。1949年心理學(xué)家Hebb提出著名的Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強(qiáng)度的改變來(lái)實(shí)現(xiàn)神經(jīng)學(xué)習(xí)的

7、方法。雖然Hebb學(xué)習(xí)規(guī)則在人們研究神經(jīng)網(wǎng)絡(luò)的初期就已提出，但是其基本思想至今在神經(jīng)網(wǎng)絡(luò)的研究中仍發(fā)揮著重要作用。,15,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展（續(xù)）,50年代末期，Rosenblatt提出感知機(jī)模型(Perceptron)，首先從工程角度出發(fā)，研究了用于信息處理的神經(jīng)網(wǎng)絡(luò)模型。這是一種學(xué)習(xí)和自組織的心理學(xué)模型，它基本符合神經(jīng)生理學(xué)的原理。感知機(jī)雖然比較簡(jiǎn)單，卻已具有神經(jīng)網(wǎng)絡(luò)的一些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計(jì)算等。這些神經(jīng)網(wǎng)絡(luò)的特性與當(dāng)時(shí)流行串行的、離散的、符號(hào)處理的電子計(jì)算機(jī)及其相應(yīng)的人工智能技術(shù)有本質(zhì)上的不同，由此引起許多研究者的興趣，在60代掀起了神經(jīng)

8、網(wǎng)絡(luò)研究的第一次高潮。 但是，當(dāng)時(shí)人們對(duì)神經(jīng)網(wǎng)絡(luò)研究過(guò)于樂(lè)觀，認(rèn)為只要將這種神經(jīng)元互連成一個(gè)網(wǎng)絡(luò)，就可以解決人腦思維的模擬問(wèn)題，然而，后來(lái)的研究結(jié)果卻又使人們走到另一個(gè)極端上。,16,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展（續(xù)）,在60年代末，Minsky和Papert對(duì)Rosenblatt的工作進(jìn)行了深人研究，出版了有較大影響的(Perceptron)一書(shū)，指出感知機(jī)的功能和處理能力的局限性，甚至連XOR(異或)這樣的問(wèn)題也不能解決，同時(shí)也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無(wú)法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。因此Minsky的結(jié)論是悲觀的。 另一方

9、面，由于60年代以來(lái)集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計(jì)算機(jī)的計(jì)算速度飛速提高，加上那時(shí)以功能模擬為目標(biāo)、以知識(shí)信息處理為基礎(chǔ)的知識(shí)工程等研究成果，給人工智能從實(shí)驗(yàn)室走向?qū)嵱脦?lái)了希望，這些技術(shù)進(jìn)步給人們?cè)斐蛇@樣的認(rèn)識(shí)：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無(wú)窮的，這就暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋找新的人工智能途徑的必要性和迫切性。另外，當(dāng)時(shí)對(duì)大腦的計(jì)算原理、對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算的優(yōu)點(diǎn)、缺點(diǎn)、可能性及其局限性等還很不清楚?？傊?，認(rèn)識(shí)上的局限性使對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。,17,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展（續(xù)）,在這一低潮時(shí)期，仍有一些學(xué)者扎扎實(shí)實(shí)地繼續(xù)著神經(jīng)網(wǎng)絡(luò)

10、模型和學(xué)習(xí)算法的基礎(chǔ)理論研究，提出了許多有意義的理論和方法。其中，主要有自適應(yīng)共振理論，自組織映射，認(rèn)知機(jī)網(wǎng)絡(luò)模型理論，BSB模型等等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了理論基礎(chǔ)。 進(jìn)入80年代，首先是基于“知識(shí)庫(kù)”的專家系統(tǒng)的研究和運(yùn)用，在許多方面取得了較大成功。但在一段時(shí)間以后，實(shí)際情況表明專家系統(tǒng)并不像人們所希望的那樣高明，特別是在處理視覺(jué)、聽(tīng)覺(jué)、形象思維、聯(lián)想記憶以及運(yùn)動(dòng)控制等方面，傳統(tǒng)的計(jì)算機(jī)和人工智能技術(shù)面臨著重重困難。模擬人腦的智能信息處理過(guò)程，如果僅靠串行邏輯和符號(hào)處理等傳統(tǒng)的方法來(lái)濟(jì)決復(fù)雜的問(wèn)題，會(huì)產(chǎn)生計(jì)算量的組合爆炸。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。對(duì)神經(jīng)

11、網(wǎng)絡(luò)的研究又開(kāi)始復(fù)興，掀起了第二次研究高潮。,18,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展（續(xù)）,1982年，美國(guó)加州理工學(xué)院物理學(xué)家Hopfield提出了一種新的神經(jīng)網(wǎng)絡(luò)HNN。引入了“能量函數(shù)”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。 HNN的電子電路物理實(shí)現(xiàn)為神經(jīng)計(jì)算機(jī)的研究奠定了基礎(chǔ)，并將其應(yīng)用于目前電子計(jì)算機(jī)尚難解決的計(jì)算復(fù)雜度為NP完全型的問(wèn)題，例如著名的“旅行商問(wèn)題”(TSP)，取得很好的效果。 從事并行分布處理研究的學(xué)者，于1985年對(duì)Hopfield模型引入隨機(jī)機(jī)制，提出了Boltzmann機(jī)。1986年Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型

12、的反向傳播學(xué)習(xí)算法(BP算法)，解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問(wèn)題。 1987年在美國(guó)召開(kāi)了第一屆世界神經(jīng)網(wǎng)絡(luò)大會(huì)1000人參加。從此神經(jīng)網(wǎng)絡(luò)的研究正式成為世界范圍內(nèi)的一個(gè)研究領(lǐng)域，被人類科學(xué)的各個(gè)領(lǐng)域的科學(xué)家關(guān)注。,19,4.2.1 人工神經(jīng)網(wǎng)絡(luò)的研究與發(fā)展（續(xù)）,目前的研究： 1）開(kāi)發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度； 2）充分發(fā)揮傳統(tǒng)人工智能與ANN絡(luò)技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法； 3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法； 4

13、）進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)；,20,4.2.2 人工神經(jīng)網(wǎng)絡(luò)的特征,（1）可以充分逼近任意復(fù)雜的非線性關(guān)系 （2）所有定量或定性的信息都等勢(shì)分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性 （3）采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能 （4）可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng) （5）能夠同時(shí)處理定量、定性知識(shí)。,21,4.2.2 人工神經(jīng)網(wǎng)絡(luò)的特征（續(xù)）,局限性 （1）ANN研究受到腦科學(xué)研究成果的限制。 （2）ANN缺少一個(gè)完整、成熟的理論體系。 （3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。 （4）ANN與傳統(tǒng)技術(shù)的接口不成熟。,22,4.2.2 人

14、工神經(jīng)網(wǎng)絡(luò)的特征（續(xù)）,一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。 對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具。 ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。,23,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),ANN的結(jié)構(gòu)是由基本處理單元（人工神經(jīng)元）及其互連方法決定的。 人工神經(jīng)元： 神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的最基本單元（構(gòu)件）。 人工神經(jīng)元模型應(yīng)該具有生物神經(jīng)元的四個(gè)基本特性。,24,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,四個(gè)基本特

15、征： 1）神經(jīng)元是一個(gè)多輸入（一個(gè)神經(jīng)元的多個(gè)樹(shù)突與多個(gè)其他神經(jīng)元的神經(jīng)鍵相聯(lián)系）、單輸出（一個(gè)神經(jīng)元只有一個(gè)軸索作為輸出通道）元件； 2）神經(jīng)元是一個(gè)具有非線性輸入輸出特性的元件。表現(xiàn)在只有當(dāng)來(lái)自各個(gè)神經(jīng)鍵的活動(dòng)電位脈沖達(dá)到一定強(qiáng)度之后，該神經(jīng)元的神經(jīng)鍵才能被激活，釋放出神經(jīng)化學(xué)物質(zhì)，發(fā)出本身的活動(dòng)電位脈沖； 3）神經(jīng)元具有可塑性，表現(xiàn)在其活動(dòng)電位脈沖的傳遞強(qiáng)度依靠神經(jīng)傳遞化學(xué)物質(zhì)的釋放量及神經(jīng)鍵間隙的變化是可調(diào)節(jié)的； 4）神經(jīng)元的輸出響應(yīng)是各個(gè)輸入綜合作用的結(jié)果，即所有輸入的累加作用，輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。,25,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,人工神經(jīng)元是AN

16、N的基本處理單元，它一般是一個(gè)多輸入/多輸出的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響之外，同時(shí)也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)，稱為偏置（bais），有時(shí)也稱為閥值或門限值。,26,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,典型人工神經(jīng)元模型 該神經(jīng)元由多個(gè)輸入xi，和一個(gè)輸出y組成，中間狀態(tài)由輸入信號(hào)的權(quán)和表示，輸出可以表示為：,27,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,激勵(lì)函數(shù)的作用 1、控制輸入對(duì)輸出的激活作用； 2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換； 3、將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。,28,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（

17、續(xù)）,幾種常用激勵(lì)函數(shù) 1、閥值型 2、分段線性型 3、高斯函數(shù) 4、S型函數(shù),29,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,常用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 1、前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)） 神經(jīng)元分層排列，分別組成輸入層、中間層（又稱隱層，可有多層）和輸出層。每一層神經(jīng)元只接收來(lái)自前一層神經(jīng)元的輸入。輸入信息經(jīng)各層變換后，最終在輸出層輸出,30,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,特點(diǎn)： 1. 神經(jīng)元分層排列，可又多層 2. 層間無(wú)連接 3. 方向由入到出，每一層神經(jīng)元只接受來(lái)自前一層神經(jīng)元的輸出，前向網(wǎng)絡(luò)也叫前饋網(wǎng)絡(luò) 應(yīng)用最為廣泛,31,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,從輸出層到輸入層有反饋的網(wǎng)絡(luò) 特點(diǎn)：

18、 1. 內(nèi)部前向 2. 輸出反饋到輸入,32,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（續(xù)）,互連網(wǎng)絡(luò) 不但每一層上的神經(jīng)元相互連接，而且同一層上的神經(jīng)元也相互連接，甚至任意兩個(gè)神經(jīng)元都可以有連接。這種網(wǎng)絡(luò)還可以細(xì)分，僅同一層上神經(jīng)元相互連的網(wǎng)絡(luò)稱為層內(nèi)互連網(wǎng)絡(luò)，任意兩個(gè)神經(jīng)元都相互連接的網(wǎng)絡(luò)叫完全互連網(wǎng)絡(luò)。 層內(nèi)互連網(wǎng)絡(luò)的一個(gè)顯著特點(diǎn)是利用神經(jīng)元橫向控制作用對(duì)層內(nèi)其它神經(jīng)元進(jìn)行抑制或激發(fā)。完全互連網(wǎng)絡(luò)則一直處于狀態(tài)的動(dòng)態(tài)變化中。,33,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法,ANN最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。 通過(guò)向環(huán)境學(xué)習(xí)獲取知識(shí)并改進(jìn)自身性能是 ANN 的一個(gè)重要特點(diǎn)，在一般情況下，性能的改

19、善是按某種預(yù)定的度量通過(guò)調(diào)節(jié)自身參數(shù)（如權(quán)值）隨時(shí)間逐步達(dá)到的。 1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。,34,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）,（1）監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）這種學(xué)習(xí)方式需要外界存在一個(gè)“導(dǎo)師”，他可對(duì)一組給定輸入提供應(yīng)有的輸出結(jié)果（正確答案）。這組已知的輸入輸出數(shù)據(jù)稱為訓(xùn)練樣本集。學(xué)習(xí)系統(tǒng)可根據(jù)已知輸出與實(shí)際輸出之間的差值（誤差信號(hào)）來(lái)調(diào)節(jié)系統(tǒng)參數(shù)。,35,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）,學(xué)習(xí)算法的主要步驟 1）從樣本集合中取一個(gè)樣本（Ai，Bi）； 2）計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出Y；

20、3）求D=Bi-Y； 4）根據(jù)D調(diào)整權(quán)矩陣W； 5）對(duì)每個(gè)樣本重復(fù)上述過(guò)程，直到對(duì)整個(gè)樣本集來(lái)說(shuō)，誤差不超過(guò)規(guī)定范圍。 主要有規(guī)則、廣義規(guī)則以及LVQ算法等,36,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）,（2）非監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)）非監(jiān)督學(xué)習(xí)時(shí)不存在外部導(dǎo)師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境所提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)（這是一種自組織過(guò)程），以表示外部輸入的某種固有特征（ 如聚類，或某種統(tǒng)計(jì)上的分布特征）。,37,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）,Hebb學(xué)習(xí)律、競(jìng)爭(zhēng)與協(xié)同（Competitive and Cooperative）學(xué)習(xí)、隨機(jī)聯(lián)接系統(tǒng)（Randomly C

21、onnected Learning）等。 Hebb算法的核心：當(dāng)兩個(gè)神經(jīng)元同時(shí)處于激發(fā)狀態(tài)時(shí)被加強(qiáng)，否則被減弱。,38,4.2.3 人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法（續(xù)）,（3）再勵(lì)學(xué)習(xí)（或強(qiáng)化學(xué)習(xí)）這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)（獎(jiǎng)或懲）而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化那些受獎(jiǎng)勵(lì)的動(dòng)作來(lái)改善自身性能。,39,4.2.4 人工神經(jīng)網(wǎng)絡(luò)的典型模型,(1) 自適應(yīng)共振(ART)由Grossberg提出，是根據(jù)可選參數(shù)對(duì)輸入數(shù)據(jù)進(jìn)行粗分類的網(wǎng)絡(luò)，ART用于二值輸入，ART用于連續(xù)值輸入。缺點(diǎn)是太敏感，輸入有小的變化，輸出變化很大。 (2) 雙向聯(lián)想存儲(chǔ)器(BAM)，由K

22、osko提出是一種單狀態(tài)互聯(lián)想網(wǎng)，具有學(xué)習(xí)功能。缺點(diǎn)是存儲(chǔ)密度較低，且易振蕩。 (3) Boltzmann機(jī)由Hinton等提出。建立在Hopfield網(wǎng)絡(luò)基礎(chǔ)上具有學(xué)習(xí)能力，能夠通過(guò)一個(gè)模擬退火過(guò)程尋求解答，缺點(diǎn)是訓(xùn)練時(shí)間較BP網(wǎng)要長(zhǎng)。 (4) 反向傳遞(BP)網(wǎng)是一種反向傳遞并修正誤差的多層映射網(wǎng)，在參數(shù)適當(dāng)時(shí)，能收斂到較小的均方誤差，是當(dāng)前應(yīng)用最廣的一種網(wǎng)絡(luò)。缺點(diǎn)是訓(xùn)練時(shí)間長(zhǎng)，易陷入局部極小。,40,4.2.4 人工神經(jīng)網(wǎng)絡(luò)的典型模型（續(xù)）,(5) BSB模型亦稱盒中腦模型，是具有最小均方誤差的單層自聯(lián)想網(wǎng)絡(luò)，可用于從數(shù)據(jù)庫(kù)中提取知識(shí)。缺點(diǎn)是僅有單步?jīng)Q策能力。 (6) CPN(Count

23、er Propagation Network)由Hecht和Nielsen于1987年提出，亦稱對(duì)流網(wǎng)，通常是5層，在第1、5兩層加載向量樣本對(duì)X、Y，并在網(wǎng)絡(luò)中反向流動(dòng)，在2、4兩層輸出近似的Y、X向量?？捎糜诼?lián)想存儲(chǔ)。缺點(diǎn)是一般應(yīng)用均要求很多的處理單元。 (7) Hopfield網(wǎng)由Hopfield于1982年提出，是一類不帶有學(xué)習(xí)功能的單層自聯(lián)想網(wǎng)，缺點(diǎn)是要對(duì)稱連接，內(nèi)存開(kāi)銷較大。 (8) MadaLine是AdaLine的發(fā)展，是一組具有最小均方差線性網(wǎng)絡(luò)的組合，學(xué)習(xí)能力較強(qiáng)，但I(xiàn)/O間需滿足線性關(guān)系。,41,4.2.4 人工神經(jīng)網(wǎng)絡(luò)的典型模型（續(xù)）,(9) 認(rèn)知機(jī)(Neocognit

24、ron)由Fukushima于1972年提出，是迄今為止結(jié)構(gòu)最復(fù)雜的多層網(wǎng)，通過(guò)無(wú)導(dǎo)師學(xué)習(xí)，具有選擇性注意的能力，對(duì)樣品的平移、旋轉(zhuǎn)不敏感。缺點(diǎn)是耗用結(jié)點(diǎn)及互連多，參數(shù)多且難選。 (10) 感知器(Perceptron)是最“古老”的網(wǎng)絡(luò)(Rosenblatt，于1975年提出)，是一組可訓(xùn)練的線性分類器，目前已很少使用。 (11) 自組織映射網(wǎng)(SOM)由Kohonen于1972年提出。能形成簇與簇之間的連續(xù)映射，起矢量量化器的作用。,42,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,1、感知器 Rosenblatt于1957年提出的感知器模型把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了工程上的實(shí)現(xiàn)，在神經(jīng)

25、網(wǎng)絡(luò)的發(fā)展史上占有重要的地位。 盡管它有較大的局限性，甚至連簡(jiǎn)單的異或（XOR）邏輯運(yùn)算都不能實(shí)現(xiàn)，但它畢竟是最先提出來(lái)的網(wǎng)絡(luò)模型，而且它提出的自組織、自學(xué)習(xí)思想及收斂算法對(duì)后來(lái)發(fā)展起來(lái)的網(wǎng)絡(luò)模型都產(chǎn)生了重要的影響，甚至可以說(shuō)，后來(lái)發(fā)展的網(wǎng)絡(luò)模型都是對(duì)它的改進(jìn)與推廣。 最初的感知器是一個(gè)只有單層計(jì)算單元的前向神經(jīng)網(wǎng)絡(luò)，由線性閾值單元組成，稱為單層感知器。后來(lái)針對(duì)其局限性進(jìn)行了改進(jìn)，提出了多層感知器。,43,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,單層感知器 單層感知器只有一個(gè)計(jì)算層，它以信號(hào)模板作為輸入，經(jīng)計(jì)算后匯總輸出，層內(nèi)無(wú)互連，從輸出至輸入無(wú)反饋，是一種典型的前向網(wǎng)絡(luò)， 在單層感知器中，當(dāng)

26、輸入的加權(quán)和大于等于閾值時(shí)，輸出為1，否則為0或1。它假定神經(jīng)元間的連接強(qiáng)度（即連接權(quán)值 wij）是可變的，這樣它就可以進(jìn)行學(xué)習(xí)。,44,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,單層感知器學(xué)習(xí)算法 學(xué)習(xí)的目的是調(diào)整連接權(quán)值，以使網(wǎng)絡(luò)對(duì)任何輸入都能得到所期望的輸出。在算法描述中，只考慮僅有一個(gè)輸出節(jié)點(diǎn)的情況，其中，xi是該輸出節(jié)點(diǎn)的輸入；wi是相應(yīng)的連接權(quán)值(i=1,2,n)；y(t)是時(shí)刻t的輸出；d是所期望的輸出，它或者為1，或者為1 學(xué)習(xí)算法步驟： （1）給 wi (0) (i=1,2,n)及閾值分別賦予一個(gè)較小的非零隨機(jī)數(shù)作為初值。這里wi (0)表示在時(shí)刻t=0時(shí)第i個(gè)輸入的連接權(quán)值。,

27、45,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,（2）輸入一個(gè)樣例 X=x1,x2,xn 和一個(gè)所期望的輸出d。 （3）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出： （4）調(diào)整連接權(quán)值： wi(t+1)=wi(t)+d-y(t)xi ，i=1,2,n 此處0 1，它是一個(gè)增益因子，用于控制調(diào)整速度，通常不能太大，否則會(huì)影響 wi(t)的穩(wěn)定；也不能太小，否則 wi(t)的收斂速度太慢。如果實(shí)際輸出與已知的輸出一致，表示網(wǎng)絡(luò)已經(jīng)作出了正確的決策，此時(shí)就無(wú)需改變wi(t)的值。 （5）轉(zhuǎn)到第（2）步，直到連接權(quán)值wi對(duì)一切樣例均穩(wěn)定不變時(shí)為止。,46,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,Rosenblatt還證明了如果取自

28、兩類模式 A，B 中的輸入是線性可分的，即它們可以分別落在某個(gè)超平面的兩邊，那么單層感知器的上述算法就一定會(huì)最終收斂于將這兩類模式分開(kāi)的那個(gè)超平面，并且該超平面能將 A，B 類中的所有模式都分開(kāi)。但是，當(dāng)輸入不是線性可分并且還部分重疊時(shí)，在單層感知器的收斂過(guò)程中決策界面將不斷地振蕩。 單層感知器不能解決 XOR問(wèn)題,47,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,多層感知器 只要在輸入層與輸出層之間增加一層或多層隱層，就可得到多層感知器，下圖是一個(gè)具有兩個(gè)隱層的三層感知器， 多層感知器克服了單層感知器的許多弱點(diǎn)。例如，應(yīng)用二層感知器就可實(shí)現(xiàn)異或邏輯運(yùn)算。,48,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法

29、,2、自適應(yīng)諧振理論（ART）網(wǎng)絡(luò) 自適應(yīng)共振理論（Adaptive Resonance Theory）由葛勞斯伯格和卡彭特于1986年提出。這一理論包括 ART1，ART2和 ART3三種模型，它們可以對(duì)任意多個(gè)和任意復(fù)雜的二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。其中ART1用于二進(jìn)制輸入，ART2用于連續(xù)信號(hào)輸入，而 ART3用模擬化學(xué)神經(jīng)傳導(dǎo)動(dòng)態(tài)行為的方程來(lái)描述，它們主要用于模式識(shí)別。,49,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,基本原理 ART網(wǎng)絡(luò)實(shí)際上是一個(gè)模式分類器，用于對(duì)模式進(jìn)行分類。每當(dāng)網(wǎng)絡(luò)接收外界的一個(gè)輸入向量時(shí)，它就對(duì)該向量所表示的模式進(jìn)行識(shí)別，并將它歸入與某已知

30、類別的模式匹配的類中去；如果它不與任何已知類別的模式匹配，則就為它建立一個(gè)新的類。如果一個(gè)新輸入的模式與某一個(gè)已知類別的模式近似匹配，則在把它歸入該類的同時(shí)，還要對(duì)那個(gè)已知類別的模式向量進(jìn)行調(diào)整，以使它與新模式更相似。這里所說(shuō)的近似匹配是指兩個(gè)向量的差異落在允許的警戒值（Vigilance）范圍之內(nèi)。,50,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,ART網(wǎng)絡(luò)結(jié)構(gòu) 網(wǎng)絡(luò)含有兩層，一個(gè)輸入層，一個(gè)輸出層，這兩層完全互連，該連接沿著正向（自底向上）和反饋（自頂向下）兩個(gè)方向進(jìn)行,51,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,學(xué)習(xí)算法 ART的學(xué)習(xí)分類過(guò)程，目前已有多種實(shí)現(xiàn) 分 類 的 方 法

31、，下面給出一種基于李普曼（Lippman）1987年提出的方法，它分為以下幾步： （1）初始化。在開(kāi)始訓(xùn)練及分類前，要對(duì)自上而下的權(quán)值向量 Wj、自下而上的權(quán)值向量 Bj以及警戒值進(jìn)行初始化。一般Bj應(yīng)設(shè)置為相同的較小值， 如：bij(0)=1/(1+n) 其中n為輸入向量的元素個(gè)數(shù)。 Wj的元素初值為1，即wij(0)=1相應(yīng)的警戒值 為0 1，通過(guò)調(diào)節(jié)的值可調(diào)整分類的類數(shù)，當(dāng) 大時(shí)，類別就多；當(dāng)小時(shí)，類別就少。因此在訓(xùn)練時(shí)，可通過(guò)調(diào)節(jié) 的值，使分類逐步由粗變細(xì)。,52,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,（2）給出一個(gè)新的輸入樣例，即輸入一個(gè)新的樣例向量。 （3）計(jì)算輸出節(jié)點(diǎn)j的輸

32、出 其中，j是輸出節(jié)點(diǎn)j的輸出，xi是輸入節(jié)點(diǎn)i的輸入，取值為0或1。 （4） 選擇最佳匹配 這可通過(guò)輸出節(jié)點(diǎn)的擴(kuò)展抑制權(quán)達(dá)到。,53,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,（5）警戒值檢測(cè) 如果s ,則轉(zhuǎn)（7），否則轉(zhuǎn)（6）。 （6）重新匹配。當(dāng)相似率低于時(shí)，這就需要另外尋找已有的其它模式，即尋找一個(gè)更接近于輸入向量的類。為此，首先初始化搜索狀態(tài)，把原激活的神經(jīng)元置為0，并標(biāo)志該神經(jīng)元取消競(jìng)爭(zhēng)資格，然后轉(zhuǎn)（3），重復(fù)上述過(guò)程，直到相似率大于而轉(zhuǎn)入（7），結(jié)束分類過(guò)程，或者全部已有的模式均被測(cè)試過(guò)，無(wú)一匹配，此時(shí)將輸入信息作為新的一類存儲(chǔ)。,54,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)

33、）,（7）調(diào)整網(wǎng)絡(luò)權(quán)值 （8）轉(zhuǎn)向（2），進(jìn)行新的向量學(xué)習(xí)分類。 這是一種快速學(xué)習(xí)算法，并且是邊學(xué)習(xí)邊運(yùn)行的，輸出節(jié)點(diǎn)中每次最多只有一個(gè)為1。每個(gè)輸出節(jié)點(diǎn)可以看作一類相似模式的代表性概念。一個(gè)輸入節(jié)點(diǎn)的所有權(quán)值對(duì)應(yīng)于一個(gè)模式，只有當(dāng)輸入模式距某一個(gè)這樣的模式較近時(shí)，代表它的輸出節(jié)點(diǎn)才響應(yīng)。,55,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法（續(xù)）,ART學(xué)習(xí)算法有下列特性： （1）它是一種無(wú)導(dǎo)師的學(xué)習(xí)算法。 （2）訓(xùn)練穩(wěn)定后，任一已用于訓(xùn)練的輸入向量都將不再需要搜索就能正確地激活約定的神經(jīng)元，并作出正確的分類。同時(shí)又能迅速適應(yīng)未經(jīng)訓(xùn)練的新對(duì)象。 （3）搜索過(guò)程和訓(xùn)練過(guò)程是穩(wěn)定的。 （4）訓(xùn)練過(guò)程會(huì)自行

34、終止。在對(duì)有限數(shù)量的輸入向量訓(xùn)練后，將產(chǎn)生一組確定的權(quán)值。,56,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,3、Hopfield網(wǎng)絡(luò) Hopfield模型是霍普菲爾特分別于1982年及1984年提出的兩個(gè)神經(jīng)網(wǎng)絡(luò)模型，一個(gè)是離散的，一個(gè)是連續(xù)的，但它們都屬于反饋網(wǎng)絡(luò)，即它們從輸入層至輸出層都有反饋存在。下圖是一個(gè)單層反饋神經(jīng)網(wǎng)絡(luò)。,57,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,在反饋網(wǎng)絡(luò)中，由于網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)的狀態(tài)在不斷地改變，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問(wèn)題。 所謂一個(gè)網(wǎng)絡(luò)是穩(wěn)定的，是指從某一時(shí)刻開(kāi)始，網(wǎng)絡(luò)的狀態(tài)不再改 變。設(shè) 用X(t)表示網(wǎng)絡(luò)在時(shí)刻t的狀態(tài)，如果

35、從t=0的任一初態(tài) X(0)開(kāi)始，存在一個(gè)有限的時(shí)刻t，使得從此時(shí)刻開(kāi)始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，即X(t+t)=X(t) , t0 就稱該網(wǎng)絡(luò)是穩(wěn)定的,58,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,Hopfield提出的離散網(wǎng)絡(luò)模型是一個(gè)離散時(shí)間系統(tǒng)，每個(gè)神經(jīng)元只有兩種狀態(tài)，可用1和-1，或者1和0表示，由連接權(quán)值 wij所構(gòu)成的矩陣是一個(gè)零對(duì)角的對(duì)稱矩陣，即 在該網(wǎng)絡(luò)中，每當(dāng)有信息進(jìn)入輸入層時(shí)，在輸入層不做任何計(jì)算，直接將輸入信息分布地傳遞給下一層各有關(guān)節(jié)點(diǎn)。若用 Xj(t)表示節(jié)點(diǎn)j 在時(shí)刻t 的狀態(tài)，則該節(jié)點(diǎn)在下一時(shí)刻（即t+1）的狀態(tài)由下式?jīng)Q定：,59,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及

36、其算法,整個(gè)網(wǎng)絡(luò)的狀態(tài)用 X(t)表示，它是由各節(jié)點(diǎn)的狀態(tài)所構(gòu)成的向量。若假設(shè)輸出層只有兩個(gè)節(jié)點(diǎn)，并用1和0分別表示每個(gè)節(jié)點(diǎn)的狀態(tài)，則整個(gè)網(wǎng)絡(luò)共有四種狀態(tài)，分別為：00,01,10,11。 一般來(lái)說(shuō)，如果在輸出層有n 個(gè)神經(jīng)元，則網(wǎng)絡(luò)就有2n個(gè)狀態(tài)，它可以與一個(gè)n 維超立體的頂角相聯(lián)系。當(dāng)有一個(gè)輸入向量輸入到網(wǎng)絡(luò)后，網(wǎng)絡(luò)的迭代過(guò)程就不斷地從一個(gè)頂角轉(zhuǎn)向另一個(gè)頂角，直至穩(wěn)定于一個(gè)頂角為止。如果網(wǎng)絡(luò)的輸入不完全或只有部分正確，則網(wǎng)絡(luò)將穩(wěn)定于所期望頂角附近的一個(gè)頂角那里。,60,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,Hopfield的離散網(wǎng)絡(luò)模型有兩種工作方式，即串行（異步）方式及并行（同步）方式。

37、 串行方式，是指在任一時(shí)刻t只有一個(gè)神經(jīng)元j發(fā)生狀態(tài)變化，而其余n-1個(gè)神經(jīng)元保持狀態(tài)不變，并行方式，是指在任一時(shí)刻t，都有部分或全體神經(jīng)元同時(shí)改變狀態(tài)。,61,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,離散Hopfield網(wǎng)絡(luò)的穩(wěn)定性:早在1983年就由科恩(Cojen)與葛勞斯伯格（Grossberg）給出了穩(wěn)定性的證明。 Hopfield等又進(jìn)一步證明，只要連接權(quán)值構(gòu)成的矩陣是具有非負(fù)對(duì)角元的對(duì)稱矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性；若該矩陣為非負(fù)定矩陣，則該網(wǎng)絡(luò)就具有并行穩(wěn)定性。 離散Hopfield網(wǎng)絡(luò)中的神經(jīng)元與生物神經(jīng)元的差別較大，因?yàn)樯锷窠?jīng)元的輸入輸出是連續(xù)的，而且生物神經(jīng)元存在時(shí)延。

38、于是Hopfield于1984年又提出了連續(xù)時(shí)間的神經(jīng)網(wǎng)絡(luò)，在這種網(wǎng)絡(luò)中，節(jié)點(diǎn)的狀態(tài)可取0至1間任一實(shí)數(shù)值。,62,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,Hopfield網(wǎng)絡(luò)是一種非線性的動(dòng)力學(xué)網(wǎng)絡(luò)，它通過(guò)反復(fù)運(yùn)算這一動(dòng)態(tài)過(guò)程求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性。在求解某些問(wèn)題時(shí)，它與人們求解的方法很相似。 例如對(duì)于“旅行商問(wèn)題”就是這樣。對(duì)該問(wèn)題，若用窮盡搜索的方法來(lái)求解，則運(yùn)算量將隨城市數(shù) N的增加呈指數(shù)性增長(zhǎng)，但若用Hopfield網(wǎng)絡(luò)求解這個(gè)問(wèn)題，就會(huì)把最短路徑問(wèn)題化為一個(gè)網(wǎng)絡(luò)能量（ Hopfield認(rèn)為網(wǎng)絡(luò)行為是受網(wǎng)絡(luò)能量支配的，對(duì)于離散及連續(xù)的Hopfield網(wǎng)絡(luò)均有相應(yīng)的能量

39、函數(shù)來(lái)表示網(wǎng)絡(luò)的能量）求極小的問(wèn)題，這個(gè)動(dòng)態(tài)系統(tǒng)的最后運(yùn)行結(jié)果就是問(wèn)題的解。當(dāng)然，用這種方法求得的解不一定是最優(yōu)的，即不一定是最短路徑，而是某個(gè)較短路徑，但這正好與人們憑直覺(jué)求解問(wèn)題的效果是一致的。人們遇到問(wèn)題時(shí)，經(jīng)常能直觀地很快作出決策，但它卻不一定是最優(yōu)的。,63,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,Hopfield網(wǎng)絡(luò)算法步驟： （1）設(shè)置互連權(quán)值 （2）未知類別樣本初始化 yi(0)=xi 其中，yi(t)為節(jié)點(diǎn)i在t時(shí)刻的輸出，當(dāng)t=0時(shí)，yi(0)就是節(jié)點(diǎn)i的初始值，xi為輸入樣本的第i個(gè)分量。 （3）迭代直到收斂,該過(guò)程將一直重復(fù)進(jìn)行，直到進(jìn)一步的迭代不再改變節(jié)點(diǎn)的輸出為止。,

40、64,4.2.5 人工神經(jīng)網(wǎng)絡(luò)示例及其算法,（3）轉(zhuǎn)（2）繼續(xù)。 Hopfield網(wǎng)絡(luò)的主要不足之處： （1）很難精確分析網(wǎng)絡(luò)的性能。 （2）其動(dòng)力學(xué)行為比較簡(jiǎn)單。,65,4.2.6 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理,1、知識(shí)表示 在基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)中，知識(shí)的表示方法與傳統(tǒng)AI系統(tǒng)中所用的方法（如謂詞、框架、語(yǔ)義網(wǎng)絡(luò)等）完全不同。 傳統(tǒng)AI系統(tǒng)中所用的方法是知識(shí)的顯式表示，而神經(jīng)網(wǎng)絡(luò)中的知識(shí)表示是一種隱式的表示方法。在這里，知識(shí)并不像在產(chǎn)生系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。 例如在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向帶權(quán)圖的鄰接矩陣及閾值向量

41、表示的。,66,4.2.6 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理,例：如圖所示的表示異或邏輯的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其鄰接矩陣（權(quán)矩陣）為： 如以產(chǎn)生式規(guī)則來(lái)描述，則該網(wǎng)絡(luò)代表了四條規(guī)則 IF x1=0 AND x2=0 THEN y=0 IF x1=0 AND x2=1 THEN y=1 IF x1=1 AND x2=0 THEN y=1 IF x1=1 AND x2=1 THEN y=0,67,4.2.6 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理,2、基于神經(jīng)網(wǎng)絡(luò)的推理 采用神經(jīng)網(wǎng)絡(luò)進(jìn)行推理實(shí)際上也是通過(guò)網(wǎng)絡(luò)權(quán)值的計(jì)算完成的。用戶提供的數(shù)據(jù)作為輸入數(shù)據(jù)送到網(wǎng)絡(luò)的輸入端，網(wǎng)絡(luò)按某種規(guī)則對(duì)樣本進(jìn)行訓(xùn)練，最終給出期望的輸出

42、值。網(wǎng)絡(luò)的權(quán)值由開(kāi)始的隨機(jī)數(shù)趨于穩(wěn)定值，網(wǎng)絡(luò)也就基本固定不變了。 對(duì)正向推理，其推理步驟為： （1）根據(jù)已知問(wèn)題設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，并對(duì)權(quán)值進(jìn)行初始化； （2）把已知數(shù)據(jù)送到網(wǎng)絡(luò)的輸入端的各個(gè)節(jié)點(diǎn)； （3）利用特性函數(shù)逐層計(jì)算各層的輸出； （4）用閾值函數(shù)對(duì)輸出層的計(jì)算結(jié)果進(jìn)行判別，給出最終結(jié)果。,68,4.2.6 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理,特征： （1）同一層的處理單元是完全并行的，但層間的信息傳遞是串行的。由于層中處理單元的數(shù)目要比網(wǎng)絡(luò)的層數(shù)多得多，因此它是一種并行推理； （2）在網(wǎng)絡(luò)推理中不會(huì)出現(xiàn)傳統(tǒng)AI系統(tǒng)中推理的沖突問(wèn)題； （3）網(wǎng)絡(luò)推理只與輸入及網(wǎng)絡(luò)自身的參數(shù)有關(guān)，而這些參數(shù)又是通過(guò)使用學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)訓(xùn)練得到的，因此它是一種自適應(yīng)推理。,