《人工神經(jīng)網(wǎng)絡(luò)技術(shù)》PPT課件.ppt

人工神經(jīng)網(wǎng)絡(luò)技術(shù),內(nèi)容,神經(jīng)網(wǎng)絡(luò)工具箱,BP網(wǎng)絡(luò)與BP學(xué)習(xí)算法,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),人工神經(jīng)網(wǎng)絡(luò)概述,神經(jīng)網(wǎng)絡(luò)基本數(shù)學(xué)模型,人工神經(jīng)網(wǎng)絡(luò)概述,人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN），也稱為神經(jīng)網(wǎng)絡(luò)（NeuralNetwork,NN），是由大量處理單元廣泛互聯(lián)而成的網(wǎng)絡(luò)，是對(duì)人腦的抽象、簡(jiǎn)化和模擬，反映人腦的基本特征。人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是植根于神經(jīng)系統(tǒng)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù)。,人工神經(jīng)網(wǎng)絡(luò)概述,人工神經(jīng)網(wǎng)絡(luò)是一種模擬人神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過預(yù)先提供的一批相互對(duì)應(yīng)的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果。,神經(jīng)網(wǎng)絡(luò)基本數(shù)學(xué)模型,經(jīng)過對(duì)生物神經(jīng)元的長(zhǎng)期廣泛研究，1943年美國(guó)心理學(xué)家麥卡洛克（W.McCulloch）和數(shù)理學(xué)家皮茨（W.Pitts）根據(jù)生物神經(jīng)元生物電和生物化學(xué)的運(yùn)行機(jī)理提出神經(jīng)元的數(shù)學(xué)模型，即著名的MP模型。一個(gè)典型的人工神經(jīng)元MP模型如圖所示。,神經(jīng)網(wǎng)絡(luò)基本數(shù)學(xué)模型,對(duì)于網(wǎng)絡(luò)中的第i個(gè)神經(jīng)元，接受多個(gè)其他神經(jīng)元的輸入信號(hào)，各連接強(qiáng)度以實(shí)系數(shù)表示，即第j個(gè)神經(jīng)元對(duì)第i個(gè)神經(jīng)元作用的權(quán)值。利用某種運(yùn)算把輸入信號(hào)的作用結(jié)合起來，給出他們的總效果，稱為凈輸入，以表示，凈輸入的表達(dá)式有多種類型，最簡(jiǎn)單的一種形式是線性加權(quán)求和，即：,MP模型的數(shù)學(xué)表達(dá)式為：,式中，為閥值，是激勵(lì)函數(shù)。,神經(jīng)網(wǎng)絡(luò)基本數(shù)學(xué)模型,激勵(lì)函數(shù)可取不同的函數(shù)，它可以是線性的，也可以是非線性的。常用的基本激勵(lì)函數(shù)有以下三種；閥值函數(shù),分段線性函數(shù),該函數(shù)通常稱為階躍函數(shù)。此外，符號(hào)函數(shù)Sgn（t）也常常作為神經(jīng)元的激勵(lì)函數(shù)。,神經(jīng)網(wǎng)絡(luò)基本數(shù)學(xué)模型,S型函數(shù)S型函數(shù)即Sigmoid函數(shù)。它是人工神經(jīng)網(wǎng)絡(luò)中最常用的激勵(lì)函數(shù)。S型函數(shù)定義如下：,其中為S型函數(shù)的斜率參數(shù)，通過改變參數(shù)，可以得到不同斜率下的S型函數(shù)。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最主要的特征之一，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對(duì)外部環(huán)境做出反應(yīng)的一個(gè)過程。能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。學(xué)習(xí)算法是指針對(duì)學(xué)習(xí)問題的明確規(guī)則集合。學(xué)習(xí)類型是由參數(shù)變化發(fā)生的形式?jīng)Q定的，不同的學(xué)習(xí)算法對(duì)神經(jīng)元權(quán)值調(diào)整的表達(dá)式有所不同。沒有一種獨(dú)特的學(xué)習(xí)算法用于設(shè)計(jì)所有的神經(jīng)網(wǎng)絡(luò)。選擇或設(shè)計(jì)學(xué)習(xí)算法時(shí)還需要考慮神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)即神經(jīng)網(wǎng)絡(luò)與外界環(huán)境相連的形式。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為兩類：有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)。有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)又稱為有監(jiān)督學(xué)習(xí)，在學(xué)習(xí)時(shí)需要給出導(dǎo)師信號(hào)或稱為期望輸出。神經(jīng)網(wǎng)絡(luò)對(duì)外部環(huán)境是未知的，但可以將導(dǎo)師看做對(duì)外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導(dǎo)師信號(hào)或期望響應(yīng)代表了神經(jīng)網(wǎng)絡(luò)執(zhí)行情況的最佳效果，即對(duì)于網(wǎng)絡(luò)輸入調(diào)整網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)輸出逼近導(dǎo)師信號(hào)或期望輸出。,神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),無導(dǎo)師學(xué)習(xí)無導(dǎo)師學(xué)習(xí)包括強(qiáng)化學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是模仿生物在“試探評(píng)價(jià)”的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案以適應(yīng)環(huán)境的特點(diǎn)，具有向環(huán)境學(xué)習(xí)已增長(zhǎng)知識(shí)的能力。在無監(jiān)督學(xué)習(xí)中沒有外部導(dǎo)師或評(píng)價(jià)系統(tǒng)來統(tǒng)觀學(xué)習(xí)過程，而是提供一個(gè)關(guān)于網(wǎng)絡(luò)學(xué)習(xí)表示方法質(zhì)量的測(cè)量尺度，根據(jù)該尺度將網(wǎng)絡(luò)的自由參數(shù)最優(yōu)化。一旦網(wǎng)絡(luò)與輸入數(shù)據(jù)的統(tǒng)計(jì)規(guī)律性達(dá)成一致，就能夠形成內(nèi)部表示方法來為輸入特征編碼，并由此自動(dòng)得出新的類別。,BP網(wǎng)絡(luò)與BP學(xué)習(xí)算法,BP網(wǎng)絡(luò)是一種前向多層網(wǎng)絡(luò)，是基于誤差反向傳播算法的有導(dǎo)師網(wǎng)絡(luò)。BP網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，隱層中的神經(jīng)元均采用S型激活函數(shù)，輸出層神經(jīng)元采用線性傳遞函數(shù)。,x1,o1,輸出層,隱藏層,輸入層,x2,o2,om,xn,BP網(wǎng)絡(luò)與BP學(xué)習(xí)算法,BP算法是一種有導(dǎo)師的學(xué)習(xí)算法，這種算法通常采用梯度下降法。BP算法解決了多層前向網(wǎng)絡(luò)的學(xué)習(xí)問題，促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。如圖所示為多層前向網(wǎng)絡(luò)的一部分，其中有兩種信號(hào)，一是實(shí)線表示的工作信號(hào)，工作信號(hào)正向傳播；二是用虛線表示的誤差信號(hào)，誤差信號(hào)反向傳播。,BP網(wǎng)絡(luò)與BP學(xué)習(xí)算法,BP學(xué)習(xí)過程可以描述如下：工作信號(hào)正向傳播：輸入信號(hào)從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號(hào)，這是工作信號(hào)的正向傳播。在信號(hào)向前傳遞過程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號(hào)反向傳播。誤差信號(hào)反向傳播，網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間差值即為誤差信號(hào)，誤差信號(hào)由輸出端開始逐層反向傳播，這是誤差信號(hào)的反向傳播。在誤差信號(hào)反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出。,神經(jīng)網(wǎng)絡(luò)工具箱,神經(jīng)網(wǎng)絡(luò)工具箱是在MATLAB環(huán)境下所開發(fā)出來的眾多工具箱之一，它是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，用MATLAB語言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，如S型、線性、競(jìng)爭(zhēng)層、飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。另外，根據(jù)各種典型的網(wǎng)絡(luò)學(xué)習(xí)算法，加上網(wǎng)絡(luò)的訓(xùn)練過程，用MATLAB編寫出各種網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練的子程序，網(wǎng)絡(luò)的設(shè)計(jì)者則可以根據(jù)自己的需要去調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)學(xué)習(xí)程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考和解決所關(guān)注的問題。,神經(jīng)網(wǎng)絡(luò)工具箱,在MATLAB的命令窗口鍵入“nntool”命令，即可進(jìn)入下圖所示的圖形用戶窗口界面（GUI）。,神經(jīng)網(wǎng)絡(luò)工具箱,示例利用神經(jīng)網(wǎng)絡(luò)工具箱設(shè)計(jì)一個(gè)三層BP網(wǎng)絡(luò)，使其以較高的精度逼近余弦曲線?；具^程如下：定義神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本數(shù)據(jù)（輸入矢量和目標(biāo)矢量）%訓(xùn)練樣本集：200個(gè)-1,+1區(qū)間隨機(jī)數(shù)x=rands(1,200);%與x對(duì)應(yīng)的目標(biāo)矢量，即與x對(duì)應(yīng)的真實(shí)余弦值y=cos(pi*x);%建立樣本數(shù)據(jù)文件savedataxy;,神經(jīng)網(wǎng)絡(luò)工具箱,導(dǎo)入訓(xùn)練樣本數(shù)據(jù)在工作空間或文件中生成所需的數(shù)據(jù)，然后點(diǎn)擊Import按鈕將數(shù)據(jù)導(dǎo)入。,神經(jīng)網(wǎng)絡(luò)工具箱,創(chuàng)建神經(jīng)網(wǎng)絡(luò)在圖形窗口主界面中點(diǎn)擊“NewNetwork”，進(jìn)入創(chuàng)建神經(jīng)網(wǎng)絡(luò)界面。在該界面中進(jìn)行對(duì)神經(jīng)網(wǎng)絡(luò)的名稱、類型、結(jié)構(gòu)和訓(xùn)練函數(shù)等參數(shù)的設(shè)置。,神經(jīng)網(wǎng)絡(luò)工具箱,網(wǎng)絡(luò)的初始化在神經(jīng)網(wǎng)絡(luò)創(chuàng)建完成之后，網(wǎng)絡(luò)的權(quán)值和閥值已自動(dòng)進(jìn)行了初始化。在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中，可直接點(diǎn)擊Weights標(biāo)簽，對(duì)當(dāng)前網(wǎng)絡(luò)進(jìn)行權(quán)和閥值參數(shù)的顯示和編輯。,神經(jīng)網(wǎng)絡(luò)工具箱,神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中點(diǎn)擊Train標(biāo)簽進(jìn)入網(wǎng)絡(luò)訓(xùn)練界面。,神經(jīng)網(wǎng)絡(luò)工具箱,仿真（網(wǎng)絡(luò)的檢驗(yàn)）在網(wǎng)絡(luò)結(jié)構(gòu)顯示界面中點(diǎn)擊Simulate進(jìn)入仿真界面。定義檢驗(yàn)樣本數(shù)據(jù)t：t=-1:0.02:1;,神經(jīng)網(wǎng)絡(luò)工具箱,訓(xùn)練結(jié)果和數(shù)據(jù)導(dǎo)出在圖形用戶窗口主界面點(diǎn)擊Export按鈕，彈出如圖所示結(jié)果導(dǎo)出界面。,神經(jīng)網(wǎng)絡(luò)工具箱,在命令行鍵入如下命令可以得到如圖所示的逼近曲線。Plot（bpnet_outputs_sim）,以上仿真結(jié)果表明，一個(gè)隱含層僅有10個(gè)神經(jīng)元的BP網(wǎng)絡(luò)就可以很好的擬合一個(gè)余弦函數(shù)。,ThankYou!,