變形預(yù)報(bào)人工神經(jīng)網(wǎng)絡(luò)法ppt課件

第八章 變形預(yù)報(bào)的人工神經(jīng)網(wǎng)絡(luò)法,§8.1 概述 §8.2 BP網(wǎng)絡(luò)及其訓(xùn)練算法 §8.3 BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)設(shè)計(jì) §8.4 相似相關(guān)系數(shù)法確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.5 主要成分確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.6 大樣本確定BP網(wǎng)絡(luò)結(jié)構(gòu) §8.7 訓(xùn)練樣本質(zhì)量對(duì)BP網(wǎng)絡(luò)推廣能力的影響 §8.8 BP網(wǎng)絡(luò)的推廣能力及網(wǎng)絡(luò)性能的評(píng)估 §8.9 BP網(wǎng)絡(luò)的改進(jìn)算法分析 §8.10 BP網(wǎng)絡(luò)的智能訓(xùn)練算法,1,§8.1 概述,人的大腦是自然界所造就的最高級(jí)產(chǎn)物。人的思維主要可概括為邏輯四維和想象四維兩種。過去以規(guī)則為基礎(chǔ)的知識(shí)系統(tǒng)可被認(rèn)為是致力于模擬人的邏輯思維，而人工神經(jīng)網(wǎng)絡(luò)則可被認(rèn)為是探索人的形象思維。根據(jù)19世紀(jì)末創(chuàng)建的神經(jīng)元學(xué)說，神經(jīng)元的結(jié)構(gòu)如下圖所示,8.1.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念和特征,2,神經(jīng)元是由細(xì)胞體、樹突、軸突和突觸4部分組成。,神經(jīng)元群或者神經(jīng)網(wǎng)絡(luò)系統(tǒng)對(duì)外界有興趣和抑制兩種反應(yīng)，興奮指的是相對(duì)靜止變?yōu)橄鄬?duì)活動(dòng)，抑制是指由相對(duì)活動(dòng)變?yōu)橄鄬?duì)靜止。神經(jīng)元之間信息的傳遞形式有正、負(fù)兩種連接。正在接呈相互激發(fā)；負(fù)連接呈相互抑制。神經(jīng)元之間的連接強(qiáng)度和積極性可以有所不同，并且都可進(jìn)行調(diào)整，因此人腦才可以有存儲(chǔ)信息的功能。 為了模擬人腦神經(jīng)元網(wǎng)絡(luò)的功能，心里學(xué)家McClloch和數(shù)學(xué)家Pitts就對(duì)人腦神經(jīng)元進(jìn)行了形式描述，抽象出了人工神經(jīng)元結(jié)構(gòu)模型，如下圖。,3,此人工神經(jīng)元一般簡(jiǎn)稱為神經(jīng)元，有時(shí)也成為結(jié)點(diǎn)。其中 為神經(jīng)元的內(nèi)部狀態(tài)，有時(shí)也用來表示神經(jīng)元本身， 為閾值， 為輸入信號(hào)， 為外部輸入信號(hào)。記 表示從 到 連接的權(quán)值， 為輸出，則上述模型可表示為,（8-1）,（8-2）,（8-3）,當(dāng)神經(jīng)元沒有內(nèi)部狀態(tài)時(shí)，可令 h=f （8-4）,當(dāng)有n個(gè)輸入神經(jīng)元記 （8-5）,4,為神經(jīng)元 的輸入。當(dāng) 來自某一神經(jīng)元的輸出時(shí)，也記其為 ，而且在沒有內(nèi)部狀態(tài)時(shí)，常把閾值也看做一個(gè)權(quán)值，于是,（8-6）,其中， ，,由諸多人工神經(jīng)元按一定連接方式由權(quán)值連接構(gòu)成的網(wǎng)絡(luò)就成為人工神經(jīng)網(wǎng)絡(luò)，有時(shí)也成為人工神經(jīng)元網(wǎng)絡(luò)。從系統(tǒng)觀點(diǎn)看，人工神經(jīng)網(wǎng)絡(luò)是由大量通過極其豐富和完善的連接而構(gòu)成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)，由于神經(jīng)元之間有著不同的連接方式，所以組成不同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可能的。,5,人工神經(jīng)網(wǎng)絡(luò)技術(shù)是近年來發(fā)展起來的新技術(shù)，有著廣闊的應(yīng)用領(lǐng)域，發(fā)展速度也很快，有很好的應(yīng)用前景。其具有以下突出特征： （1）具有大規(guī)模并行處理和信息分布式存儲(chǔ)能力。 （2）具有容錯(cuò)性和魯棒性。主要表現(xiàn)在神經(jīng)網(wǎng)絡(luò)中某個(gè)神經(jīng)元的損壞，或某兩個(gè)神經(jīng)元之間的連接損壞，或某個(gè)神經(jīng)元的輸入有偏差時(shí)，網(wǎng)絡(luò)的性能沒有明顯改變。 （3）具有自學(xué)習(xí)呢能力適用于實(shí)際樣本中提取特征，獲取知識(shí)。 （4）它具有較的非線性的非線性動(dòng)態(tài)處理能力，無需知道自變量和因變量之間的關(guān)系，就可實(shí)現(xiàn)高度非線性映射，因而可以處理復(fù)雜的、數(shù)量關(guān)系不明確的問題，包括大壩變性分析與預(yù)報(bào)及安全性評(píng)價(jià)、環(huán)境評(píng)價(jià)等問題。,6,8.1.2 人工神經(jīng)網(wǎng)絡(luò)模型,人工神經(jīng)網(wǎng)絡(luò)依照其結(jié)構(gòu)、狀態(tài)和學(xué)習(xí)方式的不同，可將人工神經(jīng)網(wǎng)絡(luò)按不同方式進(jìn)行分類： （1）按網(wǎng)絡(luò)結(jié)構(gòu)可分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)兩大類。前饋型模型有明顯的層次關(guān)系，信息單方向的從輸入層向輸出層流動(dòng)，反饋型網(wǎng)絡(luò)沒有明顯的層次關(guān)系，信息的傳輸存在反饋機(jī)制。 （2）從神經(jīng)元的狀態(tài)上神經(jīng)網(wǎng)絡(luò)有兩種劃分方案：一種按神經(jīng)元取值狀態(tài)是連續(xù)的還是離散的劃分，神經(jīng)網(wǎng)絡(luò)可分為離散型神經(jīng)網(wǎng)絡(luò)和連續(xù)型神經(jīng)網(wǎng)絡(luò)。 （3）按照學(xué)習(xí)方式可分為有導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)和無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò)。 （4）從系統(tǒng)的觀點(diǎn)來看，神經(jīng)網(wǎng)絡(luò)可分為兩大類：即非線性映射網(wǎng)絡(luò)和非線性動(dòng)力學(xué)網(wǎng)絡(luò)。,7,美國(guó)加州大學(xué)的Rumelhart和MeClelland以及他們的同事在探索人類知識(shí)微結(jié)構(gòu)的過程中簡(jiǎn)明的提出一種ANN的誤差反向傳播網(wǎng)絡(luò)通常稱為BP網(wǎng)絡(luò)，對(duì)應(yīng)的算法稱為誤差反傳算法，它是當(dāng)今神經(jīng)網(wǎng)絡(luò)中使用最廣泛的一種。本章主要針對(duì)BP網(wǎng)絡(luò)及其在過程變性分析與預(yù)報(bào)中的應(yīng)用，研究和論述如下問題： （1）BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的算法 （2）BP網(wǎng)絡(luò)的推廣能力和網(wǎng)絡(luò)性能的評(píng)估標(biāo)準(zhǔn)，以及訓(xùn)練樣本質(zhì)量對(duì)BP網(wǎng)絡(luò)性能的影響 （3）BP網(wǎng)絡(luò)訓(xùn)練收斂標(biāo)準(zhǔn) （4）BP網(wǎng)絡(luò)的訓(xùn)練算法,8,§8.2 BP網(wǎng)絡(luò)及其訓(xùn)練算法,8.2.1 BP網(wǎng)絡(luò)結(jié)構(gòu) 從結(jié)構(gòu)上看，BP網(wǎng)絡(luò)是典型的多層網(wǎng)絡(luò)，它不僅有輸入層結(jié)點(diǎn)、輸出層結(jié)點(diǎn)，而且有一層或多層隱含層結(jié)點(diǎn)。在BP網(wǎng)絡(luò)中，層與層之間多采用全互連方式，但同一層的結(jié)點(diǎn)之間不存在相互連接。 一個(gè)三層BP網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示。圖中 表示輸出層的輸出； 表示隱含層的輸出； 表示輸入層的輸入； 表示從隱含層結(jié)點(diǎn)到輸出層節(jié)點(diǎn)的連接權(quán)； 表示從輸入層結(jié)點(diǎn)到隱含層結(jié)點(diǎn)的連接權(quán)；在后面的討論中，小標(biāo)I、j、k分別表示輸出接點(diǎn)、隱含層結(jié)點(diǎn)和輸入結(jié)點(diǎn)；M、L、N分寫表示輸入結(jié)點(diǎn)、隱含層結(jié)點(diǎn)和輸入結(jié)點(diǎn)的數(shù)量。,9,從形式看BP網(wǎng)絡(luò)和感知機(jī)十分相似，但他們之間存在著重要差別。第一，在多層感知機(jī)結(jié)構(gòu)中，只有一層之間的連接權(quán)值可調(diào)，而其他各層之間的連接權(quán)值是固定的；但在BP網(wǎng)絡(luò)則不同，它的每一層之間的連接權(quán),10,值都是可調(diào)的。第二，感知機(jī)結(jié)構(gòu)中的處理結(jié)點(diǎn)呈線性輸入或輸出關(guān)系，其結(jié)點(diǎn)狀態(tài)為二進(jìn)制的0和1；而BP網(wǎng)絡(luò)除輸入層處理結(jié)點(diǎn)外，其他層的處理結(jié)點(diǎn)均為非線性輸入或輸出關(guān)系，即要求這些處理結(jié)點(diǎn)的特征函數(shù)應(yīng)是可微的，這些節(jié)點(diǎn)的激勵(lì)函數(shù)通常為S型函數(shù)，其最一般的形式為,參數(shù) 、 與 一樣，可在網(wǎng)絡(luò)學(xué)習(xí)過程中調(diào)整。不過輸出參數(shù)一般都可經(jīng)過某種數(shù)學(xué)轉(zhuǎn)換或歸一化到0,1區(qū)間，常用BP網(wǎng)絡(luò)的激勵(lì)函數(shù)為,式中,11,在應(yīng)用BP網(wǎng)絡(luò)時(shí)，必須清楚兩點(diǎn)：第一，網(wǎng)絡(luò)學(xué)習(xí)過程需要正向傳播和反向傳播 ，一但網(wǎng)絡(luò)經(jīng)過訓(xùn)練用于問題求解，則只需正向傳播，而不需要在進(jìn)行反向傳播；第二，從網(wǎng)絡(luò)學(xué)習(xí)的角度看，信息在網(wǎng)絡(luò)中的傳播是雙向的，但并不意味著網(wǎng)絡(luò)的層與層之間的連接也是雙向的，因此，誤差反向傳播的BP網(wǎng)絡(luò)是一種前饋網(wǎng)絡(luò)。,8.2.2 誤差反傳訓(xùn)練算法,上述BP網(wǎng)絡(luò)的學(xué)習(xí)過程，具體實(shí)施時(shí)是依據(jù)誤差從輸出層往輸入層逐層進(jìn)行權(quán)值修正，所以盡管一系列有關(guān)的公式本質(zhì)上來自梯度算法，但人們常把BP網(wǎng)絡(luò)的學(xué),12,習(xí)算法稱為誤差反傳訓(xùn)練算法。 設(shè)歸一化后訓(xùn)練樣本為 （8-11）,P是訓(xùn)練樣本點(diǎn)數(shù)，樣本點(diǎn) 為,（8-12）,對(duì)于每一個(gè)樣本結(jié)點(diǎn)，有N個(gè)輸入，M個(gè)輸出。,對(duì)于給定的某個(gè)樣本點(diǎn)，有如下結(jié)果： 輸入層結(jié)點(diǎn)的輸入 （8-13）,輸入層結(jié)點(diǎn)的輸出 （8-14）,隱含層結(jié)點(diǎn)的輸入 （8-15）,隱含層結(jié)點(diǎn)的輸出 （8-16）,13,輸出層結(jié)點(diǎn)的輸入 （8-17）,輸出層結(jié)點(diǎn)的輸出 （8-18）,式中， ， 分別為輸出結(jié)點(diǎn)i和隱含層結(jié)點(diǎn)j的閾值；f(.)是這些結(jié)點(diǎn)的激勵(lì)函數(shù)，如式（8-10）的Sigmoid函數(shù)。,在誤差反轉(zhuǎn)訓(xùn)練算法的學(xué)習(xí)過程中，通常的誤差測(cè)度準(zhǔn)則是平方誤差最小，即能量函數(shù)為 （8-21）,式中， 為輸出層結(jié)點(diǎn)i的期望輸出值， 為輸出層結(jié)點(diǎn)i的網(wǎng)絡(luò)實(shí)際輸出值， 、 ，急需通過BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則和算法確定。 我們知道，在n維空間定義的函數(shù)Q=Q(x)的改變率為最大的方向是Q在這一點(diǎn)斜量，即梯度,14,（8-22）,顯然，E相當(dāng)于定義在 構(gòu)成高維空間上的一個(gè)函數(shù)，因此，取E在 空間上的最速下降應(yīng)取,（8-24）,于是，修正量可表示為,（8-26）,由式（8-26），則式（8-24）可改寫為,（8-27）,由上式可知,15,（8-31）,（8-36）,（8-38）,從而對(duì)輸出層可直接得 （8-39）,上述各式構(gòu)成了BP網(wǎng)絡(luò)完整的誤差反傳訓(xùn)練算法,8.2.3 BP網(wǎng)絡(luò)的學(xué)習(xí)步驟 根據(jù)上述所推導(dǎo)的誤差反傳訓(xùn)練算法，BP網(wǎng)絡(luò)的學(xué)習(xí)步驟如下： （1）初始化網(wǎng)絡(luò)學(xué)習(xí)參數(shù)，即將隱含層和輸出層各節(jié)點(diǎn)的連接權(quán)值、神經(jīng)元閾值賦予某一區(qū)間的一個(gè)隨機(jī)數(shù),16,（2）將樣本的輸入/輸出參數(shù)化為至0,1區(qū)間 （3）提供訓(xùn)練樣本，即從訓(xùn)練樣本集合中選出一個(gè)訓(xùn)練樣本，將樣本中的自變量賦予輸入層的相應(yīng)結(jié)點(diǎn)，將樣本中的因變量賦予輸出層的相應(yīng)的結(jié)點(diǎn)。 （4）正向傳播過程，即對(duì)給定的輸入樣本，從第一隱含層開始，依權(quán)值和激勵(lì)函數(shù)的作用在輸出結(jié)點(diǎn)算得網(wǎng)絡(luò)輸出值，并計(jì)算網(wǎng)絡(luò)輸出與樣點(diǎn)真實(shí)輸出之間的均方差， （5）反向傳播過程，即從輸出層反向計(jì)算到第一隱含層，首先計(jì)算同一層結(jié)點(diǎn)的誤差 ，然后按梯度法修正權(quán)值，再用修正后的各結(jié)點(diǎn)連接權(quán)值轉(zhuǎn)到第（3步）重新計(jì)算,8.2.4 BP網(wǎng)絡(luò)的優(yōu)點(diǎn)及存在的問題 BP網(wǎng)絡(luò)模型是目前神經(jīng)網(wǎng)絡(luò)模型中使用最廣泛的一種，,17,它有自己的優(yōu)點(diǎn)，也存在一些缺點(diǎn)。BP網(wǎng)絡(luò)主要優(yōu)點(diǎn)如下： （1）算法推導(dǎo)清楚，學(xué)習(xí)精度較高。 （2）從理論上說，可以使多層前饋網(wǎng)絡(luò)學(xué)會(huì)任何可學(xué)習(xí)的東西。 （3）經(jīng)過訓(xùn)練后的BP網(wǎng)絡(luò)，運(yùn)行速度極快，可用于實(shí)時(shí)處理。 BP也存在不少問題，只要表現(xiàn)在以下方面： （1）BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)如何確定問題 （2）已學(xué)習(xí)好的網(wǎng)絡(luò)的推廣問題，即能否逼近規(guī)律和對(duì)于大量未經(jīng)學(xué)習(xí)過程的輸入樣本也能正確處理，并且網(wǎng)絡(luò)是否具有一定的預(yù)測(cè)能力。 （3）學(xué)習(xí)算法的收斂速度很慢，通常需要數(shù)千步或更長(zhǎng)，甚至還可能不收斂。 （4）由于它的數(shù)學(xué)基礎(chǔ)是非線性優(yōu)化問題，因此，存,18,在不少局部最小點(diǎn)，在某些初始值的條件下，算法的結(jié)果會(huì)陷入局部最??；另一方面，基于BP網(wǎng)絡(luò)的誤差曲面存在一些平坦區(qū)，在此區(qū)內(nèi)誤差改變很小，這些平坦區(qū)多數(shù)發(fā)生在神經(jīng)元的輸出接近于0或1的情況下。 （5）激活函數(shù)的選取問題。 （6）誤差函數(shù)的選取問題。 （7）網(wǎng)絡(luò)訓(xùn)練中參數(shù)的合理設(shè)置，如初始權(quán)重的設(shè)置問題、動(dòng)量系數(shù) 和學(xué)習(xí)速率 確定的問題、從樣本集合中如何選取訓(xùn)練樣本和測(cè)試樣本等。 （8）如何評(píng)價(jià)已學(xué)習(xí)好的網(wǎng)絡(luò)的性能，即評(píng)價(jià)準(zhǔn)則是什么。,19,