神經(jīng)網(wǎng)絡(luò)反向傳播原理精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)反向傳播原理主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

（江蘇科技大學(xué)電子信息學(xué)院，江蘇鎮(zhèn)江212003）

摘要：在實際交通環(huán)境中，由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標(biāo)志的圖像質(zhì)量往往不高，這就對交通標(biāo)志自動識別的準(zhǔn)確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法。該方法采用深層卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)模型，直接將采集的交通標(biāo)志圖像經(jīng)二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結(jié)構(gòu)，自動地提取交通標(biāo)志圖像的特征，最后再利用一個全連接的網(wǎng)絡(luò)實現(xiàn)交通標(biāo)志的識別。實驗結(jié)果表明，該方法利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力，自動地提取交通標(biāo)志的特征，避免了傳統(tǒng)的人工特征提取，有效地提高了交通標(biāo)志識別的效率，具有良好的泛化能力和適應(yīng)范圍。

關(guān)鍵詞 ：交通標(biāo)志；識別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

中圖分類號：TN911.73?34；TP391.41 文獻標(biāo)識碼：A 文章編號：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項目：國家自然科學(xué)基金面上項目（61371114）

0 引言

隨著智能汽車的發(fā)展，道路交通標(biāo)志的自動識別[1?3]作為智能汽車的基本技術(shù)之一，受到人們的高度關(guān)注。道路交通標(biāo)志識別主要包括兩個基本環(huán)節(jié)：首先是交通標(biāo)志的檢測，包括交通標(biāo)志的定位、提取及必要的預(yù)處理；其次是交通標(biāo)志的識別，包括交通標(biāo)志的特征提取和分類。

如今，交通標(biāo)志的識別方法大多數(shù)都采用人工智能技術(shù)，主要有下述兩類形式[4]。一種是采用“人工特征+機器學(xué)習(xí)”的識別方法，如基于淺層神經(jīng)網(wǎng)絡(luò)、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設(shè)計特征，機器學(xué)習(xí)模型僅負責(zé)特征的分類或識別，因此特征設(shè)計的好壞直接影響到整個系統(tǒng)性能的性能，而要發(fā)現(xiàn)一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發(fā)展起來的深度學(xué)習(xí)模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學(xué)習(xí)模型以及卷積神經(jīng)網(wǎng)絡(luò)等。在這種方法中，無需構(gòu)造任何的人工特征，而是直接將圖像的像素作為輸入，通過構(gòu)建含有多個隱層的機器學(xué)習(xí)模型，模擬人腦認知的多層結(jié)構(gòu)，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一，是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它利用一系列的卷積層、池化層以及一個全連接輸出層構(gòu)建一個多層的網(wǎng)絡(luò)，來模仿人腦感知視覺信號的逐層處理機制，以實現(xiàn)視覺特征信號的自動提取與識別。本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識別，通過構(gòu)建一個由二維卷積和池化處理交替組成的6層網(wǎng)絡(luò)來逐層地提取交通標(biāo)志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現(xiàn)特征的分類和識別。實驗中將加入高斯噪聲、經(jīng)過位移、縮放和旋轉(zhuǎn)處理的交通標(biāo)志圖像以及實際道路采集交通標(biāo)志圖像分別構(gòu)成訓(xùn)練集和測試集，實驗結(jié)果表明，本文所采用的方法具有良好的識別率和魯棒性。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

1.1 深度學(xué)習(xí)

神經(jīng)科學(xué)研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復(fù)雜的層次結(jié)構(gòu)中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學(xué)習(xí)這一新興研究領(lǐng)域的迅速發(fā)展。

深度學(xué)習(xí)[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構(gòu)建含有多個隱層的多層網(wǎng)絡(luò)來逐層地對信號特征進行新的提取和空間變換，以自動學(xué)習(xí)到更加有效的特征表述，最終實現(xiàn)視覺功能。目前深度學(xué)習(xí)已成功地應(yīng)用到語音識別、圖像識別和語言處理等領(lǐng)域。在不同學(xué)習(xí)框架下構(gòu)建的深度學(xué)習(xí)結(jié)構(gòu)是不同的，如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生，第一個卷積神經(jīng)網(wǎng)絡(luò)計算模型是在Fukushima 的神經(jīng)認知機中提出的[8]，基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來，LeCun 等人在該思想的基礎(chǔ)上，用誤差梯度設(shè)計并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[9?10]，在一些模式識別任務(wù)上得到優(yōu)越的性能。

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種有監(jiān)督的深度學(xué)習(xí)算法，無需事先知道輸入與輸出之間精確的數(shù)學(xué)表達式，只要用已知的模式對卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以學(xué)習(xí)到輸入與輸出之間的一種多層的非線性關(guān)系，這是非深度學(xué)習(xí)算法不能做到的。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數(shù)對網(wǎng)絡(luò)中的權(quán)值和閾值參數(shù)逐層反向調(diào)節(jié)，以得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)解，并可以通過增加迭代次數(shù)來提高網(wǎng)絡(luò)訓(xùn)練的精度。

1.2.1 前向傳播

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中，輸入的原始圖像經(jīng)過逐層的卷積和池化處理后，提取出若干特征子圖并轉(zhuǎn)換成一維特征矢量，最后由全連接的輸出層進行分類識別。

在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數(shù)，其表達式可用式（1）表示：

式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權(quán)值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過程中，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法采用類似于BP神經(jīng)網(wǎng)絡(luò)的梯度最速下降法，即按極小化誤差的方法反向傳播調(diào)整權(quán)值和閾值。網(wǎng)絡(luò)反向傳播回來的誤差是每個神經(jīng)元的基的靈敏度[12]，也就是誤差對基的變化率，即導(dǎo)數(shù)。下面將分別求出輸出層、池采樣層和卷積層的神經(jīng)元的靈敏度。

（1）輸出層的靈敏度

對于誤差函數(shù)式（6）來說，輸出層神經(jīng)元的靈敏度可表示為：

在前向傳播過程中，得到網(wǎng)絡(luò)的實際輸出，進而求出實際輸出與目標(biāo)輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復(fù)交替，直到達到收斂的要求為止。

2 深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法

2.1 應(yīng)用原理

交通標(biāo)志是一種人為設(shè)計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標(biāo)志。我國的交通標(biāo)志主要有警告、禁令、指示和指路等類型，一般采用顏色來區(qū)分不同的類型，用形狀或圖形來標(biāo)示具體的信息。從交通標(biāo)志設(shè)計的角度來看，屬于不同類型（不同顏色）的交通標(biāo)志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標(biāo)志中同類的指示信息標(biāo)志在形狀或圖形上比較接近，如警告標(biāo)志中的平面交叉路口標(biāo)志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標(biāo)志之間會比不同類型的標(biāo)志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標(biāo)志的關(guān)鍵因素。

因此，在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志時，從提高算法效率和降低錯誤率綜合考慮，將交通標(biāo)志轉(zhuǎn)換為灰度圖像并作二值化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像信息。圖2給出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志的原理圖。該網(wǎng)絡(luò)采用了6層交替的卷積層和池采樣層來逐層提取交通標(biāo)志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標(biāo)志圖像；

Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標(biāo)志識別的判別準(zhǔn)則為：對于輸入交通標(biāo)志圖像Input，網(wǎng)絡(luò)的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標(biāo)志圖像Input為第j 類交通標(biāo)志。

2.2 交通標(biāo)志識別的基本步驟

深層神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志主要包括交通標(biāo)志的訓(xùn)練與識別，所以將交通標(biāo)志識別歸納為以下4個步驟：（1） 圖像預(yù)處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標(biāo)志圖像轉(zhuǎn)換為灰度圖像，再利用鄰近插值法將交通標(biāo)志圖像規(guī)格化，最后利用最大類間方差將交通標(biāo)志圖像二值化。

（2）網(wǎng)絡(luò)權(quán)值和閾值的初始化：利用隨機分布函數(shù)將權(quán)值W 初始化為-1~1之間的隨機數(shù)；而將閾值b 初始化為0。

（3）網(wǎng)絡(luò)的訓(xùn)練：利用經(jīng)過預(yù)處理的交通標(biāo)志圖像構(gòu)成訓(xùn)練集，對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，通過網(wǎng)絡(luò)前向傳播和反向傳播的反復(fù)交替處理，直到滿足識別收斂條件或達到要求的訓(xùn)練次數(shù)為止。

（4）交通標(biāo)志的識別：將實際采集的交通標(biāo)志圖像經(jīng)過預(yù)處理后，送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進行交通標(biāo)志特征的提取，然后通過一個全連接的網(wǎng)絡(luò)進行特征分類與識別，得到識別結(jié)果。

3 實驗結(jié)果與分析

實驗主要選取了我國道路交通標(biāo)志的警告標(biāo)志、指示標(biāo)志和禁令標(biāo)志三類中較常見的50幅圖像?？紤]到在實際道路中采集到的交通標(biāo)志圖像會含有噪聲和出現(xiàn)幾何失真以及背景干擾等現(xiàn)象，因此在構(gòu)造網(wǎng)絡(luò)訓(xùn)練集時，除了理想的交通標(biāo)志以外，還增加了加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和縮放處理和實際采集到的交通標(biāo)志圖像，因此最終的訓(xùn)練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉(zhuǎn)、縮放的參數(shù)分別隨機的分布在±10，±5°，0.9~1.1的范圍內(nèi)。圖3給出了訓(xùn)練集中的交通標(biāo)志圖像的示例。圖4是在實際道路中采集的交通標(biāo)志圖像構(gòu)成的測試集的示例。

在實驗中構(gòu)造了一個輸入為48×48個神經(jīng)元、輸出為50 個神經(jīng)元的9 層網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是像素為48 × 48 的規(guī)格化的交通標(biāo)志圖像，輸出對應(yīng)于上述的50種交通標(biāo)志的判別結(jié)果。網(wǎng)絡(luò)的激活函數(shù)采用S型函數(shù)，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標(biāo)志的訓(xùn)練總誤差EN 曲線。在訓(xùn)練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩(wěn)的收斂過程，當(dāng)?shù)?0萬次時，總誤差EN可以達到0.188 2。

在交通標(biāo)志的測試實驗中，為了全面檢驗卷積神經(jīng)網(wǎng)絡(luò)的識別性能，分別針對理想的交通標(biāo)志，加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和比例縮放以及采集的交通標(biāo)志圖像進行實驗，將以上測試樣本分別送入到網(wǎng)絡(luò)中識別，表2給出了測試實驗結(jié)果。

綜合分析上述實驗結(jié)果，可以得到以下結(jié)論：（1）在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程中，整個網(wǎng)絡(luò)的誤差曲線快速平穩(wěn)的下降，體現(xiàn)出卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)具有良好的收斂性。

（2）經(jīng)逐層卷積和池采樣所提取的特征具有比例縮放和旋轉(zhuǎn)不變性，因此對于旋轉(zhuǎn)和比例縮放后的交通標(biāo)志能達到100%的識別率。

（3）與傳統(tǒng)的BP網(wǎng)絡(luò)識別方法[11]相比較，卷積神經(jīng)網(wǎng)絡(luò)能夠達到更深的學(xué)習(xí)深度，即在交通標(biāo)志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。

（4）卷積神經(jīng)網(wǎng)絡(luò)對實際采集的交通標(biāo)志圖像的識別率尚不能達到令人滿意的結(jié)果，主要原因是實際道路中采集的交通標(biāo)志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標(biāo)志訓(xùn)練樣本數(shù)，通過網(wǎng)絡(luò)的深度學(xué)習(xí)，提高網(wǎng)絡(luò)的識別率和魯棒性。

4 結(jié)論

本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識別，利用卷積神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)來模仿人腦感知視覺信號的機制，自動地提取交通標(biāo)志圖像的視覺特征并進行分類識別。實驗表明，應(yīng)用深層卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志取得了良好的識別效果。

在具體實現(xiàn)中，從我國交通標(biāo)志的設(shè)計特點考慮，本文將經(jīng)過預(yù)處理二值化的圖像作為網(wǎng)絡(luò)的輸入，主要是利用了交通標(biāo)志的形狀信息，而基本略去了顏色信息，其優(yōu)點是在保證識別率的基礎(chǔ)上，可以簡化網(wǎng)絡(luò)的結(jié)構(gòu)，降低網(wǎng)絡(luò)的計算量。在實際道路交通標(biāo)志識別中，將形狀信息和顏色信息相結(jié)合，以進一步提高識別率和對道路環(huán)境的魯棒性，是值得進一步研究的內(nèi)容。

此外，本文的研究沒有涉及到道路交通標(biāo)志的動態(tài)檢測，這也是今后可以進一步研究的內(nèi)容。

參考文獻

[1] 劉平華，李建民，胡曉林，等.動態(tài)場景下的交通標(biāo)識檢測與識別研究進展[J].中國圖象圖形學(xué)報，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國計算機學(xué)會.深度學(xué)習(xí)：推進人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進展[J].中國圖象圖形學(xué)報，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識別交通標(biāo)志[J].計算機工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其Matlab 仿真設(shè)計[M].北京：清華大學(xué)出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述[J].計算機應(yīng)用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進展[J].計算機應(yīng)用研究，2014（7）：1921?1930.

第2篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò) 反向傳播算法 故障診斷

1 引言

隨著經(jīng)濟的發(fā)展，空調(diào)系統(tǒng)得到了越來越廣泛的應(yīng)用，空調(diào)設(shè)備已成為重要的生活必備品之一。這就要求空調(diào)系統(tǒng)可靠性高且功能齊全，而且在故障診斷維修服務(wù)方面達到一定的水平。國內(nèi)目前的大部分空調(diào)系統(tǒng)中無故障診斷系統(tǒng)，當(dāng)空調(diào)系統(tǒng)出現(xiàn)故障后，維保人員往往不能及時、準(zhǔn)確地了解系統(tǒng)出現(xiàn)故障的原因及相關(guān)信息，空調(diào)系統(tǒng)無法得到及時修復(fù)，這種情況急需得到改善。

2 關(guān)于故障診斷技術(shù)

故障診斷FD(fault diagnosis)是一種了解和掌握設(shè)備在使用過程中的技術(shù)，確定其整體或局部是否正常，早期發(fā)現(xiàn)故障及其原因并能預(yù)報故障發(fā)展趨勢的技術(shù)。在診斷過程中，必須利用被診斷對象表現(xiàn)出來的各種有用信息，經(jīng)過適當(dāng)?shù)靥幚砗头治?，做出正確的診斷結(jié)論。在制冷暖通空調(diào)領(lǐng)域，1987年在彥啟森教授的建議下，才開始了故障診斷專家系統(tǒng)在制冷暖通空調(diào)領(lǐng)域的研究應(yīng)用[1]。

3 人工神經(jīng)網(wǎng)絡(luò)用于空調(diào)系統(tǒng)故障診斷的基本原理

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network．簡稱ANN)正是在人類對其大腦神經(jīng)網(wǎng)絡(luò)認識理解的基礎(chǔ)上人工構(gòu)造的能夠?qū)崿F(xiàn)某種功能的神經(jīng)網(wǎng)絡(luò)。它是理論化的人腦神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，是基于模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立的一種信息處理系統(tǒng)。它實際上是由大量簡單元件相互連接而成的復(fù)雜網(wǎng)絡(luò)，具有高度的非線性，能夠進行復(fù)雜的邏輯操作和非線性關(guān)系實現(xiàn)的系統(tǒng)。

典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

在眾多的人工神經(jīng)網(wǎng)絡(luò)模型中，最常用的是BP(Back Propagation)模型，即利用誤差反向傳播算法求解的多層前向神經(jīng)網(wǎng)絡(luò)模型[2]。BP網(wǎng)絡(luò)在故障診斷、模式識別、圖像識別、管理系統(tǒng)等方面都得到了廣泛的應(yīng)用。本文討論利用神經(jīng)網(wǎng)絡(luò)中的BP模型進行空調(diào)系統(tǒng)的故障診斷。

首先需要進行知識的獲取。由專家提供關(guān)于各種空調(diào)系統(tǒng)故障現(xiàn)象(征兆集)及相應(yīng)的故障原因(故障集)實例作為學(xué)習(xí)樣本。將數(shù)據(jù)分為兩部分，一部分用于訓(xùn)練網(wǎng)絡(luò)，另一部分用于測試。將訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)按一定順序編碼，分別賦給網(wǎng)絡(luò)輸入、輸出節(jié)點，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法對樣本進行學(xué)習(xí)，經(jīng)過網(wǎng)絡(luò)內(nèi)部自適應(yīng)算法不斷修正權(quán)值，直到達到所要求的學(xué)習(xí)精度為止。此時在大量神經(jīng)元之間聯(lián)結(jié)權(quán)值上就分布著專家知識和經(jīng)驗。訓(xùn)練完畢后，再將測試網(wǎng)絡(luò)的數(shù)據(jù)從初始狀態(tài)出發(fā)，向前推理，將顯示出的故障結(jié)果與實際的測試數(shù)據(jù)結(jié)果相比較，如果誤差很小，說明網(wǎng)絡(luò)的權(quán)值建立正確；如果誤差較大，說明網(wǎng)絡(luò)的權(quán)值建立有誤，需要重新進行網(wǎng)絡(luò)的訓(xùn)練。

將訓(xùn)練樣本訓(xùn)練完畢后，即可進行空調(diào)系統(tǒng)的故障診斷。只要實際輸入模式接近于某一個訓(xùn)練時的學(xué)習(xí)樣本的輸入模式，則可產(chǎn)生出接近學(xué)習(xí)樣本的輸出結(jié)果，也就是所謂的自聯(lián)想功能。同時，由于網(wǎng)絡(luò)計算上的大量并行性，當(dāng)機器運行狀況改變，出現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)未考慮的情況時，系統(tǒng)亦能給出正確分類結(jié)果。同時將新數(shù)據(jù)并入網(wǎng)絡(luò)，實現(xiàn)系統(tǒng)的自適應(yīng)。一般來說，學(xué)習(xí)的故障實例樣本越多，診斷結(jié)果的準(zhǔn)確率越高。

4 BP學(xué)習(xí)算法

BP算法因其簡單、易行、計算量小、并行性強等優(yōu)點，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最成熟的訓(xùn)練算法之一。BP算法的實質(zhì)是求解誤差函數(shù)的最小值問題，由于它采用非線性規(guī)劃中的梯度下降法（Gradient Descent），按誤差函數(shù)的負梯度方向修正權(quán)值 [3]。其主要思路是如果求出訓(xùn)練網(wǎng)絡(luò)的指標(biāo)函數(shù)誤差：

一般的BP算法稱為標(biāo)準(zhǔn)誤差逆?zhèn)鞑ニ惴?，也就是對?yīng)每一次輸入都校正一次權(quán)值。這種算法不是全局誤差意義上的梯度下降計算。對各個神經(jīng)元的輸出求偏導(dǎo)數(shù)，那么就可以算出誤差對所有連接權(quán)值的偏導(dǎo)數(shù)，從而可以利用梯度下降法來修改各個連接權(quán)值。真正的全局誤差意義上的梯度下降算法是在全部訓(xùn)練模式都學(xué)習(xí)完后才校正連接權(quán)和閾值。其計算流程如圖2所示：

5 故障診斷實例 5.1 空調(diào)系統(tǒng)故障診斷的BP網(wǎng)絡(luò)建立

空調(diào)系統(tǒng)故障模式及故障機制分析[4]如表1所示

表1 空調(diào)系統(tǒng)故障模式及故障機制分析 表示

符號

表示

符號

房間溫度均偏高

1.冷凍機產(chǎn)冷量不足

2.噴水堵塞

3.通過空氣處理設(shè)備的風(fēng)量過大，熱交換不良

4.回風(fēng)量大于送風(fēng)量

5.送風(fēng)量不足（可能空氣過濾氣堵塞）

6.表冷器結(jié)霜，造成堵塞

相對濕度均偏低

7.室外空氣未經(jīng)加濕處理

系統(tǒng)實測風(fēng)量大于設(shè)計風(fēng)量

8.系統(tǒng)的實際阻力小于設(shè)計阻力

9.設(shè)計時選用風(fēng)機容量偏大

房間氣流速度超過允許流速

10.送風(fēng)口速度過大

第3篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 卡爾曼濾波 數(shù)據(jù)融合

一、引言

數(shù)據(jù)融合是指對來自多個傳感器的信息進行融合，也可以將來自多個傳感器的信息和人機界面的觀測事實進行信息融(這種融合通常是決策級融合)。提取征兆信息，在推理機作用下．將征兆與知識庫中的知識匹配，做出故障診斷決策，提供給用戶。在基于信息融合的故障診斷系統(tǒng)中可以加入自學(xué)習(xí)模塊．故障決策經(jīng)自學(xué)習(xí)模塊反饋給知識庫．并對相應(yīng)的置信度因子進行修改，更新知識庫。同時．自學(xué)習(xí)模塊能根據(jù)知識庫中的知識和用戶對系統(tǒng)提問的動態(tài)應(yīng)答進行推理。以獲得新知識?？偨Y(jié)新經(jīng)驗，不斷擴充知識庫，實現(xiàn)專家系統(tǒng)的自學(xué)習(xí)功能。

多傳感器數(shù)據(jù)融合是20世紀70年代以來發(fā)展起來的一門新興邊緣學(xué)科，目前已經(jīng)成為備受人們關(guān)注的熱門領(lǐng)域。多傳感器數(shù)據(jù)融合是一門新興技術(shù)，在軍事和非軍事領(lǐng)域中都礙到了廣泛應(yīng)用、多傳感器數(shù)據(jù)融合技術(shù)汲取了人工智能、模式識別、統(tǒng)計估計等多門學(xué)科的相關(guān)技術(shù)，計算機技術(shù)的快速發(fā)展以及數(shù)據(jù)融合技術(shù)的成熟為數(shù)據(jù)融合的廣泛應(yīng)用提供了基礎(chǔ)。

多傳感器信息融合狀態(tài)估計是多傳感器信息融合學(xué)科的一個重要分支。多傳感器數(shù)據(jù)融合的基本原理就像是人腦綜合處理信息的過程一樣，它充分利用多個傳感器資源，通過對各種傳感器及其觀測信息的合理支配與使用，將各傳感器在空間和時間上的互補與冗余信息依據(jù)某種優(yōu)化準(zhǔn)則組合起來，產(chǎn)生對觀測環(huán)境的一致性解釋和描述。目前有兩種常用的信息融合方法：一種方法是狀態(tài)融合方法，另一種方法是觀測融合方法。狀態(tài)融合方法又可分為集中式kalman濾波[1]和分散式kalman濾波。集中式kalman濾波雖然在理論上可獲得全局最優(yōu)融合狀態(tài)估計，但這種方法計算量大，且容錯性能差，而分散式kalman濾波信息融合能克服這些缺點，但這種方法是局部最優(yōu)的，因此基于此思想我們可以利用BP神經(jīng)網(wǎng)絡(luò)來提高融合精度。

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)[2]，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu)；最后一個隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

BP神經(jīng)網(wǎng)絡(luò)是模擬人腦的信息處理機制而構(gòu)造出來的一種并行信息處理模型，它有分布式存儲和聯(lián)想記憶功能，具有較強的自適應(yīng)性和自組織性，具有任意的非線性映射能力，能被用來對兩個估計模型的輸出結(jié)果進行有效的分析和綜合，提高估計的精度和可靠性。

二、模型描述

帶有觀測噪聲的三傳感器雷達跟蹤系統(tǒng)：

狀態(tài) ， ，和分別為在時刻 處運動目標(biāo)的位置、速度和加速度， 為第 個傳感器對位置的觀測，為與 相關(guān)的白噪聲。

kalman濾波按矩陣加權(quán)融合準(zhǔn)則算法是基于L個傳感器觀測已知它的 L個無偏估計 ，即，

設(shè)已知估計誤差 的方差陣和協(xié)方差陣 ，,， ，其中E為均值號，T為轉(zhuǎn)置號，問題是尋求X的按矩陣加權(quán)無偏融合估計， ，

其中加權(quán)陣 為 矩陣，在線性最小方差意義下，應(yīng)選擇加權(quán)陣極小化融合估計誤差的分量均方和J，，

它等價于

按矩陣加權(quán)融合準(zhǔn)則算法既是對L個傳感器經(jīng)kalman濾波器得到的狀態(tài)求得加權(quán)矩陣 使得性能指標(biāo)J最小。

基于加權(quán)思想，對以上的三傳感器雷達跟蹤模型建立BP神經(jīng)網(wǎng)絡(luò)，三傳感器的輸出作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)的輸出與模型的狀態(tài)數(shù)據(jù)比較后反向傳播對各層神經(jīng)元權(quán)值進行修改，直到輸出層與模型狀態(tài)的誤差達到期望誤差。由于本次實驗?zāi)Ｐ秃唵危瑢ζ洳捎脙蓪覤P網(wǎng)絡(luò)，隱層神經(jīng)元采用Sigmoid型激活函數(shù)，輸出層采用線性激活函數(shù)。在使用網(wǎng)絡(luò)前需要對網(wǎng)絡(luò)進行訓(xùn)練，本次實驗設(shè)置訓(xùn)練時間為50個單位時間，訓(xùn)練目標(biāo)設(shè)置為誤差小于0.2。

三、仿真分析

以下給出個狀態(tài)在各種方法下的仿真結(jié)果：

圖1、圖2為三個傳感器的測量值經(jīng)kalman平滑器估計后的的狀態(tài)1經(jīng)BP神經(jīng)網(wǎng)絡(luò)融合后的值和理想狀態(tài)的對比圖。從圖中可以看出經(jīng)神經(jīng)網(wǎng)絡(luò)融合后對狀態(tài)1的估計精度有了進一步的提高。而且訓(xùn)練速度也非常迅速，大約10步左右就能達到要求的誤差。

圖3、圖4為三個傳感器的測量值經(jīng)kalman平滑器估計后的的狀態(tài)2經(jīng)BP神經(jīng)網(wǎng)絡(luò)融合后的值和理想狀態(tài)的對比圖。從圖中可以看出經(jīng)神經(jīng)網(wǎng)絡(luò)融合后對狀態(tài)2的估計精度有了進一步的提高。而且訓(xùn)練速度也非常迅速，大約20步左右就能達到要求的誤差。

圖5為比較加權(quán)融合后的穩(wěn)態(tài)誤差方差陣的跡和三個傳感器的穩(wěn)態(tài)平滑誤差方差陣的跡，可以明顯看出經(jīng)融合后的精度明顯高于局部平滑的精度。由于設(shè)置的神經(jīng)網(wǎng)絡(luò)的誤差目標(biāo)為0.2，通過訓(xùn)練后目標(biāo)誤差能達到要求，因此經(jīng)神經(jīng)網(wǎng)絡(luò)融合后的狀態(tài)估計精度要大大高于經(jīng)加權(quán)矩陣融合估計的精度。

四、結(jié)論

本文利用BP神經(jīng)網(wǎng)絡(luò)對來自經(jīng)不同噪聲污染的傳感器的測量信息進行處理，完成機動檢測，并與卡爾曼濾波器相結(jié)合構(gòu)成一個性估計器，對目標(biāo)進行估計。這種估計方案可以利用神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力對來自各傳感器的充信息加以充分利用，在改善估計性能的同時又保持估計濾波的計算結(jié)構(gòu)盡可能簡單。

參考文獻:

[1]鄧自立. 最優(yōu)估計理論及其應(yīng)用――建模、濾波、信息融合估計.

[2]楊行峻、鄭君里. 人工神經(jīng)網(wǎng)絡(luò)與盲信號處理.

第4篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

1．1采用計算機模擬技術(shù)建立模擬模型

對BP神經(jīng)網(wǎng)絡(luò)模擬模型建立的基礎(chǔ)，人們是這樣認為的，因為影響工程造價的因素，大多數(shù)人們都是沒辦法確定的，所以我們不需要把這個值具體是多少確定下來，而是從另一個方面考慮，根據(jù)這個項目的基本情況，估計實際的造價落在某個范圍的機會會大一些，這個思想就是計算機模擬技術(shù)建立模擬模型的理論基礎(chǔ)。

1．2人工智能模型

工程造價估算專家系統(tǒng)，是通過人工智能，加上知識庫技術(shù)而建立起來的，可是這種人工智能模型主要靠專家的知識，來對工程造價進行估計計算的，但是估算的結(jié)果是被估算人員的主觀意識所影響的，不同專家的性格，知識面的寬窄，經(jīng)驗豐富與否、都是不確定因素，幾乎可以會所不一樣的估算專家所得出的結(jié)果都不會一樣。這種方法很容易帶有個人偏見和片面性。受專家的主觀偏見性較強。

2BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)造與算法

2．1人工神經(jīng)網(wǎng)絡(luò)的基本原理

1985，D•E•Rumelhart等人組成的PDP小組提出的一種神經(jīng)網(wǎng)絡(luò)模型，這就是我們今天所說的BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是利用誤差反向傳播來消除誤差的，它有三個層次，有一個輸入層，第二個是隱層，最后一個當(dāng)然就是輸出層。在訓(xùn)練估算中，我們可以通過計算輸出值和我們預(yù)期的期望值，他們之間所產(chǎn)生的誤差，逆向思維，去求解輸出層單元的一般化誤差，然后再把誤差進行反向傳播，把隱含層單元的一般化誤差求解出來，并最終調(diào)整輸出層和隱含層，包括輸入層之間的連接權(quán)，還有連接權(quán)與隱含層和輸出層的閾值，最終目的就是讓系統(tǒng)誤差達到我們可以接受為止。當(dāng)先前的系統(tǒng)誤差達到我們所需求的時候，權(quán)值和閾值就變成了固定不變的了，這樣我們再通過反向逆推，就可以測出我們這個項目的未知信息。這就是人工神經(jīng)網(wǎng)絡(luò)的基本原理。

2．2BP神經(jīng)網(wǎng)絡(luò)模型建立的步驟

(1)我們首先確定模型輸入層，隱含層還有輸出層的神經(jīng)元個數(shù)。并且以此為依據(jù)，確定BP神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù);(2)神經(jīng)網(wǎng)絡(luò)只能處理－l～l之間的數(shù)據(jù)，所以在輸入網(wǎng)絡(luò)時，我們不僅需要對原始數(shù)據(jù)進行規(guī)范化處理，還要對隱含單元和各個單元輸入信息進行求和;通過反向逆推之后得到本單元的輸入信息。所以對原始數(shù)據(jù)，隱含單元輸入模塊規(guī)范化細致化是非常重要的;(3)隱含單元的輸出值可以根據(jù)神經(jīng)網(wǎng)絡(luò)操作模型得出，只要我們把net信號經(jīng)過一次激發(fā)函數(shù)的處理，可以得到這個隱含單元的輸出值;(4)對于輸出單元節(jié)點，我們只要對前一層的隱含層單元輸入信息，并且加權(quán)求和后，就能得到該單元的輸入信息。操作起來非常方便快捷;(5)對權(quán)矩陣的調(diào)整，因為人工神經(jīng)網(wǎng)絡(luò)可以近似實現(xiàn)任意空間的數(shù)學(xué)映射。所以我們假設(shè)，如果神經(jīng)網(wǎng)絡(luò)輸入單元數(shù)為M，輸出單元為N，則在m維歐式空間尺中會有一個有界子集A，存在著一個到n維歐式空間，那么R中一個有界子集F(A)的映射。

3基于BP神經(jīng)網(wǎng)絡(luò)的工程造價估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神經(jīng)網(wǎng)絡(luò)中所說工程特征，就是指不但能表示工程特點，而且還能反映工程的主要成本構(gòu)成的重要因素。，我們可以通過參照歷史工程資料的統(tǒng)計和分析，進行工程特征的選取工作。選取完成之后，再根據(jù)專家的經(jīng)驗來確定，這樣就可以萬無一失了。首先我們可以通過典型住宅工程的造價組成進行分析，然后對建筑結(jié)構(gòu)參數(shù)的變化和別的工程做一下對比，通過以上兩點得出的結(jié)果，分析這些因素對造價的影響，依照以上的理論方法，我們進行了實踐性的研究，最終把礎(chǔ)類型，結(jié)構(gòu)形式，建筑層數(shù)，門窗類型，外墻裝飾還有墻體材料以及平面組合等，這7種因素作為工程的主要特征。不同的建筑工程有著不同的類型，比如說結(jié)構(gòu)，可以是磚混結(jié)構(gòu)和框架結(jié)構(gòu)等;磚條基和鋼筋砼條基礎(chǔ)等都可以作為基礎(chǔ)特征，對于這樣的特征選取的多樣性我們稱之為特征類目，通過工程特征不同類目的列舉，再跟據(jù)定額水平，工程特征對造價影響的相關(guān)性，這些對平方米造價的改變，對工程定量化的描述可以主觀的給出對應(yīng)的量化數(shù)據(jù)。

3．2建立估價模型

工程造價估算的指標(biāo)體系到該項目的單位造價的非線性映射，就可以統(tǒng)稱為是建設(shè)項目工程造價的估算問題。BP網(wǎng)絡(luò)可以根據(jù)人們的需求以任意的精度去逼近任意映射關(guān)系，究其原因就是上文說的BP網(wǎng)絡(luò)采用的是三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不同于其他的電腦估算網(wǎng)絡(luò)。不僅是因為該模型的輸入單元為7個，還有他們的項目樣本特征也不盡相同。神經(jīng)網(wǎng)絡(luò)可以根據(jù)已經(jīng)經(jīng)過我們優(yōu)選的模型特征，做為參考估算要素，然后再通過項目工程造價估算中，我們所提供的一定數(shù)量的已知樣本，采取對樣本的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，最后根據(jù)以往的大的數(shù)據(jù)庫，提取類似的項目估算值，然后才能對其它特征的項目進行估算。這樣我們只需要輸入指標(biāo)體系的各指標(biāo)值，BP神經(jīng)網(wǎng)絡(luò)就可以在該項目的單位造價的非線性映射中給出該項目的單位造價。

3．3檢測結(jié)果的分析

上面我們通過大量的實際實驗得知了這兩個固定不變的數(shù)字，然后我們可以用程序值被收斂后的網(wǎng)絡(luò)，對現(xiàn)在要進行求解的數(shù)據(jù)進行檢測，在測試后，如果發(fā)現(xiàn)總體誤差比率較小，那么就滿足我們初步設(shè)計的概算需求了，同時對工程可行性研究的投資估算需求也已經(jīng)基本符合了，這些結(jié)果能有好的保證，全是依賴我們所選擇的模型的寬度夠用，模型在所有的因素中具有廣泛的代表性。所以估價模型的計算才較為成功。幾個工程估算的好壞也不能代表所有的項目都是完美的，也有個別工程造價估算誤差大，因為電腦畢竟是人在給其輸入程序，電腦的經(jīng)驗，還有就是對一些特征的學(xué)習(xí)不夠用，本身的知識儲備還是有局限性的。因為對樣本數(shù)量的學(xué)習(xí)始終是有限，不可能面面俱到，而且挑選的樣本也不可能針對這個工程而言都是符合這個項目的特性。雖然說BP神經(jīng)網(wǎng)絡(luò)模型有這樣無法控制的缺點，但是和其他的造價估算模型相比，BP神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點還是可圈可點的，其優(yōu)點和其他的造價模型相比較優(yōu)點還是非常明顯的。在以后的估算中，隨著樣本的不斷充實，數(shù)據(jù)的不斷積累，經(jīng)驗的不但豐富，其估算的誤差也將不斷縮小，這些方面的補充，在以后的估算中，必定會取得非常完美的成績。

4總結(jié)

第5篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；Adaboost算法；遺傳算法

中圖分類號：F832.332文獻標(biāo)識碼：A文章編號：1008-2670(2012)02-0012-08

收稿日期：2011-12-11

基金項目：國家社科基金資助項目“企業(yè)金融衍生業(yè)務(wù)風(fēng)險測度及管控研究”（10BGJ054）。

作者簡介：宿玉海(1964-)，男，山東濰坊人，經(jīng)濟學(xué)博士，山東財經(jīng)大學(xué)金融學(xué)院教授，研究方向：國際金融；彭雷(1986-)，男，山東濰坊人，山東財經(jīng)大學(xué)金融學(xué)院碩士研究生，研究方向：國際金融；郭勝川（1990-），男，山東安丘人，山東大學(xué)數(shù)學(xué)學(xué)院學(xué)生。

一、引言

商業(yè)銀行的信用風(fēng)險管理一直是人們關(guān)注的焦點，在引入工程方法進行信用風(fēng)險的度量后，BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型以其較強的逼近非線性函數(shù)的優(yōu)勢從眾多方法中脫穎而出，其對于歷史數(shù)據(jù)的模擬仿真和預(yù)測能力也顯示出了獨特的優(yōu)勢。但是，BP神經(jīng)網(wǎng)絡(luò)信用模型在處理較為復(fù)雜的財務(wù)數(shù)據(jù)時，對于數(shù)據(jù)指標(biāo)在模型中獲得的權(quán)值沒有一個明確的標(biāo)準(zhǔn)，而是特別依賴于對于歷史數(shù)據(jù)指標(biāo)的選擇，使得模型對于新樣本的考察缺乏一個有效的動態(tài)權(quán)值變動，這就造成了模型在使用過程中的困難。

隨著BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險管理模型應(yīng)用的增多，許多學(xué)者逐漸認識到BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型在處理財務(wù)數(shù)據(jù)時存在的問題，采取一系列的措施對BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型進行了改進，特別是對于權(quán)值設(shè)定的改進做了大量的工作。Back等［1］建議將遺傳算法與神經(jīng)網(wǎng)絡(luò)結(jié)合起來協(xié)同工作，但沒有實際討論引入遺傳算法后帶來的實際效果；Piramuthu等［2］采用符號特征樣本的技術(shù)處理輸入數(shù)據(jù)取得了較為明顯的效果，但是符號特征樣本技術(shù)則存在較為主觀的人為因素影響。國內(nèi)學(xué)者在引進神經(jīng)網(wǎng)絡(luò)以后，也為神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化進行了卓有成效的努力。如許佳娜、西寶［3］采用層次分析法對神經(jīng)網(wǎng)絡(luò)模型的改進，以及郭英見、吳沖［4］采用DS證據(jù)理論將神經(jīng)網(wǎng)絡(luò)和SVM的輸出結(jié)果進行的融合，都在一定程度上增強了神經(jīng)網(wǎng)絡(luò)模型的判別準(zhǔn)確率，但他們在神經(jīng)網(wǎng)絡(luò)的權(quán)值修改上仍然沒有找到很好的設(shè)定規(guī)則。

可以看出，許多學(xué)者在神經(jīng)網(wǎng)絡(luò)良好的泛化能力和模式識別能力上達成了共識，但對于神經(jīng)網(wǎng)絡(luò)中占有重要地位的連接權(quán)值的修正，沒有給出一個較為恰當(dāng)?shù)臉?biāo)準(zhǔn)。本文在探討改進這一問題時，將遺傳算法與Adaboost算法分別引入到BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型中，通過兩種模型對于相同的訓(xùn)練樣本和預(yù)測樣本的考察分析，比較兩種方法的優(yōu)劣，從而為BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型的改進提供一定的參考。

本文結(jié)構(gòu)安排如下：第一部分為引言；第二部分介紹BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型并評價其缺陷；第三部分使用Adaboost算法以及遺傳算法對BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型進行算法尋優(yōu)；第四部分則通過Matlab的模擬進行實證分析并比較實證結(jié)果；第五部分根據(jù)實證分析的結(jié)果得出相應(yīng)的結(jié)論并探討商業(yè)銀行在應(yīng)用過程中應(yīng)注意的問題。

二、現(xiàn)有BP神經(jīng)網(wǎng)絡(luò)信用風(fēng)險模型介紹

第6篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

關(guān)鍵詞：人工神經(jīng)元網(wǎng)絡(luò)；BP神經(jīng)網(wǎng)絡(luò)；matlab；識別分類

中圖分類號：TP391.41文獻標(biāo)識碼：A文章編號：1007-9599 (2010) 16-0000-02

Artificial Neural Network Application on Face Classification

Liang Xiaoli

(Heilongjiang Radio&TV University,Harbin150080,China)

Abstract:In the face recognition technology is developing continuously,people not limited to recognize the human face,but the main emphasis on the accuracy and efficiency of face recognition.

Face recognition is divided into three steps,face detection,feature extraction,recognition category,identification and classification of the methods in which the decision of whether to correctly identify the human face.BP neural network with forward propagation and back propagation characteristics,so as to ensure the accuracy of classif-

ication,Therefore,the main author of this article how to MATLAB,the BP neural network used in face recognition classification.

Keywords:Artificial neural network;BP neural network;Matlab;

Recognition category

人工神經(jīng)元網(wǎng)絡(luò)，又稱為神經(jīng)元網(wǎng)絡(luò)，它是對人腦的簡化、抽象和模擬，反映了人腦的基本特性神經(jīng)元網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)研究的是模擬人腦信息處理的功能，從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為。是依托于數(shù)學(xué)、神經(jīng)科學(xué)、物理學(xué)、計算機科學(xué)及工程等學(xué)科的一種綜合性技術(shù)。

一、人工神經(jīng)網(wǎng)絡(luò)的分類

我們可以對人工神經(jīng)網(wǎng)絡(luò)進行如下分類：

（一）單層的前向神經(jīng)網(wǎng)絡(luò)

這里所說的單層前向網(wǎng)絡(luò)是指擁有單層的神經(jīng)元是，作為源節(jié)點個數(shù)的“輸入層”被看作是一層神經(jīng)元，“輸入層”是不具有計算功能。

（二）多層的前向神經(jīng)網(wǎng)絡(luò)

多層前向神經(jīng)網(wǎng)絡(luò)與單層前向神經(jīng)網(wǎng)絡(luò)的差別在于：多層的前向神經(jīng)網(wǎng)絡(luò)和單層前向神經(jīng)網(wǎng)絡(luò)的隱含層個數(shù)不同，在多層的前向神經(jīng)網(wǎng)絡(luò)中完成計算功能的節(jié)點被稱為隱含單元（隱含神經(jīng)元）。由于隱層的數(shù)量不同，使網(wǎng)絡(luò)能進行更高序的統(tǒng)計，尤其當(dāng)輸入層規(guī)模龐大時，隱層神經(jīng)元提取高序統(tǒng)計數(shù)據(jù)的能力便顯得非常重要。

（三）反饋網(wǎng)絡(luò)

反饋網(wǎng)絡(luò)指在網(wǎng)絡(luò)中最少含有一個反饋回路的神經(jīng)網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)中包含一個單層神經(jīng)元，在這一層中的所有的神經(jīng)元將自身的輸出信號反饋給其他所有神經(jīng)元作為輸入。

（四）隨機神經(jīng)網(wǎng)絡(luò)

隨機神經(jīng)網(wǎng)絡(luò)是在神經(jīng)網(wǎng)絡(luò)中引入了隨機概念，每個神經(jīng)元都是按照概率的原理在工作，這樣每個神經(jīng)元興奮或抑制具有隨機性，其概率取決于神經(jīng)元的輸入值。

（五）競爭神經(jīng)網(wǎng)絡(luò)

競爭神經(jīng)網(wǎng)絡(luò)最顯著的特點是它的輸出神經(jīng)元之間相互競爭以確定勝出者，勝出者指出哪一種原型模式最能代表輸入模式。

二、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)又被稱為訓(xùn)練，所指的是通過神經(jīng)網(wǎng)絡(luò)所在外界環(huán)境的刺激下調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得神經(jīng)網(wǎng)絡(luò)以一種調(diào)整好的方式對外部環(huán)境做出反應(yīng)的過程。從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)最有意義的特征了。

學(xué)習(xí)方式可分為：有師學(xué)習(xí)和無師學(xué)習(xí)。有師學(xué)習(xí)又稱為有監(jiān)督學(xué)習(xí)，在學(xué)習(xí)時需要給出指導(dǎo)信號（又可稱為期望輸出或者響應(yīng)）。神經(jīng)網(wǎng)絡(luò)對外部環(huán)境是未知的，但可以將指導(dǎo)信號看作對外部環(huán)境的了解，由輸入―輸出樣本集合來表示。指導(dǎo)信號或期望輸出代表了神經(jīng)網(wǎng)絡(luò)執(zhí)行情況的最佳結(jié)果，即對于網(wǎng)絡(luò)輸入調(diào)整網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)輸出逼近期望的輸出值。無師學(xué)習(xí)包括強化學(xué)習(xí)與無監(jiān)督學(xué)習(xí)（可以被稱為自組織學(xué)習(xí)）。在強化學(xué)習(xí)中，對輸出的學(xué)習(xí)是通過與外界環(huán)境的連續(xù)作用最小化完成的。

三、BP神經(jīng)網(wǎng)絡(luò)

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)，就是指包含信息正向傳播和誤差反向傳播算法的學(xué)習(xí)過程。輸入層的每一個神經(jīng)元負責(zé)接收來自外界的輸入信息，并傳遞給中間層中的每一個神經(jīng)元；中間層的各個神經(jīng)元是內(nèi)部信息處理層，負責(zé)信息變換，可以設(shè)計為單隱層或者多隱層結(jié)構(gòu)；最后隱含層傳遞到輸出層的信息，經(jīng)進一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實際輸出與期望輸出不相符時，進入誤差的反向傳播階段。誤差通過輸出層作用于輸入層，按誤差梯度下降的方式分別修正各層權(quán)值，逐漸向隱含層和輸入層反傳。多次的經(jīng)過信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也就是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進行到網(wǎng)絡(luò)的輸出誤差減少到可以被接受的程度，或者達到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)才會停止。

四、實驗過程及結(jié)果

本文中假設(shè)已經(jīng)用奇異值分解得到人臉特征點的數(shù)據(jù)，每個人臉劃分為五部分，每部分又得到5個特征值，所以也就是25個的特征值。本文采集了50個人人臉，每人采集10張不同姿態(tài)下的照片，也就是500張照片，對這些照片進行人臉檢測并進行奇異值分解，得到每張照片對應(yīng)的25個特征值，從每人10張照片中隨機抽出5張用于訓(xùn)練出不同的姿態(tài)下的人臉，另外的5張用作測試樣本。

（一）實驗過程

由于數(shù)據(jù)過長，本文只以2個人，每人2張照片作為的訓(xùn)練樣本數(shù)據(jù)為例來說明。

第一步：訓(xùn)練樣本（每人25個特征值），在p是一個25行，4列的矩陣，每一列代表一個人的25個特征值，屬于一個樣本；列數(shù)4表示樣本總數(shù)；

p=[ 7.4264 9.0728 7.9825 9.5632；

7.5719 7.8115 6.5564 7.8561；

12.8074 12.7073 12.4536 11.5423；

9.0284 10.3744 8.7569 9.9965；

7.0083 9.0284 7.1254 8.8876；

1.2597 2.1578 1.3556 3.0112；

0.6896 0.7835 0.7859 0.9658；

0.7814 0.8818 0.7568 0.8213；

1.0248 1.6783 1.1542 1.5234；

1.0112 1.0248 0.9568 0.9652；

1.0427 1.0813 1.0425 0.9568；

0.5970 0.5886 0.5968 0.5889；

0.4928 0.5969 0.3569 0.6012；

0.6438 0.6417 0.6589 0.5612；

0.3563 0.6438 0.2534 0.6689；

0.4474 0.4235 0.4568 0.4236；

0.2483 0.2282 0.2253 0.2259；

0.3633 0.4616 0.3102 0.4556；

0.3383 0.4167 0.3561 0.3456；

0.3130 0.3383 0.3302 0.3359；

0.3378 0.3313 0.3219 0.3569；

0.1916 0.1767 0.1564 0.1952；

0.2356 0.3422 0.2355 0.3012；

0.2088 0.3268 0.1958 0.3568；

0.1858 0.2088 0.0956 0.1968；]；

第二步：目標(biāo)輸出矩陣

因為就兩個人，所以采用一位二進制編碼就可以，在這里定義第一類樣本的編碼為0；第二類樣本的輸出編碼為1。

t=[0 1 0 1]；

第三步：使用MATLAB建立網(wǎng)絡(luò)結(jié)構(gòu)

net1=newff（minmax（p），[25，9，1]，{'tansig'，'tansig'，'hardlim'}，'traingdm'）；

說明：[25，10，1]表示該網(wǎng)絡(luò)的輸入結(jié)點為25個值，輸出結(jié)果為1為二進制編碼的值，中間層由經(jīng)驗公式 （rnd為0-1之間的隨機數(shù)），所以本文選取5-15之間數(shù)分別作為隱含層的神經(jīng)元個數(shù)，得出的結(jié)論是9的收斂速度最快。

第四步：對網(wǎng)絡(luò)進行訓(xùn)練

[net1，tr]=train（net1，p，t）；

第五步：保存網(wǎng)絡(luò)

save aa net1

則文件會以aa.mat的格式保存，保存了訓(xùn)練好的網(wǎng)絡(luò)以及權(quán)值。

第六步：輸入測試樣本

先加載上一步中保存好的網(wǎng)絡(luò)，本實驗中只輸入一個測試樣本，下面的數(shù)據(jù)代表測試樣本的特征值，共25個。

load aa.mat

p1=[7.8115；0.7835；0.5886；0.2282；0.1767；1.0197；0.7896；0.6814；1.1238；1.1114；0.9427；0.5970；0.4569；0.5438；0.4563；0.1983；0.4632；0.3383；0.3130；0.4377；0.1817；0.2256；0.2088；0.2854；0.2812]；

第六步：網(wǎng)絡(luò)仿真

a=hardlim（sim（net1，p1）-0.5）

（二）實驗結(jié)果

根據(jù)上述實驗過程，得出的結(jié)果是：

下圖是執(zhí)行了10次中的一次算法模擬情況。

Elapsed time is 0.469seconds

網(wǎng)絡(luò)仿真的輸出結(jié)果是：a=0

本文中測試的數(shù)據(jù)來源于訓(xùn)練樣本中輸出為0的樣本，識別結(jié)果正確。換了10個測試樣本，其中識別正確的是6個，也就是正確率大約在60%。

然后，采用相同的辦法，在實驗中把訓(xùn)練樣本由每人兩個不同姿態(tài)下的樣本增加到了3個，也就是輸入向量的p由4列增加到6列，其他的均不變，網(wǎng)絡(luò)的訓(xùn)練時間為0.471 seconds。還是使用上面的10個測試樣本，其中識別正確的達到了8個，正確率提高到了80%左右。

在樣本量擴大到250時，這些樣本是來自于，50個人，每人拍攝10張不同姿態(tài)下的照片，也就是500張，然后從其中隨機的取出每個人對應(yīng)的5張照片作為訓(xùn)練樣本，然后再把從剩余的250張作為測試樣本，進行測試。輸入結(jié)點數(shù)為250，每個結(jié)點對應(yīng)的特征向量為25；輸出值用二進制的編碼表示，由于后面要實現(xiàn)的人臉識別系統(tǒng)中要應(yīng)用在一個只有50人的環(huán)境下，所以采用二進制編碼6位就夠了，但是為了系統(tǒng)的可擴展性，所以采用7位二進制編碼來設(shè)計輸出結(jié)點的值，bp網(wǎng)絡(luò)就是25維輸出7維輸出。此時測試的250個數(shù)據(jù)中只有一組數(shù)據(jù)是錯誤的，原因是照片中的人嘴和鼻子被口罩遮住了。

樣本量增加后網(wǎng)絡(luò)訓(xùn)練到一個樣本測試仿真所有的時間是1.936seconds。

五、小結(jié)

本文介紹了基于BP神經(jīng)網(wǎng)絡(luò)的人臉識別分類方法，先用matlab設(shè)計了一個模擬程序，然后不斷的增加訓(xùn)練樣本中同一人樣本的樣本數(shù)，訓(xùn)練后用10個人分別測試兩個網(wǎng)絡(luò)的正確率，當(dāng)同一人的樣本數(shù)增加到3時，正確率由60%提高到了80%?？梢宰C明網(wǎng)絡(luò)訓(xùn)練樣本的增加有利于提高識別的正確率。把在上一章中采集到的50個人所對應(yīng)的500張照片作為標(biāo)準(zhǔn)樣本庫，從中隨機取出250張作為訓(xùn)練樣本，然后設(shè)定輸出值，輸出的值應(yīng)該有50類，采用二進制的編碼構(gòu)成，然后再實用剩余的250張照片作為測試樣本，進行測試。

第7篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

【關(guān)鍵詞】自適應(yīng)距離保護 人工神經(jīng)網(wǎng)絡(luò) BP算法

一、引言

距離保護長期以來一直是復(fù)雜電網(wǎng)中高壓輸電線路最重要的也是應(yīng)用最廣泛的保護方案。這種保護有許多獨特的優(yōu)點，如能瞬時切除輸電線80%～90%范圍內(nèi)的各種故障。但是有許多原因會影響阻抗的測量精度，從而影響測量阻抗的計算，使測量阻抗為短路阻抗與附加阻抗之和，從而會引起誤動或者拒動。

基于這些問題，本文提出了人工神經(jīng)網(wǎng)絡(luò)。近年來，人工神經(jīng)網(wǎng)絡(luò)（ANN）逐漸得到電力系統(tǒng)研究人員的高度重視和廣泛研究。人工神經(jīng)網(wǎng)絡(luò)是由眾多的神經(jīng)元廣泛互聯(lián)而成的網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自適應(yīng)、較好的容錯性和優(yōu)良的非線性逼近能力，廣泛應(yīng)用于模式識別和模式分類等方面。

本文所采用的三層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法為反傳學(xué)習(xí)算法，即BP算法，學(xué)習(xí)過程采用反向傳播法。

二、基于人工神經(jīng)網(wǎng)絡(luò)的距離保護模型

BP網(wǎng)絡(luò)模型也即多層前向網(wǎng)絡(luò)（Multi-layer Feedforward Neural Network，MFNN），因其訓(xùn)練算法采用反向傳播算法，也即BP算法。由于這種算法在本質(zhì)上是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的數(shù)學(xué)模型，所以，BP算法也通常暗示著神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)是一種無反饋的多層前向網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)是由大量簡單的基本元件——神經(jīng)元相互連接而成的自適應(yīng)非線性動態(tài)系統(tǒng)。一般而言，只要采用三層神經(jīng)網(wǎng)絡(luò)，而且對各層神經(jīng)元數(shù)目不加限制，則可在模式空間構(gòu)成任意復(fù)雜程度的幾何圖形，從而對任意復(fù)雜的對象進行分類。

人工神經(jīng)網(wǎng)絡(luò)含有輸入層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于他們與外界沒有直接聯(lián)系，故也稱為隱層。在隱層中的神經(jīng)元也稱隱單元。隱層雖然和外界不連接，但是他們的狀態(tài)則影響輸入輸出之間的關(guān)系。BP網(wǎng)絡(luò)的結(jié)構(gòu)的每一層連接權(quán)值都可以通過學(xué)習(xí)來調(diào)節(jié)，它的基本處理單元（輸入層）除外通常為非線性輸入輸出關(guān)系。

三、神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及檢驗

本文通過EMTP仿真的數(shù)據(jù)預(yù)處理中得出了這兩個子網(wǎng)絡(luò)的權(quán)值和閥值矩陣中，用一些不同于訓(xùn)練樣本的檢測樣本（本文在故障檢測與選相子網(wǎng)絡(luò)是用40組進行訓(xùn)練，13組進行檢測的；對故障定位子網(wǎng)絡(luò)是用35組進行訓(xùn)練，14組進行校驗的）。每一個子網(wǎng)絡(luò)的隱含層節(jié)點的數(shù)目，是在訓(xùn)練過程中根據(jù)最快的收斂速度和最好的精度標(biāo)準(zhǔn)通過多次采用不同的隱含層節(jié)點數(shù)目進行訓(xùn)練，反復(fù)比較，根據(jù)實際的收斂效果和計算精度來選擇確定的。其中，故障檢測與選相子網(wǎng)絡(luò)（ANN1）的隱含層數(shù)目取為42個，故障定位子網(wǎng)絡(luò)（ANN2）的隱含層數(shù)目取為33個。

在確定了兩個子網(wǎng)絡(luò)的隱含層以后，開始對故障檢測和選相子網(wǎng)絡(luò)（ANN1）和故障定位子網(wǎng)絡(luò)（ANN2）采用BP算法進行訓(xùn)練。經(jīng)過對子網(wǎng)絡(luò)的多次訓(xùn)練，其訓(xùn)練過程是收斂的，其訓(xùn)練速度也是令人滿意。

下面將2個子網(wǎng)絡(luò)的部分訓(xùn)練樣本、檢驗樣本及檢驗結(jié)果。

在對第一個、第二個子網(wǎng)絡(luò)故障檢測與選相子網(wǎng)絡(luò)其訓(xùn)練過程過程是收斂的，其訓(xùn)練速度也是令人滿意的。

下面是子網(wǎng)絡(luò)ANN1的訓(xùn)練樣本和訓(xùn)練樣本及檢測樣本。故障類型有：內(nèi)部故障，A相接地、內(nèi)部故障，B相接地、內(nèi)部故障，C相接地、內(nèi)部故障，兩相短路、內(nèi)部故障，兩相接地短路、內(nèi)部故障，三相短路。理想輸出：1，0，0，0；0，1，0，0；0，0，1，0；0，0，0，1；0，0，0，1；0，0，0，1。檢驗結(jié)果：

0.9985，0.0378，0.0838，0.0230；0.0315，0.9988，0.0607，0.0121；0.1004，0.1718，0.9980，0.2715；0.2815，0.0499，0.0614，0.9864；0.2496，0.3688，0.0370，0.9798；0.0197，0.0551，0.0187，0.9981。

從上面可以清楚的看出，故障檢測和選相子網(wǎng)絡(luò)在各種故障情況下都能正確反映故障，并啟動保護和正確選相。

在第二個子網(wǎng)絡(luò)訓(xùn)練過程也是表明故障定位子網(wǎng)絡(luò)ANN2也是收斂的，其訓(xùn)練速度也是令人滿意的。

下面是故障定位子網(wǎng)絡(luò)ANN2的訓(xùn)練樣本和檢驗樣本及結(jié)果舉例。當(dāng)故障點線路全長線路全長83%，故障類型分別為單相接地、兩相故障、三相故障時，其理想輸出為1、1、1；當(dāng)故障點線路全長線路全長87%，其理想輸出為0、0、0。檢測結(jié)果：當(dāng)故障點線路全長線路全長83%，輸出：0.9867、0.9827、0.9572。當(dāng)故障點線路全長線路全長87%，輸出：0.1758、0.1820、0.1602。

從上面數(shù)據(jù)可以看到，故障定位子網(wǎng)絡(luò)距離保護經(jīng)過訓(xùn)練以后，基本能夠正確的識別故障點位置。

四、結(jié)論

本論文針對傳統(tǒng)距離保護在系統(tǒng)發(fā)生振蕩和系統(tǒng)經(jīng)過過渡電阻發(fā)生故障時，可能會誤動或拒動等，因此，提出了基于BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)距離保護原理由兩個相互獨立的子網(wǎng)絡(luò)來實現(xiàn)，即故障檢測與選相子網(wǎng)絡(luò)和故障定位子網(wǎng)絡(luò)。兩個子網(wǎng)絡(luò)組成一個并行處理系統(tǒng)，經(jīng)過大量的訓(xùn)練樣本進行訓(xùn)練，投入實際運行線路中，根據(jù)本身需要提取輸電線路的運行參數(shù)，對電力系統(tǒng)運行狀態(tài)進行判斷。研究結(jié)果表明，用人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)最復(fù)雜的保護原理——距離保護是可行的，而且具有顯著的優(yōu)點。

參考文獻：

[1]賀家李，宋從矩.電力系統(tǒng)繼電保護原理（第三版）[M].北京：中國電力出版社，2001.

第8篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

Abstract： Neural network is widely applied for character recognition. Through the analysis of the problems， this paper recognizes character by the application of improved BP neural network， so as to improve recognition rate. This method has high recognition rate， fast speed， strong practicability， and can be applied to various high noise environment.

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)；圖像預(yù)處理；特征提??；字符識別

Key words： neural network；image preprocessing；feature extraction；character recognition

中圖分類號：TP301.6 文獻標(biāo)識碼：A 文章編號：1006-4311（2014）10-0206-02

0 引言

字符識別是指采用掃描儀、數(shù)碼相機等輸入設(shè)備，把英文字母、數(shù)字、條形碼等特殊字符的圖形文件輸入計算機，由識別軟件對圖片信息上的字符信息進行識別并變換成可編輯文檔的識別技術(shù)。主要有光學(xué)字符識別（Optical

Character Recognition，OCR）、圖像字符識別（Image Character Recognition，ICR）和智能字符識別（Intelligent Character Recognition，ICR），實際上這三種自動識別技術(shù)的基本原理大致相同。

1 常用字符識別方法

字符識別方法基本上都是為了區(qū)分結(jié)構(gòu)識別、統(tǒng)計識別以及兩者相結(jié)合的三大類方法，這三大類方法都包含具體的識別方法。

1.1 結(jié)構(gòu)識別 結(jié)構(gòu)識別是早期字符識別的研究的主要方法，我們也可以稱之為句法結(jié)構(gòu)識別。其思想是提取含有一定規(guī)律的結(jié)構(gòu)信息，作為識別的依據(jù)。識別過程類似一個邏輯推理過程。結(jié)構(gòu)識別的優(yōu)點在于對字符變化的適應(yīng)性強，區(qū)分相似字符能力強。但是在實際獲取字符圖像的過程中，由于存在著很多扭曲、傾斜等因素，就導(dǎo)致不能夠準(zhǔn)確地提取結(jié)構(gòu)特征，后面的識別過程就成了無源之水。此外，結(jié)構(gòu)識別的算法描述也較為復(fù)雜，匹配過程的復(fù)雜度也很高，因此，我們原有的句法識別就受到新的挑戰(zhàn)。

1.2 統(tǒng)計識別 統(tǒng)計決策論的發(fā)展相對較早而且成熟，是為了提取待識別字符的一組統(tǒng)計特征，然后按照一定的準(zhǔn)則進行決策函數(shù)的分類判決的。而統(tǒng)計識別是將字符點陣看作是一個能夠經(jīng)過大量統(tǒng)計數(shù)據(jù)得到的整體，是以后所用的特征都需要經(jīng)過的。統(tǒng)計特征主要是以抗干擾能力強為主要特點，以實現(xiàn)匹配與分類的算法簡單，且容易實現(xiàn)的。不足之處在于細分能力較弱，區(qū)分相似字的能力差一些。

1.3 結(jié)構(gòu)識別與統(tǒng)計識別相結(jié)合 上述方法各有優(yōu)缺點，而隨著研究的深入，這些方法逐漸得到融合。網(wǎng)格化特征就是結(jié)合的產(chǎn)物。特征的統(tǒng)計以網(wǎng)格為單位，即使個別點的統(tǒng)計有誤差也不會造成大的影響，增強了特征的抗干擾性。這種方法正得到日益廣泛的應(yīng)用。

字符的結(jié)構(gòu)特征直接反映了字符的特有屬性，而用字符的統(tǒng)計特征進行字符識別則是利用了計算機軟件善于處理數(shù)字的特點。雖然近幾年流行的神經(jīng)網(wǎng)絡(luò)方法主要采用的是局部特征，但其分類機理也與傳統(tǒng)的統(tǒng)計識別方法相類似，優(yōu)點是靈活性強。

2 字符識別流程

字符識別技術(shù)在當(dāng)今社會的許多領(lǐng)域都有著廣泛的商業(yè)應(yīng)用前景。常見應(yīng)用有條碼識別、車牌識別、盲人的輔助閱讀設(shè)備和郵包自動分檢等。本文以車牌識別為例說明字符識別的應(yīng)用以及識別流程。車牌識別系統(tǒng)的工作流程如圖1所示。

經(jīng)過字符分割后，得到可以進行字符識別的圖像。本文采用神經(jīng)網(wǎng)絡(luò)方法進行字符識別，識別的具體過程如圖2所示。

3 基于改進型BP神經(jīng)網(wǎng)絡(luò)的字符識別算法

3.1 BP神經(jīng)網(wǎng)絡(luò)簡介 神經(jīng)網(wǎng)絡(luò)最早的研究是20世紀40年代，由心理學(xué)家Mcculloch和數(shù)學(xué)家Pitts合作提出的，由此拉開了神經(jīng)網(wǎng)絡(luò)研究的序幕。人工神經(jīng)網(wǎng)絡(luò)是通過對人腦生物神經(jīng)機理進行簡化，抽象和模擬之后建立起來的一種計算模型，屬于機器學(xué)習(xí)的重要研究領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于字符識別、人臉識別等領(lǐng)域。

隨著神經(jīng)網(wǎng)絡(luò)的威力逐漸顯現(xiàn)以及付諸應(yīng)用的現(xiàn)實性，大量的學(xué)者對此進行了深入研究，出現(xiàn)了多種神經(jīng)網(wǎng)絡(luò)，如徑向基神經(jīng)網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)等。1986年科學(xué)家Rumelhart和McCelland提出了BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前在字符識別中應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存儲大量的輸入輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。從左至右分別是輸入層、隱含層和輸出層。

從圖3可以看出，某一層的輸出就是下一層的輸入，即：am+1=fm+1（Wm+1am+bm+1），m=0，1，…M-1……

這里，M為神經(jīng)網(wǎng)絡(luò)的層數(shù)。第一層的神經(jīng)元的輸入為a0=p，最后一層神經(jīng)元的輸出是a=aM，即為整個神經(jīng)網(wǎng)絡(luò)的輸出。BP神經(jīng)網(wǎng)絡(luò)雖然在字符識別領(lǐng)域有著重要的應(yīng)用價值，但其存在如下問題：①進行字符識別時存在局部極小值問題；②算法通常需要迭代幾千步甚至更多，收斂速度慢；③隱含層和隱含層節(jié)點的數(shù)量難以確定。要解決上述問題，就需對BP神經(jīng)網(wǎng)絡(luò)算法進行改進。

3.2 基于改進型BP神經(jīng)網(wǎng)絡(luò)的字符識別

3.2.1 圖像預(yù)處理 在字符圖像采集、輸入的過程中由于受到多種噪聲的干擾，會使圖像質(zhì)量下降，為字符識別工作帶來困難，因此需要對初始圖像進行必要的預(yù)處理。圖像預(yù)處理的具體步驟如下：①選取合適的閾值進行圖像二值化；②灰度變換增強對比度，改善視覺效果；③選取合適的方法去除噪聲，常用的有中值濾波、均值濾波、高通濾波等方法；④圖像分割，即將圖像中的字符獨立的分割出來。

3.2.2 字符特征值的提取 如果直接采用分割后的字符進行對比，那么需要對比的信息量很大，程序運行的時間也會大大增加。所以需要對分割后的字符進行特征提取，本文使用了類似九宮格的方法進行特征提取，即在字符圖像的水平方向上將圖像均勻分成三部分，在每一部分用一條水平方向的掃描線從左至右穿過字符，進行查找；垂直方向上原理相同，掃描線從上到下穿過字符，進行查找。取這六條線上的特征作為字符圖像的特征，這樣就得到了每個字符的六個特征值。

3.2.3 改進型BP神經(jīng)網(wǎng)絡(luò) 針對BP神經(jīng)網(wǎng)絡(luò)的局限性，為了避免落入局部極小值點，提高網(wǎng)絡(luò)訓(xùn)練的精度和速度，對其算法進行了改進，常用的方法有：①優(yōu)化初始權(quán)重。由于BP網(wǎng)絡(luò)的誤差曲面存在多個局部最小點和算法采用誤差梯度下降的方法調(diào)整網(wǎng)絡(luò)權(quán)重，因此導(dǎo)致了網(wǎng)絡(luò)的訓(xùn)練結(jié)果極容易落入局部極小點。所以，網(wǎng)絡(luò)的初始權(quán)重對網(wǎng)絡(luò)的最終訓(xùn)練結(jié)果影響非常大，它是影響網(wǎng)絡(luò)最終能否達到需求精度的重要因素之一。②調(diào)整自適應(yīng)學(xué)習(xí)率。學(xué)習(xí)率η也稱步長，在標(biāo)準(zhǔn)的算法中為常數(shù)。BP算法的收斂特性和收斂速度很大程度上取決于學(xué)習(xí)率，對于不同的問題，其取值范圍也會不同。η取值過大可以加快學(xué)習(xí)速度，但會導(dǎo)致學(xué)習(xí)過程不收斂；η取值過小，則迭代次數(shù)明顯增加，導(dǎo)致學(xué)習(xí)速度過慢。為了加速收斂的過程，可以自適應(yīng)改變學(xué)習(xí)速率。③附加動量法。動量法是指在反向傳播的基礎(chǔ)上，在每個權(quán)值調(diào)整值上加上一項正比于前次權(quán)值變化的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化。

本文為了簡單起見，采用附加動量法只對數(shù)字和英文字母進行字符識別，利用梯度下降法，使權(quán)值沿函數(shù)的負梯度方向改變。提高了學(xué)習(xí)速度，增加了算法的可靠性。

帶有附加動量項的權(quán)值調(diào)節(jié)公式為：

Wij（k+1）=Wij（k）+η[（1-α）D（k）+αD（k-1）]

其中，α是附加的動量項，取值范圍為0

3.2.4 設(shè)計改進型BP神經(jīng)網(wǎng)絡(luò)進行字符識別 本系統(tǒng)采用了兩個BP網(wǎng)絡(luò)來進行數(shù)字和字母的識別。BP神經(jīng)網(wǎng)絡(luò)的建立主要是三個層的神經(jīng)元數(shù)目的確定。①輸入層節(jié)點數(shù)。此節(jié)點個數(shù)即為圖像預(yù)處理后所輸出的特征的維數(shù)。本系統(tǒng)輸入層節(jié)點數(shù)為24×48。②隱含層節(jié)點數(shù)。確定隱含層節(jié)點數(shù)的基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱含層節(jié)點數(shù)。本系統(tǒng)的兩個神經(jīng)網(wǎng)絡(luò)，可以根據(jù)輸出層神經(jīng)元的多少來確定其個數(shù)，即輸出層神經(jīng)元越多，其隱含層神經(jīng)元個數(shù)也越多。③輸出層節(jié)點數(shù)。用于識別數(shù)字的BP網(wǎng)絡(luò)，由于只有10個數(shù)字，所以采用了8421碼進行編碼，輸出層的神經(jīng)元數(shù)目為4。而識別26個字母的BP網(wǎng)絡(luò)，其輸出層的神經(jīng)元數(shù)目為5。待識別的字符圖像和訓(xùn)練好網(wǎng)絡(luò)后識別的結(jié)果分別如圖4和圖5所示。

4 結(jié)束語

在字符識別的過程中，每一步都會有不同程度的誤差，本文神經(jīng)網(wǎng)絡(luò)經(jīng)驗證后識別率可達95.1%，平均識別時間為0.6s。影響識別成功率的主要因素是訓(xùn)練樣本的數(shù)量和訓(xùn)練次數(shù)，要保證一定數(shù)量以上的訓(xùn)練樣本和訓(xùn)練次數(shù)，以保證識別率。另外，神經(jīng)網(wǎng)絡(luò)的層數(shù)和各層神經(jīng)元的個數(shù)，對神經(jīng)網(wǎng)絡(luò)算法的運行速度和識別率也有著直接的影響，其數(shù)量越多，識別率越高，但也制約著識別速度，因此，如何處理好兩者關(guān)系很重要。

參考文獻：

[1]關(guān)學(xué)忠，劉勇智.基于數(shù)字圖像處理的車牌定位及字符分割方法[J].裝備制造，2010（01）.

[2]武桐.基于圖像匹配的漢字識別系統(tǒng)研究與實現(xiàn)[D].上海：上海交通大學(xué)，2010.

第9篇：神經(jīng)網(wǎng)絡(luò)反向傳播原理范文

旅游市場趨勢預(yù)測是旅游業(yè)發(fā)展戰(zhàn)略和旅游規(guī)劃與開發(fā)工作的重要基礎(chǔ)依據(jù)，一直是旅游市場研究中最重要的內(nèi)容之一。根據(jù)市場趨勢預(yù)測的結(jié)果，旅游相關(guān)部門才可以制定合理的旅游規(guī)劃，進行旅游資源的優(yōu)化配置。旅游市場趨勢預(yù)測是在對影響市場的諸因素進行系統(tǒng)調(diào)查和研究的基礎(chǔ)上，運用科學(xué)的方法，對未來旅游市場的發(fā)展趨勢以及有關(guān)的各種因素的變化，進行分析、預(yù)見、估計和判斷。

近年來，旅游研究者對旅游市場趨勢預(yù)測的方法進行了探索。目前主要有時間序列法、回歸分析法、指數(shù)預(yù)測法、人工神經(jīng)網(wǎng)絡(luò)法。由于旅游市場的變化受到諸多因素的影響，導(dǎo)致旅游市場的趨勢預(yù)測難度較大，但我們對預(yù)測精度的要求卻越來越高。

本文是基于人工神經(jīng)網(wǎng)絡(luò)方法，提出使用遺傳算法對人工神經(jīng)網(wǎng)絡(luò)進行優(yōu)化，探索更精確、更適用于旅游市場預(yù)測現(xiàn)實狀況的預(yù)測方法。

1 方法概述

人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點研究領(lǐng)域，是人類智能研究的重要組成部分，已經(jīng)成為神經(jīng)科學(xué)、計算機科學(xué)、認知科學(xué)、數(shù)學(xué)和物理學(xué)等多學(xué)科關(guān)注的熱點。其應(yīng)用領(lǐng)域包括：分類、預(yù)測、模式識別、信號處理和圖像處理等，并繼續(xù)向其他領(lǐng)域延伸。

1.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的主要特點是信號前向傳遞，誤差反向傳播。在前向傳遞中，輸入信號從輸入層經(jīng)隱含層逐層處理，直至輸出層。每一層的神經(jīng)狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根據(jù)預(yù)測誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測輸出不斷逼近期望輸出。

圖中，X1，X2，…，Xn是BP神經(jīng)網(wǎng)絡(luò)的輸入值，Y1，Y2，…，Ym是BP神經(jīng)網(wǎng)絡(luò)的預(yù)測值，wij和wjk為BP神經(jīng)網(wǎng)絡(luò)權(quán)值。從圖可以看出，BP神經(jīng)網(wǎng)絡(luò)可以看成一個非線性函數(shù)，網(wǎng)絡(luò)輸入值和預(yù)測值分別為該函數(shù)的自變量和因變量。當(dāng)輸入節(jié)點數(shù)為n，輸出節(jié)點數(shù)為m時，BP神經(jīng)網(wǎng)絡(luò)就表達了從n個自變量到m個因變量的函數(shù)映射關(guān)系。

1.2 遺傳算法

遺傳算法（Genetic Algorithms）是1962年由美國Michigan大學(xué)Holland教授提出的模擬自然界遺傳機制和重托進貨論而成的一種并行隨機搜索最優(yōu)化方法。它把自然界“優(yōu)勝劣汰，適者生存”的生物進化原理引入優(yōu)化參數(shù)形成的編碼串聯(lián)群體中，按照所選擇的適應(yīng)度函數(shù)并通過遺傳中的選擇、交叉和變異對個體進行篩選，使適應(yīng)度值好的個體被保留，適應(yīng)度差的個體被淘汰，新的群體既繼承了上一代的信息，又優(yōu)于上一代。這樣反復(fù)循環(huán)，直至滿足條件。

1.3 遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的流程

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)分為BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定、遺傳算法優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)預(yù)測3個部分。其中，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定部分根據(jù)按擬合函數(shù)輸入輸出參數(shù)個數(shù)確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，進而確定遺傳算法個體的長度。遺傳算法優(yōu)化使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，種群中的每個個體都包含了一個網(wǎng)絡(luò)所有權(quán)值和閾值，個體通過適應(yīng)度函數(shù)計算個體適應(yīng)度。遺傳算法通過選擇、交叉和變異操作找到最優(yōu)適應(yīng)度值對應(yīng)個體。BP神經(jīng)網(wǎng)絡(luò)預(yù)測用遺傳算法得到最優(yōu)個體對網(wǎng)絡(luò)初始權(quán)值和閾值賦值，網(wǎng)絡(luò)經(jīng)訓(xùn)練后預(yù)測函數(shù)輸出。

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)是用遺傳算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，使優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)能夠更好地預(yù)測函數(shù)輸出。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的要素包括種群初始化、適應(yīng)度函數(shù)、選擇操作、交叉操作和變異操作。

1）種群初始化

個體編碼方法為實數(shù)編碼，每個個體均為一個實數(shù)串，由輸入層與隱含層連接權(quán)值、隱含層閾值、隱含層與輸出層連接權(quán)值以及輸出層閾值4部分組成。個體包含了神經(jīng)網(wǎng)絡(luò)全部權(quán)值和閾值，在網(wǎng)絡(luò)結(jié)構(gòu)已知的情況下，就可以構(gòu)成一個結(jié)構(gòu)、權(quán)值、閾值確定的神經(jīng)網(wǎng)絡(luò)。

2）適應(yīng)度函數(shù)

2 實證分析

旅游客流量與當(dāng)?shù)芈糜斡布败浖O(shè)施建設(shè)、各種交通設(shè)備的完善程度有著密切的關(guān)系。一個旅游地的交通設(shè)施完善程度決定了該景區(qū)的可進入性以及客源地到旅游地的時間距離，直接影響該景區(qū)游客量。此外，景區(qū)建設(shè)情況及旅游接待設(shè)施的建設(shè)情況決定著景區(qū)的吸引力。需要指出的是，由于信息傳達的特性，游客數(shù)量對景區(qū)旅游相關(guān)條件改善的反應(yīng)具有延遲性的特點。本文中，采用2000 年以來北京旅客周轉(zhuǎn)量、人均GDP、全國交通、A級及以上景區(qū)個數(shù)、北京公共交通運營線路長度、北京市基礎(chǔ)投資，預(yù)測北京市旅游人數(shù)。

通過查詢中國國家統(tǒng)計局及北京市統(tǒng)計局相關(guān)資料，得到全國人均GDP、全國交通、北京市旅客周轉(zhuǎn)量、北京市A級及以上景區(qū)個數(shù)、北京市公共交通運營線路長度、北京市基礎(chǔ)投資數(shù)據(jù)，如表1所示。

根據(jù)遺傳算法和BP 神經(jīng)網(wǎng)絡(luò)理論，在MATLAB 軟件中編程實現(xiàn)基于遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)進行預(yù)測。預(yù)測誤差及真實值與預(yù)測值對比如圖2、圖3所示。

3 模型的評價