神經(jīng)網(wǎng)絡(luò)的反向傳播精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的反向傳播主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞 BP神經(jīng)網(wǎng)絡(luò) 數(shù)據(jù)挖掘 最速下降法 函數(shù)逼近 模式識別

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

1研究背景

BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋網(wǎng)絡(luò)而且它的學(xué)習(xí)算法是一種誤差逆向傳播算法。BP神經(jīng)網(wǎng)絡(luò)是目前研究最為成熟、應(yīng)用最為廣泛的人工神經(jīng)網(wǎng)絡(luò)模型之一。由于其結(jié)構(gòu)簡單、可操作性強、具有較好的自學(xué)習(xí)能力、能夠有效地解決非線性目標(biāo)函數(shù)的逼近問題等優(yōu)點，因此被廣泛應(yīng)用于自動控制、模式識別、圖像識別、信號處理、預(yù)測、函數(shù)擬合、系統(tǒng)仿真等學(xué)科和領(lǐng)域中。

2 BP神經(jīng)網(wǎng)絡(luò)原理

2.1概述

BP神經(jīng)網(wǎng)絡(luò)是一種反向傳播誤差算法然后訓(xùn)練的一個多層前饋網(wǎng)絡(luò)，簡稱為BP算法，它應(yīng)用在已被開發(fā)出來的神經(jīng)網(wǎng)絡(luò)中，到目前為止是應(yīng)用最為廣泛的網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)并且存儲非常多的輸入模式與輸出模式之間的映射關(guān)系，卻無需在學(xué)習(xí)和存儲前事先揭示并描述輸入輸出間的映射關(guān)系的一種數(shù)學(xué)方程。它使用最速下降法，通過對輸出誤差的反向傳播，獲得不斷調(diào)整網(wǎng)絡(luò)連接權(quán)系數(shù)和閾值的信息，最終使神經(jīng)網(wǎng)絡(luò)的平方誤差最小，達(dá)到期望要求。

2.2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)模型是一個三層網(wǎng)絡(luò)，它的拓?fù)浣Y(jié)構(gòu)可被劃分為：輸入層、輸出層、隱含層。其中輸入層與輸出層具有更重要的意義，因此它也可以為兩層網(wǎng)絡(luò)結(jié)構(gòu)（把隱含層劃入輸入層或者把隱含層去掉）。每層都由許多簡單的能夠執(zhí)行并行運算的神經(jīng)元組成，這些神經(jīng)元與生物系統(tǒng)中的那些神經(jīng)元非常類似，但其并行性并沒有生物神經(jīng)元的并行性高。BP神經(jīng)網(wǎng)絡(luò)是一個前饋網(wǎng)絡(luò)，因此它具有前饋網(wǎng)絡(luò)所具有的特性：相鄰兩層之間的全部神經(jīng)元進(jìn)行互相連接，而處于同一層的神經(jīng)元不能進(jìn)行聯(lián)接。

2.3 BP算法原理

BP神經(jīng)網(wǎng)絡(luò)的基本原理是把一個輸入矢量經(jīng)過隱含層的一系列變換，然后得到一個輸出矢量，從而實現(xiàn)輸入數(shù)據(jù)與輸出數(shù)據(jù)間的一個映射關(guān)系。輸入信息的正向傳播，以及輸出誤差的反向傳播，構(gòu)成了 BP網(wǎng)絡(luò)的信息循環(huán)。BP算法根據(jù)輸出誤差來修改各神經(jīng)元連接的連接權(quán)系數(shù)，其目的是使輸出誤差達(dá)到預(yù)計范圍內(nèi)。BP網(wǎng)絡(luò)需要實際輸出與期望輸出之間的誤差來確定是否要修改神經(jīng)元連接的連接權(quán)系數(shù)。其中，期望輸出便是該網(wǎng)絡(luò)意義上的“導(dǎo)師”。BP網(wǎng)絡(luò)具有對稱性的網(wǎng)絡(luò)結(jié)構(gòu)，在輸出端的每一個處理單元基本上都具有一個相同的激勵函數(shù)。

BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層單元處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層得不到期望輸出，就轉(zhuǎn)為反向傳播，即：把誤差信號沿連接路徑返回，并通過修改各層神經(jīng)元之間的連接權(quán)值，使誤差信號最小。

具體的算法步驟可概括如下：

第一步，選取初始權(quán)值、閾值。

第二步，重復(fù)下述過程直至滿足性能要求為止：

（1）對于學(xué)習(xí)樣本P=1到N

①計算每層各節(jié)點j的輸出yj，netj和的值（正向過程）；

②對各層從M層到第二層，對每層各節(jié)點反向計算%]j（反向過程）；

（2）修改權(quán)值

具體推導(dǎo)過程見參考文獻(xiàn)4。

3基于BP神經(jīng)網(wǎng)絡(luò)設(shè)計的實例

3.1函數(shù)逼近

我們設(shè)計一個簡單的BP網(wǎng)絡(luò)，實現(xiàn)對非線性函數(shù)的逼近。通過改變該函數(shù)的參數(shù)以及BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，來觀察訓(xùn)練時間以及訓(xùn)練誤差的變化時間。將要逼近的非線性函數(shù)設(shè)為正弦函數(shù)，其頻率參數(shù)k可以調(diào)節(jié)。假設(shè)頻率參數(shù)k=2，繪制此函數(shù)的曲線。如圖1。

（1）網(wǎng)絡(luò)建立：用MATLAB編程建立BP網(wǎng)絡(luò)結(jié)構(gòu)，為二層BP神經(jīng)網(wǎng)絡(luò)。隱層神經(jīng)元數(shù)目n 可以改變，暫時設(shè)為n=10，輸出層有一個神經(jīng)元。網(wǎng)絡(luò)訓(xùn)練采用Levenberg-Marquardt算法trainlm。

分析：因為建立網(wǎng)絡(luò)時，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)果很差，根本達(dá)不到函數(shù)逼近的目的，并且每次運行的結(jié)果也有所不同。

（2）網(wǎng)絡(luò)訓(xùn)練：在MATLAB里應(yīng)用train（）函數(shù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，需要預(yù)先設(shè)置訓(xùn)練參數(shù)。將訓(xùn)練時間設(shè)置為50，訓(xùn)練精度設(shè)置為0.01，其余參數(shù)用默認(rèn)值。

（3）網(wǎng)絡(luò)測試：對于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真，繪制網(wǎng)絡(luò)輸出曲線，并與原始非線性函數(shù)曲線相比較，結(jié)果如下圖2。

由此可看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓(xùn)練后，BP網(wǎng)絡(luò)對非線性函數(shù)的逼近效果非常好。

（4）討論分析：改變非線性函數(shù)的頻率和BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，對于函數(shù)逼近的效果有一定的影響。網(wǎng)絡(luò)非線性程度越高，對BP網(wǎng)絡(luò)的要求越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱性神經(jīng)元的數(shù)目對于網(wǎng)絡(luò)逼近效果也有一定的影響，一般來說隱形神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強，同時網(wǎng)絡(luò)訓(xùn)練所用的時間相對來說也要長一些。

參考文獻(xiàn)

[1] 閆志忠.BP神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)及其應(yīng)用研究[D].吉林大學(xué)，2003.

[2] 李友坤.BP神經(jīng)網(wǎng)絡(luò)的研究分析及改進(jìn)應(yīng)用[D].安徽理工大學(xué)，2012.

[3] 吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].東北農(nóng)業(yè)大學(xué)， 2007.

第2篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；電力工程；異常數(shù)據(jù)識別技術(shù)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，信號從輸入層到隱含層，再到輸出層得到期望輸出。期望輸出同實際值做比較，若得不到所期望的值，則誤差反向傳播，調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閾值。BP神經(jīng)網(wǎng)絡(luò)作為一種引入隱含層神經(jīng)元的采用多層感知器的神經(jīng)網(wǎng)絡(luò)模型，主要由輸入層、中間層和輸出層3 個部分組成。其中，中間層即隱含層，可以是一層或多層結(jié)構(gòu)。

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的分類中的多層前饋型神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的主要特征為傳遞信號向前傳播，而誤差反向向后傳播。BP神經(jīng)網(wǎng)絡(luò)在工作時，信息從輸入層通過隱含層到達(dá)輸出層。輸出層達(dá)不到所期望的信號，將誤差反向傳播，從而根據(jù)誤差不斷調(diào)整BP神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)重，從而使BP神經(jīng)網(wǎng)絡(luò)的輸出值不斷逼近期望值。

2系統(tǒng)設(shè)計

該異常數(shù)據(jù)識別系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)對電力系統(tǒng)異常進(jìn)行識別，實際上是利用神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任一非線性函數(shù)的特性以及通過學(xué)習(xí)歷史數(shù)據(jù)建模的特點。在各種類型的神經(jīng)網(wǎng)絡(luò)中，BP神經(jīng)網(wǎng)絡(luò)具有輸入延遲，適合于電力系統(tǒng)異常數(shù)據(jù)識別。根據(jù)電力系統(tǒng)運行的歷史數(shù)據(jù)，設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點，以反映系統(tǒng)運行的內(nèi)在規(guī)律，實現(xiàn)識別數(shù)據(jù)異常的目的。所以，利用神經(jīng)網(wǎng)絡(luò)對電力系統(tǒng)異常數(shù)據(jù)進(jìn)行識別，主要就是要設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點使其能反映電力系統(tǒng)運行規(guī)律。

3訓(xùn)練樣本

在BP神經(jīng)網(wǎng)絡(luò)模型中，在選擇樣本時，一定要盡可能的表達(dá)出系統(tǒng)中全部可能發(fā)生的情況所對應(yīng)的狀態(tài)，這樣才能表現(xiàn)出來動力參數(shù)與實際測量數(shù)據(jù)一一對應(yīng)的映射關(guān)系。將需要進(jìn)行反分析的動力參數(shù)作為因素，要在每一個因素里面的各種組合中均要做試驗。假設(shè)在一組設(shè)計試驗中，有n個因素，并且它自身又有l(wèi)1 ，l2 ，......，ln個水平，那么在進(jìn)行全面試驗時，至少需要做每個水平之積次試驗。當(dāng)因素及其自身對應(yīng)的水平數(shù)量不太多時，運用這種算法是比較準(zhǔn)確的。但是，隨著因素及其對應(yīng)的水平越來越多，需要做的試驗次數(shù)也要幾何級數(shù)般增長。因此，在BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，如果選擇合適、合理的方法選擇樣本就十分重要。

4 BP網(wǎng)絡(luò)模型與訓(xùn)練算法

BP（BackPropagation，后向傳播）神經(jīng)網(wǎng)絡(luò)全稱又叫作誤差反向傳播（errorBackPropagation）網(wǎng)絡(luò)。它是一種采用BP算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，每層網(wǎng)絡(luò)均包含一個或多個M-P神經(jīng)單元構(gòu)成。M-P神經(jīng)單元結(jié)構(gòu)，xi表示第i個輸入值，wi為該輸入值的權(quán)重，θ為該神經(jīng)元的閾值，y為該神經(jīng)元輸出值。其中，即神經(jīng)元將n個維度的輸入值加權(quán)相加后與神經(jīng)元的閾值進(jìn)行比較，然后將比較值通過激活函數(shù)f處理后進(jìn)行輸出。BP網(wǎng)絡(luò)通過不同網(wǎng)絡(luò)層間神經(jīng)元的全連接構(gòu)成。在網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)過程中，BP算法將輸入數(shù)據(jù)通過輸入層進(jìn)行輸入，并經(jīng)過隱藏層計算后由輸出層進(jìn)行輸出。接著輸出值與標(biāo)記值進(jìn)行比較，計算誤差（代價函數(shù)）。最后誤差再反向從輸出層向輸入層傳播，反向傳播過程使用梯度下降算法以目標(biāo)的負(fù)梯度方向來對神經(jīng)網(wǎng)絡(luò)上的權(quán)重和閾值進(jìn)行調(diào)整。

5神經(jīng)網(wǎng)絡(luò)識別實驗

考察5 種不同類型的神經(jīng)網(wǎng)絡(luò)，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根誤差與Perceptron的誤分類率等信息。可以看到，Perceptron神經(jīng)網(wǎng)絡(luò)表現(xiàn)不佳，均方根誤差在0.6~0.7 之間；誤分類率在0.1~0.2 之間。Perceptron神經(jīng)網(wǎng)絡(luò)對異常數(shù)據(jù)的檢測錯誤與誤分類率較高。隨著隱藏神經(jīng)元數(shù)量的增加，ARTMAP與RBF網(wǎng)絡(luò)的性能均會提高。在大多數(shù)情況下，均優(yōu)于Perceptron。BP與PBH網(wǎng)絡(luò)具有相似性能，且兩個神經(jīng)網(wǎng)絡(luò)始終比其他3 種類型的神經(jīng)網(wǎng)絡(luò)表現(xiàn)更優(yōu)。隨著隱藏神經(jīng)元數(shù)量的增加，兩種神經(jīng)網(wǎng)絡(luò)錯誤與誤分類率不會降低。

6狼群算法

狼群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。狼群算法是一種群智能算法，它通過模仿狼群捕獵的行為來處理優(yōu)化問題。在自然界中，狼在食物鏈中處于捕獵者。狼的外形神似狗和豺，動作迅速，嗅覺靈敏，有天生的捕獵能力。狼群算法最早于2007 年提出，后來有學(xué)者發(fā)現(xiàn)其中存在的問題，經(jīng)狼群算法優(yōu)化后提出了新型狼群算法（WCA），最后，2013 年根據(jù)自然界中狼群追捕獵物，捕食，以及分配食物的方式提出的基于狼群群體智能的算法（WPA）。該算法詳細(xì)的將狼群內(nèi)的種類分為頭狼、探狼、猛狼三種，并具有圍攻、召喚、奔襲、游走等行為。狼群算法同樣依據(jù)自然界中“勝者為王，適者生存”的更新機(jī)制。狼群算法的加入，形成了改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，防止網(wǎng)絡(luò)陷入局部極值點，提高網(wǎng)絡(luò)效率。

7遺傳算法

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。算法主要包括三部分：初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、遺傳算法優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)識別。其中初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：確定輸入層、隱含層和輸出層節(jié)點個數(shù)，以及初始化網(wǎng)絡(luò)的權(quán)值和閾值等參數(shù)。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)是將一個網(wǎng)絡(luò)中的所有權(quán)值和閾值看作種群中的一個個體，然后通過選擇、交叉和變異的操作得到最優(yōu)的個體，即最優(yōu)權(quán)值和閾值，并將該組權(quán)值閾值賦給BP神經(jīng)網(wǎng)絡(luò)作為初始的權(quán)值和閾值。最后的BP神經(jīng)網(wǎng)絡(luò)識別部分，是利用遺傳算法優(yōu)化的初始權(quán)值和閾值來訓(xùn)練網(wǎng)絡(luò)，再利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行識別。

結(jié)束語

為實現(xiàn)電網(wǎng)工程建設(shè)中對異常數(shù)據(jù)的檢測，建立了分布分層的數(shù)據(jù)檢測系統(tǒng)。其是一種使用統(tǒng)計預(yù)處理與神經(jīng)網(wǎng)絡(luò)分類的異常數(shù)據(jù)檢測算法。通過對5 種不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行對比實驗，可得出結(jié)論：BP與PBH網(wǎng)絡(luò)的性能優(yōu)于Perceptron、模糊ARTMAP和RBF等3 種神經(jīng)網(wǎng)絡(luò)?？紤]到構(gòu)建成本最終選取BP神經(jīng)網(wǎng)絡(luò)作為系統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類器，在此基礎(chǔ)上還進(jìn)行了系統(tǒng)測試。結(jié)果表明，系統(tǒng)能夠可靠地檢測到異常數(shù)據(jù)，其流量強度僅為背景強度的5%~10%，證明了該系統(tǒng)的有效性。

參考文獻(xiàn)

[1]李慧，陳愷妍.基于神經(jīng)網(wǎng)絡(luò)的電力計量故障診斷研究[J].計算機(jī)與數(shù)字工程，2020，48(05):1252-1257.

[2]多俊龍，王大眾，崇生生.在電力通信預(yù)警中優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].東北電力技術(shù)，2020，41(02):13-15+62.

[3]羅寧，高華，賀墨琳.基于神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測方法研究[J].自動化與儀器儀表，2020(01):157-160.

第3篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 動量因子法 變步長法 學(xué)習(xí)速率

1.引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是通過對人腦神經(jīng)元建模、聯(lián)結(jié)模擬生物腦或世界系統(tǒng)的網(wǎng)絡(luò)模型，是一種具有學(xué)習(xí)、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。通常研究和使用的十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART網(wǎng)絡(luò)模型。其中的BP神經(jīng)網(wǎng)絡(luò)是基于反向傳播（BackPropagation）的網(wǎng)絡(luò)，也是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中研究最多、應(yīng)用最廣的網(wǎng)絡(luò)模型。它采用最小均方差的學(xué)習(xí)方式，可用于函數(shù)逼近及語言綜合、識別和自適應(yīng)控制等。

2.標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)算法

BP算法作為前饋網(wǎng)絡(luò)的主要學(xué)習(xí)算法，對神經(jīng)網(wǎng)絡(luò)的推廣應(yīng)用起了舉足輕重的促進(jìn)作用。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)，優(yōu)化計算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，主要是針對一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價函數(shù)達(dá)到最小。其簡單的實現(xiàn)步驟為：（1）通過網(wǎng)絡(luò)輸入反向傳播；（2）通過網(wǎng)絡(luò)將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權(quán)值和偏置值。

標(biāo)準(zhǔn)的BP算法因具有簡單、易行、計算量小及并行性強等優(yōu)點，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多、最成熟的訓(xùn)練算法。由于BP網(wǎng)絡(luò)中待尋優(yōu)的參數(shù)太多，往往導(dǎo)致算法收斂速度慢。對于復(fù)雜問題，訓(xùn)練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)在很大程度上實用性不強，尤其對于實時性很強的系統(tǒng)而言。

3.BP算法的改進(jìn)

BP多層前饋網(wǎng)絡(luò)已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，但實際上的BP多層前饋網(wǎng)絡(luò)并不是利用標(biāo)準(zhǔn)的BP算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練的，而是對BP算法進(jìn)行了啟發(fā)式改進(jìn)。

（1）增加動量因子法

BP算法的神經(jīng)網(wǎng)絡(luò)的誤差曲面具有不同的區(qū)域有不同的誤差改變率的特點。假若開始訓(xùn)練的學(xué)習(xí)速率較高，那么算法的收斂速度可能很快。但當(dāng)?shù)M(jìn)入的區(qū)域包含極小點時，此時算法發(fā)散，來回振蕩，收斂不到極小值點。如果用平均改變參數(shù)的方法進(jìn)行軌跡的過濾，就可以對震蕩進(jìn)行平滑并可產(chǎn)生穩(wěn)定的軌跡。當(dāng)動量濾波器的參數(shù)得到了改變，獲取反向傳播的動量，使用了動量項，可以在保證算法較為穩(wěn)定的前提下，在網(wǎng)絡(luò)訓(xùn)練進(jìn)入局部最小值時產(chǎn)生一個繼續(xù)向前的正向斜率運動，使得搜索能夠跳出較淺的峰值；當(dāng)網(wǎng)絡(luò)搜索位于誤差曲面平坦區(qū)的區(qū)域時，該方法能夠較快地提高訓(xùn)練速度。

（2）變步長法

變步長法通過調(diào)整網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率，故也稱為可變學(xué)習(xí)速率的方法。BP算法中對連接權(quán)值的調(diào)整，取決于兩個因子，即學(xué)習(xí)速率和梯度。其中通過調(diào)整學(xué)習(xí)速率提高算法收斂收率的方法，是當(dāng)前認(rèn)為最簡單、有效的方法。學(xué)習(xí)率不能隨意選取，選得太小，收斂會變慢；選得太大，可能調(diào)整過多，使得算法振蕩或發(fā)散。所以，在對學(xué)習(xí)率進(jìn)行調(diào)整時，一般遵循的準(zhǔn)則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學(xué)習(xí)率的值選取偏小，可以作為對學(xué)習(xí)率調(diào)整的參考；否則，學(xué)習(xí)率值調(diào)整過大，就應(yīng)該對該值進(jìn)行減小。增加可變速率參數(shù)后，得到改進(jìn)的BP算法如下：

①如果整個訓(xùn)練集上的均方誤差權(quán)值在更新后增加的，且該值超過了預(yù)設(shè)的某個百分?jǐn)?shù)，如：1%～5%，則不對權(quán)值進(jìn)行更新。學(xué)習(xí)速率被乘以一個大于零且小于1的因子，并且動量系數(shù)被設(shè)置為0。

②如果均方誤差在權(quán)值更新后變小了，則接受權(quán)值更新。學(xué)習(xí)速度將被乘以一個大于1的因子。假若學(xué)習(xí)率被設(shè)置為0，則恢復(fù)之原來的值。

③如果均方誤差的增長變小，則權(quán)值更新被接受，但學(xué)習(xí)速度保持不變。如果學(xué)習(xí)率過去被設(shè)置為0，則恢復(fù)到以前的值。

4.實驗結(jié)果

分別對目標(biāo)誤差為0.001的網(wǎng)絡(luò)訓(xùn)練。實驗結(jié)果如下：

（1）采用標(biāo)準(zhǔn)BP網(wǎng)對樣本進(jìn)行訓(xùn)練，迭代次數(shù)近5000次尚未收斂。

（2）采用增加動量法，迭代375次，學(xué)習(xí)過程收斂。

（3）采用變步長法，迭代1728次收斂。

由此可見，未改進(jìn)的標(biāo)準(zhǔn)BP學(xué)習(xí)算法存在收斂速度慢的缺陷；改進(jìn)后的BP學(xué)習(xí)算法都從不同程度上提高了算法的收斂速度，訓(xùn)練的次數(shù)大大減小了。對BP算法采用啟發(fā)式改進(jìn)措施后，明顯提高了學(xué)習(xí)速度。

第4篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

【關(guān)鍵詞】噸煤單耗 因素 BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

1 引言

噸煤單耗是煤炭加工企業(yè)組織生產(chǎn)考核指標(biāo)中的一項非常重要考核內(nèi)容，它指的是輸送或破碎環(huán)節(jié)中每輸送或破碎一噸煤所消耗的電量。噸煤單耗與系統(tǒng)的運行時間、煤炭輸送量、原煤破碎量、線路損耗、系統(tǒng)故障時間以及電量結(jié)算日期等因素有著密切的關(guān)系。據(jù)統(tǒng)計，幾年前國內(nèi)多數(shù)煤炭加工企業(yè)對噸煤單耗的計算并未形成一種相對精確的預(yù)測模型。我們知道影響噸煤單耗的因素很多，而且這些因素之間并不是簡單的線性函數(shù)關(guān)系，基于此種現(xiàn)狀本文將影響噸煤單耗計算的主要因素作為BP神經(jīng)網(wǎng)絡(luò)的輸入，利用MATAB仿真軟件對網(wǎng)絡(luò)進(jìn)行自學(xué)習(xí)式訓(xùn)練，通過多次訓(xùn)練建立了可靠的BP神經(jīng)網(wǎng)絡(luò)噸煤單耗預(yù)測模型，并將2011年、2012年部分實際生產(chǎn)數(shù)據(jù)與預(yù)測數(shù)據(jù)進(jìn)行了對比驗證，分析結(jié)果表明該模型預(yù)測的噸煤單耗能夠滿足指導(dǎo)生產(chǎn)實踐、控制成本的要求。

2 BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型的建立

2.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理

在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權(quán)值調(diào)整問題的有效算法。直到誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整問題。BP （Back Propagation）神經(jīng)網(wǎng)絡(luò)，即誤差反傳算法的學(xué)習(xí)過程是由信息的正向傳播和誤差的反向傳播兩個過程組成。當(dāng)實際輸出與期望輸出不符時，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。本文就是利用其具有較強的非線性映射特性，來預(yù)測噸煤單耗的。

2.2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的設(shè)計

BP神經(jīng)網(wǎng)絡(luò)作為一種多層的前饋網(wǎng)絡(luò)，根據(jù)Kolmogorov定理，對于任意給定的一個連續(xù)函數(shù)，都可以用一個三層的前饋網(wǎng)絡(luò)以任意精度逼近，其輸入層隱含層各節(jié)點之間，隱含層和輸出層各節(jié)點之間用可調(diào)節(jié)的權(quán)值進(jìn)行連接。本模型將選取一個三層的BP神經(jīng)網(wǎng)絡(luò)，從輸入層到隱含層和從隱含層到輸出層的激勵函數(shù)（反映下層輸入對上層節(jié)點刺激脈沖強度的函數(shù)）分別采用S型函數(shù)和線性函數(shù)。

2.3 各層神經(jīng)元個數(shù)及參數(shù)的確定

2.3.1 網(wǎng)絡(luò)輸入層神經(jīng)元個數(shù)的確定

在BP神經(jīng)網(wǎng)絡(luò)模型的設(shè)計中，輸入和輸出節(jié)點的多少是由具體問題來決定的。在噸煤單耗計算過程中，輸入層神經(jīng)元應(yīng)選取對噸煤單耗計算有重要影響的幾個因素：系統(tǒng)運行時間（h）、產(chǎn)量（t）、用電量（KW?h）、流程的效率（t/h）這樣本模型的輸入層共計有4個節(jié)點。

2.3.2 網(wǎng)絡(luò)輸出層和隱含層神經(jīng)元個數(shù)的確定

輸出層選取噸煤單耗、流程效率作為輸出層神經(jīng)元。

2.4 數(shù)據(jù)處理與訓(xùn)練樣本的選擇

由于BP神經(jīng)網(wǎng)絡(luò)的泛化能力更多地體現(xiàn)在內(nèi)插功能上，對于外部數(shù)據(jù)的泛化能力很差，所以訓(xùn)練樣本的選取對于能否通過訓(xùn)練得到合理、精確的模型來說是至關(guān)重要的。因此本模型選取了2010年，2011年兩年內(nèi)具有典型性的21組數(shù)據(jù)經(jīng)過神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理后，20組作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，另外1組作為測試樣本。本文中BP神經(jīng)網(wǎng)絡(luò)的激勵函數(shù)為Sigmoid函數(shù)，這就要求網(wǎng)絡(luò)的輸入輸出量均應(yīng)在[-1，1]之間。對于連續(xù)值變量，我們需要進(jìn)行歸一化處理。本文所選的22組數(shù)據(jù)經(jīng)歸一處理后如表1所示（為公司數(shù)據(jù)保密此表只列出了歸一處理后的相應(yīng)數(shù)據(jù)）：

3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練及預(yù)測分析

本模型采用MATLAB神經(jīng)網(wǎng)絡(luò).m文件格式調(diào)用BP神經(jīng)網(wǎng)絡(luò)算法traingdm函數(shù)對20組歸一化后的數(shù)據(jù)進(jìn)行BP網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)速率設(shè)置為0.04，訓(xùn)練次數(shù)設(shè)置為10000次，目標(biāo)誤差10-3。

4 結(jié)論

綜上所述，本模型能夠較好的實現(xiàn)基于實際生產(chǎn)數(shù)據(jù)來預(yù)測噸煤單耗以及流程效率的功能，同時數(shù)據(jù)也表明用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)這一功能切實可行。通過此模型的建立我們可以通過控制流程的效率來控制噸煤單耗，從而控制實際噸煤單耗在考核指標(biāo)以內(nèi)，保證公司能夠順利完成全年的生產(chǎn)考核指標(biāo)。

參考文獻(xiàn)

[1]著作：飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與MATLAB7實現(xiàn)[M].北京：電子工業(yè)出版社，2006（99）.

作者簡介

李忠飛（1981-），通遼市奈曼旗人。研究生學(xué)歷?，F(xiàn)為內(nèi)蒙古霍林河露天煤業(yè)股份有限公司煤炭加工公司維修一部工程師、控制理論與控制工程專業(yè)電修隊隊長。

第5篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò) 多層感知器 BP算法 異或運算

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2013）03-0138-02

作為一門活躍的邊緣叉學(xué)科，神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用正成為人工智能、認(rèn)識科學(xué)、神經(jīng)生理學(xué)、非線性動力學(xué)等相關(guān)專業(yè)的熱點。近十幾年來，針對神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究大量涌現(xiàn)，上百種神經(jīng)網(wǎng)絡(luò)模型被提出，其應(yīng)用涉及模式識別、聯(lián)想記憶、信號處理、自動控制、組合優(yōu)化、故障診斷及計算機(jī)視覺等眾多方面，取得了令人矚目的進(jìn)展。

經(jīng)過近半個世紀(jì)的發(fā)展，神經(jīng)網(wǎng)絡(luò)理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功。關(guān)于學(xué)習(xí)、聯(lián)想和記憶等具有智能特點過程的機(jī)理及其模擬方面的研究正受到越來越多的重視。

學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最主要的特征之一。各種學(xué)習(xí)算法的研究，在人工神經(jīng)網(wǎng)絡(luò)理論與實踐發(fā)展過程中起著重要作用。當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)研究的許多課題都致力于學(xué)習(xí)算法的改進(jìn)、更新和應(yīng)用。

1958年，美國學(xué)者Frank Rosenblatt首次定義了一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為感知器（Perceptron）。經(jīng)過論證，單層感知器只能進(jìn)行線性分類，對非線性樣本的劃分無法實現(xiàn)，例如異或問題在二維空間中就是一個非線性的樣本空間分類的問題，就需要用到多層感知器，即網(wǎng)絡(luò)應(yīng)具有隱層，但對隱層神經(jīng)元的學(xué)習(xí)規(guī)則尚無所知。就感知器學(xué)習(xí)規(guī)則來說，其權(quán)值的調(diào)整取決于網(wǎng)絡(luò)期望輸出與實際輸出之差，而對各隱層節(jié)點來說，不存在期望輸出，因而該學(xué)習(xí)規(guī)則對隱層權(quán)值調(diào)整不適用。此時需要用到誤差反向傳播的BP學(xué)習(xí)規(guī)則。

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入―輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用梯度法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input layer）、隱層（hide layer）和輸出層（output layer）。

BP算法由數(shù)據(jù)流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構(gòu)成。正向傳播時，傳播方向為輸入層隱層輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號的反向傳播流程。通過這兩個過程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過程。

BP算法的學(xué)習(xí)目的是對網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對任一輸入都能達(dá)到所期望的輸出。學(xué)習(xí)過程由正向傳播與反向傳播組成。正向傳播用于對前向網(wǎng)絡(luò)進(jìn)行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡(luò)計算后得出它的輸出結(jié)果；反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對于輸入信息經(jīng)過計算后得到的輸出能達(dá)到期望的誤差要求。

學(xué)習(xí)的方法是使用一組訓(xùn)練樣例對網(wǎng)絡(luò)的連接權(quán)值進(jìn)行訓(xùn)練，每一個樣例中，都包括輸入及期望的輸出兩部分。在正向傳播算法中，首先將訓(xùn)練樣例的輸入信息輸入到網(wǎng)絡(luò)中，輸入信息從輸入層經(jīng)過隱層節(jié)點逐層計算處理后，傳至輸出層。在計算處理過程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層得到的結(jié)果不是所期望的輸出，那么就轉(zhuǎn)為反向傳播。

反向傳播把誤差信號沿路徑方向傳回，并按一定的原則對各層神經(jīng)元的權(quán)值進(jìn)行修正，直到第一個隱層，這時再開始進(jìn)行正向傳播，利用剛才的輸入信息進(jìn)行正向網(wǎng)絡(luò)計算，如果網(wǎng)絡(luò)的輸出達(dá)到了誤差要求，則學(xué)習(xí)過程結(jié)束，如果達(dá)不到要求，則再進(jìn)行反向傳播的連接權(quán)值調(diào)整。

這一過程不斷反復(fù)，直到網(wǎng)絡(luò)正向計算的輸出結(jié)果達(dá)到誤差要求的結(jié)果為止，這時學(xué)習(xí)過程結(jié)束。具體算法過程見圖1。一旦網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，在用于求解實際問題時就只需要使用正向傳播，而不需要使用反向傳播了。

使用BP算法實現(xiàn)異或問題的具體學(xué)習(xí)過程按以下步驟順序進(jìn)行：

（1）網(wǎng)絡(luò)狀態(tài)初始化：用較小的隨機(jī)數(shù)對網(wǎng)絡(luò)的權(quán)值（Xji）和（Pkj）以及偏置值（θj）和（γk）賦初值。

（2）輸入第一個模式。

（3）把學(xué)習(xí)模式的值作為輸入層單元i的輸出（Ii），用輸入層到中間層的權(quán)值（Xji）和中間層單元的偏置值（θj），求出對中間單元j的輸入Uj以及相應(yīng)的輸出Hj：

Uj=?Ii +θj，

Hj=f（Uj）。

上式中的f（?）是Sigmoid函數(shù)。

（4）用中間層的輸出（Hj），中間層到輸入層的連接權(quán)值（Pkj）以及輸出層單元的偏置值（γk）求出對輸出層單元k的輸入Sk以及相應(yīng)的輸出Ok：

Sk=?Hj+γk，

Ok=f（Sk）。

（5）根據(jù)學(xué)習(xí)模式的教師信號Tk和輸出層的輸出Ok的差，求出有關(guān)輸入層單元k的偏置值以及連接到其上權(quán)值的誤差（δk）：

δk=（Ok-Tk）?Ok?（1- Ok）。

（6）根據(jù)誤差δk，從中間層到輸入層的權(quán)值（Xkj）以及中間層的輸出（Hj），求出有關(guān)中間層j的偏置值以及連接到其上的權(quán)值的誤差（σj）：

σj =?Pkj?Hj?（1-Hj）。

（7）根據(jù)由第（5）步求出的δk以及Hj和常數(shù)α，對從中間層單元j到輸出層單元k的權(quán)值（Pkj）加以調(diào)整。另外，根據(jù)δk和常數(shù)β對輸出層單元k的偏置值γk加以調(diào)整：

Pkj=Pkj+αδk Hj，

γk=γk+βδk。

（8）根據(jù)誤差σj，輸入單元i的輸出（Ii）以及常數(shù)α對從輸入單元i到中間層單元j的連接權(quán)值（Xji）加以調(diào)整。根據(jù)誤差（σj）和常數(shù)β對中間層單元j的偏置值（θj）加以調(diào)整：

Xji=Xji+ασj Ii，

θj=θj+βσj。

（9）輸入下一個模式。

（10）若有學(xué)習(xí)模式，則返回（3）。

（11）更新學(xué)習(xí)次數(shù)。

（12）若學(xué)習(xí)次數(shù)小于規(guī)定的次數(shù)，則返回（2）。

程序運行過程及結(jié)果：

程序運行后，在提示下輸入“學(xué)習(xí)率”為0.999，輸入“誤差控制精度”為0.0001，輸入“循環(huán)的最大次數(shù)”為20000，程序執(zhí)行后，可以看到在result.txt中結(jié)果如圖2。

通過這個實例，使用多層感知器解決了單層感知器不能解決的異或問題，也從側(cè)面驗證了BP網(wǎng)絡(luò)通過若干簡單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但是從給入不同的學(xué)習(xí)率、誤差控制精度和學(xué)習(xí)次數(shù)得到了不同的結(jié)果，從中也暴露了BP算法的一些局限性。

（1）該學(xué)習(xí)算法的收斂速度慢，常常需要成千上萬次的迭代，而且隨著訓(xùn)練樣例的增多，網(wǎng)絡(luò)性能會變差；

（2）網(wǎng)絡(luò)中隱節(jié)點個數(shù)的選取上無理論上的指導(dǎo)；

（3）從數(shù)學(xué)角度上看，BP算法是一種梯度最速下降法，這就有可能出現(xiàn)局部最小的問題。當(dāng)出現(xiàn)局部最小時，從表面上看，符合誤差的要求，但這時所得到的解并不一定是問題的真正解。所以BP算法是不完備的。

參考文獻(xiàn)

[1]徐麗娜.神經(jīng)網(wǎng)絡(luò)控制（第三版）.電子工業(yè)出版社，2009.7.

[2]馬銳.人工神經(jīng)網(wǎng)絡(luò)原理.機(jī)械工業(yè)出版社，2010.09.

[3]張軍，詹志輝.計算智能.清華大學(xué)出版社，2009.11.

[4]楊建剛.人工神經(jīng)網(wǎng)絡(luò)實用教程，浙江大學(xué)出版社，2001.1.

[5]宋宜斌，王培進(jìn).多層前饋神經(jīng)網(wǎng)絡(luò)改進(jìn)算法及其應(yīng)用.計算機(jī)工程，2003.8.

第6篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；電網(wǎng)物資；需求預(yù)測

電網(wǎng)在電力系統(tǒng)中是聯(lián)系發(fā)電設(shè)備和用電設(shè)施的載體，它主要是由送電線路、變電所、配電所以及配電線路等環(huán)節(jié)組成。近幾年來，隨著我國國民經(jīng)濟(jì)的持續(xù)增長，我國的電力事業(yè)得到了飛速發(fā)展，電網(wǎng)電壓等級不斷提高，網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，電網(wǎng)物資作為影響電網(wǎng)建設(shè)至關(guān)重要的因素，其管理工作也顯得越來越重要。需求預(yù)測的開展，能夠有效提高電力物資的保障能力，同時也能為長期的物資規(guī)劃提供數(shù)據(jù)支持，因此，電網(wǎng)建設(shè)項目物資需求預(yù)測研究有著重要意義和價值。

物資需求預(yù)測的主要預(yù)測方法包括：基于時間序列的移動平均法[1]、指數(shù)平滑法[2]、結(jié)合備件物資的特性提出的Croston法[3]以及用于預(yù)測需求不服從任何分布情況下的間歇性物資需求Bayesian法[4]等，這些方法都只能依靠物資本身需求數(shù)據(jù)來進(jìn)行擬合預(yù)測，對于需求波動較大的物資預(yù)測精度較低。將人工神經(jīng)網(wǎng)絡(luò)方法引入需求預(yù)測成為一個新的研究趨勢[5，6]。

關(guān)于電網(wǎng)物資的需求預(yù)測，現(xiàn)有的研究集中于電力庫存物資的需求預(yù)測方面[7，8]。而目前電網(wǎng)企業(yè)的項目物資需求計劃管理主要采用的是提前儲備物資信息，工程、物資協(xié)同管理的模式[9]，至于電網(wǎng)建設(shè)項目物資的需求預(yù)測研究，還尚未開展。其主要原因是缺乏主要的數(shù)據(jù)支持，國家電網(wǎng)公司的企業(yè)資源計劃（ERP）系統(tǒng)于2010年全面正式上線，為電網(wǎng)建設(shè)物資的需求預(yù)測提供了一個難得的數(shù)據(jù)平臺，也為物資需求預(yù)測提供初步的數(shù)據(jù)支撐。同時，電網(wǎng)建設(shè)項目物資的標(biāo)準(zhǔn)化建設(shè)也為需求預(yù)測的開展提供了可能?；诖?，本文依據(jù)電網(wǎng)建設(shè)項目里程碑計劃中的指標(biāo)如電壓等級、線路長度、變電容量等，提出基于BP神經(jīng)網(wǎng)絡(luò)的電網(wǎng)建設(shè)項目物資需求預(yù)測模型，并通過實例數(shù)據(jù)測試模型性能。

1.電網(wǎng)建設(shè)項目物資需求特點分析

電網(wǎng)建設(shè)項目具有投資額大，建設(shè)周期長，受環(huán)境影響大的特點，每個項目的工程規(guī)模、啟動時間、緊急程度均不同，這給項目物資管理造成了一定的難度。同時，不同地域、不同電壓等級的電網(wǎng)工程所需的物資有著相當(dāng)大的差異性，僅僅依靠物資的歷年數(shù)據(jù)進(jìn)行遞推預(yù)測是不可靠的。不同的計劃期（年，季，月）內(nèi)的物資需求量之間沒有必然的聯(lián)系，因此需要通過影響因素來判斷物資的需求。BP神經(jīng)網(wǎng)絡(luò)是一種能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系的方法，它無需事前揭示或描述這種映射關(guān)系，因而適合解決諸如電網(wǎng)建設(shè)項目物資需求預(yù)測這類因果關(guān)系復(fù)雜的非確定性問題。

2.BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型構(gòu)建

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，它主要是通過誤差逆向傳播算法來進(jìn)行訓(xùn)練的。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法是最速下降法，它通過反向傳播來不停調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，從而達(dá)到減小誤差至最優(yōu)的目的。

2.1 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是典型的多層結(jié)構(gòu)網(wǎng)絡(luò)，本文主要應(yīng)用BP神經(jīng)網(wǎng)絡(luò)算法構(gòu)建單隱層網(wǎng)絡(luò)（又稱三層前饋網(wǎng)或三層感知器），所謂的三層網(wǎng)絡(luò)主要是由輸入層、隱含層以及輸出層組成，具體結(jié)構(gòu)如圖1所示。輸入層、隱含層以及輸出層各層均由大量神經(jīng)元組成，且層與層以權(quán)值連接，但同層之間不允許傳遞信號，各層神經(jīng)元只能向高層輸出激活信號。

2.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)是典型的有導(dǎo)師學(xué)習(xí)算法，其學(xué)習(xí)過程主要分為正向傳播和反向傳播兩種。正向傳播是用來計算前向網(wǎng)絡(luò)的，其將輸入信號通過隱含層傳遞至輸出層，經(jīng)網(wǎng)絡(luò)計算出輸出結(jié)果。在神經(jīng)網(wǎng)絡(luò)正向傳播過程中，網(wǎng)絡(luò)的權(quán)值固定不變，同層神經(jīng)元之間不能互相影響，同時，如果輸出層所得結(jié)果誤差超過期望值，則進(jìn)入反向傳播階段；BP神經(jīng)網(wǎng)絡(luò)的反向傳播實際指的是誤差的反向傳播，其將誤差信號（即輸出結(jié)果與期望結(jié)果的差值）逐層逆向反饋，通過修改神經(jīng)元的連接權(quán)值和閾值，來使正向傳播所得輸出結(jié)果能更加接近期望輸出。下圖2為BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法圖。

2.3 BP神經(jīng)網(wǎng)絡(luò)算法步驟

2.4 電網(wǎng)建設(shè)項目物資需求預(yù)測模型構(gòu)建

本文以某省電力公司電磁式電流互感器的歷史需求數(shù)據(jù)為樣本，從ERP系統(tǒng)中調(diào)取59個已建項目的需求數(shù)據(jù)，從中篩選出電磁式電流互感器的需求量，從而運用MATLAB中的BP神經(jīng)網(wǎng)絡(luò)模型和軟件編程功能進(jìn)行預(yù)測分析，模型參數(shù)設(shè)定為：

（1）輸入層神經(jīng)元數(shù)目設(shè)為3，分別為變電容量、線路長度和工程類型。其中，“變電容量”是指項目所建電網(wǎng)變電站的主變壓器的容量，其主要反映變壓器輸送電能的能力，這個容量就決定了線路的負(fù)載能夠有多大；線路長度是指項目所建電網(wǎng)的線路里程；工程類型則是作為一個名義變量，定義為三個類別：新建項目、改建項目以及擴(kuò)建項目，同時將其分別以數(shù)字1、2、3代替進(jìn)行演算分析。

（2）隱含層神經(jīng)元數(shù)目由Try Error Try法不斷調(diào)試直至找出最優(yōu)值為止，初始值參考上式（1）設(shè)為7。

（3）輸出層神經(jīng)元數(shù)目設(shè)為1，為電網(wǎng)物資預(yù)測數(shù)量。

構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型時，模型隱藏層選用S 形曲線傳遞函數(shù)，輸出層采用線性傳遞函數(shù)。將樣本數(shù)據(jù)隨機(jī)分為三組，70%樣本用于訓(xùn)練網(wǎng)絡(luò)，采用 Levenberg- Marquardt運算法則作為訓(xùn)練法則；15%樣本進(jìn)行網(wǎng)絡(luò)泛化能力的檢測，當(dāng)泛化能力不再提高時終止網(wǎng)絡(luò)訓(xùn)練；剩下的15%樣本用于測試網(wǎng)絡(luò)的性能。若網(wǎng)絡(luò)訓(xùn)練結(jié)果誤差過大，則再次訓(xùn)練網(wǎng)絡(luò)，或調(diào)整隱藏層神經(jīng)元個數(shù)，反復(fù)訓(xùn)練網(wǎng)絡(luò)，直到獲得最佳結(jié)果為止，保存并輸出。

3.預(yù)測效果分析

采用BP算法訓(xùn)練網(wǎng)絡(luò)時，設(shè)定顯示間隔次數(shù)為25，最大循環(huán)次數(shù)為3000，目標(biāo)誤差為1×10-3，初始學(xué)習(xí)速率為0.5，學(xué)習(xí)速率增加的比率為1.2，學(xué)習(xí)速率減小的比率為0.7，動量常數(shù)為0.8，最大誤差比率為0.6。將歸一化后的學(xué)習(xí)樣本依次輸入BP網(wǎng)絡(luò)，按上述BP學(xué)習(xí)算法的步驟反復(fù)訓(xùn)練，結(jié)果見圖3。

從圖3可以看出，電磁式電流互感器預(yù)測的最大絕對誤差為2臺，且主要分布于需求較少的項目中，對于需求較多的項目，預(yù)測值基本與實際值重合，精度較高，表明BP神經(jīng)網(wǎng)絡(luò)預(yù)測能夠進(jìn)行有效預(yù)測。

由于ERP系統(tǒng)應(yīng)用尚未普及，目前可獲取的項目數(shù)據(jù)還不夠完善（樣本數(shù)據(jù)皆來自省電力公司ERP系統(tǒng)），本文主要選取的是在電網(wǎng)工程中運用最為普遍的物資——電磁式電流互感器，因此數(shù)據(jù)量還較為豐富，也取得了較為滿意的預(yù)測效果。同時，諸如鋼絞線、接續(xù)金具、耐張線夾、T型線夾、懸垂線夾、聯(lián)結(jié)金具等物資由于應(yīng)用較為廣泛，可用的項目樣本也足夠多，因此通過構(gòu)建BP神經(jīng)網(wǎng)絡(luò)進(jìn)行物資預(yù)測也取得了較好的預(yù)測效果。

隨著電網(wǎng)建設(shè)的不斷發(fā)展以及ERP系統(tǒng)的深入應(yīng)用，未來可用的項目樣本將越來越多，而樣本集越豐富，建模所取得效果則越優(yōu)。盡管BP神經(jīng)網(wǎng)絡(luò)建模所預(yù)測到的電網(wǎng)建設(shè)項目物資需求量不一定是最優(yōu)值，但預(yù)測精度有了很大的提高。BP神經(jīng)網(wǎng)絡(luò)通過網(wǎng)絡(luò)訓(xùn)練，將原本很復(fù)雜的預(yù)測模型簡化，同時不斷擴(kuò)充新樣本，以適應(yīng)不斷變化的環(huán)境，實現(xiàn)了對電網(wǎng)建設(shè)項目物資的動態(tài)預(yù)測。

4.結(jié)論

運用BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法能很好地處理較為復(fù)雜的問題，約束條件也遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的預(yù)測模型，同時，BP人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)性和時變性的特點，能夠有效地實現(xiàn)動態(tài)建模與分析，從而有效地實現(xiàn)了電網(wǎng)物資需求預(yù)測。然而人工神經(jīng)網(wǎng)絡(luò)技術(shù)是一種數(shù)據(jù)挖掘技術(shù)，如何獲取和整理歷史數(shù)據(jù)至關(guān)重要，因此，在實際中應(yīng)深入應(yīng)用電力公司的ERP 系統(tǒng)，盡早完善電網(wǎng)需求物資數(shù)據(jù)庫，為BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型構(gòu)建提供數(shù)據(jù)支持。

參考文獻(xiàn)：

[1]Siddique F，Choudhary M.A..Decision Support System for Optimizing Spare Parts Forecasting for Training Aircrafts Source：Recent Advances in Applied Mathematics[J]. Proceedings of the 14th WSEAS International Conference on Applied Mathematics， vol.， no.，pp： 34-41，2009.

[2]Moon Seongmin，Hicks Christian， Simpson.The development of a hierarchical forecasting method for predicting spare parts demand in the South Korean Navy- A case study Andrew[J].International Journal of Production Economics， vol.140， no.2，pp：794-802， December 2012.

[3]Heinecke G.，Syntetos A.A.，Wang W..Forecasting- based SKU classification[J]. International Journal of Production Economics，2011.

[4]Kamath K Rajashree，T P M Pakkala.A Bayesian approach to dynamic in ventory model under an unknown demand distribution[J].Computers& Operations Reseach，2002.

[5]Amin-Naseri M.R.，Tabar B.R..Neural network approach to lumpy demand forecasting for spare parts in process industries[J].Computer and Communication Engineering，vol.， no.，pp：1378-1382， 13-15，May 2008.

[6]張冬，明新國，趙成雷等.基于BP神經(jīng)網(wǎng)絡(luò)和設(shè)備特性的工業(yè)設(shè)備備件需求預(yù)測[J].機(jī)械設(shè)計與研究，2010，26（1）：72-76.

[7]孫懷富.基于電子商務(wù)平臺的電力物資決策管理研究[D].北京：北京工業(yè)大學(xué)，2006.

[8]王志勇.大唐集團(tuán)托克托發(fā)電廠物資管理研究[D].北京：華北電力大學(xué)，2010.

[9]鄔斌弢，張玉鑫.基于雙向協(xié)同的物資需求計劃管理在電網(wǎng)工程中的應(yīng)用研究[J].華東電力，2012，40（5）：0913-0914.

基金項目：國家電網(wǎng)公司科技資助項目（豫電WZBKJ[2011]342號）。

作者簡介：

宋斌（1968-），男，河南開封人，高級工程師，河南省電力公司物資部計劃合同處處長，主要從事電力物資合同管理和供應(yīng)鏈管理等研究。

宋秉虎（1970-），男，甘肅白銀人，高級工程師，研究方向：電力物資管理，供應(yīng)鏈管理。

第7篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：風(fēng)速；短期預(yù)測；相似數(shù)據(jù)；小波分析；人工神經(jīng)網(wǎng)絡(luò)

1 引言

隨著風(fēng)電場并網(wǎng)運行規(guī)模的增大，國內(nèi)外對于風(fēng)力發(fā)電并網(wǎng)各種課題的研究越來越深入，但關(guān)于風(fēng)電場發(fā)電功率預(yù)測的研究還達(dá)不到令人滿意的程度，預(yù)測誤差一般都在15%以上[1]。

采用的方法通常包括持續(xù)法、卡爾曼濾波法、隨機(jī)時間序列法、神經(jīng)網(wǎng)絡(luò)法。其中，人工神經(jīng)網(wǎng)絡(luò)法進(jìn)行風(fēng)速或風(fēng)電功率預(yù)測應(yīng)用得最廣。文獻(xiàn)[2-3]都利用小波―BP神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，但訓(xùn)練樣本沒有相關(guān)性，預(yù)測精度偏低。文獻(xiàn)[4-5]利用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)建模，雖然運行時間縮短，但是在數(shù)據(jù)相關(guān)性和數(shù)據(jù)去噪處理方面欠缺，導(dǎo)致精度不高。因此，本文建立了基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡(luò)建模。

2 基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡(luò)建模

2.1 相似數(shù)據(jù)選擇辦法

2.3 反向傳播（BP）神經(jīng)網(wǎng)絡(luò)

2.4 仿真實驗建模

3 算法對比分析

從圖4可得出，BP神經(jīng)網(wǎng)絡(luò)模型的平均相對誤差為20.77%，而本模型為10.21%。因此，采用本模型建模得到的相對誤差較傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測精度有很大的提高。

4 結(jié)論

針對風(fēng)力發(fā)電中風(fēng)速預(yù)測問題，本文在BP神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)上引入相似數(shù)據(jù)并結(jié)合小波分解進(jìn)行短期風(fēng)速預(yù)測，得到如下結(jié)論：

⑴相似數(shù)據(jù)的選取增強了數(shù)據(jù)的相關(guān)性，提高了模型預(yù)測精度。

⑵小波分解降低了信號的非平穩(wěn)性，使模型更好地擬合了風(fēng)速信號的低頻和高頻特性，可進(jìn)一步提高算法精度。

⑶通過對算法對比分析，表明本模型較傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型誤差小，充分地說明此方法在工程應(yīng)用上具有可行性。

[參考文獻(xiàn)]

[1]楊秀媛，肖洋，陳樹勇.風(fēng)電場風(fēng)速和發(fā)電功率預(yù)測研究[J].中國電機(jī)工程學(xué)報，2005，25（11）：1-5.

[2]師洪濤，楊靜玲，丁茂生，王金梅.基于小波―BP神經(jīng)網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測方法[J].電力系統(tǒng)自動化，2011，35（16）：44-48.

[3]厲衛(wèi)娜，蘇小林.基于小波- 神經(jīng)網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測研究[J].電力學(xué)報，2011，26（6）：458-461.

[4]王德明，王莉，張廣明.基于遺傳BP神經(jīng)網(wǎng)絡(luò)的短期風(fēng)速預(yù)測模型[J]. 浙江大學(xué)學(xué)報（工學(xué)版），2012，46（5）：837-841.

第8篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);計算機(jī);智能信息;應(yīng)用

中圖分類號:TP183

文獻(xiàn)標(biāo)識碼:A

文章編號:16723198(2009)20028602

1神經(jīng)網(wǎng)絡(luò)的定義

一般情況下,人工神經(jīng)元網(wǎng)絡(luò)是作為信息處理單元來模仿大腦,執(zhí)行特定的任務(wù)或完成感興趣的功能。關(guān)于它的定義有很多種,而下面的HechtNielsen給出的神經(jīng)網(wǎng)絡(luò)定義最具有代表意義: 神經(jīng)網(wǎng)絡(luò)是一種并行的分布式信息處理結(jié)構(gòu),它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號――處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數(shù)學(xué)類型。在每一個處理單元中執(zhí)行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當(dāng)前值和處理單元本身所存儲記憶的值。

2神經(jīng)網(wǎng)絡(luò)的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。

(2)非局域性: 非局域性是人的神經(jīng)系統(tǒng)的一個特性,人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現(xiàn)。

(3)非定常性: 神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運動的動力學(xué)系統(tǒng),它應(yīng)按不同時刻的外界刺激對自己的功能進(jìn)行修改,故而它是一個時變的系統(tǒng)。

(4)非凸性:神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個極值,也即系統(tǒng)具有不只一個的較穩(wěn)定的平衡狀態(tài)。這種屬性會使系統(tǒng)的演化多樣化。

3神經(jīng)網(wǎng)絡(luò)模型的分類

(1)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分,則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

(2)按照學(xué)習(xí)方式區(qū)分,則有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)。

(3)按照網(wǎng)絡(luò)性能區(qū)分,則有連續(xù)型和離散性網(wǎng)絡(luò),隨機(jī)型和確定型網(wǎng)絡(luò)。

(4)按照突觸性質(zhì)區(qū)分,則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。

(5)按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分,則有神經(jīng)元層次模型,組合式模型,網(wǎng)絡(luò)層次模型,神經(jīng)系統(tǒng)層次模型和智能型模型。

通常人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。一段而言,神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu)。在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中,人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和AR雙自適應(yīng)共振理論網(wǎng)絡(luò)。

Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型,它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層,并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對稱連接。這個網(wǎng)絡(luò)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。

BP網(wǎng)絡(luò)是誤差反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò),采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語言綜合,識別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。

Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò),這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元;而輸出層是二維的神經(jīng)元,神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而,在輸出層中,神經(jīng)元之間有近揚遠(yuǎn)抑的反饋特性,從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測器。

ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性,穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中,通常需要兩個功能互補的子系統(tǒng)相互作用.這兩個子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)主要用于模式識別,它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。

4誤差反向傳播的前饋網(wǎng)絡(luò)(BP網(wǎng)絡(luò))

學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點。自從40年代Hebb提出的學(xué)習(xí)規(guī)則以來,人們相繼提出了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應(yīng)用最多的有效算法。

(1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu):在神經(jīng)網(wǎng)絡(luò)中,對外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進(jìn)行學(xué)習(xí)。感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。這種學(xué)習(xí)系統(tǒng)分成三個部分:輸入部,訓(xùn)練部和輸出部。

輸入部接收外來的輸入樣本X,由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)值W調(diào)整,然后由輸出部輸出結(jié)果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進(jìn)行比較,產(chǎn)生的誤差去控制修改權(quán)值W。

(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的梯度算法:從感知器的學(xué)習(xí)算法可知,學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)值,使到網(wǎng)絡(luò)對于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時,也即神經(jīng)網(wǎng)絡(luò)能正確分類時,顯然權(quán)值就反映了同類輸人模式樣本的共同特征。換句話講,權(quán)值就是存儲了的輸人模式。由于權(quán)值是分散存在的,故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲的特點。

感知器學(xué)習(xí)算法相當(dāng)簡單,當(dāng)函數(shù)不是線性可分時求不出結(jié)果,而且不能推廣到一般前饋網(wǎng)絡(luò)中,為此出現(xiàn)了另一種算法-梯度算法((LMS)。梯度算法把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù),例如非對稱Sigmoid函數(shù)為f (x) = l/(1 + e-x ),或?qū)ΨQSigmoid函數(shù)f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學(xué)習(xí)算法進(jìn)了一大步。

(3)反向傳播學(xué)習(xí)的BP算法:感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中,它只能改變最后權(quán)值。因此,感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年,Rumelhart提出了反向傳播學(xué)習(xí)算法,即BP算法。這種算法可以對網(wǎng)絡(luò)中各層的權(quán)值進(jìn)行修正,故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說,改變隱含層的權(quán)值,可以改變整個多層神經(jīng)網(wǎng)絡(luò)的性能。

第9篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);電力負(fù)荷;短期預(yù)測

中圖分類號:TP183 文獻(xiàn)標(biāo)識碼:A文章編號:1007-9599 (2010) 09-0000-02

Power Load Short-term Forecasting Based on BP Neural Network

Wang Jing,Yang Xiao

(School of Economics&Management,North China Electric Power University,Beijing102206,China)

Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.

Keywords:BP Neural Network;Power Load;Short-term Forecast

一、引言

目前,全國供電緊張,部分嚴(yán)重地區(qū)經(jīng)常缺電,造成許多發(fā)電設(shè)備不能及時檢修,處于超負(fù)荷的運轉(zhuǎn)狀態(tài)。會導(dǎo)致機(jī)組老化加速,出現(xiàn)不可預(yù)見的事故,造成人員、財產(chǎn)的傷亡。因此對未來電網(wǎng)內(nèi)負(fù)荷變化趨勢的預(yù)測,是電網(wǎng)調(diào)度部門和設(shè)計部門所必須具備的基本信息之一。

電力系統(tǒng)負(fù)荷預(yù)測是電力生產(chǎn)部門的重要工作,通過精確的預(yù)測電力負(fù)荷,可以經(jīng)濟(jì)的調(diào)度發(fā)電機(jī)組,合理安排機(jī)組啟停、機(jī)組檢修計劃,降低發(fā)電成本,提高經(jīng)濟(jì)效益。負(fù)荷預(yù)測對電力系統(tǒng)控制、運行和計劃都有著重要的意義。電力系統(tǒng)負(fù)荷變化受多方面的影響,包括不確定性因素引起的隨機(jī)波動和周期性變化規(guī)律。并且,由于受天氣、節(jié)假日等特殊情況影響,又使負(fù)荷變化出現(xiàn)差異。神經(jīng)網(wǎng)絡(luò)具有較強非線性的映射功能,用神經(jīng)網(wǎng)絡(luò)來預(yù)測電力負(fù)荷越來越引起人們的關(guān)注。

二、BP網(wǎng)絡(luò)理論

(一)BP網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)全稱為Back-Propagation Network,即反向傳播網(wǎng)絡(luò),是一種多層前饋神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu)圖如圖1所示,根據(jù)圖示可以知道BP神經(jīng)網(wǎng)絡(luò)是一種有三層或三層以上的神經(jīng)網(wǎng)絡(luò),包括輸入層、中間層(隱層)和輸出層。前后層之間實現(xiàn)全連接,各層之間的神經(jīng)元不進(jìn)行連接。當(dāng)學(xué)習(xí)樣本輸入后,神經(jīng)元的激活之經(jīng)由各層從輸入層向輸出層傳遞。之后,根據(jù)減少目標(biāo)輸出與實際輸出誤差的原則,從輸出層反向經(jīng)過各層至輸入層,逐級修正各連接的權(quán)值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進(jìn)行,網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷上升。

BP神經(jīng)網(wǎng)絡(luò)傳遞函數(shù)不同于感知器模型傳遞函數(shù),BP神經(jīng)網(wǎng)絡(luò)要求其必須是可微的,所以感知器網(wǎng)絡(luò)中所用到的硬閾值傳遞函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中并不適應(yīng)。BP神經(jīng)網(wǎng)絡(luò)中常用的傳遞函數(shù)有正切函數(shù)、Sigmoid型的對數(shù)或線性函數(shù)。由于這些函數(shù)均是可微的,所以BP神經(jīng)網(wǎng)絡(luò)所劃分的區(qū)域是一個非線性的超平面組成的區(qū)域,是一個比較平滑的曲面,它比線性劃分更加的精確。另外,網(wǎng)絡(luò)才有嚴(yán)格的梯度下降法進(jìn)行學(xué)習(xí),權(quán)值修正的解析式分非常明確。

(二)BP網(wǎng)絡(luò)算法

(1)初始化。給沒給連接權(quán)值 、 、閾值 與 賦予區(qū)間 內(nèi)的隨機(jī)值

(2)確定輸入P和目標(biāo)輸出T。選取一組輸入樣本 和目標(biāo)輸出樣本 提供給網(wǎng)絡(luò)。

(3)用輸入樣本 、連接權(quán) 和閾值 計算中間層各單元的輸入 ,然后用 通過傳遞函數(shù)計算中間層各單元的輸出 。

(4)利用中間層的輸出 、連接權(quán) 和閾值 計算輸出層各單元的輸出 ,然后通過傳遞函數(shù)計算輸出層各單元的響應(yīng) 。

(5)利用目標(biāo)向量 和網(wǎng)絡(luò)的實際輸出 ,計算輸出層各單元的一般化誤差 。

(6)利用連接權(quán) 、輸出層的一般化誤差 和中間層的輸出 計算中間層各單元的一般化誤差 。

(7)利用輸出層各單元的一般化誤差 與中間呈個單元的輸出 來修正連接權(quán) 和閾值 。

(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權(quán) 和閾值 ,計算方法同(7)。

(9)達(dá)到誤差精度要求或最大訓(xùn)練步數(shù),輸出結(jié)果,否則返回(3)

三、實證研究

(一)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

本文以南方某缺電城市的整點有功負(fù)荷值,在預(yù)測的前一天中,每隔2小時對電力負(fù)荷進(jìn)行一次測量,這樣,可以得到12組負(fù)荷數(shù)據(jù)。此外電力負(fù)荷還和環(huán)境因素有關(guān),文章選取預(yù)測日最高氣溫、最低氣溫和降雨量氣象特征作為網(wǎng)絡(luò)輸入變量。所以設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)為:15個輸入層節(jié)點和12個輸出向量,根據(jù)Kolmogorov定理可知,網(wǎng)絡(luò)中間層的神經(jīng)元可以去31個。

(二)輸入數(shù)據(jù)歸一化處理

獲得輸入變量后,為了防止神經(jīng)元飽和現(xiàn)象,在BP神經(jīng)網(wǎng)絡(luò)輸入層進(jìn)行歸一化,文章才有如下公式進(jìn)行變換。

(三)實證分析

中間層神經(jīng)元傳遞函數(shù)和輸出層傳遞函數(shù)分別采用S型正切函數(shù)tansig和S型對數(shù)函數(shù)logsig,因為這連個函數(shù)輸出區(qū)間為[0,1],滿足網(wǎng)絡(luò)設(shè)計的需求。

利用以下代碼創(chuàng)建一個滿足上述要求的BP神經(jīng)網(wǎng)絡(luò)。

threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];

netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)

其中變量threshold用于規(guī)定輸入向量的最大值和最小值,規(guī)定了網(wǎng)絡(luò)輸入向量的最大值為1,最小值為0,。“trainlm”是為網(wǎng)絡(luò)設(shè)定的訓(xùn)練函數(shù),采用的是Levenberg-Marquardt算法進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。該方法明顯優(yōu)于共軛梯度法及變學(xué)習(xí)效率的BP算法,LM算法可大大提高學(xué)習(xí)速度,縮短訓(xùn)練時間。

使用該地區(qū)2007年8月11日到20日的負(fù)荷和氣象數(shù)據(jù)作為輸入向量,8月12日至8月21日負(fù)荷數(shù)據(jù)作為目標(biāo)向量,對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再用8月20日負(fù)荷數(shù)據(jù)和21日的氣象特征數(shù)據(jù)來預(yù)測21日用電負(fù)荷,檢驗預(yù)測誤差是否能帶到要求。

利用MATLAB進(jìn)行仿真,經(jīng)過79次訓(xùn)練后達(dá)到誤差要求結(jié)果。如圖2

網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)定見下表

從圖3和圖4中可以看出運用BP神經(jīng)網(wǎng)絡(luò)方法很好的預(yù)測了負(fù)荷走勢,并且預(yù)測誤差較小,負(fù)荷工程預(yù)測的要求。四、結(jié)論

在進(jìn)行電力負(fù)荷預(yù)測時,必須考慮氣象因素的影響。在不同的地區(qū)氣象因素對電力負(fù)荷的影響不同,因此本文在設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時,結(jié)合該地實際情況考慮氣象因素。本文研究了BP神經(jīng)網(wǎng)絡(luò)在電力負(fù)荷短期預(yù)測中的應(yīng)用,根據(jù)上述的預(yù)測結(jié)果可以說明BP神經(jīng)網(wǎng)絡(luò)對電力負(fù)荷進(jìn)行短期預(yù)測是目前一種比較可行的方法。

參考文獻(xiàn)

[1]蔣平,鞠平.應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行中期電力負(fù)荷預(yù)報[J].電力系統(tǒng)自動化,1995,6(19):15-17

[2]蘇寧.MATLAB軟件在電力負(fù)荷預(yù)測中的應(yīng)用[J].華北電力技術(shù),2007(8):16-19

[3]康重慶,夏清,張伯明.電力系統(tǒng)負(fù)荷預(yù)測研究綜述與發(fā)展方向的探討[J].電力系統(tǒng)自動化,2OO4,28(17):1-11

[4]姜勇.電力系統(tǒng)短期負(fù)荷預(yù)測的模糊神經(jīng)網(wǎng)絡(luò)方法[J].繼電器,2002,36(2):11-13

[5]田景文,高美娟.人工神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用[M].北京:北京理工大學(xué)出版社,2006