神經(jīng)網(wǎng)絡(luò)本質(zhì)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)本質(zhì)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

Abstract: The technology of affecting the output accuracy of artificial neural network model has affected widespread ettention,and influence researches of sample quality to neural network output accuracy are very few,and the majority of these researcher about neural network structure. This paper analyses the influence of the sample to the output of artificial neural network,having important significance to improve accuracy of neural network output.

關(guān)鍵詞: 人工神經(jīng)網(wǎng)絡(luò);局部影響;BP神經(jīng)網(wǎng)絡(luò);算法

Key words: artificial neural networks;local influence;BP neural network;algorithm

中圖分類號(hào):TP393.092 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1006-4311(2010)07-0144-02

0引言

神經(jīng)網(wǎng)絡(luò)應(yīng)用到預(yù)測(cè)有許多問題需要解決, 其中最為突出的問題就是沒有一個(gè)確定的最合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的標(biāo)準(zhǔn)方法,由于影響神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能力的參數(shù)很多,本文針對(duì)最為常用的BP神經(jīng)網(wǎng)絡(luò),對(duì)影響神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度的樣本質(zhì)量進(jìn)行了詳細(xì)分析和研究, 并在此基礎(chǔ)上,給出優(yōu)化樣本后的具體例子。

1樣本質(zhì)量對(duì)網(wǎng)絡(luò)的影響

用于神經(jīng)網(wǎng)絡(luò)的樣本分為訓(xùn)練樣本和測(cè)試樣本,訓(xùn)練樣本的質(zhì)量在一定程度上決定著預(yù)測(cè)精度。首先,訓(xùn)練樣本和待預(yù)測(cè)樣本的均值存在較大差異, 預(yù)測(cè)誤差會(huì)隨著長(zhǎng)時(shí)間的訓(xùn)練而增大。其次,訓(xùn)練誤差會(huì)隨著訓(xùn)練樣本和待預(yù)測(cè)樣本均值間差異的增大而增大。再次,訓(xùn)練誤差會(huì)隨著訓(xùn)練樣本和待預(yù)測(cè)樣本方差間差異的增大而增大[1]。下面是文獻(xiàn)[1]對(duì)樣本質(zhì)量分析的方法。

文獻(xiàn)[1]的人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差為e=em+et+er,其中,e為預(yù)測(cè)誤差;em為模型誤差,它由所建回歸模型與實(shí)際系統(tǒng)的差異引起的;et為最終的訓(xùn)練誤差;er為人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)過程中引入的隨機(jī)誤差。et和er的存在是不可避免的,而em為:em=ef+ed,式中ef為實(shí)際輸出值與預(yù)測(cè)輸出值之間的誤差,它反映了樣本質(zhì)量;為由不正確的嵌入維數(shù)引起的誤差, 它可通過選擇合適的輸入神經(jīng)元數(shù)來(lái)消除。

為了評(píng)價(jià)訓(xùn)練樣本質(zhì)量,根據(jù)ef提出“一致度”的指標(biāo)。文獻(xiàn)[1]定義了偽距離DCTP-D,但計(jì)算偽距離是相當(dāng)復(fù)雜的,難于實(shí)現(xiàn)對(duì)樣本質(zhì)量的分析和應(yīng)用。下面用協(xié)方差比統(tǒng)計(jì)量分析訓(xùn)練樣本對(duì)預(yù)測(cè)精度的影響。

設(shè)訓(xùn)練樣本為θ,是神經(jīng)網(wǎng)絡(luò)的輸出,i是從θ中剔除第i個(gè)數(shù)據(jù)點(diǎn)的神經(jīng)網(wǎng)絡(luò)輸出。則剔除第i個(gè)數(shù)據(jù)點(diǎn)的協(xié)方差比統(tǒng)計(jì)量CR=cv()cv()表明了剔除第個(gè)數(shù)據(jù)點(diǎn)對(duì)神經(jīng)網(wǎng)絡(luò)輸出精度的影響,從精度方面刻畫了第i個(gè)數(shù)據(jù)點(diǎn)的重要程度。CRi-1的值越大,對(duì)預(yù)測(cè)精度(神經(jīng)網(wǎng)絡(luò)輸出)的影響越大。在使用PB神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)時(shí)先對(duì)訓(xùn)練樣本進(jìn)行篩選,剔除對(duì)網(wǎng)絡(luò)輸出結(jié)果影響小的樣本點(diǎn)。

樣本精簡(jiǎn):矩陣初等行變換能保持矩陣列向量之間的線性關(guān)系,利用這個(gè)結(jié)論我們可以用來(lái)進(jìn)行樣本數(shù)據(jù)的精簡(jiǎn),這樣精簡(jiǎn)后的樣本數(shù)據(jù)能夠保持各屬性字段之間的線性關(guān)系。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)際上是一個(gè)通過給定樣本實(shí)時(shí)調(diào)整網(wǎng)絡(luò)連接權(quán)重的過程,樣本預(yù)處理的結(jié)果對(duì)于網(wǎng)絡(luò)訓(xùn)練的收斂性起到關(guān)鍵的作用。

2實(shí)例分析

本文采用麻省理工大學(xué)林肯實(shí)驗(yàn)室的測(cè)試數(shù)據(jù)KDDCUP99,它是專門用來(lái)進(jìn)行入侵檢測(cè)評(píng)估的。我們采用數(shù)據(jù)集上的一個(gè)子集10%作為實(shí)驗(yàn)數(shù)據(jù)源,它一共包含有494021條網(wǎng)絡(luò)連接,其中正常連接97277 條,異常連接396744條。

下面我們針對(duì)DOS攻擊類型數(shù)據(jù)(DOS攻擊類型編碼為“0 0 0 1”)進(jìn)行分析。

設(shè)A為樣本數(shù)據(jù)矩陣,其中每一行向量表示一條樣本數(shù)據(jù),則該行向量含34個(gè)數(shù)據(jù),假設(shè)有a條樣本,則A為a行34列矩陣;由于每條樣本數(shù)據(jù)輸入網(wǎng)絡(luò)后都會(huì)有一條對(duì)應(yīng)的輸出,加上本實(shí)例為DOS攻擊類型以編碼“0 0 0 1”表示,則期望輸出矩陣B為a行4列矩陣(暫時(shí)先不考慮閾值,只考慮權(quán)重問題)。本文BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)數(shù)為34個(gè),隱含層節(jié)點(diǎn)數(shù)為15個(gè),輸出層節(jié)點(diǎn)數(shù)為4個(gè)雖然神經(jīng)網(wǎng)絡(luò)的連接權(quán)重可以用一個(gè)實(shí)數(shù)串進(jìn)行表示,但在進(jìn)行網(wǎng)絡(luò)的訓(xùn)練時(shí),還需要將實(shí)數(shù)串分為兩部分,設(shè)輸入層到隱含層的連接權(quán)重矩陣為W1,則W1為34行15列矩陣;同理,隱含層到輸出層的連接權(quán)重矩陣W2為15行4列矩陣。于是我們可以得到公式(1)。

AWW=B(1)

如式(2)所示,A和B是系數(shù)矩陣 ,C是增廣矩陣。經(jīng)過帶約束初等行變換后如式(3)所示。

C=[AB](2)

C=[AB]A′B′C D(3)

式(3)中,C、D為零矩陣,經(jīng)過處理以后,由原先的A對(duì)應(yīng)輸出B變成了現(xiàn)在的A′對(duì)應(yīng)輸出B′,通過這樣的處理,我們就可以將大樣本變?yōu)樾颖?從而使計(jì)算更加快速,樣本數(shù)據(jù)更加精簡(jiǎn)。 為了能使樣本應(yīng)用于本文提出的分類檢測(cè)器同步檢測(cè)模型,我們將樣本數(shù)據(jù)先進(jìn)行歸類合并,分別構(gòu)造出DOS、PROBE、U2R、R2L四大類攻擊樣本數(shù)據(jù)集,這樣四個(gè)檢測(cè)器分別檢測(cè)四大類攻擊。為了降低可疑攻擊數(shù),即四大攻擊類型數(shù)據(jù)集之間的重疊記錄數(shù)要少。精度過大會(huì)增加計(jì)算量,從而會(huì)降低學(xué)習(xí)速度;精度過小,會(huì)使記錄重疊數(shù)增加,從而造成可疑攻擊數(shù)增加,影響訓(xùn)練結(jié)果。

對(duì)訓(xùn)練樣本用上述方法進(jìn)行優(yōu)化后,利用矩陣初等行變換能保持矩陣列向量之間的線性關(guān)系這個(gè)結(jié)論,我們可以進(jìn)一步對(duì)樣本數(shù)據(jù)的精簡(jiǎn),這樣精簡(jiǎn)后的樣本數(shù)據(jù)能夠保持各屬性字段之間的線性關(guān)系。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)際上是一個(gè)通過給定樣本實(shí)時(shí)調(diào)整網(wǎng)絡(luò)連接權(quán)重的過程,樣本預(yù)處理的結(jié)果對(duì)于網(wǎng)絡(luò)訓(xùn)練的收斂性起到關(guān)鍵的作用。

3結(jié)論

(1)分析神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性預(yù)測(cè)多變量預(yù)測(cè)的優(yōu)越性以及神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)的缺點(diǎn)所在。

(2)提出了影響網(wǎng)絡(luò)預(yù)測(cè)能力的五個(gè)重要參數(shù):樣本質(zhì)量、樣本歸一化、輸人層節(jié)點(diǎn)數(shù)、隱層節(jié)點(diǎn)數(shù)及網(wǎng)絡(luò)訓(xùn)練允許誤差目標(biāo)值。

(3)在一定允許訓(xùn)練誤差的情況下,研究了無(wú)個(gè)參數(shù)對(duì)網(wǎng)絡(luò)預(yù)測(cè)精度的影響,發(fā)現(xiàn)存在一個(gè)最優(yōu)的樣本、輸入層節(jié)點(diǎn)數(shù)和隱層節(jié)點(diǎn)數(shù),這樣的網(wǎng)絡(luò)具有較強(qiáng)的預(yù)測(cè)能力。

(4)本文用遺傳算法構(gòu)造了同時(shí)優(yōu)化影響神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度的參數(shù)(輸入層節(jié)點(diǎn)數(shù)、隱層節(jié)點(diǎn)數(shù)及樣本允許訓(xùn)練誤差)的算法, 得到了較優(yōu)的網(wǎng)絡(luò)預(yù)測(cè)模型最后, 用算例驗(yàn)證了本文分析結(jié)果的正確性。

參考文獻(xiàn):

[1]陳果.神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度影響因素分析[J].北京: 模式識(shí)別與人工智能,2005,18(5):528-533.

[2]蔣林,陳濤,屈梁生.訓(xùn)練樣本質(zhì)量對(duì)人工神經(jīng)網(wǎng)絡(luò)性能的影響[J].北京:中國(guó)機(jī)械工程,1979,8(2):50-53.

[3]李敏強(qiáng),徐博藝,寇紀(jì)淞.遺傳算法與神經(jīng)網(wǎng)絡(luò)的結(jié)合[J].北京:系統(tǒng)工程理論與實(shí)踐,1999(2).

[4]吳懷宇,宋玉階.非線性回歸分析中的神經(jīng)網(wǎng)絡(luò)方法[J].武漢:武漢冶金科技大學(xué)學(xué)報(bào),1998,21(1):90-93.

第2篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);模糊邏輯;模式識(shí)別;具體應(yīng)用

現(xiàn)階段人工智能領(lǐng)域正在開展關(guān)于多種智能識(shí)別方法的融合應(yīng)用來(lái)改善識(shí)別效果，基于模糊邏輯與神經(jīng)網(wǎng)絡(luò)而成的模糊神經(jīng)網(wǎng)絡(luò)對(duì)于真正智能模擬的實(shí)現(xiàn)有著極為重要的作用。

1.模式識(shí)別概述

模式在本質(zhì)上是一個(gè)內(nèi)涵十分豐富的概念，其主要是指人類可以利用感官直接或間接接受的外界信息，Watanabe等人在研究中將模式定義為：凡是可以給出一個(gè)名字的便可以稱為“模式”，并且其在定義過程中將某些具有共同特性的模式集合統(tǒng)稱為“模式類”。“模式識(shí)別”在本質(zhì)上是識(shí)別特定事物或模式相同點(diǎn)與相似點(diǎn)的過程，所以在研究過程中主要是利用自動(dòng)技術(shù)來(lái)實(shí)現(xiàn)這一過程，在該類技術(shù)的支撐下計(jì)算機(jī)可以自動(dòng)地將待識(shí)別模式分配到各自的模式類中，在這個(gè)過程中用到的技術(shù)統(tǒng)稱為模式識(shí)別技術(shù)，尤其是在計(jì)算機(jī)技術(shù)的支撐下使其發(fā)展形成一種模擬人的識(shí)別方法，所以對(duì)于模式識(shí)別的概念應(yīng)該定義為自動(dòng)判別和分類的過程。模式識(shí)別的過程為研究對(duì)象、數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、測(cè)量空間、特征選擇與提出、特征空間比對(duì)、模式分類、儲(chǔ)存至類型空間等，對(duì)于整個(gè)模式識(shí)別過程來(lái)說(shuō)數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、特征提取以及特征選擇是其重點(diǎn)。在模式識(shí)別中，數(shù)據(jù)預(yù)處理后所獲取的原始數(shù)據(jù)所在空間則被稱為測(cè)量空間，將模式進(jìn)行分類的空間則稱為特征空間。模式識(shí)別系統(tǒng)在設(shè)計(jì)過程中主要由學(xué)習(xí)模塊與測(cè)試模塊兩個(gè)核心模塊組成，并且整個(gè)系統(tǒng)在運(yùn)行過程中具備訓(xùn)練模式樣本特征數(shù)據(jù)輸入、制定分類判決規(guī)則、錯(cuò)誤率檢測(cè)、模式樣本特征選擇和正特提取方法調(diào)整等多項(xiàng)功能。

2.模式識(shí)別系統(tǒng)分析

模式識(shí)別系統(tǒng)在運(yùn)行中的學(xué)習(xí)模塊與測(cè)試模塊中都設(shè)計(jì)了數(shù)據(jù)預(yù)處理的功能，其可以根據(jù)用戶需求將感興趣的模式從背景中進(jìn)行分離處理，并且可以避免噪聲信號(hào)對(duì)整個(gè)系統(tǒng)的運(yùn)行產(chǎn)生影響，還可以根據(jù)用戶的實(shí)際需求來(lái)建立標(biāo)準(zhǔn)化模式樣本等。學(xué)習(xí)模塊在運(yùn)行中會(huì)將已知的樣本模式進(jìn)行數(shù)值化處理后輸入計(jì)算機(jī)，這個(gè)過程被稱為訓(xùn)練模式樣本特征數(shù)據(jù)的輸入，系統(tǒng)可以對(duì)輸入的樣本進(jìn)行分析并排除無(wú)效或容易出現(xiàn)混淆的特征，對(duì)于一些對(duì)分類判別有效的數(shù)據(jù)特征則可以進(jìn)行界定并保留，這個(gè)過程被稱為模式識(shí)別系統(tǒng)在運(yùn)行階段的特征選擇。

模式識(shí)別系統(tǒng)在運(yùn)行過程中還需要將一些變換技術(shù)作為支撐，這是因?yàn)橥ㄟ^變換技術(shù)的應(yīng)用可以得出比原來(lái)數(shù)目少的綜合性特征作為分類用，這一過程被稱為特征維數(shù)壓縮或特征提取，系統(tǒng)會(huì)按照設(shè)想的分類判決數(shù)學(xué)模型對(duì)樣本模式進(jìn)行訓(xùn)練來(lái)得出分類的判決規(guī)則。模式識(shí)別系統(tǒng)在獲取判決規(guī)則后便可以開始整個(gè)識(shí)別過程，其需要將未知模式特征數(shù)據(jù)進(jìn)行采集、選擇與提取，然后根據(jù)已有的判決規(guī)則對(duì)輸入的模式進(jìn)行分類，最后便可以根據(jù)用戶需求來(lái)輸入整個(gè)模式識(shí)別的結(jié)果。系統(tǒng)還可以將已識(shí)別的分類結(jié)果與已知分類輸入模式進(jìn)行對(duì)比，以便于對(duì)判決規(guī)則與特征選擇、提取方法進(jìn)行不斷的優(yōu)化，系統(tǒng)只有在該種模式下才能制定出錯(cuò)誤率最小的判決規(guī)則與特征選擇、提取策略，對(duì)于模式識(shí)別系統(tǒng)來(lái)說(shuō)，這一過程被稱為再學(xué)習(xí)的過程。

3.神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的具體應(yīng)用

國(guó)內(nèi)在較早階段便開始了神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中應(yīng)用的相關(guān)研究，但是學(xué)者所提出的研究成果并沒有得到廣泛應(yīng)用。在20世紀(jì)80年代末期，我國(guó)一些專家對(duì)模式識(shí)別在地震特征提取等方面的應(yīng)用進(jìn)行了優(yōu)化與改進(jìn)，并結(jié)合不同地區(qū)不同地質(zhì)條件開展了一系列試驗(yàn)研究，先后取得了很多效果十分顯著的成果，并且在這個(gè)基礎(chǔ)上為整個(gè)系統(tǒng)增加了人機(jī)交互功能，改進(jìn)后的模式識(shí)別系統(tǒng)開始在國(guó)內(nèi)相關(guān)領(lǐng)域中得到了廣泛應(yīng)用。我國(guó)部分領(lǐng)域所使用的模式識(shí)別系統(tǒng)在最初以統(tǒng)計(jì)識(shí)別策略為主，在最近幾年才將神經(jīng)網(wǎng)絡(luò)識(shí)別策略應(yīng)用于模式識(shí)別系統(tǒng)中。20世紀(jì)80年代后期，世界上關(guān)于人工神經(jīng)網(wǎng)絡(luò)的研究開始進(jìn)入一個(gè)熱潮，這是因?yàn)樵谠撾A段由Rumelhart等人在研究中提出了反向傳播學(xué)習(xí)算法，對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)其可以有效解決前饋反向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的問題，所以對(duì)于整個(gè)神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域來(lái)說(shuō)開辟了一條新的途徑。前饋反向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問題的有效解決使神經(jīng)網(wǎng)絡(luò)的各項(xiàng)優(yōu)勢(shì)充分彰顯出來(lái)，而前饋反向神經(jīng)網(wǎng)絡(luò)模式識(shí)別則成為模式識(shí)別中的一個(gè)核心發(fā)展方向，并且開始被廣泛應(yīng)用于生物、醫(yī)學(xué)、地質(zhì)以及化工等產(chǎn)品檢測(cè)領(lǐng)域中，本文認(rèn)為關(guān)于神經(jīng)網(wǎng)絡(luò)在模式識(shí)別中的應(yīng)用將會(huì)給社會(huì)帶來(lái)巨大變革，同時(shí)也意味著基于神經(jīng)網(wǎng)絡(luò)的模式識(shí)別技術(shù)將成為網(wǎng)絡(luò)數(shù)字化時(shí)代的一項(xiàng)核心技術(shù)。

4.結(jié)語(yǔ)

現(xiàn)階段前饋反向神經(jīng)網(wǎng)絡(luò)模式識(shí)別已經(jīng)開始在社會(huì)各領(lǐng)域進(jìn)行實(shí)踐應(yīng)用，雖然在該技術(shù)體系中還存在一些不足與缺陷，但是在現(xiàn)代科技的支持下其勢(shì)必會(huì)迎來(lái)一個(gè)新的發(fā)展時(shí)期，對(duì)于我國(guó)社會(huì)各生產(chǎn)領(lǐng)域來(lái)說(shuō)有著極為重要的推動(dòng)作用。

參考文獻(xiàn)：

[1]汪烈軍.一種改進(jìn)的結(jié)構(gòu)自適應(yīng)自組織神經(jīng)網(wǎng)絡(luò)算法[J].微電子學(xué)與計(jì)算機(jī)，2007（01）.

[2]趙菊敏，程海青，張立毅.基于動(dòng)量項(xiàng)前饋神經(jīng)網(wǎng)絡(luò)盲均衡算法[J].太原理工大學(xué)學(xué)報(bào)，2007（03）.

第3篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

本文主要介紹的模型和算法都是數(shù)據(jù)挖掘中最常見的和應(yīng)用最廣泛的，在計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)數(shù)學(xué)、和人工智能領(lǐng)域的科學(xué)家們已經(jīng)在研究和改進(jìn)這些算法方面作了大量的工作。

【關(guān)鍵詞】

數(shù)據(jù)挖掘；算法；神經(jīng)網(wǎng)絡(luò)

1 神經(jīng)網(wǎng)絡(luò)的應(yīng)用

神經(jīng)網(wǎng)絡(luò)近來(lái)越來(lái)越受到人們的關(guān)注，因?yàn)樗鼮榻鉀Q大復(fù)雜度問題提供了一種相對(duì)來(lái)說(shuō)比較有效的簡(jiǎn)單方法。神經(jīng)網(wǎng)絡(luò)可以很容易的解決具有上百個(gè)參數(shù)的問題。神經(jīng)網(wǎng)絡(luò)常用于兩類問題；分類和回歸。

在結(jié)構(gòu)上，可以把一個(gè)神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱含層（見圖1）。輸入層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)個(gè)的預(yù)測(cè)變量。輸出層的節(jié)點(diǎn)對(duì)應(yīng)目標(biāo)變量，可有多個(gè)。在輸入層和輸出層之間是隱含層，隱含層的層數(shù)和每層節(jié)點(diǎn)的個(gè)數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

圖1 一個(gè)神經(jīng)元網(wǎng)絡(luò)

除了輸入層的節(jié)點(diǎn)，神經(jīng)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都與很多它前面的節(jié)點(diǎn)（稱為此節(jié)點(diǎn)的輸入節(jié)點(diǎn)）連接在一起，每個(gè)連接對(duì)應(yīng)一個(gè)權(quán)重Wxy，此節(jié)點(diǎn)的值就是通過它所有輸入節(jié)點(diǎn)的值與對(duì)應(yīng)連接權(quán)重乘積的和作為一個(gè)函數(shù)的輸入而得到，我們把這個(gè)函數(shù)稱為活動(dòng)函數(shù)或擠壓函數(shù)。如圖2中節(jié)點(diǎn)4輸出到節(jié)點(diǎn)6的值可通過如下計(jì)算得到：

W14*節(jié)點(diǎn)1的值+W24*節(jié)點(diǎn)2的值

神經(jīng)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都可表示成預(yù)測(cè)變量（節(jié)點(diǎn)1，2）的值或值的組合（節(jié)點(diǎn)3-6）。注意節(jié)點(diǎn)6的值已經(jīng)不再是節(jié)點(diǎn)1，2的線性組合，因?yàn)閿?shù)據(jù)在隱含層中傳遞時(shí)使用了活動(dòng)函數(shù)。實(shí)際上如果沒有活動(dòng)函數(shù)的話，神經(jīng)元網(wǎng)絡(luò)就等價(jià)于一個(gè)線性回歸函數(shù)，如果此活動(dòng)函數(shù)是某種特定的非線性函數(shù)，那神經(jīng)網(wǎng)絡(luò)又等價(jià)于邏輯回歸。

調(diào)整節(jié)點(diǎn)間連接的權(quán)重就是在建立（也稱訓(xùn)練）神經(jīng)網(wǎng)絡(luò)時(shí)要做的工作。最早的也是最基本的權(quán)重調(diào)整方法是錯(cuò)誤回饋法，現(xiàn)在較新的有變化坡度法、類牛頓法、Levenberg-Marquardt法、和遺傳算法等。

圖2 帶權(quán)重Wxy的神經(jīng)元網(wǎng)絡(luò)

決定神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)（或體系結(jié)構(gòu)）的是隱含層及其所含節(jié)點(diǎn)的個(gè)數(shù)，以及節(jié)點(diǎn)之間的連接方式。要從頭開始設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，必須要決定隱含層和節(jié)點(diǎn)的數(shù)目，活動(dòng)函數(shù)的形式，以及對(duì)權(quán)重做那些限制等。

2 傳播式神經(jīng)網(wǎng)絡(luò)

在諸多類型的神經(jīng)網(wǎng)絡(luò)中，最常用的是前向傳播式神經(jīng)網(wǎng)絡(luò)，也就是我們前面圖示中所描繪的那種。我們下面詳細(xì)討論一下，為討論方便假定只含有一層隱含節(jié)點(diǎn)。

可以認(rèn)為錯(cuò)誤回饋式訓(xùn)練法是變化坡度法的簡(jiǎn)化，其過程如下：

前向傳播：數(shù)據(jù)從輸入到輸出的過程是一個(gè)從前向后的傳播過程，后一節(jié)點(diǎn)的值通過它前面相連的節(jié)點(diǎn)傳過來(lái)，然后把值按照各個(gè)連接權(quán)重的大小加權(quán)輸入活動(dòng)函數(shù)再得到新的值，進(jìn)一步傳播到下一個(gè)節(jié)點(diǎn)。

回饋：當(dāng)節(jié)點(diǎn)的輸出值與我們預(yù)期的值不同，也就是發(fā)生錯(cuò)誤時(shí)，神經(jīng)網(wǎng)絡(luò)就要“學(xué)習(xí)”（從錯(cuò)誤中學(xué)習(xí)）。我們可以把節(jié)點(diǎn)間連接的權(quán)重看成后一節(jié)點(diǎn)對(duì)前一節(jié)點(diǎn)的“信任”程度。學(xué)習(xí)的方法是采用懲罰的方法，過程如下：如果一節(jié)點(diǎn)輸出發(fā)生錯(cuò)誤，那么他看他的錯(cuò)

誤是受哪個(gè)（些）輸入節(jié)點(diǎn)的影響而造成的，是不是他最信任的節(jié)點(diǎn)（權(quán)重最高的節(jié)點(diǎn)）陷害了他（使他出錯(cuò)），如果是則要降低對(duì)他的信任值（降低權(quán)重），懲罰他們，同時(shí)升高那些做出正確建議節(jié)點(diǎn)的信任值。對(duì)那些收到懲罰的節(jié)點(diǎn)來(lái)說(shuō)，他也需要用同樣的方法來(lái)進(jìn)一步懲罰它前面的節(jié)點(diǎn)。就這樣把懲罰一步步向前傳播直到輸入節(jié)點(diǎn)為止。

對(duì)訓(xùn)練集中的每一條記錄都要重復(fù)這個(gè)步驟，用前向傳播得到輸出值，如果發(fā)生錯(cuò)誤，則用回饋法進(jìn)行學(xué)習(xí)。當(dāng)把訓(xùn)練集中的每一條記錄都運(yùn)行過一遍之后，我們稱完成一個(gè)訓(xùn)練周期。要完成神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可能需要很多個(gè)訓(xùn)練周期，經(jīng)常是幾百個(gè)。訓(xùn)練完成之后得到的神經(jīng)網(wǎng)絡(luò)就是在通過訓(xùn)練集發(fā)現(xiàn)的模型，描述了訓(xùn)練集中響應(yīng)變量受預(yù)測(cè)變量影響的變化規(guī)律。

由于神經(jīng)網(wǎng)絡(luò)隱含層中的可變參數(shù)太多，如果訓(xùn)練時(shí)間足夠長(zhǎng)的話，神經(jīng)網(wǎng)絡(luò)很可能把訓(xùn)練集的所有細(xì)節(jié)信息都“記”下來(lái)，而不是建立一個(gè)忽略細(xì)節(jié)只具有規(guī)律性的模型，我們稱這種情況為訓(xùn)練過度。顯然這種“模型”對(duì)訓(xùn)練集會(huì)有很高的準(zhǔn)確率，而一旦離開訓(xùn)練集應(yīng)用到其他數(shù)據(jù)，很可能準(zhǔn)確度急劇下降。為了防止這種訓(xùn)練過度的情況，我們必須知道在什么時(shí)候要停止訓(xùn)練。

圖3中的曲線可以幫我們理解為什么利用測(cè)試集能防止訓(xùn)練過度的出現(xiàn)。在圖中可以看到訓(xùn)練集和測(cè)試集的錯(cuò)誤率在一開始都隨著訓(xùn)練周期的增加不斷降低，而測(cè)試集的錯(cuò)誤率在達(dá)到一個(gè)谷底后反而上升，我們認(rèn)為這個(gè)開始上升的時(shí)刻就是應(yīng)該停止訓(xùn)練的時(shí)刻。

圖3 神經(jīng)網(wǎng)絡(luò)在訓(xùn)練周期

增加時(shí)準(zhǔn)確度的變化情況

3 神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)

神經(jīng)元網(wǎng)絡(luò)和統(tǒng)計(jì)方法在本質(zhì)上有很多區(qū)別。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以比統(tǒng)計(jì)方法多很多。如圖1中就有13個(gè)參數(shù)（9個(gè)權(quán)重和4個(gè)限制條件）。由于參數(shù)如此之多，參數(shù)通過各種各樣的組合方式來(lái)影響輸出結(jié)果，以至于很難對(duì)一個(gè)神經(jīng)網(wǎng)絡(luò)表示的模型做出直觀的解釋。實(shí)際上神經(jīng)網(wǎng)絡(luò)也正是當(dāng)做“黑盒”來(lái)用的，不用去管“黑盒”里面是什么，只管用就行了。在大部分情況下，這種限制條件是可以接受的。比如銀行可能需要一個(gè)筆記識(shí)別軟件，但他沒必要知道為什么這些線條組合在一起就是一個(gè)人的簽名，而另外一個(gè)相似的則不是。在很多復(fù)雜度很高的問題如化學(xué)試驗(yàn)、機(jī)器人、金融市場(chǎng)的模擬、和語(yǔ)言圖像的識(shí)別等領(lǐng)域神經(jīng)網(wǎng)絡(luò)都取得了很好的效果。

4 在使用神經(jīng)網(wǎng)絡(luò)時(shí)有幾點(diǎn)需要注意

第一，神經(jīng)網(wǎng)絡(luò)很難解釋，目前還沒有能對(duì)神經(jīng)網(wǎng)絡(luò)做出顯而易見的解釋的方法學(xué)。

第二，神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)習(xí)過度，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)一定要恰當(dāng)?shù)氖褂靡恍┠車?yán)格衡量神經(jīng)網(wǎng)絡(luò)的方法，如前面提到的測(cè)試集方法和交叉驗(yàn)證法等。這主要是由于神經(jīng)網(wǎng)絡(luò)太靈活、可變參數(shù)太多，如果給足夠的時(shí)間，他幾乎可以記住任何事情。

第三，除非問題非常簡(jiǎn)單，訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)可能需要相當(dāng)可觀的時(shí)間才能完成。當(dāng)然，一旦神經(jīng)網(wǎng)絡(luò)建立好了，在用它做預(yù)測(cè)時(shí)運(yùn)行還是很快的。

第四，建立神經(jīng)網(wǎng)絡(luò)需要做的數(shù)據(jù)準(zhǔn)備工作量很大。一個(gè)很有誤導(dǎo)性的就是不管用什么數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)都能很好的工作并做出準(zhǔn)確的預(yù)測(cè)。這是不確切的，要想得到準(zhǔn)確度高的模型必須認(rèn)真的進(jìn)行數(shù)據(jù)清洗、整理、轉(zhuǎn)換、選擇等工作，對(duì)任何數(shù)據(jù)挖掘技術(shù)都是這樣，神經(jīng)網(wǎng)絡(luò)尤其注重這一點(diǎn)。

【參考文獻(xiàn)】

熊熊，汪德馨，宋軼民.利用模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行模糊數(shù)據(jù)挖掘的一種算法[J].系統(tǒng)工程學(xué)報(bào)，2000，3（1）：32-37.

第4篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

人工神經(jīng)網(wǎng)絡(luò)（AartificialNeuralNetwork，下簡(jiǎn)稱ANN）是模擬生物神經(jīng)元的結(jié)構(gòu)而提出的一種信息處理方法。早在1943年，已由心理學(xué)家WarrenS.Mcculloch和數(shù)學(xué)家WalthH.Pitts提出神經(jīng)元數(shù)學(xué)模型，后被冷落了一段時(shí)間，80年代又迅猛興起［1］。ANN之所以受到人們的普遍關(guān)注，是由于它具有本質(zhì)的非線形特征、并行處理能力、強(qiáng)魯棒性以及自組織自學(xué)習(xí)的能力。其中研究得最為成熟的是誤差的反傳模型算法（BP算法，BackPropagation），它的網(wǎng)絡(luò)結(jié)構(gòu)及算法直觀、簡(jiǎn)單，在工業(yè)領(lǐng)域中應(yīng)用較多。

經(jīng)訓(xùn)練的ANN適用于利用分析振動(dòng)數(shù)據(jù)對(duì)機(jī)器進(jìn)行監(jiān)控和故障檢測(cè)，預(yù)測(cè)某些部件的疲勞壽命［2］。非線形神經(jīng)網(wǎng)絡(luò)補(bǔ)償和魯棒控制綜合方法的應(yīng)用（其魯棒控制利用了變結(jié)構(gòu)控制或滑動(dòng)?？刂疲趯?shí)時(shí)工業(yè)控制執(zhí)行程序中較為有效［3］。人工神經(jīng)網(wǎng)絡(luò)（ANN）和模糊邏輯（FuzzyLogic）的綜合，實(shí)現(xiàn)了電動(dòng)機(jī)故障檢測(cè)的啟發(fā)式推理。對(duì)非線形問題，可通過ANN的BP算法學(xué)習(xí)正常運(yùn)行例子調(diào)整內(nèi)部權(quán)值來(lái)準(zhǔn)確求解［4］。

因此，對(duì)于電力系統(tǒng)這個(gè)存在著大量非線性的復(fù)雜大系統(tǒng)來(lái)講，ANN理論在電力系統(tǒng)中的應(yīng)用具有很大的潛力，目前已涉及到如暫態(tài)，動(dòng)穩(wěn)分析，負(fù)荷預(yù)報(bào)，機(jī)組最優(yōu)組合，警報(bào)處理與故障診斷，配電網(wǎng)線損計(jì)算，發(fā)電規(guī)劃，經(jīng)濟(jì)運(yùn)行及電力系統(tǒng)控制等方面［5］。

本文介紹了一種基于人工神經(jīng)網(wǎng)絡(luò)（ANN）理論的保護(hù)原理。

1、人工神經(jīng)網(wǎng)絡(luò)理論概述

BP算法是一種監(jiān)控學(xué)習(xí)技巧，它通過比較輸出單元的真實(shí)輸出和希望值之間的差別，調(diào)整網(wǎng)絡(luò)路徑的權(quán)值，以使下一次在相同的輸入下，網(wǎng)絡(luò)的輸出接近于希望值。

在神經(jīng)網(wǎng)絡(luò)投運(yùn)前，就應(yīng)用大量的數(shù)據(jù)，包括正常運(yùn)行的、不正常運(yùn)行的，作為其訓(xùn)練內(nèi)容，以一定的輸入和期望的輸出通過BP算法去不斷修改網(wǎng)絡(luò)的權(quán)值。在投運(yùn)后，還可根據(jù)現(xiàn)場(chǎng)的特定情況進(jìn)行現(xiàn)場(chǎng)學(xué)習(xí)，以擴(kuò)充ANN內(nèi)存知識(shí)量。從算法原理看，并行處理能力和非線是BP算法的一大優(yōu)點(diǎn)。

2、神經(jīng)網(wǎng)絡(luò)型繼電保護(hù)

神經(jīng)網(wǎng)絡(luò)理論的保護(hù)裝置，可判別更復(fù)雜的模式，其因果關(guān)系是更復(fù)雜的、非線性的、模糊的、動(dòng)態(tài)的和非平穩(wěn)隨機(jī)的。它是神經(jīng)網(wǎng)絡(luò)（ANN）與專家系統(tǒng)（ES）融為一體的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)，其中，ANN是數(shù)值的、聯(lián)想的、自組織的、仿生的方式，ES是認(rèn)知的和啟發(fā)式的。

文獻(xiàn)［1］認(rèn)為全波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確性方面優(yōu)于利用半波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)，因此保護(hù)應(yīng)選用全波數(shù)據(jù)窗。

ANN保護(hù)裝置出廠后，還可以在投運(yùn)單位如網(wǎng)調(diào)、省調(diào)實(shí)驗(yàn)室內(nèi)進(jìn)行學(xué)習(xí)，學(xué)習(xí)內(nèi)容針對(duì)該省的保護(hù)的特別要求進(jìn)行（如反措）。到現(xiàn)場(chǎng)，還可根據(jù)該站的干擾情況進(jìn)行反誤動(dòng)、反拒動(dòng)學(xué)習(xí)，特別是一些常出現(xiàn)波形間斷的變電站內(nèi)的高頻保護(hù)。

3、結(jié)論

本文基于現(xiàn)代控制技術(shù)提出了人工神經(jīng)網(wǎng)絡(luò)理論的保護(hù)構(gòu)想。神經(jīng)網(wǎng)絡(luò)軟件的反應(yīng)速度比純數(shù)字計(jì)算軟件快幾十倍以上，這樣，在相同的動(dòng)作時(shí)間下，可以大大提高保護(hù)運(yùn)算次數(shù)，以實(shí)現(xiàn)在時(shí)間上即次數(shù)上提高冗余度。超級(jí)秘書網(wǎng)

一套完整的ANN保護(hù)是需要有很多輸入量的，如果對(duì)某套保護(hù)來(lái)說(shuō)，區(qū)內(nèi)、區(qū)外故障時(shí)其輸入信號(hào)幾乎相同，則很難以此作為訓(xùn)練樣本訓(xùn)練保護(hù)，而每套保護(hù)都增多輸入量，必然會(huì)使保護(hù)、二次接線復(fù)雜化。變電站綜合自動(dòng)化也許是解決該問題的一個(gè)較好方法，各套保護(hù)通過總線聯(lián)網(wǎng)，交換信息，充分利用ANN的并行處理功能，每套保護(hù)均對(duì)其它線路信息進(jìn)行加工，以此綜合得出動(dòng)作判據(jù)。每套保護(hù)可把每次錄得的數(shù)據(jù)文件，加上對(duì)其動(dòng)作正確性與否的判斷，作為本身的訓(xùn)練內(nèi)容，因?yàn)榧词褂袝r(shí)人工分析也不能區(qū)分哪些數(shù)據(jù)特征能使保護(hù)不正確動(dòng)作，特別是高頻模擬量。

神經(jīng)網(wǎng)絡(luò)的硬件芯片現(xiàn)在仍很昂貴，但技術(shù)成熟時(shí)，應(yīng)利用硬件實(shí)現(xiàn)現(xiàn)在的軟件功能。另外，神經(jīng)網(wǎng)絡(luò)的并行處理和信息分布存儲(chǔ)機(jī)制還不十分清楚，如何選擇的網(wǎng)絡(luò)結(jié)構(gòu)還沒有充分的理論依據(jù)。所有這些都有待于對(duì)神經(jīng)網(wǎng)絡(luò)基本理論進(jìn)行深入的研究，以形成完善的理論體系，創(chuàng)造出更適合于實(shí)際應(yīng)用的新型網(wǎng)絡(luò)及學(xué)習(xí)算法［5］。

參考文獻(xiàn)

1、陳炳華。采用模式識(shí)別（智能型）的保護(hù)裝置的設(shè)想。中國(guó)電機(jī)工程學(xué)會(huì)第五屆全國(guó)繼電保護(hù)學(xué)術(shù)會(huì)議，［會(huì)址不詳］，1993

2、RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans，1994，10（3）。（1）：371～377

3、LeeTH，WangQC，TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans，1993，3（2）。（3）：190～197

第5篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；電路分析；故障診斷；故障類別。

1引言

隨著設(shè)計(jì)理念和制造工藝地不斷發(fā)展，電子產(chǎn)品已經(jīng)向小型化、智能化方向發(fā)展，這也給故障診斷帶來(lái)更加嚴(yán)峻地挑戰(zhàn)，由于傳統(tǒng)的故障診斷方法已經(jīng)不能滿足發(fā)展的需求了[1]，因此急需研究開發(fā)出行之有效的新方法。神經(jīng)網(wǎng)絡(luò)[2]是在對(duì)人腦網(wǎng)絡(luò)認(rèn)識(shí)理解的基礎(chǔ)上構(gòu)造的，是模仿人腦網(wǎng)絡(luò)結(jié)構(gòu)和功能而建立的一種信息處理系統(tǒng)，是理論化的人腦網(wǎng)絡(luò)的數(shù)學(xué)模型。電路故障診斷[3]是一個(gè)非常復(fù)雜的模式識(shí)別問題，神經(jīng)網(wǎng)絡(luò)由于其本身信息處理的特點(diǎn)，如并行性、自學(xué)習(xí)、自組織性、對(duì)外界輸入樣本有很強(qiáng)的識(shí)別分類能力以及聯(lián)想記憶功能等，使其能夠出色解決那些傳統(tǒng)模式識(shí)別方法難以圓滿解決的問題。

2故障的類型

對(duì)電子產(chǎn)品進(jìn)行故障診斷，最基本的就是對(duì)電路的診斷，因此，首先要確定的就是電路的故障類型[4]。從對(duì)電路的影響程度來(lái)劃分，故障可以分為硬故障和軟故障；從故障的隨機(jī)性來(lái)劃分，可以分為永久型故障和間歇型故障。永久型故障即固定故障，不隨時(shí)間的變化而變化，一直固定在某種狀態(tài)不變間歇型故障即隨機(jī)出現(xiàn)的故障，電路有時(shí)正常，有時(shí)則出現(xiàn)了故障。硬故障即結(jié)構(gòu)故障，是電路中元件的參數(shù)發(fā)生了極端變化的情況，包括橋接故障（BF，bridgefault）、開路故障（OF，openfault）、時(shí)滯故障等。軟故障即偏差故障，指電路元件的參數(shù)與正常情況相比，偏出了約定的容差范圍，但此時(shí)器件并非完全失效。

3神經(jīng)網(wǎng)絡(luò)的電路故障診斷

神經(jīng)網(wǎng)絡(luò)之所以在電路故障診斷中得到了廣泛應(yīng)用，主要是因?yàn)樗哂腥缦轮T多優(yōu)勢(shì)[5]。（1）學(xué)習(xí)能力。學(xué)習(xí)能力是神經(jīng)網(wǎng)絡(luò)在故障診斷中的重要表現(xiàn)。通過對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練可讀出故障的主要特征，表現(xiàn)出強(qiáng)大的適應(yīng)能力。（2）聯(lián)想記憶能力。因?yàn)樯窠?jīng)網(wǎng)絡(luò)具有并行計(jì)算和分布存儲(chǔ)信息的功能，所以它對(duì)輸入的特征信息具有聯(lián)想記憶的能力。這一能力使得它在模式識(shí)別、故障分類中起到了巨大的作用。（3）分類識(shí)別能力。因?yàn)樯窠?jīng)網(wǎng)絡(luò)能夠很好地對(duì)非線性曲面進(jìn)行逼近，所以它的分類識(shí)別能力要優(yōu)越于傳統(tǒng)的分類器。對(duì)于樣本的分類實(shí)質(zhì)上就是找到合適的分割區(qū)域，每個(gè)區(qū)域的樣本屬于一類。（4）非線性映射能力。由于神經(jīng)網(wǎng)絡(luò)可以尋求輸入到輸出之間的非線性模型，即可實(shí)現(xiàn)輸入空間到輸出空間之間的非線性映射。因此，神經(jīng)網(wǎng)絡(luò)可以很好地對(duì)電路故障進(jìn)行診斷。從本質(zhì)上說(shuō)，電路故障診斷就是一個(gè)故障模式識(shí)別的過程，將正常電路及各種故障狀態(tài)下的特征信息輸入到神經(jīng)網(wǎng)絡(luò)，運(yùn)用神經(jīng)網(wǎng)絡(luò)對(duì)這些特征信息進(jìn)行學(xué)習(xí)、記憶，從而識(shí)別對(duì)應(yīng)的故障模式，達(dá)到故障診斷的目的。診斷過程包括訓(xùn)練階段和測(cè)試階段[6]，具體步驟如下。（1）首先在仿真軟件中對(duì)正常狀態(tài)及故障狀態(tài)進(jìn)行模擬仿真，得到原始的響應(yīng)信號(hào)，再對(duì)原始信號(hào)進(jìn)行相關(guān)處理，作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。各種故障狀態(tài)對(duì)應(yīng)的輸出模式，由故障數(shù)目來(lái)確定。根據(jù)輸入樣本和對(duì)應(yīng)的輸出樣本來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，達(dá)到訓(xùn)練的目的。（2）神經(jīng)網(wǎng)絡(luò)具有一定的泛化能力，不僅能夠識(shí)別已經(jīng)訓(xùn)練過的樣本，而且能夠通過聯(lián)想識(shí)別未出現(xiàn)過的樣本。加入相同的激勵(lì)，檢測(cè)實(shí)際特征，將此信息同樣經(jīng)過信號(hào)處理，作為測(cè)試樣本送入神經(jīng)網(wǎng)絡(luò)，最后根據(jù)網(wǎng)絡(luò)的輸出即可判斷時(shí)應(yīng)的故障模式。神經(jīng)網(wǎng)絡(luò)應(yīng)用于具體的電路故障診斷，還有一些診斷過程中需要解決的關(guān)鍵問題。（1）測(cè)試節(jié)點(diǎn)的選擇。神經(jīng)網(wǎng)絡(luò)進(jìn)行電路故障診斷時(shí)，為了得到各種故障模式的特征信息，應(yīng)選取有效的測(cè)試點(diǎn)。通過這些測(cè)試點(diǎn)的輸出信號(hào)，提取有效的特征信息，從而進(jìn)行模式識(shí)別。雖然測(cè)試點(diǎn)的選擇標(biāo)準(zhǔn)不盡相同，但是都要遵循如下基本原則：①盡可能選取診斷能力強(qiáng)，同時(shí)故障隔離能力強(qiáng)的節(jié)點(diǎn)。②在滿足隔離要求的情況下，盡量少選取節(jié)點(diǎn)。③獲取節(jié)點(diǎn)信息時(shí)，不能影響到整個(gè)電路系統(tǒng)的正常工作及性能。（2）故障集的構(gòu)造。因?yàn)殡娐分性?shù)眾多，故障模型地構(gòu)成也各不相同，因此對(duì)所有元件、所有故障模型都進(jìn)行診斷是不現(xiàn)實(shí)的。比較可行的辦法就是根據(jù)待測(cè)電路的特點(diǎn)和以往的經(jīng)驗(yàn)?zāi)M若干個(gè)元器件，組成故障集。

4實(shí)例分析

通過一個(gè)555構(gòu)成的單穩(wěn)態(tài)觸發(fā)器電路進(jìn)行仿真實(shí)驗(yàn)。首先，設(shè)定電阻容差為10%，電容容差為5%，在容差范圍內(nèi)對(duì)元器件的軟故障進(jìn)行研究。其次，選取文獻(xiàn)[2]的無(wú)故障與有故障各50次蒙特卡洛分析結(jié)果，其中30次作為訓(xùn)練樣本，20次作為測(cè)試樣本。最后，將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)結(jié)構(gòu)為6-10-4的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，測(cè)試樣本集輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)即可得出故障診斷率。同樣地，為了加快訓(xùn)練速度，采用附加動(dòng)量自適應(yīng)梯度下降法，訓(xùn)練函數(shù)為traingdx，隱層傳遞函數(shù)為tansig，輸出層傳遞函數(shù)為purelin訓(xùn)練目標(biāo)為0.01，學(xué)習(xí)速率為0.01。可知20個(gè)測(cè)試樣本的診斷概率為95%，達(dá)到了預(yù)期的要求。

第6篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)、圖像分割、特征提取

Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.

Keywords: BP neural network, image segmentation, feature extraction

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：

引言

BP人工神經(jīng)網(wǎng)絡(luò)算法是現(xiàn)今應(yīng)用較為廣泛的多層前向反饋式神經(jīng)網(wǎng)絡(luò)算法，BP人工神經(jīng)網(wǎng)絡(luò)有較好的容錯(cuò)能力、魯棒性、并行協(xié)同處理能力和自適應(yīng)能力，受到了國(guó)內(nèi)外眾多領(lǐng)域?qū)W者的關(guān)注。由于神經(jīng)網(wǎng)絡(luò)高效率的集體計(jì)算能力和較強(qiáng)的魯棒性，它在圖像分割方面的應(yīng)用已經(jīng)很廣泛，Jain和Karu采用了多通道濾波與前向神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法實(shí)現(xiàn)圖像紋理分割算法。神經(jīng)網(wǎng)絡(luò)算法在特征提取階段，壓縮特征數(shù)量，以提高分類速度和精度。在圖像識(shí)別領(lǐng)域中神經(jīng)網(wǎng)絡(luò)作為分類器的研究也得到了很大的進(jìn)展，尤其是其學(xué)習(xí)能力和容錯(cuò)性對(duì)于模式識(shí)別是非常有利的，在一定程度上提高了訓(xùn)練速度和識(shí)別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識(shí)別，每一層神經(jīng)網(wǎng)絡(luò)處理較低層次的特征，獲取該層特征信息并傳給上一層。

BP神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)的研究起源于對(duì)生物神經(jīng)系統(tǒng)的研究，它將若干處理單元（即神經(jīng)元）通過一定的互連模型連結(jié)成一個(gè)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)通過一定的機(jī)制可以模仿人的神經(jīng)系統(tǒng)的動(dòng)作過程，以達(dá)到識(shí)別分類的目的。人工神經(jīng)網(wǎng)絡(luò)區(qū)別于其他識(shí)別方法的最大特點(diǎn)是它對(duì)待識(shí)別的對(duì)象不要求有太多的分析與了解，具有一定的智能化處理的特點(diǎn)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程實(shí)際上就是不斷地調(diào)整權(quán)值和閾值的過程。根據(jù)有無(wú)訓(xùn)練樣本的指導(dǎo)可以將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式分為兩種：監(jiān)督學(xué)習(xí)方式和非監(jiān)督學(xué)習(xí)方式，也稱為有導(dǎo)師指導(dǎo)學(xué)習(xí)方式和無(wú)導(dǎo)師指導(dǎo)學(xué)習(xí)方式。監(jiān)督學(xué)習(xí)方式，是在給定固定的輸入輸出樣本集的情況下，由網(wǎng)絡(luò)根據(jù)一定的學(xué)習(xí)規(guī)則進(jìn)行訓(xùn)練學(xué)習(xí)，每一次學(xué)習(xí)完成后，通過對(duì)比實(shí)際的輸出和期望的輸出，以此決定網(wǎng)絡(luò)是否需要再學(xué)習(xí)，如果還沒有達(dá)到期望的誤差，則將實(shí)際誤差反饋到網(wǎng)絡(luò)，進(jìn)行權(quán)值和閾值的調(diào)整，使實(shí)際的誤差隨著學(xué)習(xí)的反復(fù)進(jìn)行而逐步減小，直至達(dá)到所要求的性能指標(biāo)為止。非監(jiān)督學(xué)習(xí)方式，是在沒有外界的指導(dǎo)下進(jìn)行的學(xué)習(xí)方式，在學(xué)習(xí)過程中，調(diào)整網(wǎng)絡(luò)的權(quán)重不受外來(lái)教師的影響，但在網(wǎng)絡(luò)內(nèi)部會(huì)對(duì)其性能進(jìn)行自適應(yīng)調(diào)節(jié)。

BP神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)是基于誤差反向傳播算法(Back Propagation Algorithm，BPA)的多層前向神經(jīng)網(wǎng)絡(luò)，由輸入層、輸出層、一個(gè)或多個(gè)隱含層所組成。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定之后，通過對(duì)輸出和輸入樣本集進(jìn)行訓(xùn)練，反復(fù)修正網(wǎng)絡(luò)的權(quán)值和閾值，達(dá)到學(xué)習(xí)訓(xùn)練的期望誤差，以使網(wǎng)絡(luò)能夠?qū)崿F(xiàn)給定的輸入輸出映射關(guān)系。BP人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程分為兩個(gè)階段，第一階段是輸入己知的學(xué)習(xí)樣本數(shù)據(jù)，給定網(wǎng)絡(luò)的結(jié)構(gòu)和初始連接權(quán)值和閾值，從輸入層逐層向后計(jì)算各神經(jīng)元的輸出；第二階段是對(duì)權(quán)值和閾值進(jìn)行修改，即根據(jù)網(wǎng)絡(luò)誤差從最后一層向前反饋計(jì)算各層權(quán)值和閾值的增減量，來(lái)逐層修正各層權(quán)值和閾值。以上正反兩個(gè)階段反復(fù)交替，直到網(wǎng)絡(luò)收斂。具體實(shí)現(xiàn)步驟如下：

(1) 網(wǎng)絡(luò)的初始化：首先對(duì)輸入的學(xué)習(xí)訓(xùn)練樣本進(jìn)行歸一化處理，對(duì)權(quán)值矩陣W和閾值向量賦初值，將網(wǎng)絡(luò)計(jì)數(shù)器和訓(xùn)練次數(shù)計(jì)數(shù)器置為1，網(wǎng)絡(luò)誤差置為0。

(2) 輸入訓(xùn)練樣本，計(jì)算輸入層，隱含層以及輸出層的實(shí)際輸出。

(3) 計(jì)算網(wǎng)絡(luò)輸出誤差。將實(shí)際的輸出和期望的輸出值進(jìn)行對(duì)比，采用均方根誤差指標(biāo)作為網(wǎng)絡(luò)的誤差性能函數(shù)。

(4) 若誤差還沒達(dá)到期望標(biāo)準(zhǔn)，則根據(jù)誤差信號(hào)，逐層調(diào)整權(quán)值矩陣和閾值向量。

(5) 若最終調(diào)整之后的網(wǎng)絡(luò)輸出達(dá)到了誤差范圍之內(nèi)，則進(jìn)行下一組訓(xùn)練樣本繼續(xù)訓(xùn)練網(wǎng)絡(luò)。

(6) 若全部的訓(xùn)練樣本訓(xùn)練完畢，并且達(dá)到了期望的誤差，則訓(xùn)練結(jié)束，輸出最終的網(wǎng)絡(luò)聯(lián)接權(quán)值和閾值。

BP神經(jīng)網(wǎng)絡(luò)可以逼近任意連續(xù)函數(shù)，具有很強(qiáng)的非線性映射能力，而且BP神經(jīng)網(wǎng)絡(luò)中間層數(shù)、各層神經(jīng)元數(shù)及網(wǎng)絡(luò)學(xué)習(xí)速率等參數(shù)均可以根據(jù)具體情況設(shè)定，靈活性較強(qiáng)，所以BP神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域中廣泛應(yīng)用。一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)方法應(yīng)同傳統(tǒng)的人工智能方法相聯(lián)系的。神經(jīng)網(wǎng)絡(luò)本身結(jié)構(gòu)及性能上的特點(diǎn)使其對(duì)問題的處理更富有彈性，更加穩(wěn)健。神經(jīng)網(wǎng)絡(luò)的基本特點(diǎn)是采用自下而上的設(shè)計(jì)思路，使其容易確定具體的目標(biāo)分割或識(shí)別算法，在增加了不確定因素的同時(shí)也產(chǎn)生了網(wǎng)絡(luò)最優(yōu)化的問題，這就是所謂的偽狀態(tài)(pseudo-trap)。盡管在實(shí)踐中并非所有的偽狀態(tài)對(duì)應(yīng)完全失敗的結(jié)果，但是畢竟這不符合對(duì)之完美的或者說(shuō)合理的期望。人工智能則一般采用自上而下的方法，偏重于邏輯推理建立系統(tǒng)模型。因此將神經(jīng)網(wǎng)絡(luò)同人工智能結(jié)合起來(lái)，相當(dāng)于賦予神經(jīng)網(wǎng)絡(luò)高層指導(dǎo)的知識(shí)及邏輯推理的能力，具有潛在的優(yōu)勢(shì)。

輸入層中間層 輸出層

圖1 BP人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

4.1 BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)主要包括兩方面內(nèi)容：一是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的確定，特別是隱含層層數(shù)及隱含層單元數(shù)目的確定；二是高精度收斂問題，隱含層和隱含層單元數(shù)過多，將導(dǎo)致訓(xùn)練時(shí)間過長(zhǎng)并出現(xiàn)過度擬和的問題，隱含層單元數(shù)過少又導(dǎo)致網(wǎng)絡(luò)收斂速度慢甚至不收斂，達(dá)不到誤差精度要求。在確定隱含層層數(shù)以及隱含層單元數(shù)目時(shí)，沒有一個(gè)嚴(yán)格的理論依據(jù)指導(dǎo)，需要根據(jù)特定的問題，結(jié)合經(jīng)驗(yàn)公式確定大致范圍來(lái)進(jìn)行逐步試算比較得到。

4.2 數(shù)據(jù)預(yù)處理

為了加快網(wǎng)絡(luò)的訓(xùn)練速度，通常在網(wǎng)絡(luò)訓(xùn)練前進(jìn)行神經(jīng)網(wǎng)絡(luò)輸入和輸出數(shù)據(jù)預(yù)處理，即將每組數(shù)據(jù)都?xì)w一化變?yōu)閇-1,1]之間的數(shù)值的處理過程。

4.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

%當(dāng)前輸入層權(quán)值和閾值

inputWeights=net.IW{1,1}

inputbias=net.b{1}

%當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值

layerWeights=net.LW{2,1}

layerbias=net.b{2}

%設(shè)置訓(xùn)練參數(shù)

net.trainParam.show = 1000;%限時(shí)訓(xùn)練迭代過程

net.trainParam.lr = 0.1; %學(xué)習(xí)率，缺省為0.01

net.trainParam.epochs = 100000; %最大訓(xùn)練次數(shù)，缺省為100

net.trainParam.goal = 0.001; %訓(xùn)練要求精度，缺省為0

[net,tr]=train(net,P,T);%調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò)

A = sim(net,P) %對(duì) BP 網(wǎng)絡(luò)進(jìn)行仿真

E = T - A;%計(jì)算仿真誤差

MSE=mse(E)

結(jié)束語(yǔ)

BP網(wǎng)絡(luò)因?yàn)榫哂休^強(qiáng)的學(xué)習(xí)性、自適應(yīng)型和容錯(cuò)性，在很多領(lǐng)域均已經(jīng)大量運(yùn)用。本文將BP人工神經(jīng)網(wǎng)絡(luò)運(yùn)用于圖像的識(shí)別，探索人工神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域中的重要的現(xiàn)實(shí)意義。研究表明，BP人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識(shí)別在一定程度上提高了識(shí)別的效率和準(zhǔn)確率。但是，BP神經(jīng)網(wǎng)絡(luò)算法還存在以下幾點(diǎn)不足之處：（1）權(quán)的調(diào)整方法存在局限性，容易陷入局部最優(yōu)；（2）網(wǎng)絡(luò)的結(jié)構(gòu)需要提前指定或者在訓(xùn)練過程中不斷的修正；（3）過分依賴學(xué)習(xí)樣本，由于學(xué)習(xí)樣本是有限的或者學(xué)習(xí)樣本質(zhì)量不高，那么會(huì)導(dǎo)致訓(xùn)練達(dá)不到效果；（4）對(duì)于規(guī)模較大的模式映射問題，存在收斂速度慢、容易陷入局部極小點(diǎn)、判斷不準(zhǔn)確等缺陷?？傊绾谓鉀Q以上問題，如何進(jìn)一步提高識(shí)別精度，擴(kuò)大識(shí)別范圍，使之更具有更好的工程實(shí)用性，是有待進(jìn)一步研究的內(nèi)容。

參考文獻(xiàn)：

[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．

[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．

[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．

[4] 邊肇其，張學(xué)工．模式識(shí)別（第二版）[M]．清華大學(xué)出版社，北京．1999，12．

[5] 陳書海，傅錄祥．實(shí)用數(shù)字圖像處理[M]．科學(xué)出版社，北京．2005．

[6] 萬(wàn)來(lái)毅，陳建勛．基于BP神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別研究[J]．武漢科技大學(xué)學(xué)報(bào)（自然科學(xué)版）．2006，6．

[7] 叢爽．面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用（第2版）[M]．北京：中國(guó)科學(xué)技術(shù)出版社，2003．

[8] 王娟，慈林林等．特征方法綜述[J]．計(jì)算機(jī)工程與科學(xué)．2005．27（12）．68-71．

[9] 賈花萍．基于神經(jīng)網(wǎng)絡(luò)的特征選擇與提取方法研究[J]．網(wǎng)絡(luò)安全．2008，7．33-35．

[10] 龔聲榮，劉純平等編著．?dāng)?shù)字圖像處理與分析[M]．清華大學(xué)出版社，北京．2006．7．

第7篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；計(jì)算機(jī)網(wǎng)絡(luò)；安全評(píng)估

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）18-4303-05

網(wǎng)絡(luò)安全從本質(zhì)上看是網(wǎng)絡(luò)的信息安全。而從廣義來(lái)說(shuō)，涉及到的范圍就較大，凡是有關(guān)網(wǎng)絡(luò)信息的完整性、保密性、真實(shí)性、可用性和可控性方面，都是網(wǎng)絡(luò)安全需要考慮與研究的領(lǐng)域。

隨著全球計(jì)算機(jī)技術(shù)和 Internet 的迅猛發(fā)展，全球信息化進(jìn)程加速，互聯(lián)網(wǎng)與千家萬(wàn)戶息息相關(guān)，在我們的工作和生活中扮演著極其重要的角色。與此同時(shí)，網(wǎng)絡(luò)和網(wǎng)絡(luò)用戶也在以指數(shù)級(jí)的速度增長(zhǎng)。互聯(lián)網(wǎng)正引領(lǐng)著我們的生活進(jìn)入一個(gè)前所未有的，以網(wǎng)絡(luò)為基礎(chǔ)的信息化環(huán)境。由此，網(wǎng)絡(luò)安全就顯得尤為重要。

1 網(wǎng)絡(luò)安全評(píng)估的重要性

由于現(xiàn)階段的計(jì)算機(jī)系統(tǒng)，其網(wǎng)絡(luò)設(shè)備存在不完善的因素，包括設(shè)計(jì)的缺陷、漏洞及網(wǎng)絡(luò)協(xié)議等，這樣的情況下，計(jì)算機(jī)網(wǎng)絡(luò)就潛在各種可能的安全風(fēng)險(xiǎn)。近年來(lái)，計(jì)算機(jī)網(wǎng)絡(luò)受到的侵害越來(lái)越多，網(wǎng)絡(luò)漏洞各種各樣，計(jì)算機(jī)安全得不到應(yīng)有的保障。具體表現(xiàn)為：

1） 網(wǎng)絡(luò)病毒更加多樣、智能與隱蔽。

2） 隨著網(wǎng)絡(luò)扮演越來(lái)越重要的角色，各方的生產(chǎn)生活都離不開網(wǎng)絡(luò)，因此網(wǎng)絡(luò)服務(wù)商、管理部門和運(yùn)營(yíng)商都十分重視網(wǎng)絡(luò)的安全，并提出了更多的需求。

3） 網(wǎng)絡(luò)安全脆弱的根源是漏洞。

目前，針對(duì)網(wǎng)絡(luò)安全進(jìn)行的惡意活動(dòng)越來(lái)越多，如何有效保證網(wǎng)絡(luò)安全正常運(yùn)行已經(jīng)成為各方都十分關(guān)注的問題。在這樣的情況下，我們需要事先對(duì)系統(tǒng)與網(wǎng)絡(luò)進(jìn)行安全檢查與評(píng)估，分析現(xiàn)有網(wǎng)絡(luò)是否安全可靠，并且對(duì)于檢測(cè)出的問題，提出并實(shí)施相應(yīng)的有針對(duì)性的安全防范措施，力求將損失降到最低，將風(fēng)險(xiǎn)扼殺在潛伏期。

2 BP神經(jīng)網(wǎng)絡(luò)技術(shù)

2.1 BP神經(jīng)網(wǎng)絡(luò)技術(shù)介紹

2.1.1 神經(jīng)網(wǎng)絡(luò)技術(shù)概要

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)這一算法是由Rumelhart和McCelland等人于1986年提出的。它的主要思想是按照誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練多層前饋網(wǎng)絡(luò)，它可以解決多層的網(wǎng)絡(luò)里所隱含的單元連接的學(xué)習(xí)問題。這一方法的提出，為此后打開了重要的一片領(lǐng)域，它成為目前應(yīng)用最為廣泛的模型之一。BP神經(jīng)網(wǎng)絡(luò)一般分為三層結(jié)構(gòu)，包括輸入層、輸出層以及隱含層。

2.1.2 輸入層、輸出層變量及預(yù)處理

BP神經(jīng)網(wǎng)絡(luò)輸入層變量屬于自變量，是需要通過專業(yè)的知識(shí)來(lái)確定的，如果說(shuō)增加輸入層的變量的數(shù)量，那么還要進(jìn)行主成分分析，再對(duì)所有的變量進(jìn)行縮減，使得數(shù)量與增加前的輸入層數(shù)量相當(dāng)，然后再對(duì)輸入變量前與縮減變量后的系統(tǒng)誤差進(jìn)行比較，通過比值的大小達(dá)到縮減輸入層變量的目的。

輸入層變量屬于因變量，一般系統(tǒng)不對(duì)輸入層變量的數(shù)量進(jìn)行具體要求，但是為了網(wǎng)絡(luò)模型得到更好的訓(xùn)練，系統(tǒng)對(duì)于BP神經(jīng)網(wǎng)絡(luò)應(yīng)要進(jìn)行轉(zhuǎn)換。即把具有多個(gè)輸入變量的模型轉(zhuǎn)換成多個(gè)具有一個(gè)輸出的模型，以達(dá)到更好的效果。

預(yù)處理有很多的方法，一般筆者根據(jù)實(shí)際需求以及喜好，會(huì)采用各不相同的方式。但是殊途同歸，進(jìn)行完數(shù)據(jù)的處理之后，對(duì)網(wǎng)絡(luò)神經(jīng)輸出的結(jié)果進(jìn)行一定程度的變換，最后得到的數(shù)據(jù)才是所需數(shù)據(jù)。并且，與處理后，數(shù)據(jù)值要控制在0.2～0.8之間，使得建立的模型具有一定的外推能力。

2.1.3 BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)包含隱含層層數(shù)、隱含層結(jié)點(diǎn)數(shù)、動(dòng)量因子、初始權(quán)值、學(xué)習(xí)率、誤差精度等。

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)最應(yīng)注意的是隱含層結(jié)點(diǎn)的數(shù)量，過多或過少都會(huì)產(chǎn)生問題，或者使得網(wǎng)絡(luò)訓(xùn)練時(shí)間過長(zhǎng)、無(wú)法找到最優(yōu)點(diǎn)，或者使得網(wǎng)絡(luò)的穩(wěn)定性較差。因此，應(yīng)合理優(yōu)化隱含點(diǎn)的節(jié)點(diǎn)數(shù)，同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜程度以及誤差的大小，綜合各方情況確定節(jié)點(diǎn)數(shù)。

2.2 BP神經(jīng)網(wǎng)絡(luò)技術(shù)算法

2.2.1 BP神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)過程

1） 工作信號(hào)的正向傳播：工作信號(hào)的正向傳播指的是輸入信號(hào)經(jīng)由輸入層傳向輸出層，最終在輸出端產(chǎn)生輸出信號(hào)。

2） 誤差信號(hào)的反向傳播：工作信號(hào)的反向傳播指的是誤差信號(hào)由輸出端向后傳播，誤差信號(hào)指的是網(wǎng)絡(luò)實(shí)際輸出信號(hào)和期望輸出信號(hào)之間的差值。

本文以含有三個(gè)隱含層的BP神經(jīng)網(wǎng)絡(luò)為例，其結(jié)構(gòu)如下圖所示。

9） 輸入下一個(gè)學(xué)習(xí)樣本，返回步驟（3），直至全部 z 個(gè)模式對(duì)訓(xùn)練完畢；

10） 進(jìn)入下一輪學(xué)習(xí)。

2.2.1 BP神經(jīng)網(wǎng)絡(luò)算法工作過程

BP神經(jīng)網(wǎng)絡(luò)算法的工作工程并不復(fù)雜，具體如下：

1） 對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)初始化。

2） 計(jì)算隱藏層單元的個(gè)數(shù)、輸出層單元的輸出個(gè)數(shù)、輸出層單元誤差，若誤差在誤差范圍內(nèi)，可輸出結(jié)果。

1）若2）中的誤差不在誤差范圍內(nèi)，則重新調(diào)整中間層到輸出層連接的權(quán)值和輸出層單元，再調(diào)整輸入層到中間層的連接權(quán)值和輸出單元，更新學(xué)習(xí)次數(shù)。

1） 反復(fù)步驟3），當(dāng)學(xué)習(xí)次數(shù)大于上限或滿足誤差要求，結(jié)束學(xué)習(xí)輸出結(jié)果。

2） 輸出最終結(jié)果。

3 BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)越性

3.1 網(wǎng)絡(luò)安全評(píng)估方法

雖然關(guān)于網(wǎng)絡(luò)安全評(píng)估的研究在國(guó)內(nèi)僅十多年的歷史，但人們已經(jīng)提出了多種評(píng)估方法，其中較有代表性的方法是故障樹分析法（Fault Tree Analysis， FTA）、層次分析法（Analytic Hierarchy Process， AHP）、模糊綜合評(píng)判法（Fuzzy Comprehensive Evaluation method， FCE）和基于貝葉斯、BP 神經(jīng)網(wǎng)絡(luò)、D_S 證據(jù)理論等方法。

3.2網(wǎng)絡(luò)安全評(píng)估方法比較

不同的網(wǎng)絡(luò)安全評(píng)估方法具有不同的優(yōu)缺點(diǎn)，針對(duì)網(wǎng)絡(luò)安全的實(shí)際需要，選擇不同的評(píng)估方法，個(gè)方法具體優(yōu)缺點(diǎn)如下表。

2.該方法要求大量可供參考的歷史資料

從以上比較中我們可以看出，基于BP神經(jīng)的網(wǎng)絡(luò)安全評(píng)估方法具有良好的優(yōu)越性，特別是針對(duì)故障樹分析法、層次分析法、基于貝葉斯、模糊綜合評(píng)判法等主觀性較強(qiáng)、方法繁復(fù)的方法，基于BP神經(jīng)評(píng)估方法的客觀性就顯得尤為的重要。

4 基于BP神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估過程

4.1 構(gòu)建計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估指標(biāo)集

計(jì)算機(jī)網(wǎng)絡(luò)是一個(gè)很復(fù)雜的體系，能夠影響網(wǎng)絡(luò)安全的因素較多，建立科學(xué)的、合理的網(wǎng)絡(luò)安全評(píng)價(jià)指標(biāo)將關(guān)系到評(píng)價(jià)的作用和功能。 本文通過歸納網(wǎng)絡(luò)安全的各個(gè)影響因素，以物理安全、邏輯安全和管理安全作為評(píng)價(jià)指標(biāo)體系的一級(jí)指標(biāo)，并進(jìn)行逐層細(xì)化，最終建立了完整的網(wǎng)絡(luò)安全評(píng)價(jià)指標(biāo)體系，具體如表 2 所示。

4.2 各評(píng)價(jià)指標(biāo)的取值和標(biāo)準(zhǔn)化

在本文設(shè)計(jì)的各個(gè)指標(biāo)集中，因?yàn)樗枋龅囊蛩馗鞑幌嗤扔卸康脑u(píng)價(jià)指標(biāo)，也有定性的評(píng)價(jià)指標(biāo)，因此在評(píng)價(jià)時(shí)所選擇的取值規(guī)則也是不一樣的。

4.2.1定量指標(biāo)

對(duì)于定量指標(biāo)，由于其衡量的單位不同，因此必須進(jìn)行標(biāo)準(zhǔn)化的處理，并將最終取值范圍控制在0～1之間，方法如表1所示。

4.2.2定性指標(biāo)

對(duì)于定性指標(biāo)，該文采用的是專家打分法，專家打分法較為抽象，可采用配值標(biāo)準(zhǔn)化處理，保持與定量指標(biāo)的一致性。

4.3 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)定與訓(xùn)練

確定BP神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算機(jī)網(wǎng)絡(luò)安全進(jìn)行評(píng)估的層數(shù)。主要利用試湊法，根據(jù)輸入層輸出層神經(jīng)元個(gè)數(shù)，確定隱含層神經(jīng)元個(gè)數(shù)。

與此同時(shí)，設(shè)定誤差精度與訓(xùn)練次數(shù)，當(dāng)訓(xùn)練的精度或訓(xùn)練次數(shù)達(dá)到要求后，即停止訓(xùn)練，保存數(shù)據(jù)。

4.4 對(duì)計(jì)算機(jī)網(wǎng)絡(luò)安全進(jìn)行評(píng)估

將計(jì)算機(jī)的網(wǎng)絡(luò)安全評(píng)估等級(jí)分為四種，分別是安全、基本安全、不安全與很不安全。其中，安全等級(jí)的評(píng)估值大于或等于0.8、基本安全等級(jí)的評(píng)估值大于或等于0.7且小于0.8、不安全等級(jí)的評(píng)估值大于或等于0.6且小于0.7、、很不安全等級(jí)的評(píng)估值小于0.6。根據(jù)網(wǎng)絡(luò)評(píng)估的具體數(shù)值，對(duì)網(wǎng)絡(luò)安全進(jìn)行四種等級(jí)的判定。

5 基于BP神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估實(shí)例

5.1 實(shí)例探究

本文通過實(shí)例對(duì)以上的闡述進(jìn)行探究：設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)輸入層的節(jié)點(diǎn)為5，輸出層節(jié)的點(diǎn)為1，隱含層的節(jié)點(diǎn)為19，學(xué)習(xí)精度E設(shè)為01001，權(quán)值調(diào)整參數(shù)、網(wǎng)絡(luò)閾值均設(shè)為011，最大迭代次數(shù)為1000次，輸入層與隱含層之間采用Logsig傳遞函數(shù)，隱含層與輸出層之間采用Purelin轉(zhuǎn)遞函數(shù)。

本文收集了40份計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估數(shù)據(jù)樣本，對(duì)數(shù)據(jù)進(jìn)行處理與分析后，根據(jù)前文所表述的評(píng)估步驟，對(duì)各網(wǎng)絡(luò)進(jìn)行了安全評(píng)估，具體數(shù)據(jù)見下圖。

5.2實(shí)例分析

結(jié)合調(diào)查獲得的實(shí)際情況，結(jié)果表明，基于BP神經(jīng)網(wǎng)絡(luò)算法的計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估模型精準(zhǔn)性較好，與實(shí)際情況較為符合。同時(shí)我們可以看到，當(dāng)前許多網(wǎng)絡(luò)的安全性存在一定的隱患，多數(shù)網(wǎng)絡(luò)的安全等級(jí)屬于基本安全與很不安全之間，少有安全性很高、評(píng)估值大于0.9的網(wǎng)絡(luò)系統(tǒng)。

另外，應(yīng)用BP神經(jīng)網(wǎng)絡(luò)計(jì)算方法還可以對(duì)同一等級(jí)內(nèi)的網(wǎng)絡(luò)進(jìn)行不同安全程度的驚喜評(píng)定，因此，BP模型能夠精確地對(duì)改造后的網(wǎng)絡(luò)安全進(jìn)行重新評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果提出具有針對(duì)性的提高網(wǎng)絡(luò)安全的有效措施。

6 結(jié)論

當(dāng)前，網(wǎng)絡(luò)安全是網(wǎng)絡(luò)管理人員急需解決的重要問題，網(wǎng)絡(luò)安全評(píng)估作為有效防護(hù)網(wǎng)絡(luò)安全的手段之一，是一項(xiàng)技術(shù)要求復(fù)雜的工作。而BP神經(jīng)網(wǎng)絡(luò)算法既有神經(jīng)神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)、自適應(yīng)的特點(diǎn)，同時(shí)還兼有專家的知識(shí)經(jīng)驗(yàn)，因此成為了非線性映射能力較強(qiáng)的綜合評(píng)價(jià)模型之一。BP神經(jīng)網(wǎng)絡(luò)算法在網(wǎng)絡(luò)安全評(píng)估中的應(yīng)用，減少了主觀因素，提高了檢測(cè)評(píng)估的客觀性，有利于用戶發(fā)現(xiàn)網(wǎng)絡(luò)安全的漏洞與薄弱，做好安全措施，提高網(wǎng)絡(luò)安全水平。

本文介紹了BP神經(jīng)網(wǎng)絡(luò)算法，并通過與其他評(píng)估方法的對(duì)比分析其優(yōu)越性，提出利用BP神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算機(jī)網(wǎng)絡(luò)安全進(jìn)行評(píng)估，并提出相應(yīng)的評(píng)估過程。最后以實(shí)例驗(yàn)證了BP神經(jīng)網(wǎng)絡(luò)算法在計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)估的應(yīng)用。但本文亦有不足之處，第一，在實(shí)例中缺少其他評(píng)估方法的應(yīng)用，無(wú)法突出BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)越性；第二，缺少對(duì)實(shí)例結(jié)果精確性的檢驗(yàn)，這些工作應(yīng)在將來(lái)予以補(bǔ)正。

參考文獻(xiàn)：

[1] Lee W.A data mining framework for constructing features andmodels for intrusion detection systems[D].New York Columbia University，1999.

[2] Lv H Y ， Cao Y D.Research on network risk situation assessment based on threat analysis[C].2008 International Symposium on Information Science and Engineering，2008：252-257.

[3] Biswajeet Pradhan，Saro Lee. Regional landslide susceptibility analysis using back-propagation neural network model at Cameron Highland， Malaysia [J].Earth and Environmental Science，2010， 7（1）：13-30.

[4] 趙冬梅，劉海峰，劉晨光.基于BP 神經(jīng)網(wǎng)絡(luò)的信息安全風(fēng)險(xiǎn)評(píng)估[J].計(jì)算機(jī)工程與應(yīng)用，2007（1）.

[5] 金嶠，方帥，閻石.BP網(wǎng)絡(luò)模型改進(jìn)方法綜述[J].沈陽(yáng)建筑工程學(xué)院學(xué)報(bào)：自然科學(xué)版，2001，17（3）：197-199.

第8篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：BP;神經(jīng)網(wǎng)絡(luò);PID控制器

1 分層調(diào)整學(xué)習(xí)速率的改進(jìn)BP算法

BP算法本質(zhì)上是梯度下降法。若要改進(jìn)BP算法，首先要熟悉了解梯度下降法的原理。

設(shè)函數(shù)f（x）具有一階連續(xù)導(dǎo)數(shù)，假設(shè)在x=x*處取得函數(shù)極小值，用xk代表在第k次接近極小值點(diǎn)，則在第k+1次接近極小值點(diǎn)為xk+1=xk+λpk，對(duì)函數(shù)f（x）在xk+1處進(jìn)行泰勒級(jí)數(shù)展開：

f（xk+1）=f（xk+λpk）=f（xk）+λ？犖f（xk）Tpk+o（λ）（1-1）

上式中？犖f（xk）為函數(shù)f（x）在xk處的梯度，當(dāng)λ取得非常小的值時(shí)，o（λ）為λ的高階無(wú)窮小。如果有

？犖f（xk）Tpk<0 （1-2）

能推出

f（xk+λpk）<f（xk） （1-3）

這就表明在第k+1次迭代時(shí)的函數(shù)值小于第k次迭代的函數(shù)值。為了使？犖f（xk）Tpk取得最小值，對(duì)其求模變化：

？犖f（xk）Tpk=||？犖f（xk）||?||pk||?cosθ （1-4）

上式中，θ為向量？犖f（xk）與pk的夾角。

假設(shè)||pk||為固定值，當(dāng)θ=0時(shí)，即向量？犖f（xk）與pk同向，則cosθ=1，？犖f（xk）Tpk取得最大值;反之，當(dāng)θ=180時(shí)，即向量？犖f（xk）與pk反向，則cosθ=-1，？犖f（xk）Tpk<0，所以向量pk的正方向就是梯度的負(fù)方向。沿其負(fù)梯度方向進(jìn)行搜索能夠使f（x）函數(shù)值減小的速率加快，能夠快速地找到極小點(diǎn)。

根據(jù)式（1-1）可知，λ作為梯度？犖f（xk）與向量pk的系數(shù)，稱為步長(zhǎng)，同時(shí)影響著網(wǎng)絡(luò)在負(fù)梯度方向上的搜索能力。選取最佳步長(zhǎng)的計(jì)算公式如下：

λk=（1-5）

把求得最佳步長(zhǎng)代入式（1-3）得

f（xk-λkpk）<f（xk） （1-6）

我們?cè)谧罴巡介L(zhǎng)的計(jì)算中能夠發(fā)現(xiàn)，公式（1-5）的計(jì)算增加了網(wǎng)絡(luò)計(jì)算量，可以通過使用學(xué)習(xí)速率η替代步長(zhǎng)來(lái)降低計(jì)算量。在文章中我們提出了一種分層調(diào)整學(xué)習(xí)速率的方法，它能夠同時(shí)調(diào)整輸入層與隱含層及隱含層與輸出層之間的網(wǎng)絡(luò)連接權(quán)值的學(xué)習(xí)速率。

設(shè)定網(wǎng)絡(luò)的學(xué)習(xí)速率η為一個(gè)較小的值，當(dāng)滿足f（xk-λkpk）<f（xk）條件時(shí)，則學(xué)習(xí)速率的改變趨勢(shì)為：

η？坩2η （1-7）

當(dāng)滿足f（xk-λkpk）>f（xk）條件時(shí)，則學(xué)習(xí)速率的改變趨勢(shì)為：

η？坩0.5η （1-8）

2 以改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)參數(shù)為基礎(chǔ)的自整定PID控制器

相比較其他而言，BP神經(jīng)網(wǎng)絡(luò)主要優(yōu)勝點(diǎn)在于能夠?qū)⒕W(wǎng)絡(luò)連接權(quán)值不斷代入計(jì)算來(lái)修正誤差，使之可以不斷接近適應(yīng)度函數(shù)。學(xué)習(xí)算法的實(shí)現(xiàn)難度比較小，所以在構(gòu)建PID控制器時(shí)，用BP網(wǎng)絡(luò)結(jié)構(gòu)來(lái)構(gòu)建是比較常見的。以BP算法為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)能夠通過自學(xué)及自適應(yīng)能力找到一組最優(yōu)PID參數(shù)，使系統(tǒng)的性能達(dá)到最優(yōu)。

①常規(guī)的PID控制器：閉環(huán)控制被控對(duì)象，在線整定KP、KI、KD參數(shù);

②BP神經(jīng)網(wǎng)絡(luò)：BP神經(jīng)網(wǎng)絡(luò)通過自學(xué)習(xí)和自適應(yīng)能力不斷更新整定網(wǎng)絡(luò)的連接權(quán)值，通過不斷整定使輸出值極限接近目標(biāo)值。當(dāng)輸出值為KP、KI、KD時(shí)，系統(tǒng)的性能為最佳。

假定BP神經(jīng)網(wǎng)絡(luò)優(yōu)化PID控制器是一個(gè)由三層網(wǎng)絡(luò)構(gòu)成的，且其輸入層節(jié)點(diǎn)有M個(gè)，隱含層節(jié)點(diǎn)Q個(gè)、輸出層節(jié)點(diǎn)3個(gè)。

輸出節(jié)電輸出對(duì)應(yīng)KP、KI、KD可調(diào)參數(shù)值，隱含層的激發(fā)函數(shù)可以取Sigmoid函數(shù)，可正可負(fù)。然而輸出層的激發(fā)函數(shù)為非負(fù)。

BP神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點(diǎn)的輸出為

公式中，g′（x）=g（x）?（1-g（x）），f′（x）=（1-f2（x））/2。

以改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的PID控制器算法：

一是對(duì)BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行明確，在明確了網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)也就明確了輸出層及隱含層的節(jié)點(diǎn)個(gè)數(shù)。并對(duì)各層的（0）初始化，k=1;

二是為計(jì)算e（k）=r（k）-y（k），可以通過樣本采集得到的r（k）及y（k）代入計(jì)算;

三是在將r（i），y（i），u（i-1），e（i）（i=k，k-1，...，k-p）輸入到神經(jīng)網(wǎng)絡(luò)之前進(jìn)行統(tǒng)一化處理;

四是通過式（2-2）和（2-3）將各層神經(jīng)元的輸入輸出計(jì)算出來(lái)，輸出層輸出的數(shù)據(jù)就是PID控制器的KP（k）、K1（k）、KD（k）;

五是PID的控制輸出u（k）可以由式u（t）=KP[e（t）]得到;

六是當(dāng)所有網(wǎng)絡(luò)權(quán)值刷新一次之后，若誤差e（k+1）滿足e（k+1）<

e（k），那么按照式（1-7）對(duì)其學(xué)習(xí)速率增大，當(dāng)誤差不再變化時(shí)，此時(shí)記錄連接權(quán)值。若誤差e（k+1）滿足e（k+1）>e（k），那么按照式（1-8）對(duì)其學(xué)習(xí)速率減小，當(dāng)誤差減小時(shí)，記錄連接權(quán)值

七是將k賦值為k+1，返回第二步。

3 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)PID仿真

將被控對(duì)象假定為：

網(wǎng)絡(luò)結(jié)構(gòu)采用4-5-3結(jié)構(gòu)，輸入信號(hào)為γ（k）=1.0，此信號(hào)是階躍信號(hào)。網(wǎng)絡(luò)結(jié)構(gòu)中的4代表輸入層有四個(gè)輸入，為給定輸入r（k）、

e（k）=r（k）-y（k）、y（k）和1。網(wǎng)絡(luò)結(jié)構(gòu)中的3代表輸出層有三個(gè)參數(shù)，為KP、KI、KD。η=0.01，加權(quán)系數(shù)初值在[-1，1]區(qū)間內(nèi)隨機(jī)賦值。經(jīng)過仿真得到的曲線圖如圖1和圖2所示。

圖1 單位階躍響應(yīng)曲線圖

圖2 誤差變化曲線

被控對(duì)象是二階的，所以階躍響應(yīng)曲線以正弦的方式衰減，并在系統(tǒng)穩(wěn)定水平線上下振蕩。從圖1和圖2可以看出，剛啟動(dòng)時(shí)系統(tǒng)振蕩幅度較大，誤差也比較大，系統(tǒng)在0.2s左右時(shí)振蕩幅度變小，誤差也迅速變小，在0.3s之后系統(tǒng)達(dá)到穩(wěn)定運(yùn)行，誤差幾近于0。由圖可知在單位階躍響應(yīng)中改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)相較BP神經(jīng)網(wǎng)絡(luò)而言，超調(diào)量小，收斂速度快。

4 總結(jié)

提出了一種分層調(diào)整學(xué)習(xí)速率的BP神經(jīng)網(wǎng)絡(luò)改進(jìn)方法，并把改進(jìn)的方法與傳統(tǒng)的PID結(jié)合。并基于MATLAB平臺(tái)建立了模型進(jìn)行仿真驗(yàn)證，仿真結(jié)果驗(yàn)證了改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)PID具有更快的響應(yīng)速度、更高的精度，且穩(wěn)定性更強(qiáng)。

參考文獻(xiàn)：

[1]李楠.基于神經(jīng)網(wǎng)絡(luò)直流無(wú)刷電機(jī)控制策略的研究[D].蘭州理工大學(xué)，2005.

[2]黃家圣.人工神經(jīng)網(wǎng)絡(luò)在無(wú)刷直流電動(dòng)機(jī)中的應(yīng)用研究[D].上海海事大學(xué)，2005.

[3]王國(guó)玲，李振宇，范自道.無(wú)刷直流電機(jī)自適應(yīng)模糊PID控制系統(tǒng)[J].機(jī)電工程技術(shù)，2013（2）：30～33.

第9篇：神經(jīng)網(wǎng)絡(luò)本質(zhì)范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) ；BP網(wǎng)絡(luò)； 優(yōu)缺點(diǎn)； 改進(jìn)算法

【中圖分類號(hào)】 TP183 【文獻(xiàn)標(biāo)識(shí)碼】 B【文章編號(hào)】 1671-1297（2012）09-0196-02

思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，NN）就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)從20世紀(jì)40年代末誕生至今僅短短半個(gè)多世紀(jì)，但由于它具有信息的分布存儲(chǔ)、并行處理以及自學(xué)習(xí)能力等優(yōu)點(diǎn)，已經(jīng)在信息處理、模式識(shí)別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來(lái)越廣泛的應(yīng)用。

神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無(wú)連接，各層神經(jīng)元之間無(wú)反饋連接，夠成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問題，能夠求解非線性問題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。

一 BP網(wǎng)絡(luò)

1986年，Rumelhart和Hinton提出了誤差反向傳播神經(jīng)網(wǎng)絡(luò)（Error Back Propagation Neural Network），簡(jiǎn)稱BP網(wǎng)絡(luò)。它是一種能向著滿足給定的輸入輸出關(guān)心方向進(jìn)行自組織的神經(jīng)網(wǎng)絡(luò)。

1. BP網(wǎng)絡(luò)的原理

輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

2. BP網(wǎng)絡(luò)的特點(diǎn)

（1）輸入和輸出是并行的模擬量。

（2）網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法。

（3）權(quán)因子是通過學(xué)習(xí)信號(hào)調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明。

（4）隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對(duì)網(wǎng)絡(luò)輸出產(chǎn)生大的影響。

3. BP網(wǎng)絡(luò)的優(yōu)點(diǎn)

（1）網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題。

（2）網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取"合理的"求解規(guī)則，即具有自學(xué)習(xí)能力。

（3）網(wǎng)絡(luò)具有一定的推廣、概括能力。

4. BP網(wǎng)絡(luò)的缺點(diǎn)

BP算法的學(xué)習(xí)速度很慢，其原因主要有：

（1）由于BP算法本質(zhì)上為梯度下降法，而它所要優(yōu)化的目標(biāo)函數(shù)又非常復(fù)雜，因此，必然會(huì)出現(xiàn)"鋸齒形現(xiàn)象"，這使得BP算法低效；

（2）存在麻痹現(xiàn)象，由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜，它必然會(huì)在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓(xùn)練過程幾乎停頓；

（3）為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能用傳統(tǒng)的一維搜索法求每次迭代的步長(zhǎng)，而必須把步長(zhǎng)的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法將引起算法低效。

網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大，其原因有：

（1）從數(shù)學(xué)角度看，BP算法為一種局部搜索的優(yōu)化方法，但它要解決的問題為求解復(fù)雜非線性函數(shù)的全局極值，因此，算法很有可能陷入局部極值，使訓(xùn)練失?。?/p>

（2）網(wǎng)絡(luò)的逼近、推廣能力同學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實(shí)例組成訓(xùn)練集是一個(gè)很困難的問題。

難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾。這涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題。

網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。為此，有人稱神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇為一種藝術(shù)。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)重要的問題。

新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同。

二 BP網(wǎng)絡(luò)的改進(jìn)算法

BP算法最優(yōu)化的方向主要有權(quán)值調(diào)整、自適應(yīng)學(xué)習(xí)速率調(diào)整、網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整等。常用的改進(jìn)方法有以下幾種：

1.加入動(dòng)量項(xiàng)

利用附加動(dòng)量的作用則有可能滑過局部極小值。該方法所加入的動(dòng)量實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢(shì)，改善了收斂性，這是目前應(yīng)用比較廣泛的一種改進(jìn)算法。

2.自適應(yīng)學(xué)習(xí)速率調(diào)整

對(duì)于一個(gè)特定的問題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情。對(duì)訓(xùn)練開始初期功效很好的學(xué)習(xí)速率，不一定對(duì)后來(lái)的訓(xùn)練合適。為了解決這一問題，人們自然會(huì)想到在訓(xùn)練過程中自動(dòng)調(diào)整學(xué)習(xí)速率。

3.共軛梯度算法

在各種改進(jìn)算法中，共軛梯度法（Conjugate Gradient）是非常重要的一種。其優(yōu)點(diǎn)是所需存儲(chǔ)量小，具有N步收斂性，穩(wěn)定性高，而且不需要任何外來(lái)參數(shù)。

4.Levenberg-Marquart算法（最小二乘擬合算法）

除了改進(jìn)算法以外，通過改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（隱層結(jié)點(diǎn)數(shù)和網(wǎng)絡(luò)層數(shù)）、調(diào)整誤差等方法，也能加快BP算法的收斂速度。

參考文獻(xiàn)