訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

【關(guān)鍵詞】大學(xué)生身體素質(zhì)評(píng)估 遺傳算法 BP神經(jīng)網(wǎng)絡(luò) MATLAB計(jì)算程序

在校大學(xué)生是國(guó)家重要的人才后備力量，大學(xué)生的身體素質(zhì)培養(yǎng)和鍛煉是學(xué)校體育教學(xué)中關(guān)注的重點(diǎn)。對(duì)大學(xué)生身體素質(zhì)進(jìn)行科學(xué)、切實(shí)的評(píng)價(jià)可制訂更為有效的培養(yǎng)方案，幫助大學(xué)生提高其身體素質(zhì)。身體素質(zhì)評(píng)價(jià)就是將大學(xué)生的身體形態(tài)、生理機(jī)能及運(yùn)動(dòng)能力等方面的數(shù)據(jù)綜合起來(lái)進(jìn)行評(píng)價(jià)[1]。從以往的研究成果看，對(duì)大學(xué)生身體素質(zhì)評(píng)價(jià)集中于采用概率統(tǒng)計(jì)、多元回歸分析和神經(jīng)網(wǎng)絡(luò)[2]的方法。然而，概率統(tǒng)計(jì)僅得到整體評(píng)價(jià)結(jié)果，多元回歸分析預(yù)測(cè)精度較低，且兩者受樣本空間影響較大。為此，本文利用遺傳算法來(lái)訓(xùn)練初始網(wǎng)絡(luò)模型，再用BP算法來(lái)進(jìn)行精確求解，是對(duì)神經(jīng)網(wǎng)絡(luò)評(píng)估大學(xué)生身體素質(zhì)的進(jìn)一步優(yōu)化應(yīng)用。

基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)理論

通過(guò)把神經(jīng)網(wǎng)絡(luò)和遺傳算法合理、科學(xué)的結(jié)合，既能夠利用神經(jīng)網(wǎng)絡(luò)較強(qiáng)的學(xué)習(xí)能力，又發(fā)揮了遺傳算法全局尋優(yōu)的搜索功能。首先利用遺傳算法得到權(quán)值的較優(yōu)初始取值，訓(xùn)練網(wǎng)絡(luò)避免了局部極小，利用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練次數(shù)和最終權(quán)值也相對(duì)穩(wěn)定，訓(xùn)練速度明顯加快，從而既節(jié)約了時(shí)間，又提高了預(yù)測(cè)結(jié)果的準(zhǔn)確性。

1.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則采用最速下降法，利用遺傳算法根據(jù)訓(xùn)練目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行迭代，找到最佳初始網(wǎng)絡(luò)權(quán)值。通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)權(quán)值，使網(wǎng)絡(luò)誤差平方和最小，該系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。先對(duì)大學(xué)生身體素質(zhì)的評(píng)估指標(biāo)進(jìn)行分類，抽取大學(xué)生身體素質(zhì)的特征指標(biāo)，并作為輸入信息送入由輸入層、中間層和輸出層組成的三層網(wǎng)絡(luò)模型進(jìn)行評(píng)估。經(jīng)過(guò)測(cè)試的網(wǎng)絡(luò)，成為穩(wěn)定的模式評(píng)估器，即可輸出評(píng)估結(jié)果[3，4]。

該模型的輸入層節(jié)點(diǎn)數(shù)為n，即大學(xué)生身體素質(zhì)評(píng)價(jià)指標(biāo)數(shù)，中間層節(jié)點(diǎn)數(shù)為 ，輸出層節(jié)點(diǎn)數(shù)為1，即身體素質(zhì)評(píng)估結(jié)果值，ωij和ωj為BP神經(jīng)網(wǎng)絡(luò)權(quán)值，初始化隱含層閾值為ɑ，輸出層閾值為b，由此可給定學(xué)習(xí)速率和神經(jīng)元激勵(lì)函數(shù)。從圖1可發(fā)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)可以看成一個(gè)非線性函數(shù)，網(wǎng)絡(luò)輸入值和輸出值分別為該函數(shù)的自變量和因變量。當(dāng)輸入層節(jié)點(diǎn)數(shù)為n，輸出層節(jié)點(diǎn)數(shù)為1時(shí)，BP神經(jīng)網(wǎng)絡(luò)就表達(dá)了從n個(gè)自變量到1個(gè)因變量的函數(shù)映射關(guān)系。

2.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的核心是用遺傳算法來(lái)優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，使優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)能夠更好地預(yù)測(cè)函數(shù)輸出，計(jì)算流程如圖2所示。

1.背景資料

根據(jù)本校某班2011年大學(xué)生身體素質(zhì)測(cè)評(píng)成績(jī)，從中選取30名學(xué)生的測(cè)試結(jié)果作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和校驗(yàn)樣本。結(jié)合遺傳算法和BP神經(jīng)網(wǎng)絡(luò)算法，在大型數(shù)學(xué)計(jì)算軟件MATLAB中編程實(shí)現(xiàn)基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)大學(xué)生身體素質(zhì)評(píng)估[4]。

2.計(jì)算結(jié)果與分析

遺傳算法優(yōu)化過(guò)程中最優(yōu)個(gè)體的適應(yīng)度變化（如圖3）。把最優(yōu)初始權(quán)值、閾值賦給神經(jīng)網(wǎng)絡(luò)，用訓(xùn)練數(shù)據(jù)訓(xùn)練100次后，得到基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值。為了對(duì)比分析，也進(jìn)行了BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)分析（如圖4）。

從圖4可看出，采用BP神經(jīng)網(wǎng)絡(luò)及遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)兩種算法得到的預(yù)測(cè)結(jié)果，與專家判斷（實(shí)際值）基本一致。但基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)較BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度高。特別在輸入節(jié)點(diǎn)，即評(píng)價(jià)大學(xué)生身體素質(zhì)的指標(biāo)較多時(shí)，基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果要好一些。

結(jié) 論

1.本文提出了基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)大學(xué)生身體素質(zhì)評(píng)價(jià)算法，并建立了相應(yīng)的網(wǎng)絡(luò)模型。

2.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)算法不但具有神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近能力，而且應(yīng)用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的權(quán)值、閾值，可使優(yōu)化后的神經(jīng)網(wǎng)絡(luò)避免訓(xùn)練時(shí)間長(zhǎng)、易陷入局部極值的缺點(diǎn)。

3.結(jié)合實(shí)例，將基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)大學(xué)生身體素質(zhì)評(píng)價(jià)算法，應(yīng)用于本校學(xué)生身體素質(zhì)評(píng)估。結(jié)果表明，該算法較BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度及效率高，可作為今后大學(xué)生身體素質(zhì)評(píng)價(jià)的一種新方法。

參考文獻(xiàn)：

[1]范正森，張明如，周瑞琪.大學(xué)生身體素質(zhì)綜合評(píng)價(jià)數(shù)學(xué)模型[J].武漢工業(yè)大學(xué)學(xué)報(bào)，2001，4：92-94.

[2]陳海英，郭巧.短跑運(yùn)動(dòng)能力的神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)方法[J].北京理工大學(xué)學(xué)報(bào)，2003，1：54-57.

[3]陳剛，何政偉，楊斌，楊洋.遺傳BP神經(jīng)網(wǎng)絡(luò)在泥石流危險(xiǎn)性評(píng)價(jià)中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（3）.

第2篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

關(guān)鍵詞：矩陣式紅外熱電堆；RBF神經(jīng)網(wǎng)絡(luò)；慣性權(quán)重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人體入侵檢測(cè)方法有視頻監(jiān)測(cè)、超聲波、機(jī)電檢測(cè)、紅外檢測(cè)等，而它的準(zhǔn)確性和可靠性對(duì)人的生命財(cái)產(chǎn)安全起確定性的作用。本文采用的是Melexis（邁來(lái)芯）的一套矩陣式紅外熱電堆溫度采集裝置，其中傳感器MLX90621是一款采用16*4像素的紅外陣列傳感器，可以檢測(cè)出一副畫面中64個(gè)點(diǎn)的溫度，可以提供的視角范圍是，配合電機(jī)，它的檢測(cè)范圍可以達(dá)到，因此它每一幀可以測(cè)得的溫度數(shù)據(jù)有個(gè)。相比于傳統(tǒng)的檢測(cè)方法，雖然它的檢測(cè)像素低，但是在后面的算法計(jì)算中，它的計(jì)算量會(huì)降低，它的優(yōu)勢(shì)在于成本低、體積小易于隱蔽，而且不易受環(huán)境因素的影響，比如黑夜、電磁干擾等。在人體識(shí)別部分，本文采用的是改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)算法，RBF神經(jīng)網(wǎng)絡(luò)是一種采用局部接受域來(lái)執(zhí)行函數(shù)映射的人工神經(jīng)網(wǎng)絡(luò)[1]。而如何確定RBF神經(jīng)網(wǎng)絡(luò)的隱層基函數(shù)的個(gè)數(shù)、中心向量以及寬度是訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)的關(guān)鍵所在。假如設(shè)定的隱層基函數(shù)的個(gè)數(shù)偏多會(huì)造成訓(xùn)練和測(cè)試的時(shí)間加長(zhǎng)，不僅容易產(chǎn)生過(guò)擬合[2]，而且還會(huì)造成網(wǎng)絡(luò)的泛化能力下降。相反，設(shè)定偏少的話會(huì)造成神經(jīng)網(wǎng)絡(luò)的收斂誤差變大。一般采用K-mean聚類算法來(lái)確定徑向基函數(shù)的個(gè)數(shù)和中心向量，但其依賴初始中心的選擇，只能獲得局部最優(yōu)解[3]。

粒子群算法（PSO）是基于群體智能的優(yōu)化算法，通過(guò)粒子間的合作與競(jìng)爭(zhēng)的群體智能理論的優(yōu)化搜索，它可以記憶所有粒子都共享的迄今為止問(wèn)題的最優(yōu)解[4]。PSO的優(yōu)勢(shì)在于簡(jiǎn)單且易于實(shí)現(xiàn)。但基本PSO的缺點(diǎn)在于其參數(shù)是相對(duì)固定的，會(huì)導(dǎo)致在優(yōu)化某些函數(shù)時(shí)，造成精度差、收斂速度慢等。因此本文針對(duì)基本PSO的缺點(diǎn)，提出了結(jié)合慣性權(quán)重模型，將適應(yīng)度擇優(yōu)選取引入基本PSO算法的方法進(jìn)行改進(jìn)。RBF神經(jīng)網(wǎng)絡(luò)首先采用最近鄰聚類算法來(lái)確定隱層基函數(shù)的個(gè)數(shù)，中心向量即為聚類的的均值。同時(shí)將改進(jìn)的粒子群優(yōu)化算法來(lái)優(yōu)化最近鄰聚類算法的聚類半徑，從而確定出RBF神經(jīng)網(wǎng)絡(luò)最優(yōu)的隱層基函數(shù)和中心向量，使其不用依靠初始中心的選擇，減少了現(xiàn)有算法中人為因素的影響，從而有效地提高了RBF神經(jīng)網(wǎng)絡(luò)的精度和收斂速度。獨(dú)立訓(xùn)練特定的RBF網(wǎng)絡(luò)并合成其預(yù)測(cè)結(jié)果，可以有效得提高神經(jīng)網(wǎng)絡(luò)表達(dá)對(duì)象的準(zhǔn)確性[5，6]。將改進(jìn)PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用于人體入侵檢測(cè)識(shí)別中，通過(guò)實(shí)測(cè)數(shù)據(jù)驗(yàn)證，準(zhǔn)確率相對(duì)基本RBF神經(jīng)網(wǎng)絡(luò)有了顯著的提高。

2 RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

2.1 RBF基本原理

RBF 神經(jīng)網(wǎng)絡(luò)，即徑向基神經(jīng)網(wǎng)絡(luò)，是前饋神經(jīng)網(wǎng)絡(luò)的一種，具有三層結(jié)構(gòu)，如圖 1 所示。它的基本思想是用RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接（即不需要通過(guò)權(quán)鏈接）映射到隱空間，當(dāng)RBF神經(jīng)網(wǎng)絡(luò)的中心確定之后，映射關(guān)系也就隨之確定了。隱含層的作用是把向量從低維映射到高維，這樣低維線性不可分的情況到高維就線性可分了，隱含層空間到輸出空間的映射關(guān)系是線性的。

（1）假設(shè)已經(jīng)有個(gè)聚類中心，分別為：，分別計(jì)算與它們之間的距離，。

（2），即到中心的歐式距離最小。

（3）比較與的大小，如果，則就會(huì)被設(shè)定為一個(gè)新的聚類中心，如果，則按照更新，。

（4）重新選取下一個(gè)輸入的樣本數(shù)據(jù)，返回1）。

（5）所有的輸入數(shù)據(jù)取完則結(jié)束。

從上面的算法步驟來(lái)看，可以得出，隱層基函數(shù)的中心的確定，最主要的因素是聚類半徑，若過(guò)大，會(huì)造成基函數(shù)的中心個(gè)數(shù)較少的情況，從而導(dǎo)致網(wǎng)絡(luò)的收斂誤差偏大，反之則會(huì)造成基函數(shù)的中心個(gè)數(shù)較多的情況，從而導(dǎo)致網(wǎng)絡(luò)的泛化能力下降。因此本文在最近鄰聚類算法中選取合適的聚類半徑時(shí)，采用改進(jìn)的粒子群算法，最后可以確定出最優(yōu)的RBF神經(jīng)網(wǎng)絡(luò)的隱層基函數(shù)的中心向量。

3 粒子群優(yōu)化算法

3.1 基本粒子群優(yōu)化算法

粒子群優(yōu)化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一種通過(guò)模仿鳥(niǎo)類群體捕食行為研究的群體智能算法[7]。粒子群優(yōu)化算法的基本思想是通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解[8]。它的優(yōu)勢(shì)在于簡(jiǎn)單容易實(shí)現(xiàn)并且沒(méi)有許多參數(shù)的調(diào)節(jié)[9]，目前已被廣泛應(yīng)用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、模糊系統(tǒng)控制以及其他遺傳算法的應(yīng)用領(lǐng)域。在由 m 個(gè)粒子組成的粒子群中，每個(gè)搜索空間中的潛在的解由粒子的位置來(lái)確定，新的個(gè)體在取值時(shí)主要由粒子的當(dāng)前速度、粒子群中的最優(yōu)個(gè)體以及當(dāng)前粒子的歷史最優(yōu)解3個(gè)因素來(lái)決定，其中粒子的當(dāng)前速度控制著搜索的步長(zhǎng)，算法的全局以及全局搜索能力由其決定，對(duì)PSO的收斂速度和質(zhì)量有著重要的影響；后兩者則主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根據(jù)如下三條原則來(lái)更新自身狀態(tài)：（1）保持自身慣性；（2）按自身的最優(yōu)位置來(lái)改變狀；（3）按群體的最優(yōu)位置來(lái)改變狀態(tài)。

算法描述：在一個(gè) n維的搜索空間中，是由m個(gè)粒子組成的粒子群，其中，為第個(gè)粒子的位置為，為速度。其中，為個(gè)體極值，為種群的全局極值。接下去粒子會(huì)根據(jù)公式（6）不斷更新自己的速度，根據(jù)公式（7）不斷更新自己的位置。

3.2 慣性權(quán)重因子的引入及其改進(jìn)

為改善粒子群算法的搜索性能，以及基本PSO參數(shù)固定優(yōu)化某些函數(shù)時(shí)精度較差的問(wèn)題，Shi和Eberhart對(duì)基本PSO算法進(jìn)行了改進(jìn)，在粒子的速度進(jìn)化方程中引入慣性權(quán)重[11]。一般地，較大的權(quán)重有利于提高算法的全局開(kāi)發(fā)能力，而較小的權(quán)重則能增強(qiáng)算法的局部搜索能力[12]。因此慣性權(quán)重因子對(duì)當(dāng)前速度的大小起決定性因素，提升PSO性能的關(guān)鍵一環(huán)是慣性權(quán)重因子和調(diào)整策略的合理設(shè)置[13，14]。將代入公式（6）可得：

上式中，和分別代表第個(gè)粒子和最優(yōu)粒子在第次迭代時(shí)相應(yīng)的函數(shù)值。的計(jì)算是用來(lái)判斷目標(biāo)函數(shù)的平整度[16]。由圖2可以看出，在迭代時(shí)變化越明顯，表明目標(biāo)函數(shù)越不平整，相反則表示越平整。通過(guò)跟隨的變化而變化，以此來(lái)實(shí)現(xiàn)的動(dòng)態(tài)變化。

4 基于改進(jìn)PSO算法的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練

前面提到RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)個(gè)數(shù)和中心向量難以獲取最優(yōu)的缺點(diǎn)，本文將改進(jìn)PSO算法應(yīng)用到RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)中，有效地提高了RBF神經(jīng)網(wǎng)絡(luò)的精度和收斂速度，大大地增強(qiáng)了網(wǎng)絡(luò)的泛化能力。粒子群算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程如圖3所示。具體的優(yōu)化步驟如下：

1）首先對(duì)樣本進(jìn)行歸一化處理。

2）初始化。由參數(shù)，，組成粒子群，然后隨機(jī)賦上初始值，并根據(jù)這些S機(jī)值來(lái)初始化粒子群的位置和速度。

3）計(jì)算適應(yīng)度值。根據(jù)得到的RBF神經(jīng)網(wǎng)絡(luò)輸入輸出值，應(yīng)用公式：

來(lái)計(jì)算粒子群的適應(yīng)度值，以此來(lái)確定和。其中和分別為訓(xùn)練樣本數(shù)和輸出神經(jīng)元個(gè)數(shù)，、分別為第個(gè)樣本的第個(gè)分量的輸出值和期望輸出值。

4）根據(jù)公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判斷優(yōu)化目標(biāo)是否滿足終止條件，若滿足，則結(jié)束算法；否則返回到（3）。

5 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

本文在對(duì)上述改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)算法進(jìn)行尋優(yōu)測(cè)試后發(fā)現(xiàn)，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)算法在尋找最優(yōu)值時(shí)，收斂速度和精度上都優(yōu)于基本RBF神經(jīng)網(wǎng)絡(luò)算法，且大大提高了網(wǎng)絡(luò)的泛化能力。然后將改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)運(yùn)用到實(shí)際的人體識(shí)別檢測(cè)中來(lái)進(jìn)行驗(yàn)證。在實(shí)驗(yàn)中，通過(guò)MLX90621紅外陣列傳感器配合電機(jī)采集一個(gè)空間在不同情況下的溫度數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，每一幀有16X36個(gè)溫度數(shù)據(jù)，共測(cè)得297組數(shù)據(jù)用于訓(xùn)練。下面附上其中一張實(shí)測(cè)數(shù)據(jù)結(jié)果驗(yàn)證圖（見(jiàn)圖4）：

圖中坐標(biāo)軸中顯示的溫度數(shù)據(jù)就是實(shí)測(cè)的空間溫度數(shù)據(jù)，綠色區(qū)域?yàn)闊嵩锤蓴_物，紅色區(qū)域?yàn)槟繕?biāo)。根據(jù)采集獲得的溫度數(shù)據(jù)將其分為最高溫度、最低溫度、平均溫度三類，在正常情況下，由于人體的正常溫度存在一個(gè)絕對(duì)范圍，因此結(jié)合這個(gè)絕對(duì)范圍并將分割處理后的圖像一起作為訓(xùn)練的特征值對(duì)改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了對(duì)人體目標(biāo)的檢測(cè)，然后利用訓(xùn)練好的RBF神經(jīng)網(wǎng)絡(luò)直接對(duì)新的溫度數(shù)據(jù)進(jìn)行分類，檢測(cè)并判斷每一幀是否有人。

下面分別采集無(wú)人無(wú)干擾和無(wú)人有熱源干擾的兩種情況下的空間溫度數(shù)據(jù)，用這兩組數(shù)據(jù)作為訓(xùn)練樣本對(duì)基本RBF神經(jīng)網(wǎng)絡(luò)和改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如表1所示：

從訓(xùn)練結(jié)果來(lái)看，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練效果有了很大的提高，無(wú)論在無(wú)人無(wú)干擾還是無(wú)人有熱源干擾的數(shù)據(jù)中，測(cè)得的無(wú)人的準(zhǔn)確率都高于基本RBF神經(jīng)網(wǎng)絡(luò)。最后用測(cè)得的有人有熱源干擾的空間溫度數(shù)據(jù)用來(lái)進(jìn)行結(jié)果驗(yàn)證，驗(yàn)證結(jié)果如表2所示：

重新在一個(gè)空間中測(cè)得99組有人有干擾的溫度數(shù)進(jìn)行結(jié)果驗(yàn)證，在基本PSO的基礎(chǔ)上引入慣性權(quán)重因子，對(duì)基本RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果有明顯的提升，改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)算法測(cè)得有人的準(zhǔn)確率明顯高于基本RBF神經(jīng)網(wǎng)絡(luò)。

6 結(jié)論

對(duì)人體識(shí)別算法進(jìn)行了研究，最終確定使用RBF神經(jīng)網(wǎng)絡(luò)作為研究對(duì)象，并使用最近鄰聚類算法來(lái)確定RBF神經(jīng)網(wǎng)絡(luò)的中心向量，成功地消除了操作時(shí)人為因素的參與。本文通過(guò)引入動(dòng)態(tài)慣性權(quán)重因子對(duì)基本PSO算法進(jìn)行改進(jìn)，將改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)與基本RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，對(duì)比訓(xùn)練的過(guò)程及結(jié)果可以得出，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)在訓(xùn)練效果上有了很大的提升，精度、收斂速度以及穩(wěn)定性都優(yōu)于基本RBF神經(jīng)網(wǎng)絡(luò)。最后將改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用到人體入侵檢測(cè)識(shí)別中，經(jīng)過(guò)實(shí)測(cè)數(shù)據(jù)驗(yàn)證，雖然改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)在排除干擾的問(wèn)題上提升不是非常明顯，但是識(shí)別的準(zhǔn)確率有了很大的提高，說(shuō)明改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)更加適用于低精度且計(jì)算量少的人體入侵檢測(cè)識(shí)別中。

參考文獻(xiàn)：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一種改進(jìn)PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的新方法[J]計(jì)算機(jī)仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，張亞庭.基于APSO優(yōu)化算法的 GCHP 系統(tǒng)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)控制[J].計(jì)算機(jī)測(cè)量與控制，2014，22（01）：106-108.

[6]譚子平.基于白適應(yīng)權(quán)值神經(jīng)網(wǎng)絡(luò)的 PID 參數(shù)優(yōu)化[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014，17（07）：97-98.

[7]皮倩瑛，葉洪濤.一種動(dòng)態(tài)調(diào)節(jié)慣性權(quán)重的粒子群算法[J].廣西科技大學(xué)學(xué)報(bào)，2016，27（03）：26-31.

[8]胡珀，婁淵勝.改進(jìn)粒子群優(yōu)化算法在服務(wù)組合中的應(yīng)用[J].計(jì)算機(jī)工程，2011，37（17）：130-133.

[9]任圓圓，劉培玉，薛素芝.一種新的自適應(yīng)動(dòng)態(tài)文化粒子群優(yōu)化算法[J]. 計(jì)算機(jī)應(yīng)用研究，2013（30）11：3240-3243.

[10]于海鵬，翟紅生.基于混合策略的自適應(yīng)粒子群優(yōu)化算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]羅金炎.粒子群優(yōu)化算法慣性權(quán)重的一種動(dòng)態(tài)調(diào)整策略[J]沈陽(yáng)化工大大學(xué)學(xué)報(bào)，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群與模糊聚類在圖像分割中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（02）：194-196.

[15]田雨波.混合神經(jīng)網(wǎng)絡(luò)技術(shù)[M].北京：科學(xué)出版社，2009.

第3篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

【關(guān)鍵詞】雙目視覺(jué);神經(jīng)網(wǎng)絡(luò);攝像機(jī)標(biāo)定

1.引言

雙目測(cè)距技術(shù)在非接觸式測(cè)量，機(jī)器人視覺(jué)等領(lǐng)域都有廣泛引用。本文研究的是被動(dòng)式遠(yuǎn)距離目標(biāo)的距離測(cè)量系統(tǒng)中系統(tǒng)的標(biāo)定技術(shù)研究，雙目測(cè)距系統(tǒng)標(biāo)定方法研究對(duì)計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展有重要意義。攝像機(jī)標(biāo)定的目的在于確定攝像機(jī)的位置，以確定物體在空間坐標(biāo)系與成像平面之間相應(yīng)的位置關(guān)系。

這些位置關(guān)系以及攝像機(jī)光學(xué)和幾何參數(shù)在一些場(chǎng)所并不需要一一解出，而只需要構(gòu)建二維成像平面上像點(diǎn)坐標(biāo)與三維空間坐標(biāo)投影點(diǎn)之間的一種映射關(guān)系。而神經(jīng)網(wǎng)絡(luò)有非常強(qiáng)的非線性映射能功能，因此我們可以通過(guò)采用神經(jīng)網(wǎng)絡(luò)對(duì)攝像機(jī)進(jìn)行標(biāo)定。

2.基于神經(jīng)網(wǎng)絡(luò)的攝像機(jī)的標(biāo)定方法

2.1 神經(jīng)網(wǎng)絡(luò)、雙目視覺(jué)神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定

人工神經(jīng)網(wǎng)絡(luò)也稱神經(jīng)網(wǎng)絡(luò)，是一門新興技術(shù)，用以處理一些難以用標(biāo)準(zhǔn)數(shù)學(xué)模型描述的系統(tǒng)，模擬人類大腦的一些機(jī)理，實(shí)現(xiàn)某些特定功能。它具有很強(qiáng)的自學(xué)習(xí)及自適應(yīng)能力，而其中可自由設(shè)定隱層節(jié)點(diǎn)的多層前饋神經(jīng)網(wǎng)絡(luò)，可以完成任意精度近似任意連續(xù)函數(shù)[1，2]。

由于網(wǎng)絡(luò)由相連的非線性單元組成，因此就具有了學(xué)習(xí)非線性過(guò)程的能力。與攝像機(jī)標(biāo)定工作機(jī)制相似，神經(jīng)網(wǎng)絡(luò)可以從一些已知數(shù)據(jù)通過(guò)計(jì)算得到未知參數(shù)。而神經(jīng)網(wǎng)絡(luò)標(biāo)定的畸變模型有任意性，可以避免傳統(tǒng)標(biāo)定方法非線性標(biāo)定可能無(wú)解、標(biāo)定精度低等多種問(wèn)題。本文通過(guò)運(yùn)用神經(jīng)網(wǎng)絡(luò)學(xué)維平面圖像像點(diǎn)與三維空間物點(diǎn)坐標(biāo)之間的關(guān)系，提出了改進(jìn)神經(jīng)網(wǎng)絡(luò)雙目攝像機(jī)的標(biāo)定方法。

本文雙目視覺(jué)神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定具有的優(yōu)點(diǎn)是不用假設(shè)初始值，也不用建立精確的標(biāo)定模型，只要輸入三維空間中物體在兩個(gè)圖像上的像點(diǎn)坐標(biāo)，神經(jīng)網(wǎng)絡(luò)便可輸出物體在的三維空間的世界坐標(biāo)。進(jìn)行多次的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、訓(xùn)練，最后可得到相對(duì)理想的輸入、輸出非線性映射關(guān)系。

2.2 改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)（Radial Basis Function， RBF）神經(jīng)網(wǎng)絡(luò)是一種三層前向神經(jīng)網(wǎng)絡(luò)，它結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練簡(jiǎn)潔，學(xué)習(xí)收斂速度快，能夠以任意精度逼近任意連續(xù)函數(shù)，廣泛應(yīng)用于眾多領(lǐng)域[3，4]。RBF網(wǎng)絡(luò)模擬了人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種局部逼近網(wǎng)絡(luò)。并且RBF神經(jīng)網(wǎng)絡(luò)在逼近能力、分類能力及學(xué)習(xí)速度等多方面都優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，

遺傳算法是模擬生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過(guò)程的計(jì)算模型，是一種通過(guò)模擬生物在自然進(jìn)化過(guò)程中形成的一種自適應(yīng)全局優(yōu)化搜索最優(yōu)解的方法[5]。

本文提出了一種基于改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)的攝像機(jī)標(biāo)定方法，引入了遺傳算法，優(yōu)化了徑向基函數(shù)網(wǎng)絡(luò)的學(xué)習(xí)算法。

2.2.1 RBF網(wǎng)絡(luò)的結(jié)構(gòu)

RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，三層分別是輸入層，隱藏層和輸出層。輸入層由信號(hào)源節(jié)點(diǎn)組成;輸出層是對(duì)輸入作出響應(yīng);隱藏層中節(jié)點(diǎn)數(shù)由需要而定，其中的徑向基函數(shù)是局部響應(yīng)函數(shù)。

從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間是線性的。RBF網(wǎng)絡(luò)是局部逼近網(wǎng)絡(luò)，三層組成（m個(gè)輸入、h個(gè)隱節(jié)點(diǎn)、n個(gè)輸出），常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為：

（1）

式中：是歐式范數(shù);X是輸入樣本，;是高斯函數(shù)的中心，也是網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的中心;為高斯函數(shù)的方差;i是隱含層節(jié)點(diǎn)數(shù)。

RBF網(wǎng)絡(luò)的結(jié)構(gòu)輸出為：

（2）

式中：wij是隱含層到輸出層的連接權(quán)值;yj是第j個(gè)輸出節(jié)點(diǎn)的實(shí)際輸出。

假設(shè)d是樣本的期望輸出值，則基函數(shù)的方差為：

（3）

式中：P是樣本總數(shù)。

RBF網(wǎng)絡(luò)學(xué)習(xí)方法求解需要的參數(shù)：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。RBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和。本文采用的是自組織選取中心法。

2.2.2 優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)

本文加入遺傳算法用以優(yōu)化已有的神經(jīng)網(wǎng)絡(luò)，用全局搜索找到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，確定較理想非線性映射關(guān)系，進(jìn)而達(dá)到雙目視覺(jué)的標(biāo)定。采用實(shí)數(shù)編碼、最佳保留（elitist model）選擇機(jī)制，交叉概率采用自適應(yīng)方式，再對(duì)數(shù)據(jù)做歸一化處理。

2.3 整體算法步驟

用遺傳算法對(duì)神經(jīng)網(wǎng)路的參數(shù)進(jìn)行優(yōu)化，得到權(quán)值與偏差值范圍。再用RBF網(wǎng)絡(luò)在局部搜索得出最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)標(biāo)定系統(tǒng)。

1）將多組對(duì)應(yīng)的雙目視覺(jué)系統(tǒng)圖像像點(diǎn)坐標(biāo)作為輸入的訓(xùn)練樣本，組成群體;

2）采用梯度下降法學(xué)習(xí)樣本網(wǎng)絡(luò)個(gè)體基函數(shù)的中心、方差;

3）采用最小二乘法學(xué)習(xí)隱含層到輸出層的線性權(quán)值;

4）采用遺傳算法優(yōu)化隱含層中節(jié)點(diǎn)數(shù);

5）通過(guò)循環(huán)交替學(xué)習(xí)、訓(xùn)練，得到相對(duì)理想的RBF網(wǎng)絡(luò)標(biāo)定系統(tǒng)。

3.實(shí)驗(yàn)說(shuō)明

分別采用線性標(biāo)定、標(biāo)準(zhǔn)BP網(wǎng)絡(luò)、和改進(jìn)的RBF網(wǎng)絡(luò)做雙目視覺(jué)標(biāo)定，后兩種做非線性函數(shù)逼近，對(duì)測(cè)試結(jié)果進(jìn)行比較。得出結(jié)果：較其他兩種，改進(jìn)的RBF網(wǎng)絡(luò)測(cè)試誤差最小。

表1 測(cè)試結(jié)果比較

隱節(jié)點(diǎn)數(shù) 訓(xùn)練誤差 測(cè)試誤差

線性標(biāo)定 * * 0.2945

標(biāo)準(zhǔn)BP 26 0.0935 0.0356

改進(jìn)RBF 13 0.0576 0.0123

4.結(jié)論

在不考慮鏡像畸變及環(huán)境等因素的形象下，將基于改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于雙目視覺(jué)攝像機(jī)標(biāo)定方法中，提高了測(cè)量精度，減少了因傳統(tǒng)標(biāo)定方法建立的模型不完善而帶來(lái)的誤差，為雙目視覺(jué)測(cè)量應(yīng)用于精密測(cè)量提供了一種新的有效方法。標(biāo)定后的測(cè)量系統(tǒng)在雙目視覺(jué)空間具有很高的測(cè)量精度。

參考文獻(xiàn)

[1]閻平凡，張長(zhǎng)水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算[M].清華大學(xué)出版社，2000：410-420.

[2]錢光耀，楊入超，趙光興.基于人工神經(jīng)網(wǎng)絡(luò)的壓力傳感器三維數(shù)據(jù)融合[J].傳感器與微系統(tǒng)，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]楊耀華，李昕，江芳澤.基于OLS算法的RBF神經(jīng)網(wǎng)絡(luò)高速公路事件探測(cè)[J].系統(tǒng)仿真學(xué)報(bào)，2003，15（5）：709-712.

第4篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

關(guān)鍵詞：遺傳算法 神經(jīng)網(wǎng)絡(luò) 瓦斯突出 預(yù)測(cè)

中圖分類號(hào)：TD712 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）01（a）-0000-00

預(yù)測(cè)煤層中的瓦斯含量是進(jìn)行煤與瓦斯突出風(fēng)險(xiǎn)研究的重要一環(huán)，由于影響瓦斯含量的地質(zhì)因素復(fù)雜多樣，以及各因素間存在著復(fù)雜的非線性關(guān)系，迄今為止，對(duì)瓦斯突出的預(yù)測(cè)主要使用回歸分析方法，預(yù)測(cè)的結(jié)果往往跟實(shí)際的情況差別較大，因此需要使用新的方法建立預(yù)測(cè)模型來(lái)實(shí)現(xiàn)對(duì)瓦斯突出高精度的預(yù)測(cè)。

1 利用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)建立瓦斯突出預(yù)測(cè)模型

（1）網(wǎng)絡(luò)輸入?yún)?shù)的確定：經(jīng)查閱相關(guān)文獻(xiàn)和咨詢得知瓦斯突出的主要影響因素有：煤層底板標(biāo)高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計(jì)單元中有無(wú)斷層、基巖厚度、煤厚。

（2）網(wǎng)絡(luò)輸出參數(shù)的確定：選擇二進(jìn)制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡(luò)的構(gòu)造： 一般地可以用一個(gè)三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)預(yù)測(cè)功能，此神經(jīng)網(wǎng)絡(luò)的輸入層有n個(gè)神經(jīng)元，根據(jù)經(jīng)驗(yàn)公式選取隱含層有（2n+1）個(gè)神經(jīng)元，輸出層有m個(gè)神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡(luò)可以采用3層神經(jīng)網(wǎng)絡(luò)。

（4）網(wǎng)絡(luò)的訓(xùn)練：訓(xùn)練樣本取自唐山開(kāi)灤多個(gè)礦井具有代表性的10個(gè)突出點(diǎn)，利用突出點(diǎn)的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到預(yù)測(cè)模型。

（5）網(wǎng)絡(luò)的精確度驗(yàn)證： 利用已完成的人工神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)際問(wèn)題進(jìn)行試驗(yàn)研究。把在開(kāi)灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標(biāo)輸入已經(jīng)訓(xùn)練的網(wǎng)絡(luò)中，驗(yàn)證人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與實(shí)際突出情況的吻合度，如果吻合度低，就需要對(duì)網(wǎng)絡(luò)進(jìn)行改動(dòng)，直至達(dá)到滿意的吻合度。

（6）利用遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化

個(gè)體的編碼：將神經(jīng)網(wǎng)絡(luò)各層之間可能存在的連接權(quán)值和閾值編碼成實(shí)數(shù)碼串或者進(jìn)行二進(jìn)制碼串，每條碼串中包含著網(wǎng)絡(luò)中的所有權(quán)值、閾值其排列順序可以隨意定義，不受限制，組成一個(gè)染色體。

產(chǎn)生初始種群：隨機(jī)生成一定數(shù)量的碼串個(gè)體作為一個(gè)初始種群。

計(jì)算適應(yīng)度：設(shè)網(wǎng)絡(luò)有K個(gè)訓(xùn)練樣本，讓所有的訓(xùn)練樣本依次通過(guò)解碼后生成的神經(jīng)網(wǎng)絡(luò)，計(jì)算所有訓(xùn)練樣本一次通過(guò)的平均總誤差作為每條染色體的適應(yīng)度， 其中， 為瓦斯含量的實(shí)測(cè)值， 為網(wǎng)絡(luò)的輸出值。

④將網(wǎng)絡(luò)的所有連接權(quán)值和閾值進(jìn)行實(shí)數(shù)編碼，構(gòu)成一個(gè)染色體，每條染色體代表一個(gè)神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值。設(shè)定初始種群規(guī)模為20，進(jìn)化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運(yùn)行到158代時(shí)獲得最佳的連接權(quán)值，網(wǎng)絡(luò)平均總誤差為0.001。

2 實(shí)例分析及算例求解

選取唐山開(kāi)灤煤礦為例，對(duì)該地進(jìn)行瓦斯含量預(yù)測(cè)研究。對(duì)影響瓦斯含量的主要因素進(jìn)行分析，歸納確定了神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個(gè)數(shù)為7，對(duì)應(yīng)為7個(gè)輸入變量即7個(gè)影響瓦斯含量的因素。其中對(duì)輸入變量中的頂板砂巖比、統(tǒng)計(jì)單元中有無(wú)斷層、頂板基巖厚度、煤層厚度四個(gè)影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個(gè)數(shù)是1。在開(kāi)灤集團(tuán)獲得的相關(guān)數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡(luò)訓(xùn)練樣本，11～20作為網(wǎng)絡(luò)檢驗(yàn)樣本，用來(lái)檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)精度。

利用前10組數(shù)分別訓(xùn)練自適應(yīng)的BP神經(jīng)網(wǎng)絡(luò)和與遺傳算法結(jié)合改進(jìn)的網(wǎng)絡(luò)得到瓦斯突出預(yù)測(cè)模型，如圖1和2所示。然后利用11～20組的樣本對(duì)網(wǎng)絡(luò)性能進(jìn)行檢驗(yàn)，并將檢驗(yàn)結(jié)果和實(shí)測(cè)值的數(shù)據(jù)進(jìn)行對(duì)比，對(duì)比后的結(jié)果如表3所示。 由圖1、2可知用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)收斂速度更快，由表3可知用遺傳算法改進(jìn)后的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的值跟實(shí)際的值更加的逼近即預(yù)測(cè)精度高。

3 結(jié)論

本文采用遺傳算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，通過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，使得預(yù)測(cè)的絕對(duì)誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預(yù)測(cè)的精度，加快了收斂速度。對(duì)煤礦安全發(fā)展具有一定的意義。

參考文獻(xiàn)

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應(yīng)用研究[J]，軟件導(dǎo)刊，2009

[2]梁芳.遺傳算法的改進(jìn)及其應(yīng)用[D].武漢理工大學(xué)，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學(xué)，2013.

第5篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

[關(guān)鍵詞] 船舶供應(yīng)商 評(píng)價(jià)體系 遺傳算法 神經(jīng)網(wǎng)絡(luò)

選擇合適的供應(yīng)商直接關(guān)系到船舶企業(yè)降低成本、提高企業(yè)競(jìng)爭(zhēng)力?，F(xiàn)有的平價(jià)方法在確定指標(biāo)權(quán)重時(shí)存在主觀隨意性，評(píng)價(jià)結(jié)果缺乏客觀與公正。BP神經(jīng)網(wǎng)絡(luò)具有容錯(cuò)性、自適應(yīng)性等特點(diǎn)，解決了評(píng)價(jià)過(guò)程中指標(biāo)權(quán)重隨意性和人為因素。本文構(gòu)建了BP神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型，并針對(duì)BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺點(diǎn)，采用遺傳算法對(duì)構(gòu)建的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，從而構(gòu)建評(píng)價(jià)船舶供應(yīng)商遺傳神經(jīng)網(wǎng)絡(luò)模型。

一、船舶供應(yīng)商評(píng)價(jià)指標(biāo)體系的構(gòu)建

原材料供應(yīng)商和船舶配套企業(yè)的產(chǎn)品質(zhì)量性能以及管理水平等都會(huì)對(duì)船舶企業(yè)的正常運(yùn)行帶來(lái)重大影響，直接關(guān)系到企業(yè)的盈利能力。因此，構(gòu)建科學(xué)的合理的供應(yīng)商評(píng)價(jià)體系，是船舶制造企業(yè)綜合評(píng)價(jià)供應(yīng)商的依據(jù)。

周期長(zhǎng)、成本高等特點(diǎn)決定了船舶是一種特殊的產(chǎn)品，需要結(jié)合船舶自身的特點(diǎn)來(lái)構(gòu)建船舶供應(yīng)商評(píng)價(jià)指標(biāo)體系。綜合學(xué)者的研究成果與船舶公司實(shí)際狀況，本文認(rèn)為應(yīng)該從質(zhì)量、成本、交貨、柔性、財(cái)務(wù)與信譽(yù)狀況以及服務(wù)與管理水平6個(gè)方面構(gòu)建船舶供應(yīng)商的評(píng)價(jià)指標(biāo)體系。

二、基于遺傳神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型

1.BP神經(jīng)網(wǎng)絡(luò)在船舶供應(yīng)商評(píng)價(jià)中的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)模型是一個(gè)分層型網(wǎng)絡(luò)，具有輸入層、中間層和輸出層。供應(yīng)商評(píng)價(jià)指標(biāo)由輸入層到輸出層的傳遞是一個(gè)前向傳播的過(guò)程，若輸出結(jié)果與期望結(jié)果的誤差超過(guò)允許范圍，則誤差反向傳播，并根據(jù)各層誤差的大小來(lái)調(diào)節(jié)權(quán)值,尋找最佳權(quán)集，實(shí)現(xiàn)正確輸出?；贐P神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型結(jié)構(gòu)及學(xué)習(xí)原理如圖2所示。

2.基于遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型

BP算法是沿梯度下降(平方誤差函數(shù))來(lái)指導(dǎo)搜索的，學(xué)習(xí)過(guò)程收斂速度慢，易陷入局部極小點(diǎn)。而遺傳算法對(duì)于全局搜索具有較強(qiáng)的魯棒性和較高的效率，克服了BP網(wǎng)絡(luò)的局限性。將遺傳算法與BP網(wǎng)絡(luò)相結(jié)合,可以達(dá)到全局尋優(yōu)和快速高效的目的。

遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型的步驟是:（1)確定網(wǎng)絡(luò)參數(shù)；（2）設(shè)定的種群規(guī)模N，產(chǎn)生初始種群;（3)求N組網(wǎng)絡(luò)權(quán)系數(shù),得到具有相同結(jié)構(gòu)的N個(gè)網(wǎng)絡(luò);（4)求N組網(wǎng)絡(luò)權(quán)值對(duì)應(yīng)的N個(gè)網(wǎng)絡(luò)輸出;（5）網(wǎng)絡(luò)性能評(píng)價(jià);（6)若不滿足評(píng)價(jià)條件，由對(duì)染色體進(jìn)行遺傳選擇、變異和交叉操作，產(chǎn)生新的染色體，直到滿足評(píng)價(jià)函數(shù);（7)選擇一個(gè)最優(yōu)染色體作為網(wǎng)絡(luò)權(quán)重，進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和評(píng)價(jià)。其工作流程如圖3所示。

三、應(yīng)用仿真算例

以中船公司的25家供應(yīng)商數(shù)據(jù)為基礎(chǔ)，采用matlab7.0編程，建立三層遺傳神經(jīng)網(wǎng)絡(luò)模型。

將前15家供應(yīng)商作為訓(xùn)練集，訓(xùn)練該網(wǎng)絡(luò)；其余10家供應(yīng)商作為測(cè)試集，模擬待評(píng)價(jià)的對(duì)象。設(shè)置誤差精度為0.00001。首先用遺傳算法，經(jīng)過(guò)450次優(yōu)化，得到全局最優(yōu)的網(wǎng)絡(luò)權(quán)值。然后以前15家供應(yīng)商的二級(jí)評(píng)價(jià)指標(biāo)為樣本，經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)4700次訓(xùn)練，得出對(duì)應(yīng)的6個(gè)一級(jí)評(píng)價(jià)指標(biāo)的訓(xùn)練樣本;再以所得出的輸出值為樣本，經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)4450次訓(xùn)練,訓(xùn)練出最終的遺傳神經(jīng)網(wǎng)絡(luò)模型，并用于綜合評(píng)價(jià)工作。輸入后10家供應(yīng)商二級(jí)評(píng)價(jià)指標(biāo)值，得到其一級(jí)評(píng)價(jià)指標(biāo)的輸出值,以該輸出值為輸入，計(jì)算出10家供應(yīng)商的綜合評(píng)價(jià)結(jié)果。見(jiàn)表。

四、結(jié)束語(yǔ)

基于遺傳神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型借助BP神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性和自適應(yīng)自學(xué)習(xí)能力克服了傳統(tǒng)評(píng)價(jià)方法在指標(biāo)權(quán)重賦值時(shí)存在的主觀隨意性問(wèn)題，并用遺傳算法的優(yōu)化解決了BP存在的收斂速度慢的問(wèn)題，為評(píng)價(jià)船舶供應(yīng)商提供了一條新的途徑。

參考文獻(xiàn):

[1]金朝光 紀(jì)卓尚 林 焰:船舶企業(yè)選擇供應(yīng)商的策略研究[J]. 計(jì)算機(jī)集成制造系統(tǒng),2003,9(10):886～890

[2]馬士華 林 勇 陳志祥:供應(yīng)鏈管理[M].北京:機(jī)械工業(yè)出版,2004

第6篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

關(guān)鍵詞：LVQ神經(jīng)網(wǎng)絡(luò)；遺傳算法；故障診斷

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2013）03-0156-02

本文將故障診斷問(wèn)題看成一類特殊的分類問(wèn)題，利用LVQ神經(jīng)網(wǎng)絡(luò)的分類功能，建立齒輪箱故障診斷的神經(jīng)網(wǎng)絡(luò)模型。模型通過(guò)對(duì)一些典型的故障特征進(jìn)行訓(xùn)練學(xué)習(xí)后，用于齒輪箱的故障診斷。

一、LVQ神經(jīng)網(wǎng)絡(luò)原理

早在1990年，著名的神經(jīng)網(wǎng)絡(luò)專家Kohonen就提出了學(xué)習(xí)向量量化（Learning Vector Quantization，LVQ）算法。LVQ神經(jīng)網(wǎng)絡(luò)是用于模式分類是一種神經(jīng)網(wǎng)絡(luò)模型，允許對(duì)輸入分到哪一類進(jìn)行指定。LVQ算法對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)如下：①包含n個(gè)輸入神經(jīng)元，輸入向量為X=（x1，x2，…，xn），即樣本是n維的，X所對(duì)應(yīng)的類別為T；②每個(gè)輸出神經(jīng)元j都對(duì)應(yīng)一個(gè)權(quán)向量，Wj=（w1，w2，…，wn），記所有輸出神經(jīng)元構(gòu)成的集合為Ω；③Cj為輸出神經(jīng)元j所代表的類別，不同的輸出神經(jīng)元可以代表同一個(gè)類別。

下面介紹LVQ算法：①初始化權(quán)向量Wj，？坌j∈Ω，設(shè)初始學(xué)習(xí)率為α（0）；②從訓(xùn)練集中選取一輸入向量X，找出與X具有最小歐氏距離的Wk；其中k=arg■X-Wj；③按下列公式調(diào)整神經(jīng)元k的權(quán)值，如果T=Ck，即分類正確，則Wk（t+1）=Wk（t）+α（t）（X-Wk（t）），如果T≠Ck，即分類不正確，則Wk（t+1）=Wk（t）-α（t）（X-Wk（t））；④選擇下一個(gè)輸入向量，返回第二步，直到樣本集中所有的向量都提供一遍為止；⑤判斷停機(jī)條件是否滿足。若滿足，停機(jī)；若否，轉(zhuǎn)第二步。

二、遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡(luò)

LVQ神經(jīng)網(wǎng)絡(luò)具有很好的分類識(shí)別特性，能對(duì)任意輸入向量進(jìn)行分類，無(wú)論它們是否可分，但LVQ神經(jīng)網(wǎng)絡(luò)有兩個(gè)不足：（1）存在“死神經(jīng)元”，即未被充分利用的神經(jīng)元；（2）算法天然對(duì)初始權(quán)值敏感，即如果初值的選擇偏差太大就會(huì)影響聚類的結(jié)果，從而影響診斷結(jié)果。為了克服LVQ算法對(duì)初始權(quán)值的敏感性，本文采用遺傳算法對(duì)LVQ的初始權(quán)值進(jìn)行優(yōu)化，形成基于遺傳算法的LVQ神經(jīng)網(wǎng)絡(luò)。遺傳算法是模擬生物進(jìn)化過(guò)程中自然選擇和遺傳變異的一種隨機(jī)優(yōu)化算法，它只是要求被優(yōu)化的函數(shù)是可計(jì)算的，不要求目標(biāo)函數(shù)具有連續(xù)性和可微性，搜索能力不依賴于特定的求解模型，具有很強(qiáng)的全局搜索能力。目前遺傳算法已被廣泛應(yīng)用于各個(gè)領(lǐng)域，如自適應(yīng)控制、優(yōu)化組合、機(jī)器學(xué)習(xí)等。遺傳的操作步驟為：（1）種群初始化。由于染色體代表的是LVQ網(wǎng)絡(luò)的權(quán)值，故染色體采用實(shí)數(shù)編碼，假設(shè)訓(xùn)練樣本輸入向量的維數(shù)為n，則選擇n個(gè)0-1的隨機(jī)數(shù)作為初始網(wǎng)絡(luò)權(quán)值，并組成染色體，染色體的長(zhǎng)度為m×n，m為輸出神經(jīng)元的個(gè)數(shù)，重復(fù)上述過(guò)程，得到S個(gè)染色體。（2）計(jì)算每一條染色體的適應(yīng)度。在本算法中，記適應(yīng)度最小的染色體為Wmin，Wmin為一個(gè)好的初始權(quán)值。因?yàn)長(zhǎng)VQ算法是有導(dǎo)師的學(xué)習(xí)，所以，本文將適應(yīng)度函數(shù)定義為：fitness=■■■（yi（k）-ti（k））■。其中，r為輸出層節(jié)點(diǎn)數(shù)，q為樣本個(gè)數(shù)。（3）交叉操作。將染色體群體中的個(gè)體隨機(jī)兩兩配對(duì)，采用雙點(diǎn)交叉算子進(jìn)行交叉操作，產(chǎn)生新一代群體。（4）變異操作。變異操作是遺傳算法種群多樣化的保證。在該算法中，由于染色體對(duì)應(yīng)于LVQ神經(jīng)網(wǎng)絡(luò)的權(quán)值，因此采用位置變異算子，以較小的變異率對(duì)新一代種群進(jìn)行變異操作?；谶z傳算法和LVQ神經(jīng)網(wǎng)絡(luò)的故障檢測(cè)算法如下：（1）產(chǎn)生初始種群，并指定最大運(yùn)行代數(shù)。（2）建立網(wǎng)絡(luò)，并用種群中的個(gè)體對(duì)網(wǎng)絡(luò)的權(quán)值進(jìn)行初始化。（3）用訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并仿真。（4）計(jì)算當(dāng)前群體的適應(yīng)度值。（5）染色體進(jìn)行選擇、交叉和變異。（6）選擇最優(yōu)的染色體，得到網(wǎng)絡(luò)權(quán)值。（7）用測(cè)試集，測(cè)試遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡(luò)的性能。

三、實(shí)驗(yàn)與討論

本實(shí)驗(yàn)分別用LVQ神經(jīng)網(wǎng)絡(luò)和遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡(luò)對(duì)相同的訓(xùn)練集進(jìn)行學(xué)習(xí)訓(xùn)練，再用測(cè)試集分別測(cè)試學(xué)習(xí)好的網(wǎng)絡(luò)的性能。訓(xùn)練集是通過(guò)安裝在箱體8個(gè)敏感點(diǎn)的壓電加速度傳感器拾取各測(cè)試點(diǎn)的振動(dòng)信號(hào)，經(jīng)數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)處理系統(tǒng)處理后的12組數(shù)據(jù)，測(cè)試集為3組數(shù)據(jù)。齒輪的三種故障模式為：無(wú)故障1；齒根裂紋2；斷齒3。實(shí)驗(yàn)過(guò)程中，兩個(gè)網(wǎng)絡(luò)都是三層網(wǎng)絡(luò)結(jié)構(gòu)，隱層都含有5個(gè)神經(jīng)元?；谶z傳算法的LVQ神經(jīng)網(wǎng)絡(luò)利用遺傳算法優(yōu)化了輸入層到隱層的權(quán)值。

Figure 1 訓(xùn)練集數(shù)據(jù)

Figure 2 訓(xùn)練集所屬的類別

Figure 3 測(cè)試集數(shù)據(jù)

Figure 4 測(cè)試集所屬的類別

Figure 5 遺傳算法優(yōu)化的LVQ網(wǎng)絡(luò)的仿真結(jié)果

Figure 6 LVQ網(wǎng)絡(luò)的仿真結(jié)果

結(jié)果表明，遺傳算法優(yōu)化LVQ網(wǎng)絡(luò)比LVQ網(wǎng)絡(luò)有更高的診斷精度。

四、結(jié)論

第7篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；預(yù)測(cè)；誤差

1.引言

許多金融學(xué)家和計(jì)量學(xué)家對(duì)發(fā)達(dá)國(guó)家成熟市場(chǎng)的波動(dòng)性進(jìn)行了廣泛的研究，但是在對(duì)股市的預(yù)測(cè)上，由于人們?cè)谥R(shí)、能力、經(jīng)驗(yàn)上存在著較大的差異，加之問(wèn)題本身又具有很大的隨機(jī)性和高度的非線性，即使是一些金融專家、炒股高手對(duì)出現(xiàn)的同一復(fù)雜行情進(jìn)行分析，往往也會(huì)得出不同的結(jié)論。此外，傳統(tǒng)方法還要事先知道各種參數(shù)，以及這些參數(shù)在什么情況下應(yīng)作怎樣的修正。這都給預(yù)測(cè)股市帶來(lái)一定的困難。

基于以上股市預(yù)測(cè)的困難性，本文提出了人工神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法。隨著計(jì)算機(jī)、人工智能尤其是專家系統(tǒng)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸成熟并開(kāi)始應(yīng)用于各個(gè)領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)（ANN，簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)）作為一種由大量簡(jiǎn)單神經(jīng)元廣泛相互聯(lián)接而成的非線性映射或自適應(yīng)動(dòng)力系統(tǒng)，恰好能有效解決股市預(yù)測(cè)處理中常見(jiàn)的困難，因此它很快在股市預(yù)測(cè)分析與處理領(lǐng)域得到了廣泛的應(yīng)用。

2.BP神經(jīng)網(wǎng)絡(luò)介紹

2.1 BP 網(wǎng)絡(luò)算法的基本原理

2.1.1 標(biāo)準(zhǔn)的BP 網(wǎng)絡(luò)算法的基本原理

BP(Back Propagation)網(wǎng)絡(luò)是反向傳播的多層前饋式網(wǎng)絡(luò)，是目前使用最為廣泛的一種人工神經(jīng)網(wǎng)絡(luò)。它的核心是BP算法，一種對(duì)于多基本子系統(tǒng)構(gòu)成的大系統(tǒng)進(jìn)行微商計(jì)算的嚴(yán)格而有效的方法，采用最小均方差學(xué)習(xí)方式。BP 神經(jīng)網(wǎng)絡(luò)的原理說(shuō)到底就是給它一些輸入變量，然后就有一個(gè)輸出，輸出值的情況與實(shí)際的情況進(jìn)行比較，差多少，然后再進(jìn)行網(wǎng)絡(luò)的內(nèi)部調(diào)整，屬于有導(dǎo)師的學(xué)習(xí)規(guī)則，使得網(wǎng)絡(luò)輸出與實(shí)際逼近。

神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入―輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。人工神經(jīng)網(wǎng)絡(luò)由非線性函數(shù)組成，而由一系列不同權(quán)重的線性過(guò)濾器組合而成：

2.1.2 BP網(wǎng)絡(luò)算法的優(yōu)化

由于常用的BP算法主要缺點(diǎn)為收斂速度慢，局部極值，難以確定隱含層和隱含層的個(gè)數(shù)，使得在實(shí)際應(yīng)用中BP算法很難應(yīng)用，因此，出現(xiàn)了許多改進(jìn)算法。BP算法的改進(jìn)主要有兩種途徑，一種是采用啟發(fā)式學(xué)習(xí)方法；另一種則是采用更有效的優(yōu)化算法，本文采用了動(dòng)量法和學(xué)習(xí)率自適應(yīng)調(diào)整的策略，從而提高了學(xué)習(xí)速度并增加了算法的可靠性。動(dòng)量法降低了網(wǎng)絡(luò)對(duì)于誤差曲面局部極值的敏感性，有效地抑制了網(wǎng)絡(luò)陷于局部極小。

2.2 BP神經(jīng)網(wǎng)絡(luò)的模型識(shí)別及步驟

模式通常指對(duì)事物的一種定量描述或結(jié)構(gòu)描述，“識(shí)別”是指對(duì)客觀事物按其物理特征進(jìn)行分類。模式識(shí)別的基本原理就是從待識(shí)別對(duì)象和理想標(biāo)本之間若干特征的相似性推斷它們之間總體的相似性。BP神經(jīng)網(wǎng)絡(luò)模式識(shí)別過(guò)程分為訓(xùn)練階段和模式分類階段，分為初始化、數(shù)據(jù)與處理、網(wǎng)絡(luò)訓(xùn)練以及模式分類四個(gè)步驟。以下利用實(shí)證分析來(lái)進(jìn)行著四個(gè)步驟。

3.實(shí)例分析

下面以上證的某股600個(gè)交易日的股票價(jià)格收盤指數(shù)作為原始樣本數(shù)據(jù)，對(duì)上述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行求解，預(yù)測(cè)20天的收盤價(jià)，與實(shí)際收盤價(jià)進(jìn)行比較，并求出其誤差：

式中，表示第日的實(shí)際收盤指數(shù)，表示第日的預(yù)測(cè)值，表示誤差。主要按照如下幾部分來(lái)處理：（1）準(zhǔn)備600個(gè)數(shù)據(jù)的時(shí)間序列，進(jìn)行歸一化。BP神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出值由傳遞函數(shù)Sigmoid函數(shù)來(lái)計(jì)算，其輸出值的范圍是（0，1）；（2）留出最后20個(gè)數(shù)據(jù)，作為預(yù)測(cè)檢驗(yàn)使用；（3）繪制圖像，包括實(shí)際值和預(yù)測(cè)值，能量函數(shù)；（4）分析實(shí)際和預(yù)測(cè)兩曲線的趨勢(shì)。

采用I-J-K學(xué)習(xí)模型，該模型是輸入層I個(gè)神經(jīng)元，隱層J 個(gè)神經(jīng)元，輸出層K個(gè)神經(jīng)元。利用BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練500次、800次、1000次的輸出值和期望值以及能量函數(shù)（或者叫誤差函數(shù)）E，結(jié)果見(jiàn)圖1到圖3。

通過(guò)上面的圖示，可以看到用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的效果比較明顯，這說(shuō)明該模型適用于短期預(yù)測(cè)嗎，股市的波動(dòng)在很多地區(qū)都是非常劇烈的，各種因素的綜合作用也使得長(zhǎng)期股指的變動(dòng)具有極大的不確定性，使得預(yù)測(cè)變得很困難。而B(niǎo)P網(wǎng)絡(luò)的算法原理和自學(xué)習(xí)的特點(diǎn)使其能夠充分挖掘出隱含在樣本數(shù)據(jù)中的規(guī)律性，實(shí)現(xiàn)從輸入空間到輸出空間的非線性映射，對(duì)樣本數(shù)據(jù)進(jìn)行精確的擬合。從而B(niǎo)P神經(jīng)網(wǎng)絡(luò)的方法對(duì)于股市上的一些很難看出規(guī)律的數(shù)據(jù)列的預(yù)測(cè)而言，無(wú)疑是一個(gè)比較精確的預(yù)測(cè)方法。

4.結(jié)論

本文介紹了股市的特點(diǎn)以及股市預(yù)測(cè)的困難性，提出了利用BP神經(jīng)網(wǎng)絡(luò)的方法來(lái)解決股市預(yù)測(cè)問(wèn)題。文章介紹了BP神經(jīng)網(wǎng)絡(luò)算法的基本原理，BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化，BP神經(jīng)網(wǎng)絡(luò)模型識(shí)別及步驟，最后后以上海證券交易所每日股票價(jià)格收盤指數(shù)為分析對(duì)象，把原理應(yīng)用于實(shí)際，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)股票價(jià)格收盤指數(shù)進(jìn)行了短期預(yù)測(cè)，并計(jì)算出預(yù)測(cè)值和實(shí)際值的誤差。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)該模型收斂速度快，預(yù)測(cè)精度非常高，對(duì)預(yù)測(cè)短周期內(nèi)股指波動(dòng)具有較強(qiáng)的適用性。

參考文獻(xiàn)

[1]高琴.人工神經(jīng)網(wǎng)絡(luò)在股市預(yù)測(cè)模型中的應(yīng)用[J].微電子學(xué)與計(jì)算機(jī),2007年第24卷第11期.

[2]周翠紅,路邁西.線性回歸與人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)煤炭發(fā)熱量[J].煤炭科學(xué)技術(shù),第37卷第12期.

[3]尹慶雙,奉瑩.人工神經(jīng)網(wǎng)絡(luò)在第三產(chǎn)業(yè)就業(yè)分析中的應(yīng)用[J].人口與經(jīng)濟(jì),2009年第6期.

[4]鄒文安,劉寶,姜波,楊春生.基于Excel 技術(shù)平臺(tái)人工神經(jīng)網(wǎng)絡(luò)BP模型及應(yīng)用[J].水文,第30卷第1期.

[5]康進(jìn),劉敬偉.非參數(shù)回歸估計(jì)與人工神經(jīng)網(wǎng)絡(luò)方法的預(yù)測(cè)效果比較[J].統(tǒng)計(jì)與決策,2009年第23 期.

[6]楊本昭,田耕.基于人工神經(jīng)網(wǎng)絡(luò)的客戶價(jià)值分類研究[J].科技管理研究,2007年第12期.

第8篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

關(guān)鍵詞：熱舒適度；預(yù)測(cè)；反向傳播神經(jīng)網(wǎng)絡(luò)；粒子群優(yōu)化算法；模型

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)志碼：A

Abstract： Aiming at the problem that thermal comfort prediction， which is a complicated nonlinear process， can not be applied to realtime control of air conditioning directly， this paper proposed a thermal comfort prediction model based on the improved Particle Swarm OptimizationBack Propagation （PSOBP） neural network algorithm. By using PSO algorithm to optimize initial weights and thresholds of BP neural network， the problem that traditional BP algorithm converges slowly and is sensitive to the initial value of the network was improved in this prediction model. Meanwhile， for the standard PSO algorithm prone to premature convergence， weak local search capabilities and other shortcomings， this paper put forward some improvement strategies to further enhance the PSOBP neural network capabilities. The experimental results show that， the thermal comfort prediction model based on the improved PSOBP neural network algorithm has faster algorithm converges and higher prediction accuracy than the traditional BP model and standard PSOBP model.

Key words： thermal comfort； prediction； Back Propagation （BP） neural network； Particle Swarm Optimization （PSO） algorithm； model

0引言

近年來(lái)，單純以室內(nèi)溫度為控制目標(biāo)的空調(diào)系統(tǒng)已無(wú)法滿足人們對(duì)舒適度的要求，而以人體熱舒適度為控制目標(biāo)的空調(diào)系統(tǒng)，不僅能提高室內(nèi)人員的舒適度，還能減少建筑能耗[1-2]。在該空調(diào)控制系統(tǒng)中，準(zhǔn)確預(yù)測(cè)空調(diào)房間內(nèi)的熱舒適度成為了關(guān)鍵部分。

隨著智能優(yōu)化算法的發(fā)展，近年來(lái)，學(xué)者們提出了不少熱舒適度預(yù)測(cè)算法。文獻(xiàn)[3-4]均提出了基于模糊聚類的室內(nèi)熱舒適預(yù)測(cè)方法，該方法盡管降低了算法訓(xùn)練的復(fù)雜度和過(guò)擬合度，但其預(yù)測(cè)誤差較大。為提高預(yù)測(cè)精度，文獻(xiàn)[5]提出了基于人工神經(jīng)網(wǎng)絡(luò)的熱舒適度預(yù)測(cè)算法，該算法雖然達(dá)到了一定預(yù)測(cè)精度，但該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練卻很復(fù)雜。文獻(xiàn)[6]提出的基于反向傳播（Back Propagation， BP）神經(jīng)網(wǎng)絡(luò)的舒適度預(yù)測(cè)算法，降低了網(wǎng)絡(luò)訓(xùn)練的復(fù)雜度和預(yù)測(cè)誤差；但是，該算法對(duì)網(wǎng)絡(luò)初始權(quán)值和偏置較敏感且易陷入局部最小。文獻(xiàn)[7-8]提出采用粒子群優(yōu)化（Particle Swarm Optimization， PSO）算法BP神經(jīng)網(wǎng)絡(luò)的算法，通過(guò)利用PSO算法的全局搜索能力，對(duì)網(wǎng)絡(luò)的初始權(quán)值和偏置進(jìn)行了優(yōu)化，改善了傳統(tǒng)BP算法收斂速度慢及對(duì)網(wǎng)絡(luò)初始值敏感的問(wèn)題，并在數(shù)控機(jī)床熱補(bǔ)償和股市預(yù)測(cè)方面取得了較好的應(yīng)用效果。因此，本文提出將PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的算法應(yīng)用于熱舒適度預(yù)測(cè)建模上，并針對(duì)標(biāo)準(zhǔn)PSO算法存在的局部尋優(yōu)能力弱、易早熟收斂等缺點(diǎn)，對(duì)標(biāo)準(zhǔn)PSO算法的速度更新公式、慣性權(quán)值、加速因子進(jìn)行了改進(jìn)。本文采用改進(jìn)的PSOBP神經(jīng)網(wǎng)絡(luò)算法，得到了一種新的熱舒適度預(yù)測(cè)模型。該模型提高了PSO算法的收斂速度和尋優(yōu)能力，解決了BP網(wǎng)絡(luò)對(duì)初始值敏感以及收斂速度慢的問(wèn)題，因此，既提高了模型的預(yù)測(cè)精度，又提高了算法的收斂速度。

1預(yù)測(cè)平均投票模型

Fanger教授提出的預(yù)測(cè)平均投票（Predicted Mean Vote， PMV）指標(biāo)模型，表征了人體冷熱感的評(píng)價(jià)指標(biāo)，代表了大多數(shù)人在同一室內(nèi)環(huán)境下的冷熱感覺(jué)的平均。該指標(biāo)是關(guān)于4個(gè)環(huán)境變量和2個(gè)人體參數(shù)的函數(shù)，變量分別是空氣溫度、空氣相對(duì)濕度、空氣流動(dòng)速度、平均輻射溫度、人體活動(dòng)程度和衣服熱阻。PMV指標(biāo)的取值范圍是-3～3，分別對(duì)應(yīng)著人從冷到熱的感覺(jué)，其中0代表冷熱感適中狀態(tài)。

3.3改進(jìn)PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法

PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)是利用PSO算法的全局搜索能力，優(yōu)化BP網(wǎng)絡(luò)的初始權(quán)值和閾值。具體過(guò)程就是BP神經(jīng)網(wǎng)絡(luò)通過(guò)PSO算法中的粒子，其位置向量代表神經(jīng)網(wǎng)絡(luò)的一組權(quán)值和閾值的潛在解，在構(gòu)建好的神經(jīng)網(wǎng)絡(luò)中，以訓(xùn)練樣本集的均方誤差作為適應(yīng)度函數(shù)，按PSO算法的步驟，經(jīng)迭代尋優(yōu)后，找到使適應(yīng)度值即均方誤差最小的全局最優(yōu)解的過(guò)程，該全局最優(yōu)解就是神經(jīng)網(wǎng)絡(luò)的最優(yōu)初始權(quán)值和閾值。

改進(jìn)的PSOBP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法主要包括以下部分：樣本數(shù)據(jù)準(zhǔn)備，構(gòu)建BP神經(jīng)網(wǎng)絡(luò)，利用PSO優(yōu)化網(wǎng)絡(luò)的初始權(quán)值和閾值，訓(xùn)練優(yōu)化后的網(wǎng)絡(luò)。該算法的具體步驟如下：

步驟1收集和準(zhǔn)備樣本數(shù)據(jù)。根據(jù)傳統(tǒng)的PMV數(shù)學(xué)模型的輸入變量范圍，以及熱舒適度模型的實(shí)際應(yīng)用情況，獲取一定數(shù)量的樣本數(shù)據(jù)，并經(jīng)預(yù)處理后作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本和測(cè)試樣本數(shù)據(jù)。

步驟2構(gòu)建BP神經(jīng)網(wǎng)絡(luò)。根據(jù)傳統(tǒng)模型及樣本數(shù)據(jù)形式，確定神經(jīng)網(wǎng)絡(luò)層數(shù)，各層節(jié)點(diǎn)數(shù)，及隱含層、輸出層的激活函數(shù)。

4.2BP網(wǎng)絡(luò)構(gòu)建及PSO參數(shù)設(shè)置

由于三層的BP神經(jīng)網(wǎng)絡(luò)能任意逼近任何非線性函數(shù)，因此，本文采用三層的BP神經(jīng)網(wǎng)絡(luò)建立舒適度預(yù)測(cè)模型。根據(jù)樣本數(shù)據(jù)的輸入輸出向量可確定網(wǎng)絡(luò)的輸入層節(jié)點(diǎn)數(shù)為6，輸出層節(jié)點(diǎn)數(shù)為1；通過(guò)反復(fù)仿真嘗試，隱含層節(jié)點(diǎn)數(shù)確定為10，即BP網(wǎng)絡(luò)的結(jié)構(gòu)最終確定為6101結(jié)構(gòu)。BP神經(jīng)網(wǎng)絡(luò)的其他參數(shù)設(shè)置如下：最大步數(shù)1000，學(xué)習(xí)率0.01，學(xué)習(xí)目標(biāo)0.001。隱含層激活函數(shù)為S型函數(shù)，輸出層激活函數(shù)為線性函數(shù)。

根據(jù)上述確定的BP網(wǎng)絡(luò)結(jié)構(gòu)，PSO算法搜索空間維數(shù)D=6×10+10×1+10+1=81；種群規(guī)模M為40；最大迭代次數(shù)為160；最小訓(xùn)練誤差為0.001；學(xué)習(xí)因子c1、c2的初始值分別為2.75，0.5，最終值分別為1.25，2.25；慣性權(quán)重w初始值和最終值分別為0.9，0.4；粒子的最大速度為1。

4.3仿真結(jié)果及討論

本文在Matlab 7.11版本下，采用Matlab語(yǔ)言編寫算法程序，結(jié)合Matlab神經(jīng)網(wǎng)絡(luò)工具箱，利用上述的參數(shù)設(shè)置及樣本數(shù)據(jù)構(gòu)建了基于改進(jìn)的PSOBP神經(jīng)網(wǎng)絡(luò)的熱舒適度預(yù)測(cè)模型。為了證明本文算法預(yù)測(cè)模型性能的優(yōu)越性，本文采用同樣的樣本數(shù)據(jù)與參數(shù)設(shè)置，對(duì)改進(jìn)的PSOBP預(yù)測(cè)模型、PSOBP模型和BP模型均進(jìn)行了仿真。圖3中（a）、（b）、（c）分別給出了3種預(yù)測(cè)模型的訓(xùn)練誤差隨迭代次數(shù)變化的曲線。圖4中（a）、（b）、（c）分別給出了3種預(yù)測(cè)模型對(duì)60組測(cè)試樣本的預(yù)測(cè)值與期望值的相關(guān)曲線以及絕對(duì)誤差曲線。表1給出了3種預(yù)測(cè)模型的迭代次數(shù)、均方誤差和最大絕對(duì)誤差對(duì)比。

從圖3和表1中可看出，3種預(yù)測(cè)模型均經(jīng)有限的迭代次數(shù)達(dá)到收斂狀態(tài)，但改進(jìn)的PSOBP預(yù)測(cè)模型的收斂速度比PSOBP模型和BP模型快。從圖4和表1中可看出，改進(jìn)的PSOBP預(yù)測(cè)模型的預(yù)測(cè)精度明顯高于PSOBP模型和BP模型。

5結(jié)語(yǔ)

上述實(shí)驗(yàn)仿真說(shuō)明，采用PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值后，改善了傳統(tǒng)BP算法收斂速度慢及對(duì)網(wǎng)絡(luò)初始值敏感的問(wèn)題，提高了模型的精度和算法的收斂速度；而且，改進(jìn)的PSOBP模型比標(biāo)準(zhǔn)PSOBP模型的預(yù)測(cè)精度更高且收斂速度更快，由此可知，本文的改進(jìn)策略通過(guò)改善標(biāo)準(zhǔn)PSO的早熟收斂和局部尋優(yōu)能力弱等問(wèn)題，進(jìn)一步提高了PSO算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化能力。

本文的熱舒適度預(yù)測(cè)模型，是以傳統(tǒng)的PMV數(shù)學(xué)模型為基礎(chǔ)，以PSOBP神經(jīng)網(wǎng)絡(luò)算法建模來(lái)逼近傳統(tǒng)的PMV數(shù)學(xué)模型而建立的。實(shí)驗(yàn)結(jié)果證明，本文熱舒適度預(yù)測(cè)模型不僅解決了傳統(tǒng)模型中計(jì)算復(fù)雜、不便于實(shí)時(shí)控制應(yīng)用的難題，還提高了模型的預(yù)測(cè)精度和算法收斂速度。

參考文獻(xiàn)：

[1]DUAN P， LIU C， DUAN C， et al. Indoor dynamic thermal comfort control method based on particle swarm optimization [J]. Information and Control， 2013， 42（1）： 100-110.（段培永，劉聰聰，段晨旭，等.基于粒子群優(yōu)化的室內(nèi)動(dòng)態(tài)熱舒適度控制方法[J].信息與控制，2013，42（1）：100-110.）

[2]YANG C， ZHANG Q， YANG J， et al. Analysis of comfort and energyconsumption on temperature control airconditioning system [J]. Journal of Hunan UniversIty， 2012， 39（5）： 18-22.（楊昌智，張清琳，楊菊菊，等.定溫控制空調(diào)系統(tǒng)的舒適性及節(jié)能性分析[J].湖南大學(xué)學(xué)報(bào)，2012，39（5）：18-22.）

[3]XU Y， CHEN X， WANG L， et al. Forecast method based on fuzzy causation clustering for indoor thermal comfort [J]. Chinese Journal of Scientific Instrument， 2006， 27（6）： 850-852.（徐遠(yuǎn)清，陳祥光，王麗，等.一種基于模糊因果聚類的室內(nèi)熱舒適預(yù)測(cè)方法[J].儀器儀表學(xué)報(bào)，2006，27（6）：850-852.）

[4]XU W， CHEN X， PENG H， et al. PMV index forecasting system based on fuzzy Cmeans clustering and suport vector machine [J]. Systems Engineering――Theory and Practice， 2009， 29（7）： 119-124.（徐薇，陳祥光，彭紅星，等.基于模糊C均值聚類與支持向量機(jī)的PMV指標(biāo)預(yù)測(cè)系統(tǒng)[J].系統(tǒng)工程理論與實(shí)踐，2009，29（7）：119-124.）

[5]CASTILLA M， ALVAREZ J D， ORTEGA M G， et al. Neural network and polynomial approximated thermal comfort models for HVAC systems [J]. Building and Environment， 2013， 59： 107-115.

[6]ATTHAJARIYAKUL S， LEEPHAKPREEDA T. Neural computing thermal comfort index for HVAC systems [J]. Energy Conversion and Management， 2005， 46（15）： 2553-2565.

[7]REN B， REN X， LI G. Thermal error compensation for CNC machine tools based on PSOBP neural network [J]. Machine Tool and Hydraulics， 2013， 41（3）： 59-61.（任兵，任小洪，李國(guó)志.基于PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的數(shù)控機(jī)床熱補(bǔ)償[J].機(jī)床與液壓，2013，41（3）：59-61.）

[8]AI Y， ZHU W， YAN D. Stock market forecast model based on PSOBP neural network [J]. Journal of Computer Applications， 2008， 28（12）： 105-108.（艾永冠，朱衛(wèi)東，閆冬.基于PSOBP神經(jīng)網(wǎng)絡(luò)的股市預(yù)測(cè)模型[J].計(jì)算機(jī)應(yīng)用，2008，28（12）：105-108.）

[9]LI S， LIU L， LIU Y. Prediction for chaotic time series of optimized BP neural network based on modified PSO [J]. Computer Engineering and Applications， 2013， 49（6）： 245-249.（李松，劉力軍，劉穎鵬.改進(jìn)PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的混沌時(shí)間序列預(yù)測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（6）：245-249.）

[10]LIAN Z， JIAO B. Particle swarm optimization algorithm with mixed search [J]. Control Theory and Applications， 2010， 27（10）： 1404-1410.（連志剛，焦斌.一種混合搜索的粒子群算法[J].控制理論與應(yīng)用，2010，27（10）：1404-1410.）

[11]GUO W， CHEN G. Discrete particle swarm optimization algorithm and its application [M]. Beijing： Tsinghua University Press， 2012： 5-6.（郭文忠，陳國(guó)龍.離散粒子群優(yōu)化算法及其應(yīng)用[M].北京：清華大學(xué)出版社，2012：5-6.）

第9篇：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法范文

摘要:

高軌衛(wèi)星是我國(guó)衛(wèi)星導(dǎo)航系統(tǒng)的重要組成部分。提升該類衛(wèi)星的軌道預(yù)報(bào)精度有利于用戶定位精度的提高。提出了一種改進(jìn)高軌衛(wèi)星軌道預(yù)報(bào)精度的新方法。該方法避開(kāi)了精化動(dòng)力學(xué)模型的困難，嘗試從軌道預(yù)報(bào)誤差的規(guī)律中尋找突破。利用神經(jīng)網(wǎng)絡(luò)作為建立預(yù)報(bào)模型的工具，將某歷史時(shí)刻的軌道預(yù)報(bào)誤差作為訓(xùn)練樣本，利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償當(dāng)前時(shí)刻的預(yù)報(bào)軌道以提高軌道預(yù)報(bào)精度。對(duì)影響神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償效果的各因素進(jìn)行了詳細(xì)分析，制定了適應(yīng)于高軌衛(wèi)星短期、中期和長(zhǎng)期預(yù)報(bào)的神經(jīng)網(wǎng)絡(luò)最優(yōu)模型。利用實(shí)測(cè)數(shù)據(jù)進(jìn)行了試驗(yàn)分析，結(jié)果表明:預(yù)報(bào)8，15及30d應(yīng)選擇的訓(xùn)練步長(zhǎng)分別為10，20及25min；軌道預(yù)報(bào)8~30d時(shí)，訓(xùn)練噪聲均選取0.01。神經(jīng)網(wǎng)絡(luò)模型有效地改進(jìn)了高軌衛(wèi)星的軌道預(yù)報(bào)精度，預(yù)報(bào)4~30d，軌道精度提高幅度為34.67％~82.37％不等。

關(guān)鍵詞:

神經(jīng)網(wǎng)絡(luò)；軌道預(yù)報(bào)；訓(xùn)練噪聲；訓(xùn)練步長(zhǎng)；地球靜止軌道衛(wèi)星；傾斜地球同步軌道衛(wèi)星

高軌衛(wèi)星在我國(guó)的航天系統(tǒng)中應(yīng)用十分廣泛。特別是我國(guó)的衛(wèi)星導(dǎo)航系統(tǒng)BDS(Beidousystem)，其主要包括GEO衛(wèi)星和IGSO衛(wèi)星。導(dǎo)航衛(wèi)星星歷的精度是定位精度的基礎(chǔ)，而廣播星歷本身便是軌道預(yù)報(bào)的結(jié)果。預(yù)報(bào)精度問(wèn)題是制約BDS衛(wèi)星導(dǎo)航系統(tǒng)服務(wù)性能的關(guān)鍵因素，因此有必要對(duì)導(dǎo)航系統(tǒng)中的高軌衛(wèi)星軌道預(yù)報(bào)精度展開(kāi)研究[1]。改進(jìn)軌道預(yù)報(bào)精度的一種方法是建立更加精準(zhǔn)的動(dòng)力學(xué)模型[2￣3]。然而由于該方法需要長(zhǎng)期精密軌道數(shù)據(jù)的支撐，周期長(zhǎng)、難度大。改進(jìn)軌道預(yù)報(bào)精度的另一種方法可以從軌道預(yù)報(bào)誤差的規(guī)律中尋找突破[4]。神經(jīng)網(wǎng)絡(luò)作為一種新興的建模工具，特點(diǎn)在于處理高維性、非線性的問(wèn)題時(shí)不需要準(zhǔn)確知道輸出輸入函數(shù)的結(jié)構(gòu)參數(shù)。只要通過(guò)訓(xùn)練來(lái)掌握它們之間的內(nèi)在關(guān)系，在輸入訓(xùn)練集以外的數(shù)據(jù)時(shí)，神經(jīng)網(wǎng)絡(luò)可以獲得它們之間正確的映射關(guān)系。該方法的優(yōu)勢(shì)在于不確定性系統(tǒng)的控制和預(yù)測(cè)。目前在軌道預(yù)報(bào)中使用神經(jīng)網(wǎng)絡(luò)工具的相關(guān)研究較少，文獻(xiàn)[5]根據(jù)GPS衛(wèi)星星歷的相關(guān)周期特性，以時(shí)間系列預(yù)報(bào)作為基礎(chǔ)，利用神經(jīng)網(wǎng)絡(luò)建立預(yù)報(bào)模型。在沒(méi)有任何動(dòng)力學(xué)模型的情況下得到了精度為數(shù)百米(1周)的預(yù)報(bào)結(jié)果。但是由于將衛(wèi)星位置量直接作為神經(jīng)網(wǎng)絡(luò)的輸出，神經(jīng)網(wǎng)絡(luò)算法的狀態(tài)量動(dòng)態(tài)范圍大，限制了預(yù)報(bào)精度的提高。文獻(xiàn)[6]利用GPS衛(wèi)星精密星歷已知的優(yōu)勢(shì)，將神經(jīng)網(wǎng)絡(luò)與動(dòng)力學(xué)模型相結(jié)合組成混合預(yù)報(bào)模型，改進(jìn)GPS導(dǎo)航衛(wèi)星的中長(zhǎng)期預(yù)報(bào)。該方法可以在一定程度上改進(jìn)軌道預(yù)報(bào)精度，但不是每次改進(jìn)均能成功，存在改進(jìn)失效的情況。針對(duì)高軌衛(wèi)星的高精度軌道預(yù)報(bào)這一難題展開(kāi)研究。以神經(jīng)網(wǎng)絡(luò)作為建立預(yù)報(bào)模型的工具，在動(dòng)力學(xué)模型基礎(chǔ)上建立神經(jīng)網(wǎng)絡(luò)模型，通過(guò)對(duì)歷史時(shí)刻預(yù)報(bào)誤差的學(xué)習(xí)及訓(xùn)練，掌握其變化規(guī)律，再用于補(bǔ)償和改進(jìn)當(dāng)前時(shí)刻的預(yù)報(bào)軌道，以達(dá)到提高預(yù)報(bào)精度的目的。針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練及補(bǔ)償特性，分析了不同因素對(duì)神經(jīng)網(wǎng)絡(luò)模型性能的影響?；诖酥贫硕獭⒅?、長(zhǎng)期軌道預(yù)報(bào)的最優(yōu)模型，最后利用不同類型衛(wèi)星進(jìn)行了試驗(yàn)分析。

1基于BP神經(jīng)網(wǎng)絡(luò)的軌道預(yù)報(bào)算法

BP神經(jīng)網(wǎng)絡(luò)是一種多層網(wǎng)絡(luò)的“逆推”學(xué)習(xí)算法[7￣9]。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行軌道預(yù)報(bào)分為訓(xùn)練和補(bǔ)償兩個(gè)階段。在訓(xùn)練階段，采用拼接方法得到一條長(zhǎng)時(shí)間的精密軌道，用于衡量動(dòng)力學(xué)模型預(yù)報(bào)誤差及神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練誤差。針對(duì)拼接處小量級(jí)的跳躍現(xiàn)象，采用Robust￣loess數(shù)值濾波方法進(jìn)行軌道預(yù)報(bào)誤差平滑[10]。由于預(yù)報(bào)軌道和預(yù)報(bào)誤差為訓(xùn)練樣本，故需要對(duì)兩者的特性進(jìn)行分析。同時(shí)神經(jīng)網(wǎng)絡(luò)模型參數(shù)在一定程度上影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，因此有必要對(duì)影響神經(jīng)網(wǎng)絡(luò)模型的一些關(guān)鍵因素進(jìn)行分析，以確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)模型。在補(bǔ)償階段，將當(dāng)前時(shí)刻的預(yù)報(bào)軌道X(T)和V(T)作為神經(jīng)網(wǎng)絡(luò)模型的輸入；將利用函數(shù)f(X，V)計(jì)算得到神經(jīng)網(wǎng)絡(luò)模型的輸出作為當(dāng)前時(shí)刻預(yù)報(bào)軌道的補(bǔ)償值ΔXNN(T)，將改進(jìn)后的預(yù)報(bào)軌道X(T)和V(T)作為最終軌道輸出。在神經(jīng)網(wǎng)絡(luò)具體應(yīng)用中，為了提高網(wǎng)絡(luò)性能以完成預(yù)定任務(wù)，需要認(rèn)真考慮訓(xùn)練集預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)設(shè)定以及訓(xùn)練算法等內(nèi)容。網(wǎng)絡(luò)的性能主要表現(xiàn)在訓(xùn)練效率及泛化能力。泛化能力是指辨識(shí)訓(xùn)練樣本中所隱藏的規(guī)律并且當(dāng)被輸入樣本以外數(shù)據(jù)時(shí)，網(wǎng)絡(luò)能正確地反應(yīng)這種規(guī)律的能力。關(guān)于網(wǎng)絡(luò)泛化能力的相關(guān)討論及改進(jìn)措施，已有文獻(xiàn)進(jìn)行了比較詳實(shí)的總結(jié)。這里涉及到的方法主要包括下列3個(gè)方面:一是處理訓(xùn)練樣本的方法[11]，將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本進(jìn)行歸一化處理，使其在[－1，1]變化，以提高神經(jīng)網(wǎng)絡(luò)的性能；二是訓(xùn)練步長(zhǎng)的選?。蝗窃黾与S機(jī)噪聲[12￣13]。

2不同因素對(duì)神經(jīng)網(wǎng)絡(luò)模型性能的影響

分別針對(duì)預(yù)報(bào)軌道和預(yù)報(bào)誤差特征、訓(xùn)練步長(zhǎng)的選擇、訓(xùn)練噪聲的大小對(duì)神經(jīng)網(wǎng)絡(luò)模型性能的影響進(jìn)行討論。

2.1預(yù)報(bào)軌道和預(yù)報(bào)誤差的特征分析

2.1.1中長(zhǎng)期預(yù)報(bào)軌道和預(yù)報(bào)誤差特征將短期軌道預(yù)報(bào)弧長(zhǎng)定位為1~13d，中期軌道預(yù)報(bào)弧長(zhǎng)為14~27d，長(zhǎng)期軌道預(yù)報(bào)弧長(zhǎng)大于27d。以某初始時(shí)刻的預(yù)報(bào)誤差作為訓(xùn)練樣本訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)可以對(duì)其他初始時(shí)刻的預(yù)報(bào)軌道提供補(bǔ)償，但前提是兩個(gè)初始時(shí)刻的預(yù)報(bào)誤差數(shù)值大小及波形圖要相近。對(duì)GEO衛(wèi)星的預(yù)報(bào)誤差進(jìn)行時(shí)間序列分析，結(jié)果可以看出，預(yù)報(bào)誤差最大值呈現(xiàn)以14d為周期的變化規(guī)律；IGSO衛(wèi)星具有相同的特征。文中選取的訓(xùn)練弧長(zhǎng)與當(dāng)前時(shí)刻的軌道預(yù)報(bào)弧長(zhǎng)相等。對(duì)于中長(zhǎng)期軌道預(yù)報(bào)可以采用以下方案:假設(shè)預(yù)報(bào)弧長(zhǎng)為md(14n≤m≤14(n＋1)，n≥1)，用當(dāng)前時(shí)刻起14(n＋1)d之前那天的預(yù)報(bào)誤差和預(yù)報(bào)軌道作為訓(xùn)練樣本，訓(xùn)練弧長(zhǎng)為md，訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)模型。采用神經(jīng)網(wǎng)絡(luò)模型計(jì)算得到的補(bǔ)償誤差波形對(duì)當(dāng)前的預(yù)報(bào)誤差進(jìn)行補(bǔ)償。對(duì)于短期預(yù)報(bào)，由于預(yù)報(bào)弧長(zhǎng)小于14d，其軌道預(yù)報(bào)方案中還考慮了預(yù)報(bào)誤差波形的最佳匹配。即充分結(jié)合預(yù)報(bào)誤差和預(yù)報(bào)軌道的動(dòng)力學(xué)特性，建立了一個(gè)訓(xùn)練樣本集。根據(jù)當(dāng)前時(shí)刻的預(yù)報(bào)誤差波形變化特征在樣本集中搜索最佳訓(xùn)練樣本，實(shí)現(xiàn)兩者波形變化的最優(yōu)匹配，從而實(shí)現(xiàn)最優(yōu)的補(bǔ)償效果。在中長(zhǎng)期預(yù)報(bào)中未采用波形匹配算法的主要原因是，需要兼顧工程應(yīng)用中的實(shí)時(shí)性，波形匹配耗時(shí)較長(zhǎng)。

2.1.2短期預(yù)報(bào)中的波形匹配算法航天器是一個(gè)受攝動(dòng)力系統(tǒng)，其初值不穩(wěn)定性使得利用不同初始軌道得到的預(yù)報(bào)軌道和預(yù)報(bào)誤差的特性均不同。這就導(dǎo)致不同初始時(shí)刻的預(yù)報(bào)誤差并無(wú)規(guī)律。為了實(shí)現(xiàn)最佳的神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償效果，必須找到與當(dāng)前時(shí)刻預(yù)報(bào)誤差變化波形最為相近的歷史時(shí)刻中的一條預(yù)報(bào)軌道。采用歷史時(shí)刻的預(yù)報(bào)軌道和預(yù)報(bào)誤差作為訓(xùn)練樣本，訓(xùn)練得到神經(jīng)網(wǎng)絡(luò)模型。在實(shí)際工程應(yīng)用中，因?yàn)楫?dāng)前時(shí)刻之后的預(yù)報(bào)弧段中的精密軌道無(wú)法獲取，故不能獲得當(dāng)前時(shí)刻的預(yù)報(bào)誤差波形變化規(guī)律，所以并不能直接通過(guò)預(yù)報(bào)誤差波形比對(duì)來(lái)尋找補(bǔ)償當(dāng)前時(shí)刻預(yù)報(bào)軌道的訓(xùn)練樣本。但是基于動(dòng)力學(xué)模型外推可以得到當(dāng)前時(shí)刻的預(yù)報(bào)軌道，如果能找到預(yù)報(bào)軌道與預(yù)報(bào)誤差之間的波形變化對(duì)應(yīng)關(guān)系，就可得到當(dāng)前時(shí)刻的預(yù)報(bào)誤差波形變化規(guī)律。由于預(yù)報(bào)誤差的變化周期與軌道周期相同，對(duì)于GEO/IGSO衛(wèi)星均為1d，通過(guò)對(duì)比預(yù)報(bào)誤差波形變化最大值和最小值出現(xiàn)的時(shí)刻，搜尋得到用于補(bǔ)償當(dāng)前時(shí)刻預(yù)報(bào)誤差的訓(xùn)練樣本。由于預(yù)報(bào)軌道在數(shù)值上遠(yuǎn)遠(yuǎn)大于預(yù)報(bào)誤差，為了便于分析問(wèn)題，將兩者進(jìn)行歸一化處理，即分別將兩者除以各自的最大值，這樣它們就在±1之間變化。圖2和圖3分別給出了某GEO衛(wèi)星和某IGSO衛(wèi)星在2013年第23天預(yù)報(bào)8d的軌道與相應(yīng)的預(yù)報(bào)誤差之間的對(duì)應(yīng)關(guān)系。其中，橫坐標(biāo)表示預(yù)報(bào)時(shí)間，單位為d；縱坐標(biāo)表示歸一化后的數(shù)值，無(wú)量綱。1)對(duì)于兩種類型的衛(wèi)星，在J2000坐標(biāo)系中X和Y軸方向，當(dāng)預(yù)報(bào)軌道X/Y＝0時(shí)，對(duì)應(yīng)時(shí)刻的預(yù)報(bào)誤差為最大值(峰值)或最小值(谷值)。預(yù)報(bào)軌道從正值變化為負(fù)值經(jīng)過(guò)零值的時(shí)刻對(duì)應(yīng)著預(yù)報(bào)誤差的峰值，從負(fù)值變化為正值經(jīng)過(guò)零值的時(shí)刻則對(duì)應(yīng)著預(yù)報(bào)誤差的谷值。2)在Z軸方向，GEO衛(wèi)星的預(yù)報(bào)軌道和預(yù)報(bào)誤差之間并無(wú)明顯的對(duì)應(yīng)關(guān)系；IGSO衛(wèi)星存在與X/Y軸相同的對(duì)應(yīng)關(guān)系。將作為訓(xùn)練樣本的預(yù)報(bào)誤差選擇定義在J2000坐標(biāo)系中，主要是因?yàn)樵谠撟鴺?biāo)系中預(yù)報(bào)誤差的規(guī)律性強(qiáng)，并且與預(yù)報(bào)軌道之間存在一定的對(duì)應(yīng)關(guān)系。

2.2訓(xùn)練步長(zhǎng)對(duì)預(yù)報(bào)精度的影響預(yù)報(bào)誤差改進(jìn)率的計(jì)算公式如下。以某GEO衛(wèi)星為例，表1給出了不同預(yù)報(bào)弧長(zhǎng)、不同訓(xùn)練步長(zhǎng)下利用神經(jīng)網(wǎng)絡(luò)模型得到的預(yù)報(bào)誤差改進(jìn)率。分析表1中的數(shù)據(jù)可以看出下列3點(diǎn)。1)訓(xùn)練步長(zhǎng)越小，神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)率就越高。2)預(yù)報(bào)弧長(zhǎng)的長(zhǎng)度與對(duì)訓(xùn)練步長(zhǎng)的敏感度成反比，即弧長(zhǎng)越長(zhǎng)，訓(xùn)練步長(zhǎng)的延長(zhǎng)對(duì)改進(jìn)率的影響就越小。訓(xùn)練步長(zhǎng)從5min延長(zhǎng)至40min，預(yù)報(bào)8，15和30d的改進(jìn)率分別降低5.68％，3.9％和1.36％。3)由于訓(xùn)練步長(zhǎng)越小，訓(xùn)練時(shí)間越長(zhǎng)，因此改進(jìn)率與訓(xùn)練時(shí)間是一對(duì)矛盾體。從綜合改進(jìn)率和訓(xùn)練時(shí)間的要求考慮，即改進(jìn)率應(yīng)盡可能高，而訓(xùn)練時(shí)間應(yīng)盡可能短。故預(yù)報(bào)8，15和30d應(yīng)選擇的訓(xùn)練步長(zhǎng)分別為10，20和25min。

2.3訓(xùn)練噪聲對(duì)預(yù)報(bào)精度的影響以某初始時(shí)刻的軌道預(yù)報(bào)誤差(稱為訓(xùn)練值)作為訓(xùn)練樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，用其補(bǔ)償另一個(gè)初始時(shí)刻利用動(dòng)力學(xué)模型外推得到的預(yù)報(bào)誤差(稱為期望值)。如果訓(xùn)練值和期望值在同一時(shí)刻吻合的很好，那么利用神經(jīng)網(wǎng)絡(luò)模型一定能很好地修正動(dòng)力學(xué)模型的預(yù)報(bào)誤差。以某GEO衛(wèi)星軌道預(yù)報(bào)8d為例，圖4給出了采用不同噪聲值時(shí)訓(xùn)練值和期望值之間的吻合關(guān)系。分為無(wú)噪聲、噪聲為0.01、噪聲為0.05和噪聲為0.10共4種情況。從圖4中可以看到，不加噪聲時(shí)訓(xùn)練值與其期望值的差別較大，因此應(yīng)加入訓(xùn)練噪聲以提高神經(jīng)網(wǎng)絡(luò)的泛化能力；加入噪聲后訓(xùn)練值與期望值吻合的較好，但無(wú)法區(qū)分噪聲值為多大時(shí)預(yù)報(bào)精度最高。表2給出了采用不同訓(xùn)練噪聲時(shí)，經(jīng)神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償后的軌道預(yù)報(bào)誤差最大值的統(tǒng)計(jì)結(jié)果。其中原始預(yù)報(bào)誤差為未進(jìn)行補(bǔ)償時(shí)的采用動(dòng)力學(xué)模型外推得到的預(yù)報(bào)誤差。表2不同訓(xùn)練噪聲下的預(yù)報(bào)分析表2中數(shù)據(jù)可以看出下列兩點(diǎn)。1)無(wú)噪聲時(shí)，前4d無(wú)改善，精度反而降低；預(yù)報(bào)8d及更長(zhǎng)弧段時(shí)預(yù)報(bào)誤差略有改善，故應(yīng)加入訓(xùn)練噪聲。2)增加噪聲后，噪聲從0.001~0.100的變化對(duì)預(yù)報(bào)精度的改進(jìn)幅度相當(dāng)。但從總體來(lái)看，噪聲越小，前6d的預(yù)報(bào)精度越高；但預(yù)報(bào)8d以及更長(zhǎng)弧段時(shí)噪聲為0.010的預(yù)報(bào)誤差最小，故應(yīng)選擇訓(xùn)練噪聲為0.010。

3試驗(yàn)結(jié)果及分析

根據(jù)上述短、中、長(zhǎng)期軌道預(yù)報(bào)方案，并結(jié)合不同神經(jīng)網(wǎng)絡(luò)模型參數(shù)的優(yōu)化設(shè)計(jì)分析，給出了利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行軌道預(yù)報(bào)的試驗(yàn)結(jié)果。通過(guò)與精密星歷比對(duì)可以分別得到動(dòng)力學(xué)模型和神經(jīng)網(wǎng)絡(luò)模型的預(yù)報(bào)精度。表3列出了BDS系統(tǒng)中兩顆GEO、三顆IGSO共5顆衛(wèi)星在2013年第23天利用神經(jīng)網(wǎng)絡(luò)模型和動(dòng)力學(xué)模型外推得到的預(yù)報(bào)誤差(其中NN代表神經(jīng)網(wǎng)絡(luò)模型；Dyn代表動(dòng)力學(xué)模型)。Sat02衛(wèi)星由于軌道機(jī)動(dòng)未能統(tǒng)計(jì)其中長(zhǎng)期預(yù)報(bào)結(jié)果。表3中誤差是在一定弧段內(nèi)預(yù)報(bào)誤差的最大值。從表3可得，神經(jīng)網(wǎng)絡(luò)模型1d預(yù)報(bào)誤差有時(shí)會(huì)大于動(dòng)力學(xué)模型的預(yù)報(bào)誤差；但預(yù)報(bào)4，8，15及30d各衛(wèi)星采用神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償后的預(yù)報(bào)精度均有所提高。這主要因?yàn)?d的預(yù)報(bào)弧段規(guī)律性不強(qiáng)，不利于神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)及訓(xùn)練。隨著弧段的增長(zhǎng)，訓(xùn)練樣本的規(guī)律性增強(qiáng)，神經(jīng)網(wǎng)絡(luò)模型的補(bǔ)償效果有所提高。為了更好地衡量神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)效果，給出各衛(wèi)星的預(yù)報(bào)精度提高幅度，其與預(yù)報(bào)誤差改進(jìn)率的計(jì)算公式相同。表4給出了各衛(wèi)星經(jīng)神經(jīng)網(wǎng)絡(luò)模型補(bǔ)償后的預(yù)報(bào)精度提高幅度。從表4中可以看出，預(yù)報(bào)4d各衛(wèi)星的軌道精度改進(jìn)幅度為40.25％~60.31％；預(yù)報(bào)8d各衛(wèi)星的軌道精度改進(jìn)幅度為63.28％~72.59％；預(yù)報(bào)15d改進(jìn)幅度為47.01％~82.37％；預(yù)報(bào)30d改進(jìn)幅度為34.67％~82.35％?？梢?jiàn)神經(jīng)網(wǎng)絡(luò)模型在改進(jìn)軌道預(yù)報(bào)誤差中的作用顯著。

4結(jié)論