神經(jīng)網(wǎng)絡(luò)的復(fù)雜度精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的復(fù)雜度主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：物聯(lián)網(wǎng)；LS-SVM；數(shù)據(jù)模型

中圖分類號(hào)：TP393

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2017）10-0145-02

1.引言

前神經(jīng)網(wǎng)絡(luò)（feedforwardneuralnetwork），簡(jiǎn)稱前饋網(wǎng)絡(luò)，是人工神經(jīng)網(wǎng)絡(luò)的一種。

2.概念相關(guān)概述

2.1前饋人工神經(jīng)網(wǎng)絡(luò)現(xiàn)實(shí)基礎(chǔ)模型

首先，生物神經(jīng)元模型。人的大腦中有眾多神經(jīng)元，而神經(jīng)元之間需要神經(jīng)突觸連接，進(jìn)而構(gòu)成了復(fù)雜有序的神經(jīng)網(wǎng)絡(luò)。而神經(jīng)元主要由樹突、軸突和細(xì)胞體組成。一個(gè)神經(jīng)元有一個(gè)細(xì)胞體和軸突，但是卻有很多樹突。樹突是神經(jīng)元的輸入端，用于接受信息，并向細(xì)胞體財(cái)團(tuán)對(duì)信息。而細(xì)胞體是神經(jīng)元的信息處理中心，能夠?qū)π盘?hào)進(jìn)行處理。軸突相當(dāng)于信息輸出端口，負(fù)責(zé)向下一個(gè)神經(jīng)元傳遞信息；其次，人工神經(jīng)元。人工神經(jīng)元的信息處理能力十分有限，但是，由眾多人工神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)系統(tǒng)龐大，具有巨大的潛力，能夠解決復(fù)雜問題。人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)具有相似之處，人工神經(jīng)網(wǎng)絡(luò)能夠從環(huán)境中獲取知識(shí)，并存儲(chǔ)信息。前饋人工神經(jīng)網(wǎng)絡(luò)主要包括隱含層、輸入層和輸出層。在前饋人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元將信號(hào)進(jìn)行非線性轉(zhuǎn)換之后，將信號(hào)傳遞給下一層，信息傳播是單向的。并且，前饋人工神經(jīng)網(wǎng)絡(luò)是人們應(yīng)用最多的網(wǎng)絡(luò)模型，常見的有BP神經(jīng)網(wǎng)絡(luò)、單層感知器、RBF神經(jīng)網(wǎng)絡(luò)等模型。

2.2 LS-SVM相關(guān)概述

支撐向量機(jī)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，能夠根據(jù)樣本信息進(jìn)行非現(xiàn)象映射，解回歸問題的高度非現(xiàn)象問題。并且，支撐向量機(jī)在解決非線性、局部極小點(diǎn)方問題上有很大的優(yōu)勢(shì)。LS-SVM也叫最小二乘支撐向量機(jī)，是支撐向量機(jī)的一種，遵循支撐向量機(jī)算法的結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，能夠?qū)⒅蜗蛄繖C(jī)算法中的不等式約束改為等式約束，進(jìn)而將二次問題轉(zhuǎn)換為線性方程問題，大大降低了計(jì)算的復(fù)雜性。并且，LS-SVM在運(yùn)算速度上遠(yuǎn)遠(yuǎn)高于支持向量機(jī)。但是，LS-SVM也存在一定的缺點(diǎn)，在計(jì)算的過程中，LS-SVM的忽視了全局最優(yōu)，只能實(shí)現(xiàn)局部最優(yōu)。并且，LS-SVM在處理噪聲污染嚴(yán)重的樣本時(shí)，會(huì)將所有的干擾信息都擬合到模型系統(tǒng)中，導(dǎo)致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進(jìn)。

2.3物聯(lián)網(wǎng)下人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM研究的意義

物聯(lián)網(wǎng)是互聯(lián)網(wǎng)技術(shù)的發(fā)展趨勢(shì)，為前饋人工神經(jīng)網(wǎng)絡(luò)的發(fā)展與LS-SVM研究提供了技術(shù)保障，在物聯(lián)網(wǎng)背景下，研究人工神經(jīng)網(wǎng)絡(luò)前饋LS-SVM不僅能夠創(chuàng)新人工神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，完善人工神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)生活中的應(yīng)用，而且對(duì)人們生活的自動(dòng)化和智能化發(fā)展有著重要意義。另外，物聯(lián)網(wǎng)為人們對(duì)LS-SVM的研究提供了條件，在物聯(lián)網(wǎng)環(huán)境下，人們能夠運(yùn)用信息技術(shù)深化最小二乘支撐向量機(jī)研究，不斷提高LS-SVM回歸模型的魯棒性，改進(jìn)LS-SVM的特征提取方法和在線建模算法，完善計(jì)算機(jī)學(xué)習(xí)方法，提升計(jì)算機(jī)的運(yùn)算速度。3基于LS―SVM的丟包數(shù)據(jù)模型

在選擇的參數(shù)的基礎(chǔ)上，運(yùn)用IS-SVM方法，建立評(píng)估模型。本文選用LS-SVM回歸方法的原因，SVM優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法主要是以下幾點(diǎn)：

首先，了解數(shù)據(jù)挖掘，數(shù)據(jù)挖掘前景廣闊，SVM是數(shù)據(jù)挖掘中的新方法。其次，選擇合適的數(shù)據(jù)分析方法根據(jù)數(shù)據(jù)集的大小和特征。小樣本訓(xùn)練適合SVM，樣本大情況的訓(xùn)練適宜神經(jīng)網(wǎng)絡(luò)，這里用SVM。

然后，就是文獻(xiàn)使用SVM和PCA建立跨層的評(píng)估QOE，實(shí)驗(yàn)結(jié)果表明主觀MOS評(píng)分和此評(píng)價(jià)結(jié)果具有很好的一致性。

最后，本文采用SVM基礎(chǔ)上的進(jìn)一步拔高，LS-SVM，比SVM運(yùn)行快，精確度高。srcl3_hrcl_525.yuv實(shí)驗(yàn)素材的特征是具有高清性質(zhì)。525序列60HZ，幀大小為1440x486字節(jié)/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時(shí)域復(fù)雜度的模型如下，視頻的時(shí)域復(fù)雜度σ；編碼量化參數(shù)是Q；編碼速率為R；待定模型的參數(shù)為a和b。σ=Q（aR+b）。通過大量的實(shí)驗(yàn)和理論分析，得到模型的參數(shù)：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數(shù)是根據(jù)實(shí)驗(yàn)的具體情況確定的。計(jì)算σ的值如下所示：當(dāng)量化參數(shù)為31時(shí)，σ=19998720.1，當(dāng)量化參數(shù)為10時(shí)，σ=6451200.03，當(dāng)量化參數(shù)為5時(shí)，σ=3225600.02，當(dāng)量化參數(shù)為62時(shí)，σ=39997440.2，當(dāng)量化參數(shù)為100時(shí)，σ=64512000.3，當(dāng)量化參數(shù)為200時(shí)，σ=129024001，當(dāng)量化參數(shù)為255時(shí)，σ=164505601。

對(duì)于srcl3網(wǎng)絡(luò)環(huán)境建立考慮網(wǎng)絡(luò)丟包的視頻質(zhì)量無參評(píng)估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數(shù)，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時(shí)域復(fù)雜度。等權(quán)的參數(shù)。

LS-SVM要求調(diào)用的參數(shù)只有兩個(gè)gam和sig2并且他們是LS-SVM的參數(shù)，其中決定適應(yīng)誤差的最小化和平滑程度的正則化參數(shù)是gam，RBF函數(shù)的參數(shù)是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數(shù)回歸的。

4.機(jī)器學(xué)習(xí)和物聯(lián)網(wǎng)的結(jié)合

物聯(lián)網(wǎng)中也用到人工智能，人工智能中有機(jī)器學(xué)習(xí)，機(jī)器學(xué)習(xí)中有神經(jīng)網(wǎng)絡(luò)。機(jī)器學(xué)習(xí)是人工智能研究的核心問題之一，也是當(dāng)前人工智能研究的一個(gè)熱門方向。

第2篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：中立神經(jīng)網(wǎng)絡(luò)；魯棒穩(wěn)定性；離散時(shí)滯；范數(shù)有界；李雅普諾夫泛函

中圖分類號(hào)：TP183

近年來，各種類型的神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于許多實(shí)際工程問題，如信號(hào)與圖像處理、模式識(shí)別、聯(lián)想記憶、并行計(jì)算和優(yōu)化與控制等[1-3]。在這些應(yīng)用中，神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)行為是非常重要的。眾所周知，許多實(shí)際系統(tǒng)的數(shù)學(xué)模型中均含有時(shí)滯的現(xiàn)象，如在模擬神經(jīng)網(wǎng)絡(luò)電路實(shí)現(xiàn)中，由于運(yùn)放器的開關(guān)速度限制會(huì)產(chǎn)生時(shí)滯，神經(jīng)網(wǎng)絡(luò)中的軸突信號(hào)傳輸延遲也會(huì)產(chǎn)生時(shí)滯。當(dāng)在模型中引入時(shí)滯后，它將影響軸突信號(hào)傳輸率下降，進(jìn)而導(dǎo)致失穩(wěn)。因此，在神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析中時(shí)滯是不可或缺的。近來的文獻(xiàn)中，已經(jīng)有很多利用各種分析和不等式方法，研究了不同類型的神經(jīng)網(wǎng)絡(luò)，得到了一些時(shí)滯神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性結(jié)果[4-7]。事實(shí)上，為了精確描述神經(jīng)網(wǎng)絡(luò)的平衡和穩(wěn)定屬性，前一個(gè)狀態(tài)的時(shí)間導(dǎo)數(shù)信息的必須引入神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程，即中立神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性研究已經(jīng)有許多的結(jié)果，包括離散時(shí)滯、分布時(shí)滯以及變時(shí)滯[8-11]。

另一方面，在很多實(shí)際的系統(tǒng)中，如在物理電路和生物系統(tǒng)中，隨機(jī)干擾在動(dòng)力系統(tǒng)中起著非常重要的作用。那么由于隨機(jī)因素客觀存在于實(shí)際過程中，確定性系統(tǒng)建模的只能描述實(shí)際過程動(dòng)態(tài)特性的某種近似。顯而易見，利用確定性系統(tǒng)理論的系統(tǒng)建模方法對(duì)某些系統(tǒng)實(shí)行的描述常常會(huì)嚴(yán)重背離所期望的效果。為了抵消這些不確定因素的影響，必須將系統(tǒng)描述為不確定系統(tǒng)。

本文將在Lipschitz連續(xù)的激活函數(shù)條件下，研究參數(shù)范數(shù)有界不確定的離散時(shí)滯中立神經(jīng)網(wǎng)絡(luò)的魯棒穩(wěn)定性問題。應(yīng)用范數(shù)分析方法，構(gòu)造合適的Lyapunov-Krasovskii泛函并考慮參數(shù)范數(shù)有界不確定，研究新的穩(wěn)定性判定準(zhǔn)則，用以保證離散時(shí)滯中立神經(jīng)網(wǎng)絡(luò)在平衡點(diǎn)是全局漸近魯棒穩(wěn)定的。與現(xiàn)有文獻(xiàn)中穩(wěn)定性準(zhǔn)則絕大多數(shù)使用LMI形式[5，7，8，10，13]相比，本文的準(zhǔn)則未知參數(shù)少且計(jì)算復(fù)雜度底，更加易于驗(yàn)證。

在本文中，用Rn表示n維歐幾里德空間；對(duì)任意p=（pij）n*n，p>0表示p是對(duì)稱正定矩陣；pT，p-1，λm（p），λM（p）分別代表P的轉(zhuǎn)置、P的逆、P的特征值的最小值和P的特征值的最大值；矩陣的范數(shù)P2=[λM（PTP）]1/2；對(duì)于向量 ， 。

1 系統(tǒng)模型及引理

考慮以下一類具有離散時(shí)滯的中立神經(jīng)網(wǎng)絡(luò)模型：

（1）

其中n 是神經(jīng)元數(shù)目，xi是第i個(gè)神經(jīng)元狀態(tài)；參數(shù)ci為常數(shù)；αij表示神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間的互連權(quán)值；τj為時(shí)滯；bij表示在具有時(shí)滯τj的情況下神經(jīng)元之間的互連權(quán)值；eij表示時(shí)滯狀態(tài)的時(shí)間導(dǎo)數(shù)的系數(shù)；fj（?）表示神經(jīng)元的激活函數(shù)；常數(shù)ui表示外部輸入。在系統(tǒng)（1）中，τj≥0表示時(shí)滯參數(shù)τ滿足τ=max（τj），1≤j≤n。系統(tǒng)（1）的初始條件為： ，其中 表示從[-τ，0]到R的連續(xù)函數(shù)集。

假設(shè)1 考慮系統(tǒng)模型參數(shù)的不確定性，假設(shè)系統(tǒng)（1）中ci，αij，bij，eij和τj是范數(shù)有界且滿足

（2）

假設(shè)2 系統(tǒng)（1）中的激活函數(shù)fj（），i=1，2，…，n是Lipschitz連續(xù)，即存在 使得

（3）

接下來，系統(tǒng)模型（1）寫成矩陣向量形式，如下

（4）

其中 A=（aij）n×n，B=（bij）n×n，

E=（bij）n×n，C=diag（ci>0），u=（u1，u2，…，un）T，

f（x（t））=（f1（x1（t）），f2（x2（t）），…，fn（xn（t）））T，

f（x（t-τ））=（f1（x1（t-τ1）），f2（x2（t-τ2）），…，fn（xn（t-τn）））T.

為了求得結(jié)果，將使用下列1個(gè)事實(shí)和4個(gè)引理。

事實(shí)1 如果W=（Wij）和V=（Vij）滿足式（2）且范數(shù)有界，則存在正常數(shù)σ（W）和σ（V）使得||W||2≤σ（W）和||V||2≤σ（V）。

引理1[12] 對(duì)W∈W1：=

下列不等式成立：

其中

引理2[13] 對(duì)W∈W1：=

下列不等式成立：

σ2（W）=||W*||2+||W*||2

其中

引理3[14] 對(duì)W∈W1：=

下列不等式成立：

其中

引理4[15] 對(duì)W∈W1：=

下列不等式成立：

其中

2 穩(wěn)定性分析

為了簡(jiǎn)化證明過程，通過變換z（t）=x（t）-x*，轉(zhuǎn)移中立神經(jīng)網(wǎng)絡(luò)（1）的平衡點(diǎn)到新系統(tǒng)的原點(diǎn)，得到以下系統(tǒng)模型：

（5）

寫成矩陣向量形式，如下

（6）

其中 是轉(zhuǎn)換后神經(jīng)網(wǎng)絡(luò)的狀態(tài)向量， g（z（t））=g1（z1（t）），g2（z2（t）），…，gn（zn（t）））T，和表示新的非線性激活函數(shù)。式（5）中的激活函數(shù)gi（zi（t））滿足

（7）

以下將導(dǎo)出主要的穩(wěn)定性結(jié)果。

定理1 對(duì)于中立神經(jīng)網(wǎng)絡(luò)（5），讓||E||2

γ1=||C||2-||P||2-||Q||2-||H||2-σ2（C）||R-1||2>0，

γ2=||C||2||L-2||2-||D||2-σ2（A）||P-1||2-σ2（A）||R-1||2>0， （8）

γ3=||D||2-σ2（B）||Q-1||2-σ2（B）||R-1||2>0，

γ4=||H||2-3σ2（E）||R||2>0，

其中

證明 構(gòu)造如下Lyapunov-Krasovskii泛函：

（9）

其中hi和di，i=1，2，…，n是正常數(shù)。

沿著系統(tǒng)（5）解的軌跡，對(duì)V（z（t））求時(shí)間的導(dǎo)數(shù)：

（10）

由于 ，則有

（11）

另有下列不等式：

2zT（t）Ag（z（t））≤zT（t）Pz（t）+gT（z（t））ATP-1Ag（z（t））

≤||P||2||z（t）||22-||A||22||P-1||2||g（z（t））||22

（12）

2zT（t）Bg（z（t-τ））≤zT（t）Qz（t）+gT（z（t-τ））BTQ-1Bg（z（t-τ））

≤||Q||2||z（t）||22+||B||22||Q-1||2||g（z（t-τ））||22

（13）

-2zT（t-τ）ETCz（t）≤zT（t-τ）ETREz（t-τ）+zT（t））CTR-1Cz（t）

≤||E||22||R||2||（z（t-τ）||22+||C||22||R-1||2||z（t）||22

（14）

2zT（t-τ）ETAg（z（t））≤zT（t-τ）ETREz（t-τ）+gT（z（t））ATR-1Ag（z（t））

≤||E||22||R||2||（z（t-τ）||22+||A||22||R-1||2||g（z（t））||22，

（15）

2zT（t-τ）ETBg（z（t-τ））≤zT（t-τ）ETREz（t-τ）+gT（z（t-τ））BTR-1Bg（z（t-τ））

≤||E||22||R||2||（z（t-τ）||22+||B||22||R-1||2||g（z（t-τ））||22

（16）

其中P，Q，R是正定矩陣。

根據(jù)式（7）有

zT（t）Cz（t）≥gT（z（t））CL-2g（z（t）） （17）

將（12）-（17）代入（11），可得：

（18）

由事實(shí)1和引理1-引理4，

||A||2≤σ（A），||B||2≤σ（B），||C||2≤σ（C），||E||2≤σ（E）

，則有

（19）

即

（20）

等于

（21）

顯然，如果z（t），g（z（t-τ）），gT（z（t））和z（t-τ）中任意一個(gè)向量非零，則γ1>0，γ2>0，γ3>0，和γ4>0，就能保證 。當(dāng)且僅當(dāng)在系統(tǒng)（5）的原點(diǎn)有，z（t）=z（t-τ）=g（z（t-τ））=g（z（t））=0，則 。另外，V（z（t））∞as||z（t）||2∞意味著用于穩(wěn)定性分析的Lyapunov泛函是徑向無界的。因此，可以從標(biāo)準(zhǔn)的Lyapunov穩(wěn)定性理論得出結(jié)論：系統(tǒng)（5）的原點(diǎn)（等價(jià)于系統(tǒng)（1）的平衡點(diǎn)）是全局漸近魯棒穩(wěn)定的。定理1證明完畢。

選擇定理1中的H，D，P，Q和R，令H=hI，D=dI，P=pI，Q=qI和R=rI，我們能得到以下推論1。

推論1 對(duì)于中立神經(jīng)網(wǎng)絡(luò)（5），讓||E||2

（22）

其中

3 仿真示例

在本節(jié)，將用一個(gè)仿真算例說明所得結(jié)論的有效性。

例1 考慮具有離散時(shí)滯和范數(shù)有界不確定性的中立神經(jīng)網(wǎng)絡(luò)模型系統(tǒng)（5），其參數(shù)為

其中χ>0是一個(gè)實(shí)數(shù)。

計(jì)算矩陣A*，A*，B*和B*，有

那么，有

σ21（A*）=|||A*TA*|+2|A*T|A*+A*TA*||2=105.3505χ2，

σ22（A）=（||A*||2+||A*||2）=98.3826χ2，

σ23（A）=||A*||22+||A*||22+2||A*T|A*|||2=95.4366χ2，

因?yàn)棣遥ˋ）=minσ1（A），σ2（A），σ3（A），σ4（A），

可得σ2（A）=95.4366χ2。同理，計(jì)算得σ2（B）=95.4366χ2，σ2（C）=4。

由推論1，令||E||2，r，h，為極小值，d=1，p=q，則有

聯(lián)立上述4項(xiàng)必要條件，可得95.4366χ2≤1，即χ≤0.1024。因此，根據(jù)推論1，如果選擇χ≤0.1024，推論1中的穩(wěn)定性條件就能滿足，那么就能判定系統(tǒng)（5）的平衡點(diǎn)是全局漸近魯棒穩(wěn)定的。

接下來，考慮本例中的一種特殊情況，將給出可視化的模擬結(jié)果。令χ=0.08（滿足χ≤0.1024），則有

選擇

使用Matlab模擬，結(jié)果如圖1所示，可以看出系統(tǒng)（5）經(jīng)過一段時(shí)間后收斂于平衡點(diǎn)。

圖1

系統(tǒng)（5）的x（t）軌跡（初始狀態(tài)x（0）=[0.4 -0.2]、激活函數(shù)f（x（t））=tanh（x（t））

4 結(jié)束語

本文得到了一個(gè)有關(guān)具有離散時(shí)滯和參數(shù)范數(shù)有界的不確定性中立神經(jīng)網(wǎng)絡(luò)的全局漸近魯棒穩(wěn)定性的新結(jié)果。通過將神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)不確定性轉(zhuǎn)化為范數(shù)有界問題，并利用矩陣不等式分析方法，構(gòu)造合適的Lyapunov-Krasovskii泛函，得到了新的與時(shí)滯無關(guān)的穩(wěn)定性判定準(zhǔn)則，能夠保證該類離散時(shí)滯中立神經(jīng)網(wǎng)絡(luò)在平衡點(diǎn)全局漸近魯棒穩(wěn)定。與現(xiàn)有文獻(xiàn)中大多數(shù)LMI形式的穩(wěn)定性準(zhǔn)則不同，該穩(wěn)定性判定準(zhǔn)則中未知參數(shù)少且計(jì)算復(fù)雜度低，易于計(jì)算驗(yàn)證。最后，一個(gè)數(shù)值仿真算例驗(yàn)證了穩(wěn)定性判定準(zhǔn)則的有效性。在后續(xù)的研究工作中，將進(jìn)一步研究具有變時(shí)滯的范數(shù)有界不確定神經(jīng)網(wǎng)絡(luò)的全局漸近魯棒穩(wěn)定性問題。

參考文獻(xiàn)：

[1]韓廣，喬俊飛，薄迎春.溶解氧濃度的前饋神經(jīng)網(wǎng)絡(luò)建?？刂品椒╗J].控制理論與應(yīng)用，2013（05）：585-591.

[2]黃亮，馮登國(guó)，連一峰.基于神經(jīng)網(wǎng)絡(luò)的 DDoS 防護(hù)績(jī)效評(píng)估[J].計(jì)算機(jī)研究與發(fā)展，2013（10）：2100-2108.

[3]吳玉香，王聰.基于確定學(xué)習(xí)的機(jī)器人任務(wù)空間自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制[J].自動(dòng)化學(xué)報(bào)，2013（06）：806-815.

[4]劉國(guó)權(quán)，周書民.一類含有時(shí)變時(shí)滯的不確定中立型Hopfield神經(jīng)網(wǎng)絡(luò)的魯棒穩(wěn)定性判據(jù)[J].自動(dòng)化學(xué)報(bào)，2013（09）：1421-1430.

[5] DU Y，ZHONG S，ZHOU N， et al.Exponential stability for stochastic CohenGrossberg BAM neural networks with discrete and distributed time-varying delays[J].Neurocomputing，2014（01）：144-151.

[6]LIU B. Global exponential stability for BAM neural networks with time-varying delays in the leakage terms[J].Nonlinear Analysis：Real World Applications，2013（01）：559-566.

[7]KWON O，PARK J H，LEE S-M，et al.Analysis on delay-dependent stability for neural networks with time-varying delays[J].Neurocomputing，2013（01）：114-120.

[8]LAKSHMANAN S，PARK J H，JUNG H Y，et al.A delay partitioning approach to delay-dependent stability analysis for neutral type neural networks with discrete and distributed delays[J].Neurocomputing，2013（01）：81-89.

[9]WANG K，ZHU Y.Stability of almost periodic solution for a generalized neutral-type neural networks with delays [J].Neurocomputing，2010（16-18）：3300-3307.

[10]LIU P L.Improved delay-dependent stability of neutral type neural networks with distributed delays[J].ISA Trans，2013（06）：717-24.

[11]ZHANG Z，LIU W， ZHOU D.Global asymptotic stability to a generalized Cohen-Grossberg BAM neural networks of neutral type delays[J].Neural networks，2012（01）：94-105.

[12]FAYDASICOK O，ARIK S.A new upper bound for the norm of interval matrices with application to robust stability analysis of delayed neural networks[J].Neural Networks，2013（01）：67-71.

[13]CAO J，HUANG D-S，QU Y.Global robust stability of delayed recurrent neural networks[J].Chaos，Solitons & Fractals，2005（01）：221-229.

[14]ENSARI T，ARIK S.New results for robust stability of dynamical neural networks with discrete time delays[J].Expert Systems with Applications，2010（08）：5925-5930.

[15]SINGH V.Global robust stability of delayed neural networks：Estimating upper limit of norm of delayed connection weight matrix[J].Chaos，Solitons&Fractals，2007（01）：259-263.

作者簡(jiǎn)介：吳海霞（1979-），女，山東臨清人，博士后，副教授，美國(guó)IEEE會(huì)員，中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員。研究方向：神經(jīng)網(wǎng)絡(luò)、基因調(diào)控網(wǎng)絡(luò)動(dòng)力學(xué)行為。

第3篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵字神經(jīng)網(wǎng)絡(luò)，BP模型，預(yù)測(cè)

1引言

在系統(tǒng)建模、辨識(shí)和預(yù)測(cè)中，對(duì)于線性系統(tǒng)，在頻域，傳遞函數(shù)矩陣可以很好地表達(dá)系統(tǒng)的黑箱式輸入輸出模型；在時(shí)域，Box-Jenkins方法、回歸分析方法、ARMA模型等，通過各種參數(shù)估計(jì)方法也可以給出描述。對(duì)于非線性時(shí)間序列預(yù)測(cè)系統(tǒng)，雙線性模型、門限自回歸模型、ARCH模型都需要在對(duì)數(shù)據(jù)的內(nèi)在規(guī)律知道不多的情況下對(duì)序列間關(guān)系進(jìn)行假定?？梢哉f傳統(tǒng)的非線性系統(tǒng)預(yù)測(cè)，在理論研究和實(shí)際應(yīng)用方面，都存在極大的困難。相比之下，神經(jīng)網(wǎng)絡(luò)可以在不了解輸入或輸出變量間關(guān)系的前提下完成非線性建模[4，6]。神經(jīng)元、神經(jīng)網(wǎng)絡(luò)都有非線性、非局域性、非定常性、非凸性和混沌等特性，與各種預(yù)測(cè)方法有機(jī)結(jié)合具有很好的發(fā)展前景，也給預(yù)測(cè)系統(tǒng)帶來了新的方向與突破。建模算法和預(yù)測(cè)系統(tǒng)的穩(wěn)定性、動(dòng)態(tài)性等研究成為當(dāng)今熱點(diǎn)問題。目前在系統(tǒng)建模與預(yù)測(cè)中，應(yīng)用最多的是靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)，這主要是因?yàn)檫@種網(wǎng)絡(luò)具有通過學(xué)習(xí)逼近任意非線性映射的能力。利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)建立系統(tǒng)的輸入/輸出模型，本質(zhì)上就是基于網(wǎng)絡(luò)逼近能力，通過學(xué)習(xí)獲知系統(tǒng)差分方程中的非線性函數(shù)。但在實(shí)際應(yīng)用中，需要建模和預(yù)測(cè)的多為非線性動(dòng)態(tài)系統(tǒng)，利用靜態(tài)的多層前向神經(jīng)網(wǎng)絡(luò)必須事先給定模型的階次，即預(yù)先確定系統(tǒng)的模型，這一點(diǎn)非常難做到。近來，有關(guān)基于動(dòng)態(tài)網(wǎng)絡(luò)的建模和預(yù)測(cè)的研究，代表了神經(jīng)網(wǎng)絡(luò)建模和預(yù)測(cè)新的發(fā)展方向。

2BP神經(jīng)網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法?，F(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。如圖1所示，BP神經(jīng)網(wǎng)絡(luò)包括以下單元：①處理單元(神經(jīng)元)（圖中用圓圈表示），即神經(jīng)網(wǎng)絡(luò)的基本組成部分。輸入層的處理單元只是將輸入值轉(zhuǎn)入相鄰的聯(lián)接權(quán)重，隱層和輸出層的處理單元將它們的輸入值求和并根據(jù)轉(zhuǎn)移函數(shù)計(jì)算輸出值。②聯(lián)接權(quán)重(圖中如V,W)。它將神經(jīng)網(wǎng)絡(luò)中的處理單元聯(lián)系起來，其值隨各處理單元的聯(lián)接程度而變化。③層。神經(jīng)網(wǎng)絡(luò)一般具有輸入層x、隱層y和輸出層o。④閾值。其值可為恒值或可變值，它可使網(wǎng)絡(luò)能更自由地獲取所要描述的函數(shù)關(guān)系。⑤轉(zhuǎn)移函數(shù)F。它是將輸入的數(shù)據(jù)轉(zhuǎn)化為輸出的處理單元，通常為非線性函數(shù)。

2.1基本算法

BP算法主要包含4步，分為向前傳播和向后傳播兩個(gè)階段：

1）向前傳播階段

（1）從樣本集中取一個(gè)樣本（Xp，Yp），將Xp輸入網(wǎng)絡(luò)；

（2）計(jì)算相應(yīng)的實(shí)際輸出Op

在此階段，信息從輸入層經(jīng)過逐級(jí)的變換，傳送到輸出層。這個(gè)過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)的執(zhí)行過程。

2）向后傳播階段

（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；

（2）按極小化誤差的方式調(diào)整權(quán)矩陣。

這兩個(gè)階段的工作受到精度要求的控制，在這里取作為網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測(cè)度，而將網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測(cè)度定義為。圖2是基本BP算法的流程圖。

2.2動(dòng)態(tài)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法

在經(jīng)典的BP算法以及其他的訓(xùn)練算法中都有很多變量，這些訓(xùn)練算法可以確定一個(gè)ANN結(jié)構(gòu)，它們只訓(xùn)練固定結(jié)構(gòu)的ANN權(quán)值（包括聯(lián)接權(quán)值和結(jié)點(diǎn)轉(zhuǎn)換函數(shù)）。在自動(dòng)設(shè)計(jì)ANN結(jié)構(gòu)方面，也已有較多的嘗試，比如構(gòu)造性算法和剪枝算法。前一種是先隨機(jī)化網(wǎng)絡(luò)，然后在訓(xùn)練過程中有必要地增加新的層和結(jié)點(diǎn)；而剪枝法則正好相反。文獻(xiàn)[2]中提出了演化神經(jīng)網(wǎng)絡(luò)的理念，并把EP算法與BP進(jìn)行了組合演化；也有很多學(xué)者把遺傳算法和BP進(jìn)行結(jié)合，但這些算法都以時(shí)間復(fù)雜度以及空間復(fù)雜度的增加為代價(jià)。根據(jù)Kolmogorov定理,對(duì)于任意給定的L2型連續(xù)函數(shù)f:[0,1]nRm,f可以精確地用一個(gè)三層前向神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，因而可以只考慮演化網(wǎng)絡(luò)的權(quán)值和結(jié)點(diǎn)數(shù)而不影響演化結(jié)果?；诖耍贐P原有算法的基礎(chǔ)上，增加結(jié)點(diǎn)數(shù)演化因子，然后記錄每層因子各異時(shí)演化出的結(jié)構(gòu)，最后選取最優(yōu)的因子及其網(wǎng)絡(luò)結(jié)構(gòu)，這樣就可以避免由于增加或剪枝得到的局部最優(yōu)。根據(jù)實(shí)驗(yàn)得知，不同的預(yù)測(cè)精度也影響網(wǎng)絡(luò)層神經(jīng)元的結(jié)點(diǎn)數(shù)，所以可根據(jù)要求動(dòng)態(tài)地建立預(yù)測(cè)系統(tǒng)。具體步驟如下：

（1）將輸入向量和目標(biāo)向量進(jìn)行歸一化處理。

（2）讀取輸入向量、目標(biāo)向量，記錄輸入維數(shù)m、輸出層結(jié)點(diǎn)數(shù)n。

（3）當(dāng)訓(xùn)練集確定之后，輸入層結(jié)點(diǎn)數(shù)和輸出層結(jié)點(diǎn)數(shù)隨之而確定，首先遇到的一個(gè)十分重要而又困難的問題是如何優(yōu)化隱層結(jié)點(diǎn)數(shù)和隱層數(shù)。實(shí)驗(yàn)表明，如果隱層結(jié)點(diǎn)數(shù)過少，網(wǎng)絡(luò)不能具有必要的學(xué)習(xí)能力和信息處理能力。反之，若過多，不僅會(huì)大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性（這一點(diǎn)對(duì)硬件實(shí)現(xiàn)的網(wǎng)絡(luò)尤其重要），網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點(diǎn)，而且會(huì)使網(wǎng)絡(luò)的學(xué)習(xí)速度變得很慢。隱層結(jié)點(diǎn)數(shù)的選擇問題一直受到神經(jīng)網(wǎng)絡(luò)研究工作者的高度重視。Gorman指出隱層結(jié)點(diǎn)數(shù)s與模式數(shù)N的關(guān)系是：s＝log2N；Kolmogorov定理表明，隱層結(jié)點(diǎn)數(shù)s＝2n＋1（n為輸入層結(jié)點(diǎn)數(shù)）；而根據(jù)文獻(xiàn)[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。

（4）設(shè)置結(jié)點(diǎn)數(shù)演化因子a。為了快速建立網(wǎng)絡(luò)，可以對(duì)其向量初始化，并從小到大排序[4，7]。

（5）建立BP神經(jīng)網(wǎng)絡(luò)。隱含層傳遞函數(shù)用tansig，輸出層用logsig，訓(xùn)練函數(shù)采用動(dòng)態(tài)自適應(yīng)BP算法，并制訂停止準(zhǔn)則：目標(biāo)誤差精度以及訓(xùn)練代數(shù)。

（6）初始化網(wǎng)絡(luò)。

（7）訓(xùn)練網(wǎng)絡(luò)直到滿足停止判斷準(zhǔn)則。

（8）用測(cè)試向量對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，并記錄誤差和逼近曲線，評(píng)估其網(wǎng)絡(luò)的適應(yīng)性。其適應(yīng)度函數(shù)采取規(guī)則化均方誤差函數(shù)。

（9）轉(zhuǎn)到（5），選取下一個(gè)演化因子，動(dòng)態(tài)增加隱含層結(jié)點(diǎn)數(shù)，直到最后得到最佳預(yù)測(cè)網(wǎng)絡(luò)。

3基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)原理[4]

3.1正向建模

正向建模是指訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)表達(dá)系統(tǒng)正向動(dòng)態(tài)的過程，這一過程建立的神經(jīng)網(wǎng)絡(luò)模型稱為正向模型，其結(jié)構(gòu)如圖3所示。其中，神經(jīng)網(wǎng)絡(luò)與待辨識(shí)的系統(tǒng)并聯(lián)，兩者的輸出誤差用做網(wǎng)絡(luò)的訓(xùn)練信號(hào)。顯然，這是一個(gè)典型的有導(dǎo)師學(xué)習(xí)問題，實(shí)際系統(tǒng)作為教師，向神經(jīng)網(wǎng)絡(luò)提供算法所需要的期望輸出。當(dāng)系統(tǒng)是被控對(duì)象或傳統(tǒng)控制器時(shí)，神經(jīng)網(wǎng)絡(luò)多采用多層前向網(wǎng)絡(luò)的形式，可直接選用BP網(wǎng)絡(luò)或它的各種變形。而當(dāng)系統(tǒng)為性能評(píng)價(jià)器時(shí)，則可選擇再勵(lì)學(xué)習(xí)算法，這時(shí)網(wǎng)絡(luò)既可以采用具有全局逼近能力的網(wǎng)絡(luò)（如多層感知器），也可選用具有局部逼近能力的網(wǎng)絡(luò)（如小腦模型控制器等）。3.2逆向建模

建立動(dòng)態(tài)系統(tǒng)的逆模型，在神經(jīng)網(wǎng)絡(luò)中起著關(guān)鍵作用，并且得到了廣泛的應(yīng)用。其中，比較簡(jiǎn)單的是直接逆建模法，也稱為廣義逆學(xué)習(xí)。其結(jié)構(gòu)如圖4所示，擬預(yù)報(bào)的系統(tǒng)輸出作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)輸出與系統(tǒng)輸入比較，相應(yīng)的輸入誤差用于訓(xùn)練，因而網(wǎng)絡(luò)將通過學(xué)習(xí)建立系統(tǒng)的逆模型。但是，如果所辨識(shí)的非線性系統(tǒng)是不可逆的，利用上述方法將得到一個(gè)不正確的逆模型。因此，在建立系統(tǒng)時(shí)，可逆性應(yīng)該先有所保證。

4應(yīng)用實(shí)例分析

以我國(guó)西南某地震常發(fā)地區(qū)的地震資料作為樣本來源，實(shí)現(xiàn)基于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的地震預(yù)報(bào)。根據(jù)資料，提取出7個(gè)預(yù)報(bào)因子和實(shí)際發(fā)生的震級(jí)M作為輸入和目標(biāo)向量。預(yù)報(bào)因子為半年內(nèi)M>=3的地震累計(jì)頻度、半年內(nèi)能量釋放積累值、b值、異常地震群個(gè)數(shù)、地震條帶個(gè)數(shù)、是否處于活動(dòng)期內(nèi)以及相關(guān)地震區(qū)地震級(jí)。在訓(xùn)練前，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。由于輸入樣本為7維的輸入向量，一般情況下輸入層設(shè)7個(gè)神經(jīng)元。根據(jù)實(shí)際情況，輸出層神經(jīng)元個(gè)數(shù)為1。隱含層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)，輸出層也可以動(dòng)態(tài)選擇傳遞函數(shù)。實(shí)例數(shù)據(jù)來自文獻(xiàn)[4]，將數(shù)據(jù)集分為訓(xùn)練集、測(cè)試集和確定集。表1中的7×7數(shù)組表示歸一化后的訓(xùn)練向量，第一個(gè)7表示預(yù)報(bào)因子數(shù)，第二個(gè)7表示樣本數(shù)。

表1歸一化后的訓(xùn)練向量

在不同神經(jīng)元數(shù)情況下，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和仿真，得到如圖5所示的一組預(yù)測(cè)誤差曲線。其中，曲線A表示隱層結(jié)點(diǎn)數(shù)為6時(shí)的預(yù)測(cè)誤差曲線，曲線B表示隱含層結(jié)點(diǎn)數(shù)為3時(shí)的預(yù)測(cè)誤差曲線，曲線C表示隱含層結(jié)點(diǎn)數(shù)為5時(shí)的預(yù)測(cè)誤差曲線，曲線D表示隱含層結(jié)點(diǎn)數(shù)為4時(shí)的預(yù)測(cè)誤差曲線。將五種情況下的誤差進(jìn)行對(duì)比，曲線C表示的網(wǎng)絡(luò)預(yù)測(cè)性能最好，其隱含層神經(jīng)元數(shù)為5，圖中曲線E表示的是隱含層結(jié)點(diǎn)數(shù)為15時(shí)的預(yù)測(cè)誤差曲線（文獻(xiàn)[4]中的最好結(jié)果）。同時(shí)也證明，在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)，不能無限制地增加層神經(jīng)元的個(gè)數(shù)。若過多，不僅會(huì)大大增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，網(wǎng)絡(luò)在學(xué)習(xí)過程中更易陷入局部極小點(diǎn)，而且會(huì)使網(wǎng)絡(luò)的學(xué)習(xí)速度、預(yù)測(cè)速度變得很慢。

5結(jié)論

本文針對(duì)基本的BP神經(jīng)網(wǎng)絡(luò)，提出了可動(dòng)態(tài)改變神經(jīng)元數(shù)（與精度相關(guān)）的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法，可以根據(jù)實(shí)際情況建立預(yù)測(cè)系統(tǒng)。用此種方法可以建立最好的神經(jīng)網(wǎng)絡(luò)，不會(huì)有多余的神經(jīng)元，也不會(huì)讓網(wǎng)絡(luò)在學(xué)習(xí)過程中過早陷于局部極小點(diǎn)。

參考文獻(xiàn)

[1]YaoX,LiuY.FastEvolutionaryProgramming.inEvolutionaryProgrammingⅤ:Proc.5thAnnu.Conf.EvolutionaryProgram,L.Fogel,P.AngelineandT.Bäck,Eds.Cambridge,MA:MITPress,1996,451-460

[2]XinYao,YongLiu,ANewEvolutionarySystemforEvolvingArtificialNeuralNetworksIEEETRANSACTIONSONNEURALNETWORKS,VOL8,NO.31997，694-714

[3]潘正君，康立山，陳毓屏.演化計(jì)算[M].北京:清華大學(xué)出版社，1998

[4]飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與實(shí)現(xiàn).北京:電子工業(yè)出版社，2005

[5]蔡曉芬，方建斌.演化神經(jīng)網(wǎng)絡(luò)算法.江漢大學(xué)學(xué)報(bào)，第33卷第3期，2005.9

第4篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

（黑龍江民族職業(yè)學(xué)院，黑龍江 哈爾濱 150066）

摘　要：盈余預(yù)測(cè)具有引導(dǎo)投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國(guó)內(nèi)對(duì)公司未來盈利進(jìn)行預(yù)測(cè)的研究還相當(dāng)少。提出了以決策樹作為基分類器，采用集成學(xué)習(xí)方法，利用上市某公司2001至2005年的財(cái)務(wù)數(shù)據(jù)對(duì)該上市公司在2006年的盈利狀況進(jìn)行預(yù)測(cè)研究。首先，采用有放回的隨機(jī)抽樣技術(shù)分別從訓(xùn)練樣本和測(cè)試樣本中產(chǎn)生50個(gè)訓(xùn)練子集和1個(gè)測(cè)試集；然后利用決策樹，采用CHAID算法對(duì)50個(gè)訓(xùn)練子集分別進(jìn)行訓(xùn)練，得到50個(gè)基決策樹分類器；通過采用Bagging方法，構(gòu)建決策樹集成模型。所得到的集成模型在測(cè)試集上的分類準(zhǔn)確率達(dá)到96%以上，通過比較由不同數(shù)目的基分類器構(gòu)成的集成模 型和單個(gè)分類器的預(yù)測(cè)準(zhǔn)確率，證明了該集成模型的預(yù)測(cè)準(zhǔn)確率高且穩(wěn)定。

關(guān)鍵詞 ：神經(jīng)網(wǎng)絡(luò)；集成學(xué)習(xí)；盈利預(yù)測(cè)

中圖分類號(hào)：F275文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡(jiǎn)介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數(shù)據(jù)挖掘與決策支持。

1 引言

公司的財(cái)務(wù)狀況及其未來盈利情況不但對(duì)公司的管理層十分重要，而且對(duì)其他投資者也非常重要。如果能夠利用公司以往的財(cái)務(wù)報(bào)表數(shù)據(jù)和其它一些宏觀經(jīng)濟(jì)數(shù)據(jù)（如GDP、CPI、利率等）及早準(zhǔn)確預(yù)測(cè)公司未來的盈利狀況的話，那么就可以更有效地對(duì)公司進(jìn)行管理和指導(dǎo)投資者的投資行為。但是，一個(gè)公司的財(cái)務(wù)報(bào)表往往只反映了公司在過去的財(cái)政年度內(nèi)的經(jīng)營(yíng)狀況，并不反映出公司在下一年中的管理情況。因而，一個(gè)公司的財(cái)務(wù)狀況與其未來盈利之間的關(guān)系并沒有那么明顯，它受到很多因素的影響，要構(gòu)建一個(gè)精確的模型反映它們之間的關(guān)系是很困難的。針對(duì)此情況，本文提出采用決策樹集成方法，構(gòu)建模型來刻畫公司財(cái)務(wù)狀況與其未來盈利之間的關(guān)系，利用上市公司已有的財(cái)務(wù)數(shù)據(jù)，并結(jié)合主要的宏觀經(jīng)濟(jì)變量來預(yù)測(cè)公司未來的盈利狀況，這必將是公司財(cái)務(wù)處理的一個(gè)新發(fā)展。

數(shù)據(jù)挖掘技術(shù)越來越多地被用于預(yù)測(cè)研究。集成學(xué)習(xí)方法作為數(shù)據(jù)挖掘技術(shù)中一種較新的方法，由于其在提高預(yù)測(cè)的準(zhǔn)確性上的優(yōu)點(diǎn)，正被越來越多的研究者使用。

盡管許多領(lǐng)域都應(yīng)用集成學(xué)習(xí)方法來進(jìn)行研究，但在對(duì)公司未來盈利的預(yù)測(cè)研究上還很少，在國(guó)內(nèi)尚未見到任何報(bào)導(dǎo)。雖然Takashi Washio等人對(duì)日本上市公司的未來盈利狀況進(jìn)行了研究，但是他們只是將盈利狀況分為兩種情況來進(jìn)行研究。本文通過利用集成學(xué)習(xí)方法，考慮宏觀經(jīng)濟(jì)對(duì)公司盈利可能造成的影響，提出將宏觀經(jīng)濟(jì)變量納入變量體系，同時(shí)，為了使結(jié)果更有指導(dǎo)意義，將上市公司的每股收益（EPS）指標(biāo)將公司盈利的情況劃分為三類，即EPS為負(fù)，EPS大于均值及EPS介于二者之間，對(duì)其進(jìn)行預(yù)測(cè)研究。

2 研究方法

2.1神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量并行分布式處理單元組成的簡(jiǎn)單處理單元[1]。由于神經(jīng)網(wǎng)絡(luò)具有非線性，自學(xué)習(xí)能力、自適應(yīng)性強(qiáng)和容錯(cuò)性高等優(yōu)點(diǎn)，因而被廣泛用于各種非線性預(yù)測(cè)問題。

所有神經(jīng)網(wǎng)絡(luò)都有一個(gè)輸入層和輸出層，一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以包含一個(gè)或多個(gè)隱含層。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過調(diào)整連接權(quán)重和偏差實(shí)現(xiàn)的。Cybenko等人證明了如果神經(jīng)網(wǎng)絡(luò)利用一個(gè)有界的，連續(xù)的，非遞減的激活函數(shù)時(shí)，只要不對(duì)隱含層的神經(jīng)元數(shù)進(jìn)行限制，一個(gè)三層網(wǎng)絡(luò)（包含一個(gè)隱含層）就能夠?qū)W習(xí)任意一個(gè)在輸入和輸出空間的連續(xù)映射[2]。在實(shí)際應(yīng)用中用的最多的是BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差后向傳播算法（BP算法）的多層感知器網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般采用Log-Sigmoid或Tangent Sigmoid等可微函數(shù)。BP算法分為兩個(gè)階段。第一階段是前向過程，逐層計(jì)算各神經(jīng)元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據(jù)此修正各層權(quán)重，直到輸出結(jié)果滿足預(yù)先設(shè)定的精度要求或達(dá)到算法設(shè)定的最大循環(huán)次數(shù)。

2.2神經(jīng)網(wǎng)絡(luò)集成

如何根據(jù)觀測(cè)數(shù)據(jù)學(xué)習(xí)得到精確估計(jì)是機(jī)器學(xué)習(xí)領(lǐng)域中人們非常關(guān)注的一個(gè)問題，機(jī)器學(xué)習(xí)的一個(gè)重要目標(biāo)就是對(duì)新的測(cè)試樣本盡可能給出最精確的估計(jì)。構(gòu)造一個(gè)高精度估計(jì)是一件相當(dāng)困難的事情，然而產(chǎn)生多個(gè)只比隨機(jī)猜測(cè)好的粗糙估計(jì)卻很容易。傳統(tǒng)的機(jī)器學(xué)習(xí)方法是在一個(gè)由各種可能的函數(shù)構(gòu)成的空間中尋找最接近實(shí)際分類函數(shù)的分類器。常用的單個(gè)分類器模型主要有決策樹、人工神經(jīng)網(wǎng)絡(luò)等。

集成學(xué)習(xí)（ensemble learning）的基本思想是在對(duì)新的實(shí)例進(jìn)行分類的時(shí)候，把若干個(gè)單個(gè)分類器集成起來，通過對(duì)多個(gè)分類器的分類結(jié)果按某種方式來進(jìn)行組合，決定最終的分類，以取得比單個(gè)分類器更好的結(jié)果。如果把單個(gè)分類器比作一個(gè)決策者的話，集成學(xué)習(xí)方法就相當(dāng)于多個(gè)決策者共同進(jìn)行一項(xiàng)決策。

盡管單個(gè)神經(jīng)網(wǎng)絡(luò)在處理非線性問題上表現(xiàn)良好，但是用單個(gè)神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測(cè)，一個(gè)不足的地方就是結(jié)果的穩(wěn)定性差。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果受網(wǎng)絡(luò)各層之間的初始權(quán)重影響很大。為了克服這一不足，本文利用集成學(xué)習(xí)的思想，采用以BP神經(jīng)網(wǎng)絡(luò)作為基分類器的神經(jīng)網(wǎng)絡(luò)集成方法來對(duì)公司未來盈利狀況進(jìn)行預(yù)測(cè)。

以神經(jīng)網(wǎng)絡(luò)作為基分類器構(gòu)建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因?yàn)锽agging方法較易于實(shí)現(xiàn)，而且不容易產(chǎn)生過擬合現(xiàn)象。對(duì)一個(gè)已知的有n個(gè)數(shù)據(jù)元素的數(shù)據(jù)集，Bagging法的原理是[1]：對(duì)每次循環(huán)（=1，2，…，），采用有放回的隨機(jī)抽樣方法從數(shù)據(jù)集中抽取m個(gè)數(shù)據(jù)形成訓(xùn)練集（mn），分類器模型從中學(xué)習(xí)。為了對(duì)一個(gè)未知的元素X分類，每個(gè)都返回一個(gè)分類值，將該分類值看成是一票，而最后的集成分類器，通過統(tǒng)計(jì)這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實(shí)例分析

3.1樣本選取

本文采用的上市公司數(shù)據(jù)樣本來自天軟數(shù)據(jù)庫(kù)。在剔除了財(cái)務(wù)變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長(zhǎng)能力，經(jīng)營(yíng)能力，資本結(jié)構(gòu)，盈利能力，現(xiàn)金流，每股指標(biāo)等方面的29個(gè)財(cái)務(wù)變量作為初始變量。此外，為了研究宏觀經(jīng)濟(jì)環(huán)境對(duì)公司未來盈利的影響，相應(yīng)的選擇了2001年至2006年的三個(gè)宏觀經(jīng)濟(jì)變量：國(guó)內(nèi)生產(chǎn)總值增長(zhǎng)率（GDP），居民消費(fèi)價(jià)格指數(shù)增長(zhǎng)率（CPI）及一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率。這幾個(gè)變量都與公司的盈利狀況有著密切的關(guān)系。國(guó)內(nèi)生產(chǎn)總值反映了整個(gè)國(guó)家的經(jīng)濟(jì)狀況，而居民消費(fèi)價(jià)格指數(shù)是反映居民購(gòu)買并用于消費(fèi)的商品和服務(wù)項(xiàng)目?jī)r(jià)格水平的變動(dòng)趨勢(shì)和變動(dòng)幅度的相對(duì)數(shù)，它可以全面反映多種市場(chǎng)價(jià)格變動(dòng)因素及其對(duì)居民實(shí)際生活的影響程度。一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率會(huì)影響公司的營(yíng)運(yùn)成本，會(huì)對(duì)公司的利潤(rùn)產(chǎn)生直接的影響。所有變量見附表。

為了預(yù)測(cè)未來公司的盈利狀況，本文將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本。其中，訓(xùn)練樣本由2001年至2005年的公司樣本數(shù)據(jù)用有放回的隨機(jī)抽樣方法得到，每個(gè)訓(xùn)練樣本包含1000個(gè)觀測(cè)，測(cè)試樣本是用相同方法得到的上市公司在2006年的數(shù)據(jù)樣本，包含400個(gè)觀測(cè)。

3.2指標(biāo)選擇

對(duì)于初始變量表，變量之間存在著相關(guān)性。雖然神經(jīng)網(wǎng)絡(luò)對(duì)變量間的相關(guān)性具有較強(qiáng)的容忍度，但是，變量太多會(huì)增加網(wǎng)絡(luò)的復(fù)雜度，還有可能使網(wǎng)絡(luò)過適應(yīng)，從而使得網(wǎng)絡(luò)在測(cè)試樣本上的表現(xiàn)很差，而且并不是變量越多，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度就越大，所以適當(dāng)選擇具有代表性的指標(biāo)變量既可以達(dá)到與用所有變量相同的預(yù)測(cè)精度，又能降低網(wǎng)絡(luò)的復(fù)雜度，避免使網(wǎng)絡(luò)陷入過適應(yīng)，提高網(wǎng)絡(luò)的訓(xùn)練速度。

然而，運(yùn)用神經(jīng)網(wǎng)絡(luò)方法，對(duì)輸入變量的選取目前并沒有一個(gè)公認(rèn)的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數(shù)據(jù)挖掘軟件包選項(xiàng)面板中的建模欄中的特征選擇節(jié)點(diǎn)來對(duì)變量進(jìn)行篩選。通過構(gòu)建一個(gè)帶有特征選擇節(jié)點(diǎn)的流，可以為每一訓(xùn)練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對(duì)訓(xùn)練樣本進(jìn)行訓(xùn)練，得到兩種神經(jīng)網(wǎng)絡(luò)模型，分別對(duì)測(cè)試樣本進(jìn)行分類，并分別構(gòu)建集成模型。

3.3 建立模型

本文是對(duì)2001年至2005年上市公司的數(shù)據(jù)樣本進(jìn)行訓(xùn)練得到單個(gè)神經(jīng)網(wǎng)絡(luò)模型，用該模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)。如何產(chǎn)生不同的分類模型是影響集成模型準(zhǔn)確性的一個(gè)重要因素[4]。以下四種方法——不同的初始條件，不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的訓(xùn)練數(shù)據(jù)，不同的訓(xùn)練算法常用來產(chǎn)生分類模型。本文采用不同的訓(xùn)練數(shù)據(jù)和不同的網(wǎng)絡(luò)結(jié)構(gòu)這兩種方式結(jié)合得到基神經(jīng)網(wǎng)絡(luò)。

按照Bagging方法的要求，本文采用有放回隨機(jī)抽樣方法，從訓(xùn)練樣本中隨機(jī)抽取了15個(gè)子訓(xùn)練集，并用相同的方法從測(cè)試集中抽取了400個(gè)樣本數(shù)據(jù)組成測(cè)試集。每個(gè)子訓(xùn)練集含有1000個(gè)樣本，它們均由2001至2005年的200個(gè)公司樣本組成。利用特征選擇節(jié)點(diǎn)在每個(gè)訓(xùn)練集上選出的變量分別在這15個(gè)子樣本上進(jìn)行訓(xùn)練得到子分類器，然后用這些子分類器對(duì)測(cè)試樣本進(jìn)行分類。采用多數(shù)投票法對(duì)子分類器進(jìn)行集成，得到集成方法在測(cè)試集上的預(yù)測(cè)結(jié)果。

3.4 結(jié)果分析

為了比較集成模型與單個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率的差異，按照單個(gè)神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)準(zhǔn)確率按升序進(jìn)行排序，分別計(jì)算了由7個(gè)、9個(gè)、11個(gè)、13個(gè)、15個(gè)基神經(jīng)網(wǎng)絡(luò)模型構(gòu)成的集成模型的預(yù)測(cè)準(zhǔn)確率，集成模型，不論是由用全部變量進(jìn)行訓(xùn)練得到的基神經(jīng)網(wǎng)絡(luò)構(gòu)建還是由用篩選出的變量進(jìn)行訓(xùn)練得到的構(gòu)建，都顯示出了很高的準(zhǔn)確率，而且得到的預(yù)測(cè)準(zhǔn)確率相當(dāng)穩(wěn)定。

4 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)集成的方法，以上市公司過去的財(cái)務(wù)數(shù)據(jù)和宏觀經(jīng)濟(jì)數(shù)據(jù)為樣本，對(duì)上市公司的未來盈利狀況進(jìn)行預(yù)測(cè)。研究結(jié)果表明，相比于單個(gè)神經(jīng)網(wǎng)絡(luò)模型，盡管選用7個(gè)預(yù)測(cè)精度最差的單個(gè)神經(jīng)網(wǎng)絡(luò)作為基神經(jīng)網(wǎng)絡(luò)，其集成網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率仍然很高，因而集成方法得到的結(jié)果更穩(wěn)定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對(duì)盈利狀況的影響，是一個(gè)很有挑戰(zhàn)性的問題。本文的研究結(jié)果還表明，采用神經(jīng)網(wǎng)絡(luò)集成方法來研究未來盈利狀況是可行的。進(jìn)一步的研究可以從以下幾個(gè)方面考慮：

（1）變量的選取。為了使預(yù)測(cè)更為準(zhǔn)確，在建模時(shí)，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關(guān)，因此，如何合理選取量化一些有關(guān)公司治理的指標(biāo)變量，將它們加入到模型中去，是一個(gè)值得深入研究的問題。

（2）產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法。除了Bagging方法，還有其他產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法，比如Boosting方法。不同的方法會(huì)得到不同的結(jié)果，從而通過比較不同的結(jié)果，可以得到一個(gè)用來研究此類問題的最好的方法。

參考文獻(xiàn)：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機(jī)械工業(yè)出版社，2006．

第5篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

文章通過對(duì)比不同種類的預(yù)測(cè)模型，找到一種能夠適合預(yù)測(cè)寬帶網(wǎng)絡(luò)故障的方法。文中使用動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)和自回歸移動(dòng)平均法來預(yù)測(cè)非線性系統(tǒng)，并對(duì)結(jié)果進(jìn)行比較，并得到了比較滿意的結(jié)果。對(duì)于每個(gè)測(cè)試用例，相關(guān)參數(shù)都進(jìn)行了調(diào)整以適應(yīng)相應(yīng)的精度要求。

【關(guān)鍵詞】網(wǎng)絡(luò)故障 神經(jīng)網(wǎng)絡(luò) 自回歸移動(dòng)平均法 非線性系統(tǒng)

1 引言

寬帶電信網(wǎng)絡(luò)現(xiàn)已經(jīng)大規(guī)模的市場(chǎng)化，雖然網(wǎng)絡(luò)服務(wù)的質(zhì)量一直在不斷提高，但是網(wǎng)絡(luò)故障的不斷發(fā)生，仍然是電信運(yùn)營(yíng)商所必須關(guān)注的問題。網(wǎng)絡(luò)故障最常見的表現(xiàn)是：服務(wù)完全中斷，下行帶寬低，無法訪問網(wǎng)站，撥打VoIP電話時(shí)的噪音，無法建立一個(gè)電話呼叫等。最能夠反映網(wǎng)絡(luò)服務(wù)質(zhì)量的參數(shù)是MTBF（發(fā)生故障之間的平均時(shí)間），減少故障的發(fā)生也就是提高發(fā)生故障之間的平均時(shí)間是運(yùn)營(yíng)商對(duì)于網(wǎng)絡(luò)改進(jìn)的重點(diǎn)。國(guó)內(nèi)外的運(yùn)營(yíng)商也正在開發(fā)中運(yùn)營(yíng)支持系統(tǒng)和業(yè)務(wù)支持系統(tǒng)，目的為了分析大量來自網(wǎng)絡(luò)的可用數(shù)據(jù)。但是由于服務(wù)復(fù)雜度，較長(zhǎng)的平均服務(wù)時(shí)間和更多終端設(shè)備的實(shí)例，與傳統(tǒng)的電話網(wǎng)絡(luò)相比，寬帶接入網(wǎng)絡(luò)的平均故障間隔時(shí)間（MTBF）比傳統(tǒng)的非寬帶網(wǎng)絡(luò)低2-6倍，也就是是說網(wǎng)絡(luò)故障發(fā)生的頻率遠(yuǎn)高于傳統(tǒng)的電話網(wǎng)絡(luò)。另一方面，網(wǎng)絡(luò)的復(fù)雜性使得難以準(zhǔn)確地診斷可能會(huì)導(dǎo)致更高的重復(fù)數(shù)的問題故障。同時(shí)在用戶被引入通過感知和報(bào)告故障的隨機(jī)分量的數(shù)量和復(fù)雜性的增加，一個(gè)寬帶網(wǎng)絡(luò)中發(fā)生的故障可以看作是一個(gè)時(shí)間序列。時(shí)間系列描述寬帶故障的特點(diǎn)是事件發(fā)生的隨機(jī)性，事件馱有砸約笆錄數(shù)量龐大，這就使得到的時(shí)間序列具有較高的過程噪聲。由于監(jiān)視系統(tǒng)的不完善性，時(shí)間序列中的噪聲是必然是很多沒有觀察到的變量所導(dǎo)致的。監(jiān)視系統(tǒng)的不完善性表明其預(yù)警的模糊性，不準(zhǔn)確性，同時(shí)也可能導(dǎo)致在某些特定的網(wǎng)絡(luò)故障事件發(fā)生時(shí)，無法預(yù)警。通過測(cè)量噪聲的水平，我們確定了模型中所需的變量和其復(fù)雜度。描述時(shí)間序列有兩個(gè)相關(guān)的變量，即平穩(wěn)性和線性、非線性。描述寬帶網(wǎng)絡(luò)的時(shí)間序列是由于其特性，即高水平的波動(dòng)多引起的非平穩(wěn)性所決定的。在系統(tǒng)中的變量都是線性的和非線性的，一個(gè)時(shí)間序列的線性/非線性決定哪種模型會(huì)更有效地預(yù)測(cè)時(shí)間序列的結(jié)果，最終確定的最終實(shí)施的最佳模式。線性的時(shí)間序列可以使用自回歸模型，例如ARMA或ARIMA來描述，而非線性的時(shí)間序列則更適合用神經(jīng)網(wǎng)絡(luò)的非線性激活函數(shù)來描述。本文的目的是為了找到最合適的模型來描述它表征的系統(tǒng)。

2 一個(gè)網(wǎng)絡(luò)故障時(shí)間序列實(shí)例

為了動(dòng)態(tài)跟蹤和預(yù)測(cè)的故障發(fā)生，我們將故障的數(shù)量作為一個(gè)時(shí)間序列。它被認(rèn)為是一個(gè)隨機(jī)序列而不是確定性的序列，也就是說未來的結(jié)果只能進(jìn)行估計(jì)，而不能夠精確計(jì)算。數(shù)據(jù)收集的頻率依賴于時(shí)間序列的性質(zhì)和邏輯，也就是說結(jié)果依賴于所描述的現(xiàn)象。采樣的頻率利用每天，每周，每月和每年的時(shí)間序列。運(yùn)營(yíng)管理中，對(duì)于寬帶故障的短期預(yù)測(cè)是必不可少的，而長(zhǎng)期的預(yù)測(cè)是與戰(zhàn)略和長(zhǎng)期規(guī)劃相關(guān)。此外，正確選擇的數(shù)據(jù)采集頻率有助于確定數(shù)據(jù)的周期性。寬帶故障有兩個(gè)清晰可辨的周期性，每天每周一次。故障發(fā)生模式本質(zhì)上是動(dòng)態(tài)的，并隨著時(shí)間和季節(jié)的變化。每日樣本反映住宅及商業(yè)客戶的工作活動(dòng)以及之后形成每周模型。本文對(duì)每10分鐘，每小時(shí)，每天，每周序列進(jìn)行了分析，為實(shí)際應(yīng)用提供了足夠的選擇。圖1顯示了一個(gè)例子系列描述的是故障發(fā)生在10分鐘的時(shí)間間隔，采樣的總時(shí)間為2000分鐘。一般情況下，該序列具有可識(shí)別的形式，然而像諸如如核心網(wǎng)元發(fā)生故障或雷雨可以顯著影響曲線的形狀和扭曲，使其不可識(shí)別。

3 神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)由于其十分強(qiáng)的自適應(yīng)、自學(xué)習(xí)功能，因此經(jīng)常用來預(yù)測(cè)不同種類的時(shí)間序列。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對(duì)連續(xù)或斷續(xù)式的輸入作狀態(tài)響應(yīng)而進(jìn)行信息處理。是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)，不但具有一般非線性系統(tǒng)的共性，更主要的是它還具有自己的特點(diǎn)，比如高維性、神經(jīng)元之間的廣泛互連性以及自適應(yīng)性或自組織性等。

3.1 感知器神經(jīng)網(wǎng)絡(luò)

MLP網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)中研究的一個(gè)重點(diǎn)，它們具有很強(qiáng)的分類能力，它能解決模式分布非常復(fù)雜的分類問題。它由三部分組成：一組感知單元（源節(jié)點(diǎn)）組成輸入層、一層計(jì)算節(jié)點(diǎn)的隱含層、一層計(jì)算節(jié)點(diǎn)的輸出層。第一層的激活函數(shù)為對(duì)數(shù)s形函數(shù)，第二層激活函數(shù)為線性函數(shù)。如圖2所示。

3.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種多層前向型網(wǎng)絡(luò)。其神經(jīng)元的傳遞時(shí)S型函數(shù)，輸出量為0-1的連續(xù)量，它可以實(shí)現(xiàn)輸入到輸出的任意非線性映射。BP神經(jīng)元的傳輸函數(shù)為非線性函數(shù)，常用的函數(shù)為losig函數(shù)和tansig函數(shù)，輸出層則采用線性函數(shù)purelin。如圖3所示。

3.3 NARX神經(jīng)網(wǎng)絡(luò)

NARX神經(jīng)網(wǎng)絡(luò)即Jordan神經(jīng)網(wǎng)絡(luò)是一個(gè)能表示動(dòng)態(tài)系統(tǒng)的網(wǎng)絡(luò)，它把輸入也反饋到網(wǎng)絡(luò)的輸出，這就使加入的狀態(tài)反饋反映到網(wǎng)絡(luò)的動(dòng)態(tài)性能中。我們的想法得到進(jìn)一步提高在非線性自回歸網(wǎng)絡(luò)與外部輸入，輸出的數(shù)據(jù)是保存在延遲存儲(chǔ)器線。Jordan網(wǎng)絡(luò)的輸出值存儲(chǔ)在網(wǎng)絡(luò)本身的狀態(tài)變量中，而NARX網(wǎng)絡(luò)中，他們存儲(chǔ)在延遲矢量中。如圖4所示。

3.4 ARIMA 模型

ARIMA模型全稱為差分自回歸移動(dòng)平均模型，是由博克思和詹金斯于70年代初提出的一著名時(shí)間序列預(yù)測(cè)方法。所謂ARIMA模型，是指將非平穩(wěn)時(shí)間序列轉(zhuǎn)化為平穩(wěn)時(shí)間序列，然后將因變量?jī)H對(duì)它的滯后值以及隨機(jī)誤差項(xiàng)的現(xiàn)值和滯后值進(jìn)行回歸所建立的模型。ARIMA模型根據(jù)原序列是否平穩(wěn)以及回歸中所含部分的不同，包括移動(dòng)平均過程（MA）、自回歸過程（AR）、自回歸移動(dòng)平均過程（ARMA）以及ARIMA過程。ARIMA模型的基本思想是：將預(yù)測(cè)對(duì)象隨時(shí)間推移而形成的數(shù)據(jù)序列視為一個(gè)隨機(jī)序列，用一定的數(shù)學(xué)模型來近似描述這個(gè)序列。這個(gè)模型一旦被識(shí)別后就可以從時(shí)間序列的過去值及現(xiàn)在值來預(yù)測(cè)未來值。模型如下圖公式所示。

4 數(shù)據(jù)分析和對(duì)比

通過使用均方根誤差和判定系數(shù)，對(duì)比實(shí)際的數(shù)據(jù)和預(yù)測(cè)的數(shù)據(jù)來估算預(yù)測(cè)模型的準(zhǔn)確性。

圖5和圖6是對(duì)LRN模型和NARX模型預(yù)測(cè)的結(jié)果與實(shí)際數(shù)據(jù)的對(duì)比，從圖形可以直觀看出，這兩個(gè)模型具有相對(duì)可靠地準(zhǔn)確性。

5 結(jié)束語

本文的主要目的是比較不同的預(yù)測(cè)方法對(duì)于寬帶網(wǎng)絡(luò)故障的短期和長(zhǎng)期預(yù)測(cè)。研究的結(jié)果表明動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)優(yōu)于靜態(tài)神經(jīng)網(wǎng)絡(luò)。此外，傳統(tǒng)的預(yù)測(cè)方法，ARIMA無法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性預(yù)測(cè)，這證實(shí)了在電信網(wǎng)絡(luò)中大多數(shù)故障的非線性特征的假說。未來的改進(jìn)方向是應(yīng)用動(dòng)態(tài)內(nèi)存模型，像NARX和LRN模行，調(diào)節(jié)相應(yīng)的網(wǎng)絡(luò)參數(shù)，另外識(shí)別和輸入?yún)?shù)的引入，也將有利于提高模型的準(zhǔn)確性。

參考文獻(xiàn)

[1]陸寧云，何克磊，姜斌，呂建華.一種基于貝葉斯網(wǎng)絡(luò)的故障預(yù)測(cè)方法[J].東南大學(xué)學(xué)報(bào)自然科學(xué)版，2012，42：87-91.

[2]艾紅，周東華.動(dòng)態(tài)系統(tǒng)的故障預(yù)測(cè)方法[J].華中科大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，37：222-225.

[3]吳昕慧.基于神經(jīng)網(wǎng)絡(luò)的鐵路客運(yùn)量?jī)?yōu)化預(yù)測(cè)[J].計(jì)算機(jī)仿真，2010（10）：168-170.

[4]李楠，曾興雯.基于EMD和神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)[J].西安郵電學(xué)院學(xué)報(bào)，2007（01）：51-54.

[5]汪遠(yuǎn)征，徐雅靜.多元平穩(wěn)時(shí)間序列ARIMAX模型的應(yīng)用[J].統(tǒng)計(jì)與決策，2007（18）：132-135.

第6篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：個(gè)性化；信息檢索；文本分類

中圖分類號(hào)：TP311文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)29-0265-02

Method of Text Categorization in Personalized Retrieval

PENG Ye-ping, XIAO Da-guang

(Information science and Engineering college,Central South University,Changsha 416000,China)

Abstract: Personalized retrieval is becoming a hot topic for research， this paper mainly discusses about the text categorization algorithm， its principles and scope of application.

Key words: personalized; retrieval; text categorization

1 引言

搜索引擎在信息檢索中起了重要作用，但是由于引擎的通用性，使其不能滿足不同目的，背景，時(shí)期的用戶查詢需求，因此需要針對(duì)擁護(hù)特征向用戶提供個(gè)性化服務(wù)。文本分類方法通過構(gòu)造某種分類模型，并以此判斷樣本所屬的類別。文本分類對(duì)合理組織，存儲(chǔ)文本信息，提高信息檢索速度，提高個(gè)性化信息檢索效率的基礎(chǔ)。

2 分類方法

2.1 樸素貝葉斯方法

樸素貝葉斯方法是一種在已知先驗(yàn)概率與條件的情況下的模式識(shí)別方法，假設(shè)詞條之間是相互獨(dú)立的。設(shè)d為一任意文本，它屬于文檔類C{c1，c2，…，ck}中的一類Cj，引用詞條和分類的聯(lián)合概率來計(jì)算給定文檔的分類概率的公式如下：

計(jì)算所有文本類在給定d情況下的概率，概率值最大的那個(gè)類就是文本d所屬的類，既：

2.2 貝葉斯網(wǎng)絡(luò)分類法

貝葉斯網(wǎng)絡(luò)分類法考慮了特征之間的依賴關(guān)系，該方法更能真實(shí)反映文本的情況，但是計(jì)算復(fù)雜度比樸素貝葉斯高的多。

2.3 決策樹方法

決策樹極強(qiáng)的學(xué)習(xí)反義表達(dá)能力使得其適合于文本分類，它是通過一組無序，無規(guī)則的實(shí)例推理出樹型的分類規(guī)則，采用自頂向下的遞歸方式，在決策樹的內(nèi)部結(jié)點(diǎn)進(jìn)行屬性值的比較并根據(jù)不同的屬性值進(jìn)行判斷從該結(jié)點(diǎn)向下的分支，在決策樹的葉結(jié)點(diǎn)得到結(jié)論，決策樹的建立算法有很多，文獻(xiàn)[5]其中包括基于信息增益的啟發(fā)式計(jì)算ID3；基于信息增益率的解決聯(lián)系屬性的算法C4.5；基于Gini系數(shù)的算法CART和可并行性算法SPRINT算法。決策樹方法特點(diǎn)是使用者只要將訓(xùn)練樣例能夠使用屬性-結(jié)合式的方法表達(dá)出來，就能夠用該方法來學(xué)習(xí)，但是這種算法生成的仍是多叉樹。

2.4 K-鄰近方法

K-鄰近方法，根據(jù)測(cè)試文本在訓(xùn)練文本中與之最相近的K篇文本的類別來判定它的類別，其中，K是一個(gè)重要的參數(shù)，文獻(xiàn)[4]K值過大，則與待分類文本實(shí)際上并不相似的一些文本也被包含，造成噪音增加;K值太小，則不能充分體現(xiàn)待分類文本的特點(diǎn).一般對(duì)K會(huì)選定一個(gè)初值，相似值的判定可取歐拉距離或余旋相似度等，若分類系統(tǒng)中相似值的計(jì)算采用余旋相似度，則公式如下:

Sim(x，di)為相似度公式，X為新文本的向量，y(di，cj)為類別屬性函數(shù)，若d∈cj，則y(di，cj)=1;否則y(di，cj)=0;將新文本分到權(quán)重最大的類別中去。

2.5 支持向量機(jī)

Vapnik提出在結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則理論上的支持向量機(jī)方法，能有效解決小樣本集的機(jī)器學(xué)習(xí)問題，向量機(jī)主要是針對(duì)兩類分類問題，在高維空間尋找一個(gè)滿足分類要求的最優(yōu)超平作為兩類的分割，既保證分類精確度，又要使超平面兩側(cè)的空白區(qū)域最大化，以保證最小的分類錯(cuò)誤率，文獻(xiàn)[1]對(duì)于大于兩類的多類文本分類，就對(duì)每個(gè)類構(gòu)造一個(gè)超平面，將這一類與其余的類分開，有多個(gè)類就構(gòu)造多個(gè)超平面，測(cè)試時(shí)就看哪個(gè)超平面最適合測(cè)試樣本。支持向量機(jī)方法避免了局部性問題，樣本中的支持向量數(shù)，能夠有效地用于解決高緯問題。

2.6 神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)網(wǎng)絡(luò)是模仿人腦神經(jīng)網(wǎng)絡(luò)的基本組織特性構(gòu)成的新型信息處理系統(tǒng)，其性質(zhì)取決于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，網(wǎng)絡(luò)的權(quán)值和工作規(guī)則.通常由等于樣本特征數(shù)的輸入層，輸出層，等于樣本類數(shù)的神經(jīng)元組成。其中，每一個(gè)連接都有一定的權(quán)值，通過訓(xùn)練類來訓(xùn)練的過程就是調(diào)整這些權(quán)值的過程，從而使神經(jīng)網(wǎng)絡(luò)與可以正確地預(yù)測(cè)類別。

3 幾種方法的比較

3.1 樸素貝葉斯與網(wǎng)絡(luò)貝葉斯

樸素貝葉斯方法使用概率去表示所有形式的不確定性，學(xué)習(xí)或其他形式的推理都用概率規(guī)則來實(shí)現(xiàn)，但是大部分情況是文本特征之間的依賴關(guān)系是相互存在的，所以特征獨(dú)立性會(huì)影響樸素貝葉斯分類的結(jié)果；網(wǎng)絡(luò)貝葉斯能夠考慮特征之間的依賴關(guān)系，但是計(jì)算復(fù)雜度比樸素貝葉斯高得多；

3.2 支持向量機(jī)方法

支持向量機(jī)方法的優(yōu)點(diǎn)：首先，該方法是針對(duì)有限樣本情況的分類方法，其算法最終將轉(zhuǎn)化為一個(gè)二次型尋優(yōu)萬惡提，理論上得到的將是全局最優(yōu)點(diǎn)，避免了局部極值問題；其次，該方法計(jì)算的復(fù)雜度不再取決于空間維度，而是取決于樣本數(shù)，這可能有效地用于解決高維度問題；再次，該方法對(duì)稀疏數(shù)據(jù)不敏感，能更好地捕捉數(shù)據(jù)的內(nèi)在特征。缺點(diǎn)是：該方法參數(shù)的調(diào)整比較困難，分類比較費(fèi)時(shí)。

3.3 神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)網(wǎng)絡(luò)方法的優(yōu)點(diǎn)：首先，具有自適應(yīng)功能，它能根據(jù)所提供的數(shù)據(jù)，通過學(xué)習(xí)找出輸出結(jié)果之間的內(nèi)在聯(lián)系，從而球的問題的解答；其次，神經(jīng)網(wǎng)絡(luò)善于聯(lián)想、概括、類比和推廣，任何局部的操作都不會(huì)影響整體效果；再次，具有高速尋找優(yōu)化解的能力。缺點(diǎn)：該方法根據(jù)輸入輸出的關(guān)系訓(xùn)練網(wǎng)絡(luò)，缺少解釋能力，受訓(xùn)練樣本影響大，訓(xùn)練過程較慢，不適應(yīng)大量數(shù)據(jù)的學(xué)習(xí)。

3.4 決策樹方法

決策樹方法的優(yōu)點(diǎn)是它在學(xué)習(xí)過程中不需要使用者了解很多背景知識(shí)，只要訓(xùn)練樣例能夠使用屬性-結(jié)論式的方法表示出來，就能使用該方法。缺點(diǎn)是測(cè)試屬性的選擇對(duì)該方法影響較大。

3.5 K-鄰近方法

K-鄰近方法的優(yōu)點(diǎn)是該方法訓(xùn)練過程較快，且可隨時(shí)添加或更新訓(xùn)練文本來調(diào)整；缺點(diǎn)是因?yàn)樾枰艽蟮目臻g來保存文本，所以它分類的開銷很大，K值確定較慢，分類效果較差.

4 文本分類方法效果評(píng)價(jià)

1） 精確度（查全率）：是指通過分類系統(tǒng)正確分類的文本數(shù)與實(shí)際分類的文本數(shù)的比值，其公式如下：

精確度：=

2） 召回率(查全率)：是指通過分類系統(tǒng)正確分類的文本數(shù)與人工分類中應(yīng)有的文本數(shù)的比值，公式如下：

召回率：=

3） F1測(cè)試值：對(duì)查權(quán)率和查準(zhǔn)綠的綜合測(cè)試

F1測(cè)試值：=

參考文獻(xiàn)：

[1] 史忠植.知識(shí)發(fā)現(xiàn)[M].北京:清華大學(xué)出版,2002.

[2] 朱明.數(shù)據(jù)挖掘[M].合肥:中國(guó)科技大學(xué)出版社,2002.

[3] 王繼成,潘金貴,張福炎.web文本挖掘技術(shù)研究[J].計(jì)算機(jī)研究與發(fā)展,2000,37(5):513-520.

第7篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

清河水庫(kù)位于遼寧省鐵嶺市清河區(qū)境內(nèi),遼河左岸支流清河偏下游處。是一座以防洪、灌溉、工業(yè)供水為主,兼養(yǎng)魚、旅游等綜合利用多年調(diào)節(jié)的大型水利樞紐工程。水庫(kù)已安全運(yùn)行了50年,在防洪、興利等方面取得了顯著的經(jīng)濟(jì)效益和巨大的社會(huì)效益。

洪水分類預(yù)報(bào)是針對(duì)洪水典型過程代表性的不足,通過降雨成因和聚類分析,確定不同類別洪水預(yù)報(bào)參數(shù)的優(yōu)選方法。清河水庫(kù)根據(jù)現(xiàn)代洪水預(yù)報(bào)所存在的問題,結(jié)合工程實(shí)際,采用當(dāng)前先進(jìn)的分類預(yù)報(bào)方法,在流域長(zhǎng)系列資料中將預(yù)報(bào)誤差較大的洪水提出來,根據(jù)其成因不同,采用人工神經(jīng)網(wǎng)絡(luò)分類,利用遺傳算法參數(shù)優(yōu)選,然后根據(jù)洪水特征,選擇不同的模型參數(shù)和規(guī)則進(jìn)行洪水調(diào)度,從而提高了水庫(kù)預(yù)報(bào)調(diào)度精度,并與先進(jìn)的計(jì)算機(jī)技術(shù)結(jié)合,集成到防洪調(diào)度系統(tǒng)中去,使其具有可行性、外延性和推廣性,從而取得顯著的經(jīng)濟(jì)效益和社會(huì)效益。本文就人工神經(jīng)網(wǎng)絡(luò)在清河水庫(kù)洪水分類預(yù)報(bào)中的應(yīng)用作以介紹。

一、人工神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)系統(tǒng),用以模擬人腦的行為。它是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的,是一種全新的模擬人類智能的方法和技術(shù)。目前,世界上已有50余種神經(jīng)網(wǎng)絡(luò)計(jì)算模型,這些模型大體上可以分為三類,即:前饋網(wǎng)絡(luò)(Feedforward NNS)、反饋網(wǎng)絡(luò)(Feedback NNS)和自組織網(wǎng)絡(luò)(Self-Organizing NNS) 。

多層神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)的非線性映射程的前提是在網(wǎng)絡(luò)任意大的情況下成立。對(duì)于給定的問題,網(wǎng)絡(luò)的層數(shù)取決于問題的要求,同時(shí)直接影響其推廣能力。對(duì)于用于分類的BP模型,選用3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),具體的訓(xùn)練算法分別采用標(biāo)準(zhǔn)的BP算法、動(dòng)量法、基于動(dòng)量法的自適應(yīng)調(diào)整學(xué)習(xí)率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡(jiǎn)稱P-R)法以及Leveberg-Marquardt(簡(jiǎn)稱L-M)法。其輸入層節(jié)點(diǎn)數(shù)與輸入的特征數(shù)相同;輸出層節(jié)點(diǎn)數(shù)與分類類別數(shù)相同;隱含層節(jié)點(diǎn)數(shù)視問題的復(fù)雜度經(jīng)試驗(yàn)確定。一般確定隱節(jié)點(diǎn)數(shù)的方法采用“試錯(cuò)法”(Trail-and-Error);先設(shè)定一個(gè)數(shù)為隱節(jié)點(diǎn)數(shù),如果訓(xùn)練誤差不能下降到所需范圍就增加節(jié)點(diǎn)數(shù)。如果誤差已經(jīng)很小而分類效果依然很差,說明隱節(jié)點(diǎn)數(shù)過多,此時(shí)需適當(dāng)減少隱節(jié)點(diǎn)數(shù)。這樣經(jīng)過訓(xùn)練合格后的BP模型就是一個(gè)分類器,可以對(duì)輸入樣本進(jìn)行分類,這種分類器適于離線或在線分類。

Back-Propagation(反向傳播,簡(jiǎn)稱BP算法)是目前研究最多的算法之一。BP神經(jīng)網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱含層,含有一個(gè)隱含層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1中,R代表輸入層有R個(gè)分量的輸入向量,Q為樣本數(shù),P為輸入矩陣,W1、W2、b1、b2、a1、a2、s1、s2、n1、n2分別為隱含層和輸出層神經(jīng)元的權(quán)重矩陣、閾值向量、輸出向量、神經(jīng)元數(shù)及加權(quán)和向量。

在基本結(jié)構(gòu)確定后,就可利用輸入輸出樣本集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。BP算法的訓(xùn)練就是對(duì)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行學(xué)習(xí)和調(diào)整,使網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入輸出映射關(guān)系。BP算法實(shí)質(zhì)上是把一組樣本輸入輸出問題轉(zhuǎn)化為一個(gè)非線性優(yōu)化問題,并通過梯度算法利用迭代運(yùn)算求解權(quán)值問題的一種學(xué)習(xí)算法。已經(jīng)證明,具有sigmoid非線性函數(shù)的三層神經(jīng)網(wǎng)絡(luò)可以任意逼近任何連續(xù)函數(shù)。其學(xué)習(xí)過程包括誤差正向傳播和反向傳播兩個(gè)過程。在正向傳播過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層,每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層不能得到期望的輸出,則轉(zhuǎn)入反向傳播,將誤差信號(hào)沿原來的路徑返回。通過反復(fù)修改各層神經(jīng)元的權(quán)值和閾值,使誤差最小。

二、BP算法在清河水庫(kù)洪水預(yù)報(bào)分類中的應(yīng)用

洪水過程具有高度復(fù)雜性、模糊性和隨機(jī)性,但同時(shí)又表現(xiàn)出自身的規(guī)律性。對(duì)洪水進(jìn)行模糊聚類分析,尋找同類型洪水的規(guī)律,以便將參數(shù)分類調(diào)試和洪水分類預(yù)報(bào)有機(jī)地結(jié)合起來,提高預(yù)報(bào)精度。在分析模糊ISODATA聚類不適合大樣本和實(shí)時(shí)在線分類的不足的基礎(chǔ)之上,BP算法和ANN模型解決洪水的分類問題是可行的,還具有良好的外延性和推廣性。

本文選用圖1的3層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),具體的訓(xùn)練算法分別采用上面提及的標(biāo)準(zhǔn)的BP算法、動(dòng)量法、基于動(dòng)量法的自適應(yīng)調(diào)整學(xué)習(xí)率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡(jiǎn)稱P-R)法以及Leveberg-Marquardt(簡(jiǎn)稱L-M)法。選取清河水庫(kù)從1964年至2004年41年的38場(chǎng)洪水按傳統(tǒng)預(yù)報(bào)方法進(jìn)行重新計(jì)算,在這38場(chǎng)洪水中,用隨機(jī)函數(shù)隨機(jī)取出28場(chǎng)洪水作為分析資料,其他10場(chǎng)洪水留作檢驗(yàn)用。由于在清河水庫(kù)歷史洪水資料中,降雨時(shí)期的天氣情況資料不完整,所以只考慮流域平均降雨量、前期影響雨量、降雨強(qiáng)度、降雨時(shí)空特征四個(gè)因子。

第8篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

關(guān)鍵詞：多移動(dòng)機(jī)器人;未知環(huán)境;導(dǎo)航;智能算法

1.引言

移動(dòng)機(jī)器人的研究始于20世紀(jì)60年代末期，目的是研究人工智能技術(shù)及在復(fù)雜環(huán)境下機(jī)器人系統(tǒng)的自主推理和規(guī)劃能力。本文從多個(gè)方面對(duì)移動(dòng)機(jī)器人的導(dǎo)航進(jìn)行了深入的系統(tǒng)研究，其主要的內(nèi)容和成果如下：從移動(dòng)機(jī)器人的歷史和現(xiàn)狀出發(fā)，對(duì)比了國(guó)內(nèi)外的不同發(fā)展?fàn)顩r，對(duì)移動(dòng)機(jī)器人導(dǎo)航領(lǐng)域的研究方向進(jìn)行了綜述。著重介紹了移動(dòng)機(jī)器人導(dǎo)航中常用的方法，對(duì)其中的人工勢(shì)能場(chǎng)法、神經(jīng)網(wǎng)絡(luò)、遺傳算法和模糊控制進(jìn)行了逐一的分析闡述，最后綜述結(jié)尾對(duì)全文進(jìn)行了總結(jié)并對(duì)移動(dòng)機(jī)器人導(dǎo)航研究進(jìn)行了展望。

2.移動(dòng)機(jī)器人的幾種導(dǎo)航方式

移動(dòng)機(jī)器人導(dǎo)航是指移動(dòng)機(jī)器人通過傳感器感知環(huán)境和自身狀態(tài)，實(shí)現(xiàn)在有障礙物的環(huán)境中面向目標(biāo)的自主運(yùn)動(dòng)。我們可以將移動(dòng)機(jī)器人所處的環(huán)境分成以下幾個(gè)研究方向：1）完全已知環(huán)境：機(jī)器人知道所在工作環(huán)境的所有信息，包括目標(biāo)點(diǎn)的位置，方向，障礙物的位置和方向;2）部分已知環(huán)境：機(jī)器人知道所在工作環(huán)境中的部分信息，比如知道一部分障礙物的位置和方向，有另外一部分環(huán)境是不知道的;3）完全未知環(huán)境：機(jī)器人完全不知道所在工作環(huán)境的信息，只知道目標(biāo)點(diǎn)的方向和位置，其它障礙物的信息是一點(diǎn)都不知道。

目前，機(jī)器人導(dǎo)航要解決的關(guān)鍵問題表現(xiàn)為以下三個(gè)方面[1]：

1）通過一定的檢測(cè)手段獲取移動(dòng)機(jī)器人在空間中的位置、方向以及所處環(huán)境的信息;

2）用一定的算法對(duì)所獲信息進(jìn)行處理并建立環(huán)境模型;

3）尋找一條最優(yōu)或近似最優(yōu)的無碰路徑，實(shí)現(xiàn)移動(dòng)機(jī)器人安全移動(dòng)的路徑規(guī)劃。

目前，移動(dòng)機(jī)器人導(dǎo)航有很多方法，常用的方法有：人工勢(shì)能場(chǎng)法、神經(jīng)網(wǎng)絡(luò)、遺傳算法和模糊控制等，下面本文將對(duì)這幾種常用的方法進(jìn)行分析比較。

2.1 基于人工勢(shì)能場(chǎng)法（APF）的移動(dòng)機(jī)器人導(dǎo)航

人工勢(shì)場(chǎng)法[1，2]是Khatib提出的一種虛擬力法。人工勢(shì)場(chǎng)法是傳統(tǒng)算法中較成熟且高產(chǎn)的規(guī)劃方法，其基本思想是將移動(dòng)機(jī)器人在環(huán)境中的運(yùn)動(dòng)視為一種虛擬人工受力場(chǎng)中的運(yùn)動(dòng)。障礙物對(duì)移動(dòng)機(jī)器人產(chǎn)生斥力，目標(biāo)點(diǎn)產(chǎn)生引力，引力和斥力周圍由一定的算法產(chǎn)生相應(yīng)的勢(shì)，機(jī)器人在勢(shì)場(chǎng)中受到抽象力作用，抽象力使得機(jī)器人繞過障礙物。該法結(jié)構(gòu)簡(jiǎn)單，便于低層的實(shí)時(shí)控制，在實(shí)時(shí)避障和平滑的軌跡控制方面，得到了廣泛應(yīng)用。

高云峰等[3]針對(duì)勢(shì)場(chǎng)原理所固有的幾個(gè)缺陷進(jìn)行了改進(jìn)，使改進(jìn)后的勢(shì)場(chǎng)法適用于未知復(fù)雜環(huán)境下移動(dòng)機(jī)器人的導(dǎo)航，具備一定的學(xué)習(xí)能力，并通過仿真實(shí)驗(yàn)驗(yàn)證了該方法的有效性。王肖青等[4]討論了傳統(tǒng)的人工勢(shì)能場(chǎng)方法的不足，并提出了一種改進(jìn)的人工勢(shì)能場(chǎng)方法。王奇志等[5]提出了一種改進(jìn)的人工勢(shì)場(chǎng)法，通過排除一個(gè)距機(jī)器人最遠(yuǎn)的障礙物，同時(shí)加一個(gè)同等大小反方向力來消除零勢(shì)能點(diǎn)，從而實(shí)現(xiàn)消除零勢(shì)能域，達(dá)到多障礙物情況下機(jī)器人運(yùn)動(dòng)規(guī)劃的快速、實(shí)時(shí)、避障的效果，結(jié)果表明，該算法對(duì)多個(gè)障礙物和非靜態(tài)的障礙物同樣適用。

人工勢(shì)場(chǎng)法突出的優(yōu)點(diǎn)是系統(tǒng)的路徑生成與控制直接與環(huán)境實(shí)現(xiàn)了閉環(huán)，從而大大加強(qiáng)了系統(tǒng)的適應(yīng)性與避障性能。但是人工勢(shì)場(chǎng)法也存在幾個(gè)主要的缺陷：1）陷阱區(qū)域;2）在相近的障礙物之間不能發(fā)現(xiàn)路徑;3）在障礙物前振蕩;4）在狹窄通道中擺動(dòng);針對(duì)這些缺陷，提出了一些改進(jìn)辦法。對(duì)于人工勢(shì)場(chǎng)法存在“機(jī)器人在到達(dá)目標(biāo)位置前由于陷入局部極小點(diǎn)而無法到達(dá)目標(biāo)位置”的問題，解決的方法有：重新定義勢(shì)函數(shù)，使之沒有或有更少的局部極小點(diǎn);利用搜索算法跳出局部極小點(diǎn);還可以利用模擬退火算法使勢(shì)函數(shù)跳出局部極小點(diǎn)，到達(dá)機(jī)器人的目標(biāo)位置。

2.2 基于神經(jīng)網(wǎng)絡(luò)的移動(dòng)機(jī)器人導(dǎo)航

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的適應(yīng)復(fù)雜環(huán)境和多目標(biāo)控制要求的自學(xué)習(xí)能力，并具有以任意精度逼近任意非線性函數(shù)的特點(diǎn)，神經(jīng)網(wǎng)絡(luò)可與其他控制方法如專家系統(tǒng)、模糊控制等相結(jié)合，為其提供非參數(shù)化的對(duì)象模型、推理模型等。

近年來神經(jīng)網(wǎng)絡(luò)在移動(dòng)機(jī)器人導(dǎo)航領(lǐng)域得到越來越廣泛的應(yīng)用。Zhang等[6]利用移動(dòng)機(jī)器人在未知雜亂的環(huán)境中基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的反應(yīng)式導(dǎo)航原理，提出了一種新的方法，即提供一條指導(dǎo)命令使移動(dòng)機(jī)器人避免內(nèi)部碰撞及與障礙物相撞，說明了如何使用ART神經(jīng)網(wǎng)絡(luò)在感知空間分區(qū)中控制移動(dòng)機(jī)器人，如何為反應(yīng)式導(dǎo)航的移動(dòng)機(jī)器人建立一個(gè)三維的模糊控制器，并通過實(shí)驗(yàn)?zāi)M，證明了這種方法能夠很好地適應(yīng)這種未知雜亂的環(huán)境。Zhu等[7]提出了一種基于模糊神經(jīng)網(wǎng)絡(luò)將傳感器信息與機(jī)器人的移動(dòng)結(jié)合起來的導(dǎo)航方法，這種方法可以使移動(dòng)機(jī)器人充分感受周圍環(huán)境、自主避開靜態(tài)和動(dòng)態(tài)障礙物，并在不同情況下避開“死循環(huán)”產(chǎn)生到達(dá)目標(biāo)的合理的軌跡。通過仿真證明了該方法的實(shí)用性和有效性。Yang等[8]提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這是一個(gè)有序的離散拓?fù)浣Y(jié)構(gòu)，用支路神經(jīng)網(wǎng)絡(luò)模型為移動(dòng)機(jī)器人進(jìn)行路徑規(guī)劃，分流利用。Meng等[9]使用生物激勵(lì)神經(jīng)網(wǎng)絡(luò)的方法，使移動(dòng)機(jī)器人在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)動(dòng)態(tài)無碰撞。Millan[10]提出了一種強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)模型，使移動(dòng)機(jī)器人在經(jīng)過一定的嘗試后獲得導(dǎo)航的策略。為了避免簡(jiǎn)單的模糊反應(yīng)式方法帶來的兩大隱患，即從陷阱的情況下逃脫以及if-then規(guī)則的推理機(jī)制組合爆炸。盡管神經(jīng)網(wǎng)絡(luò)在很多復(fù)雜度很高的問題上取得了很好的效果，但在使用時(shí)有幾點(diǎn)需要注意：1）神經(jīng)網(wǎng)絡(luò)很難解釋，目前還沒有能對(duì)神經(jīng)網(wǎng)絡(luò)做出顯而易見解釋的方法學(xué);2）神經(jīng)網(wǎng)絡(luò)會(huì)學(xué)習(xí)過度，這主要是由于神經(jīng)網(wǎng)絡(luò)太靈活、可變參數(shù)太多，如果給足夠的時(shí)間，他幾乎可以“記住”任何事情，因此在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)一定要恰當(dāng)?shù)氖褂靡恍┠車?yán)格衡量神經(jīng)網(wǎng)絡(luò)的方法;3）訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)可能需要相當(dāng)可觀的時(shí)間才能完成，除非問題非常簡(jiǎn)單。當(dāng)然，一旦神經(jīng)網(wǎng)絡(luò)建立好了，在用它做預(yù)測(cè)時(shí)運(yùn)行時(shí)還是很快的;4）建立神經(jīng)網(wǎng)絡(luò)需要做的數(shù)據(jù)準(zhǔn)備工作量很大。

2.3 基于遺傳算法的移動(dòng)機(jī)器人導(dǎo)航

遺傳算法是由美國(guó)的J.Holland教授于1975年在他的專著《自然界和人工系統(tǒng)的適應(yīng)性》中首先提出的，它本質(zhì)上是對(duì)染色體模式所進(jìn)行的一系列運(yùn)算，即通過選擇算子將當(dāng)前種群中的優(yōu)良模式遺傳到下一代種群中，利用交叉算子進(jìn)行模式重組，利用變異算子進(jìn)行模式突變。通過這些遺傳操作，模式逐步向較好的方向進(jìn)化，最終得到問題的最優(yōu)解。

張文志等[11]給出了一種用遺傳算法學(xué)習(xí)模糊規(guī)則以完成移動(dòng)機(jī)器人導(dǎo)航的方法，采用了變長(zhǎng)度編碼方法和競(jìng)爭(zhēng)型小生境遺傳算法，減少了染色體的尺寸和復(fù)雜度，同時(shí)提高了學(xué)習(xí)速度。Nishida等[12]利基于神經(jīng)元系統(tǒng)提出了一種預(yù)測(cè)機(jī)器人伙伴感知的控制方法，該預(yù)測(cè)方法對(duì)于減少計(jì)算量、提取感知信息是非常重要的。龔濤等[13]分析了未知遠(yuǎn)程環(huán)境下移動(dòng)機(jī)器人導(dǎo)航過程中進(jìn)化學(xué)習(xí)的效率和知識(shí)更新問題，提出了并行進(jìn)化模型來解決此問題。Hu等[14]提出了一種基于遺傳算法的移動(dòng)機(jī)器人路徑規(guī)劃，即使用具體的遺傳算法來解決機(jī)器人的路徑規(guī)劃問題。這種遺傳算法結(jié)合了專門的領(lǐng)域知識(shí)及本地搜索技術(shù)的知識(shí)，是一種獨(dú)特而簡(jiǎn)單的路徑表示，具有簡(jiǎn)單而有效的特點(diǎn)?，F(xiàn)有多機(jī)器人協(xié)作構(gòu)建地圖的方法對(duì)環(huán)境和機(jī)器人位置信息有著較高要求，因而在實(shí)際應(yīng)用中存在一定局限性，Kala等[15]在文中提出了遺傳算法在移動(dòng)機(jī)器人導(dǎo)航中的應(yīng)用，使機(jī)器人可用于業(yè)界派調(diào)查，數(shù)據(jù)采集等，移動(dòng)機(jī)器人可以在動(dòng)態(tài)環(huán)境中避免內(nèi)部碰撞證明了這種算法的有效性。

3.展望

目前，移動(dòng)機(jī)器人導(dǎo)航技術(shù)已經(jīng)取得了很好的研究成果。計(jì)算機(jī)技術(shù)、電子技術(shù)、通信技術(shù)、傳感器技術(shù)、控制技術(shù)、網(wǎng)絡(luò)技術(shù)地迅猛發(fā)展必將推動(dòng)和促進(jìn)移動(dòng)機(jī)器人導(dǎo)航技術(shù)取得更多的研究成果。移動(dòng)機(jī)器人導(dǎo)航技術(shù)的發(fā)展有以下幾方面的趨勢(shì)：（1）視覺導(dǎo)航具有信息量大、探測(cè)范圍廣等特點(diǎn)，仍然是移動(dòng)機(jī)器人導(dǎo)航技術(shù)的主要發(fā)展方向;（2）導(dǎo)航系統(tǒng)結(jié)構(gòu)將朝著分布式、模塊化、網(wǎng)絡(luò)化、多機(jī)器人協(xié)作的方向發(fā)展。分布式和模塊化的結(jié)構(gòu)有利于減少機(jī)器人的體積和自重。通過互聯(lián)網(wǎng)實(shí)現(xiàn)機(jī)器人的遠(yuǎn)程操作以及基于網(wǎng)絡(luò)的多機(jī)器人協(xié)作是導(dǎo)航技術(shù)的新的研究熱點(diǎn);（3）路徑規(guī)劃將朝著多層規(guī)劃和多方法相結(jié)合的方向發(fā)展。采用基于反應(yīng)式的行為規(guī)劃與基于慎思行為規(guī)劃相結(jié)合的方法。全局路徑規(guī)劃和局部路徑規(guī)劃相結(jié)合更有利于復(fù)雜環(huán)境的避障規(guī)劃;（4）新技術(shù)、新方法（如，虛擬現(xiàn)實(shí)技術(shù)、信息融合新方法、新型傳感器等）將促進(jìn)移動(dòng)機(jī)器人導(dǎo)航技術(shù)更快地發(fā)展。

參考文獻(xiàn)：

[1]王志文，郭戈.移動(dòng)機(jī)器人導(dǎo)航技術(shù)現(xiàn)狀與展望[J].機(jī)器人，2003，25（5）：193-197.

[2]徐秀娜，賴汝.移動(dòng)機(jī)器人路徑規(guī)劃技術(shù)的現(xiàn)狀與發(fā)展.計(jì)算機(jī)仿真.2006.10

[3]高云峰，黃海.復(fù)雜環(huán)境下基于勢(shì)場(chǎng)原理的路徑規(guī)劃方法[J].機(jī)器人，2004，26（2）：114-118

[4]王肖青，王奇志.傳統(tǒng)人工勢(shì)場(chǎng)的改進(jìn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006，16（4）：96-98.

[5]王奇志，基于改進(jìn)人工勢(shì)場(chǎng)法的多障礙機(jī)器人運(yùn)動(dòng)控制，北京交通大學(xué)計(jì)算機(jī)學(xué)院，北京 100044.

[6]M.Zhang，S.Peng，and Q.Meng，Neural network and fuzzy logic techniques based collision avoidance for a mobile robot，Robotica，1997：627C632.

[7]A.Zhu and S.X.Yang，Neurofuzzy-based approach to mobile robot navigation in unknown environments，IEEE Trans.Syst.Man，Cybern.C.2007，37（4）：610-621.

[8]S.X.Yang and Q.-H.M.Meng，Real-time collision-freemotion planning of mobile robots using neural dynamics based approaches，IEEE Trans.Neural Netw.2003，14（6）：1541-1552.

[9]X.Yang and M.Meng，Neural network approaches to dynamic collision-free robot trajectory generation，IEEE Trans.Syst.Man，Cybern.2001，31：302-318.

[10]J.del R.Millan.Rapid，Safe and Incremental Learning of Navigation Strategies[J].IEEE Trans.on SMC-Part B，1996，26（3）：408-420.

[11]張文志，呂恬生.基于改進(jìn)的遺傳算法和模糊邏輯控制的移動(dòng)機(jī)器人導(dǎo)航[J].機(jī)器人，2003，25（1）：1-6.

[12]N.Kubota and K.Nishida，Perceptual control based on prediction for natural communication of a partner robot，IEEE Trans.Ind.Electron.2007，54（2）：866C877.

[13]龔濤，蔡自興.未知遠(yuǎn)程環(huán)境下移動(dòng)機(jī)器人導(dǎo)航的并行進(jìn)化模型[J].機(jī)器人，2003，25（3）：470～474.

[14]Y.Hu，S.X.Yang，A knowledge based genetic algorithm for path planning of a mobile robot，in：Proceedings of the 2004 IEEE International Conference on Robotics and Automation.2004：4350 - 4355.

第9篇：神經(jīng)網(wǎng)絡(luò)的復(fù)雜度范文

【摘要】 目的建立高效準(zhǔn)確的穿心蓮樣品識(shí)別模型，為進(jìn)行質(zhì)量控制提供參考。方法收集不同產(chǎn)地的12個(gè)穿心蓮藥材樣品的指紋圖譜，提取4個(gè)主成分利用LM-BP神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別。結(jié)果建立了穿心蓮藥材指紋圖譜的LM-BP神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過對(duì)不同產(chǎn)地穿心蓮的識(shí)別，證明其有較好的識(shí)別功能。結(jié)論LM-BP算法在識(shí)別速度和精度上都比傳統(tǒng)BP算法有了較大提高。

【關(guān)鍵詞】 LM-BP神經(jīng)網(wǎng)絡(luò) 穿心蓮 指紋圖譜

為了更全面地檢測(cè)各種成分在藥材中分布的全貌，評(píng)價(jià)藥材質(zhì)量，促進(jìn)優(yōu)質(zhì)中成藥的生產(chǎn)，對(duì)中藥品種的分類識(shí)別是一個(gè)首要環(huán)節(jié)［1］。我國(guó)中藥材產(chǎn)地多，資源豐富、品種繁多、來源復(fù)雜，單憑傳統(tǒng)的經(jīng)驗(yàn)鑒別容易造成失誤，而隨著計(jì)算機(jī)技術(shù)發(fā)展和模式識(shí)別算法的提出和改進(jìn)，利用中藥指紋圖譜進(jìn)行中藥材鑒定已經(jīng)取得了長(zhǎng)足發(fā)展。由于中藥指紋圖譜含有大量信息，形成一個(gè)巨大的多維信息庫(kù)，且同時(shí)存在一些噪聲干擾而真?zhèn)坞y辨等，因此如何提高中藥指紋圖譜的識(shí)別效率，獲取更多有用的數(shù)據(jù)信息成為亟待解決的問題。本研究結(jié)合Levenberg-Marquardt算法與BP神經(jīng)網(wǎng)絡(luò)技術(shù)，提取不同產(chǎn)地批次的穿心蓮中藥指紋圖譜的特征空間信息，利用Matlab7.0軟件編程建立高效準(zhǔn)確的穿心蓮樣品識(shí)別系統(tǒng)。

1 材料與儀器

1.1 樣品來源 12批穿心蓮藥材樣品由廣東省中藥研究所提供，經(jīng)廣州華南植物研究所陳炳輝研究員鑒定為穿心蓮Andrographis paniculata(Burm．f.)Nees，其中4批產(chǎn)自江西，5批來自廣東，福建3批。

1.2 試劑 乙腈(色譜純)，甲酸(分析純)，二次蒸餾水(自制)。

1.3 儀器Agilent四元泵高效液相色譜儀、SPD210A紫外檢測(cè)器，LC210ATVP輸液泵、UV24802型紫外可見分光光度計(jì)，AR2140電子分析天平。

2 方法

2.1 色譜分析條件 Phenomsil ODS柱( 250 mm ×4.6 mm，5 μm)，0.1%甲酸乙腈(A)與0.2%甲酸(B)梯度洗脫：0～20 min(20%A-80%B)，20～40 min(30%A -70%B)，40～55 min(40%A -60%B)，55～60 min(85%A-15%B)。流速1.0 ml/min，柱溫25。C，檢測(cè)波長(zhǎng)254 nm，進(jìn)樣量10 μl，所有組分均在60 min內(nèi)被洗脫。

2.2 對(duì)照品溶液的制備精密稱取穿心蓮內(nèi)酯、脫水穿心蓮內(nèi)酯、新穿心蓮內(nèi)酯和脫氧穿心蓮內(nèi)酯對(duì)照品適量，用50%甲醇配制成1.0 mg/ml的對(duì)照品溶液。

2.3 供試品溶液的制備　取各批干燥的穿心蓮藥材2.0 g，粉碎，過40目，用20 ml 85%的乙醇回流提取兩次，2 h/次，過濾，合并濾液，回收乙醇，濾液濃縮至干，再加50%甲醇使其充分溶解，置10ml量瓶中稀釋至刻度，作為供試品溶液。

2.4 方法學(xué)考察

2.4.1 精密度實(shí)驗(yàn)取供試品溶液(樣品1)，連續(xù)進(jìn)樣6次，各主要色譜峰的相對(duì)保留時(shí)間和相對(duì)峰面積比值的RSD均小于3.0%，表明儀器精密度良好。

2.4.2 穩(wěn)定性實(shí)驗(yàn)取供試品溶液(樣品1)分別在0，1，2，4，12，24 h進(jìn)樣測(cè)定，各主要色譜峰的相對(duì)保留時(shí)間和相對(duì)峰面積比值的RSD均小于3.0%，表明樣品在24 h內(nèi)穩(wěn)定。

2.4.3 重復(fù)性實(shí)驗(yàn)取穿心蓮藥材(樣品1)，按“2.3”項(xiàng)下的方法分別制備供試品溶液6份，進(jìn)樣檢測(cè)，結(jié)果各主要色譜峰的相對(duì)保留時(shí)間和相對(duì)峰面積比值的RSD均小于3.0%，表明方法的重復(fù)性良好。

2.5 模式識(shí)別方法

2.5.1 模式識(shí)別和BP神經(jīng)網(wǎng)絡(luò)模式識(shí)別作為一個(gè)研究領(lǐng)域，迅速發(fā)展于20世紀(jì)60年代，它是一門以應(yīng)用數(shù)學(xué)為理論基礎(chǔ)，利用計(jì)算機(jī)應(yīng)用技術(shù)，解決實(shí)際分類及識(shí)別問題的學(xué)問［2］。

神經(jīng)網(wǎng)絡(luò)是一種模擬人腦功能的成熟的模式識(shí)別方法，它借鑒了人腦神經(jīng)系統(tǒng)處理信息的過程，以數(shù)學(xué)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為理論基礎(chǔ)，其中BP神經(jīng)網(wǎng)絡(luò)是迄今為止應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)［3］。

BP神經(jīng)網(wǎng)絡(luò)是一種有監(jiān)督的學(xué)習(xí)算法，它的特點(diǎn)是同一層內(nèi)的神經(jīng)元不連接，在整個(gè)信號(hào)傳遞過程中不存在任何信號(hào)反饋；輸入層用于信號(hào)分配和傳遞，不具備運(yùn)算功能；隱含層和輸出層的神經(jīng)元具有運(yùn)算功能，可輸出最終運(yùn)算結(jié)果。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程有正向與反向兩個(gè)過程，在正向傳播過程中，輸入信息從輸入層經(jīng)過隱含層傳向輸出層，若不能得到預(yù)期輸出，則轉(zhuǎn)為反向傳播，將信號(hào)沿原來的連接通道返回并修改各層節(jié)點(diǎn)間的權(quán)值，經(jīng)過反復(fù)調(diào)試，使得誤差信號(hào)小于某個(gè)閾值或等于0，此時(shí)訓(xùn)練結(jié)束。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)則可將系統(tǒng)規(guī)則、預(yù)測(cè)能力等隱含在網(wǎng)絡(luò)中，只需將測(cè)試樣本輸入則可給出處理結(jié)果。

2.5.2 Levenberg-Marquardt算法改進(jìn)的BP算法BP神經(jīng)網(wǎng)絡(luò)的常規(guī)算法在實(shí)際應(yīng)用還存在一些需要改進(jìn)的問題，例如網(wǎng)絡(luò)學(xué)習(xí)收斂速度慢，容易陷入局部極小等。而L-M算法是專門用于誤差平方和最小化的方法，它在網(wǎng)絡(luò)訓(xùn)練速度和識(shí)別精度上的具有明顯的優(yōu)勢(shì)［4］，因此本研究采用L-M算法對(duì)標(biāo)準(zhǔn)的BP算法進(jìn)行改進(jìn)。

設(shè)BP神經(jīng)網(wǎng)絡(luò)的誤差指標(biāo)函數(shù)為：

E(x)=12?Ni=1Yi-Y＾i2=12?Ni=1e2i(x)

其中，Yi為實(shí)際輸出向量， Y＾i為預(yù)期的輸出向量， ei(x)為誤差。

設(shè)xk表示第k次迭代的權(quán)值和閾值組成的向量，新的權(quán)值和閾值組成的向量xk+1表示為：

xk+1=xk+x，x=［JT(x)J(x)=μI］-1J(x)e(x)

其中， J(x)為網(wǎng)絡(luò)訓(xùn)練誤差e(x)的Jacobian矩陣， I為單位矩陣， μ>0。

L-M算法的流程：①給出訓(xùn)練誤差允許值ε，常數(shù)β和μ0，初始化權(quán)值和閾值向量k=0，μ=μ0。② 計(jì)算網(wǎng)絡(luò)輸出及誤差指標(biāo)函數(shù)E(xk)。 ③計(jì)算Jacobian矩陣J（x)。④計(jì)算x 。⑤如果E(xk)＜?，則轉(zhuǎn)到⑥，否則以xk+1=xk+x為權(quán)值和閾值向量計(jì)算誤差指標(biāo)函數(shù)E(xk+1)，若E(xk+1)＜E(xk)，則令k=k+1，μ=μ/β，轉(zhuǎn)到②；否則令μ=μβ，轉(zhuǎn)到④。⑥結(jié)束。

當(dāng)μ=0時(shí)，L-M算法即高斯-牛頓法，當(dāng)μ取值很大時(shí)，則越接近梯度下降法。在實(shí)踐中，它具有二階收斂速度，所需要的迭代次數(shù)很少，既具備牛頓法的局部收斂特性，又有梯度下降算法的全局特性。因此，L-M算法提供了一種快速有效的訓(xùn)練手段，其算法計(jì)算復(fù)雜度為O(n3/6) 。

2.6 指紋圖譜的建立和分析

2.6.1 穿心蓮的指紋圖譜　按照上述方法，分別對(duì)12批穿心蓮藥材進(jìn)行分析，制作了穿心蓮藥材的HPLC指紋圖譜，并計(jì)算出其穿心蓮內(nèi)酯、脫水穿心蓮內(nèi)酯、新穿心蓮內(nèi)酯和脫氧穿心蓮內(nèi)酯的含量。

2.6.2 資料預(yù)處理 為消除由于數(shù)據(jù)變換的幅度和范圍以及數(shù)據(jù)分布的非正態(tài)性對(duì)結(jié)果的影響，先將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化變換。

2.6.3 LM-BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練測(cè)試結(jié)果本實(shí)驗(yàn)所采用的3層LM-BP網(wǎng)絡(luò)中，輸入節(jié)點(diǎn)數(shù)為4，即原始數(shù)據(jù)經(jīng)特征提取后的4個(gè)主成分，隱含層節(jié)點(diǎn)數(shù)為4，輸出層有1個(gè)節(jié)點(diǎn)。由于目前仍無系統(tǒng)的關(guān)于中間隱層節(jié)點(diǎn)數(shù)的選取理論，經(jīng)多次實(shí)驗(yàn)比較，最終選取隱層節(jié)點(diǎn)數(shù)為4時(shí)效果比較顯著。

動(dòng)量因子和學(xué)習(xí)速率是影響B(tài)P神經(jīng)網(wǎng)絡(luò)訓(xùn)練速率和收斂度的兩個(gè)重要因素。如果學(xué)習(xí)效率和動(dòng)量因子過大則網(wǎng)絡(luò)收斂很快，但最后網(wǎng)絡(luò)發(fā)生振蕩，失去功能；如果學(xué)習(xí)效率和動(dòng)量因子太小則學(xué)習(xí)速度太慢，網(wǎng)絡(luò)性能也會(huì)受到影響。因此經(jīng)實(shí)驗(yàn)比較選擇，本網(wǎng)絡(luò)的最佳學(xué)習(xí)率為0.05，動(dòng)量因子為0.6。

由于實(shí)驗(yàn)的樣品數(shù)目較少，故采用交叉驗(yàn)證法進(jìn)行分類驗(yàn)證，也就是說將標(biāo)準(zhǔn)化變換后的每個(gè)樣本依次作為待測(cè)樣本，用剩余的其它樣本組成新的訓(xùn)練集建立學(xué)習(xí)模型，用于預(yù)測(cè)每個(gè)樣本的歸屬。

經(jīng)過LM-BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，可發(fā)現(xiàn)有一個(gè)穿心蓮樣品被識(shí)別錯(cuò)誤，這份來自江西的樣品被鑒別為福建的樣品，其他11個(gè)樣品的鑒別結(jié)果均正確。從總體來看，使用LM-BP網(wǎng)絡(luò)鑒別穿心蓮樣品的識(shí)別正確率達(dá)到了91.67%，結(jié)果見表1。

表1 LM-BP神經(jīng)網(wǎng)絡(luò)對(duì)穿心蓮預(yù)測(cè)樣本的預(yù)測(cè)結(jié)果（略）

同時(shí)實(shí)驗(yàn)預(yù)先使用傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，發(fā)現(xiàn)雖然傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的鑒別結(jié)果與改進(jìn)的模型結(jié)果一致，但從訓(xùn)練的速度進(jìn)行比較，LM-BP算法的收斂速度很快，而傳統(tǒng)算法的收斂速度則比較緩慢，其誤差收斂曲線圖如圖1和圖2。

圖1 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的誤差收斂曲線（略）

圖2 LM-BP神經(jīng)網(wǎng)絡(luò)的誤差收斂曲線（略）

3 討論

中藥指紋圖譜是一種綜合的、可量化的鑒定手段［5，6］，它是建立在中藥化學(xué)成分系統(tǒng)研究的基礎(chǔ)上，它能通過指紋圖譜的特征性來有效鑒別樣品的真?zhèn)位虍a(chǎn)地，并且能夠通過指紋圖譜主要特征峰的面積或比例的確定，有效控制產(chǎn)品的質(zhì)量，確保產(chǎn)品質(zhì)量的相對(duì)一致。但由于受到不同產(chǎn)地及不同采收期的影響，當(dāng)不同藥材樣品的指紋圖譜非常相似時(shí)，不可能用直接觀察的方法對(duì)各類產(chǎn)區(qū)的藥材作出準(zhǔn)確鑒別，如果使用簡(jiǎn)單的傳統(tǒng)相關(guān)系數(shù)法，當(dāng)樣品間的相關(guān)系數(shù)非常大也很難作出鑒定。因此使用神經(jīng)網(wǎng)絡(luò)方法可對(duì)相似度較高的樣品分類鑒定作深入地研究。

本文首先利用穿心蓮HPLC的指紋圖譜資料建立了LM-BP神經(jīng)網(wǎng)絡(luò)模型，測(cè)試時(shí)只需將樣品的主要圖譜數(shù)據(jù)作為輸入，則可輸出相應(yīng)的產(chǎn)地類別，操作簡(jiǎn)便快捷。由于中藥指紋圖譜的模糊綜合等特性，單純依靠人工識(shí)別容易出現(xiàn)混淆，因此借助人工神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)中藥指紋圖譜資料進(jìn)行分析，充分利用了模糊、非線性的技術(shù)特性，可以真實(shí)反映中藥材的內(nèi)在質(zhì)量。

應(yīng)用基于L-M算法的神經(jīng)網(wǎng)絡(luò)進(jìn)行穿心蓮藥材的識(shí)別分類，訓(xùn)練時(shí)間比普通的BP網(wǎng)絡(luò)訓(xùn)練時(shí)間短，且擬合精度并未降低。本方法克服了傳統(tǒng)BP網(wǎng)絡(luò)訓(xùn)練時(shí)間長(zhǎng)、易陷入局部極小的局限性，在對(duì)識(shí)別精度和識(shí)別速度要求比較高的情況下，采用L-M算法改進(jìn)的BP網(wǎng)絡(luò)可以達(dá)到很好的效果，具有一定的實(shí)用價(jià)值。

【參考文獻(xiàn)】

［1］ 萬紹暉，萬紹明，康廷國(guó).系統(tǒng)科學(xué)在中藥質(zhì)量控制中的運(yùn)用［J］.時(shí)珍國(guó)醫(yī)國(guó)藥，2005，16(5): 457.

［2］ Andrew R.Webb著.王 萍，楊培龍，羅穎昕譯.統(tǒng)計(jì)模式識(shí)別，第2版［M］.北京:電子工業(yè)出版社， 2004.

［3］ 湯 丹，李 薇，許 毅，等.廣藿香指紋圖譜解析的人工神經(jīng)網(wǎng)絡(luò)方法研究［J］.中藥材，2004，27 (7): 534.

［4］ 趙 弘，周瑞祥，林廷圻.基于Levenberg-Marquardt算法的神經(jīng)網(wǎng)絡(luò)監(jiān)督控制［J］.西安交通大學(xué)學(xué)報(bào)，2002，36(5):523.

［5］ 林蔚蘭，曾令杰，梁惠瑜.不同產(chǎn)地穿心蓮藥材HPLC指紋圖譜初步研究［J］.中成藥，2007，29 (5): 730.