經(jīng)典神經(jīng)網(wǎng)絡(luò)算法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的經(jīng)典神經(jīng)網(wǎng)絡(luò)算法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞： 模擬電路； 特征選擇； 故障診斷； 神經(jīng)網(wǎng)絡(luò)； 粒子群算法

中圖分類號： TN710.4?34； TP183 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）19?0140?04

Abstract： The analog circuit is influenced by its characteristics and external environment， and its fault is non?linear and time?varying. The available fault diagnosis models of analog circuit are difficult to solve the match problem of features and classifier parameters， an analog circuit fault diagnosis model based on particle swarm algorithm optimizing feature and neural network is presented. The current situations of analog circuit fault diagnosis are analyzed， and their shortcomings are pointed out. The features of analog circuit fault diagnosis are extracted. The neural network is used as the classifier of analog circuit fault diagnosis. The analog circuit fault features and neural network parameters are optimized with particle swarm optimization， and simula?ted with Matlab 2012. The results show that the performance of the proposed model is superior to that of other reference models， and has wide application prospects.

Keywords： analog circuit； feature selection； fault diagnosis； neural network； particle swarm optimization

0 引 言

當(dāng)前電網(wǎng)系統(tǒng)規(guī)模不斷增大，各種電路越來越復(fù)雜，電路出現(xiàn)故障的概率急劇上升，相對于數(shù)字電路，模擬電路工作環(huán)境更加復(fù)雜，再加上自身特性，模擬電路故障診斷具有更加重要的實(shí)際應(yīng)用價(jià)值，一直是電網(wǎng)系統(tǒng)研究中的重點(diǎn)[1]。

國內(nèi)外學(xué)者對模擬電路故障診斷進(jìn)行了相應(yīng)的探索和研究，提出了許多有效的模擬電路故障診斷模型[2]。當(dāng)前模擬電路故障方法主要分為傳統(tǒng)模型和現(xiàn)代模型兩類方法，傳統(tǒng)模型主要有專家系統(tǒng)與灰色理論等[3?4]，屬于線性的模擬電路故障診斷模型，對小規(guī)模模擬電路故障診斷效果好，但對于大規(guī)模的模擬電路，建模效率低，同時(shí)由于模擬電路工作狀態(tài)與特征間是一種復(fù)雜的非線性關(guān)系，傳統(tǒng)模型無法描述其變化特點(diǎn)，故障診斷正確率急劇下降，難以滿足模擬電路故障診斷的實(shí)際應(yīng)用要求[5]?，F(xiàn)代模型基于非線性理論進(jìn)行模擬電路故障診斷建模，主要有神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)等[6?7]，現(xiàn)代模型通過自適應(yīng)學(xué)習(xí)擬合電路工作狀態(tài)與特征間的非線性關(guān)系，成為當(dāng)前模擬電路故障診斷的主要研究方向，其中支持向量機(jī)的訓(xùn)練過程相當(dāng)耗時(shí)，很難滿足模擬電路的故障診斷要求，應(yīng)用范圍受到一定的限制[8]。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度要快于支持向量機(jī)，且模擬電路故障診斷結(jié)果不錯(cuò)，尤其是BP神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷時(shí)，速度較快，應(yīng)用最為廣泛[9]。BP神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷結(jié)果與參數(shù)相關(guān)，如參數(shù)選擇不當(dāng)，則會(huì)導(dǎo)致模擬電路故障診斷性能下降[10]。模擬電路的狀態(tài)特征同時(shí)亦與診斷結(jié)果密切相關(guān)，然而當(dāng)前模擬電路故障診斷模型將神經(jīng)網(wǎng)絡(luò)參數(shù)與特征選擇問題分開考慮，完全割裂了兩者之間的關(guān)系，無法構(gòu)建高準(zhǔn)確率的模擬電路故障診斷模型[11]。

針對當(dāng)前模擬電路故障診斷中的特征和神經(jīng)網(wǎng)絡(luò)參數(shù)不匹配的問題，提出一種粒子群算法選擇特征和神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷模型（PSO?BPNN）。在Matlab 2012平臺(tái)進(jìn)行了仿真實(shí)驗(yàn)。結(jié)果表明，本文提出模型的模擬電路故障診斷性能要遠(yuǎn)遠(yuǎn)優(yōu)于其他參比模型。

1 相關(guān)理論

1.1 模擬電路工作狀態(tài)的特征提取

Step3：更新慣性權(quán)重，調(diào)整粒子的飛行速度和位置，產(chǎn)生新的粒子群。

Step4：若達(dá)到了結(jié)束條件，就可以得到模擬電路故障診斷的最優(yōu)特征子集和最合理的BP神經(jīng)網(wǎng)絡(luò)參數(shù)。

Step5：建立模擬電路故障診斷模型，并對待檢測的模擬電路故障進(jìn)行檢測，根據(jù)檢測結(jié)果采取相應(yīng)的措施。

3 結(jié)果與分析

為了分析PSO?BPNN的模擬電路故障診斷性能，采用圖2的模擬電路進(jìn)行仿真實(shí)驗(yàn)，在Matlab 2012平臺(tái)下進(jìn)行編程實(shí)現(xiàn)PSO?BPNN，模擬電路故障診斷參比模型為：

（1） 原始模擬電路故障診斷特征，BP神經(jīng)網(wǎng)絡(luò)參數(shù)隨機(jī)確定的模擬電路故障診斷模型（BPNN1）；

（2） 原始模擬電路故障診斷特征，粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)參數(shù)的模擬電路故障診斷模型（BPNN2）；

（3） 粒子群算法選擇模擬電路故障診斷特征，然后隨機(jī)確定BP神經(jīng)網(wǎng)絡(luò)參數(shù)的模擬電路故障診斷模型（BPNN3）。

共收集100個(gè)模擬電路故障診斷的訓(xùn)練樣本，50個(gè)模擬電路故障診斷測試樣本，采用PSO?BPNN對訓(xùn)練樣本進(jìn)行學(xué)習(xí)，所有模型都運(yùn)行100次，然后統(tǒng)計(jì)測試樣本的實(shí)驗(yàn)結(jié)果，其平均診斷率和誤診率如圖3，圖4所示，對圖3，圖4的模擬電路故障診斷結(jié)果進(jìn)行對比和分析，可以得到如下結(jié)論：

（1） 與BPNN1的實(shí)驗(yàn)結(jié)果相比較可以發(fā)現(xiàn)，BPNN2獲得了更優(yōu)的模擬電路故障診斷結(jié)果，因?yàn)锽PNN2采用粒子群算法優(yōu)化了BP神經(jīng)網(wǎng)絡(luò)參數(shù)，使得模擬電路故障診斷率更高，這表明BP神經(jīng)網(wǎng)絡(luò)參數(shù)會(huì)影響模擬電路故障診斷的結(jié)果。

（2） BPNN3的模擬電路故障診斷也要優(yōu)于BPNN1，這是由于粒子群算法對模擬電路故障特征進(jìn)行了選擇和優(yōu)化，得到了對電路故障診斷結(jié)果有重要作用的特征子集。

（3） 在所有模擬電路故障診斷模型中，PSO?BPNN的模擬電路故障診斷率最高，誤診率得到了降低，這是由于BPNN2和BPNN3只從一個(gè)方面對特征或者BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行了優(yōu)化，沒有同時(shí)對它們進(jìn)行優(yōu)化，因此不可能建立性能優(yōu)異的模擬電路故障診斷模型，而PSO?BPNN同時(shí)從特征和BP神經(jīng)網(wǎng)絡(luò)參數(shù)兩個(gè)方面進(jìn)行優(yōu)化，因而能夠獲得更加理想的模擬電路故障診斷結(jié)果。

4 結(jié) 語

傳統(tǒng)模擬電路故障診斷模型僅對特征或者BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，易出現(xiàn)特征和分類器參數(shù)不匹配的問題，為此提出基于PSO?BPNN的模擬電路故障診斷模型，首先根據(jù)Volterra級數(shù)提取模擬電路工作狀態(tài)的特征，然后采用BP神經(jīng)網(wǎng)絡(luò)作為模擬電路故障分類器，并利用粒子群算法優(yōu)化特征和BP神經(jīng)網(wǎng)絡(luò)參數(shù)，最后進(jìn)行仿真實(shí)驗(yàn)，仿真結(jié)果表明，PSO?BPNN解決了當(dāng)前模擬電路故障診斷模型存在的局限性，獲得了更高的模擬電路故障診斷率，在模擬電路故障診斷中具有廣泛的應(yīng)用前景。

參考文獻(xiàn)

[1] 朱大奇.電子設(shè)備故障診斷原理與實(shí)踐[M].北京：電子工業(yè)出版社，2008.

[2] 陳圣儉，洪炳熔，王月芳，等.可診斷容差模擬電路軟故障的新故障字典法[J].電子學(xué)報(bào)，2006，4（2）：129?136.

[3] 金瑜，陳光福，劉紅.基于小波神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷[J].儀器儀表學(xué)報(bào)，2007，28（9）：1600?1604.

[4] 劉本德，胡昌華，蔡艷寧.基于聚類和SVM多分類的容差模擬電路故障診斷[J].系統(tǒng)仿真學(xué)報(bào)，2009，21（20）：6479?6482.

[5] 黃潔，何怡剛.模擬電路故障診斷的發(fā)展現(xiàn)狀與展望[J].微電子學(xué)，2004，34（1）：21?25.

[6] 彭敏放，何怡剛，王耀南.模擬電路的融合智能故障診斷[J].中國電機(jī)工程學(xué)報(bào)，2006，26（3）：19?24.

[7] 張超杰，賀國，梁述海.小波變換與主元分析相結(jié)合的模擬電路檢測方法[J].哈爾濱工程大學(xué)學(xué)報(bào)，2010，31（5）：570?575.

[8] 劉美容，何怡剛，方葛豐，等.遺傳小波神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的應(yīng)用[J].湖南大學(xué)學(xué)報(bào)，2009，36（3）：40?44.

[9] 申宇皓，孟晨，張磊，等.基于同步優(yōu)化的支持向量機(jī)模擬電路故障診斷方法研究[J].太原理工大學(xué)學(xué)報(bào)，2010，41（4）：420?424.

[10] 胡清，王榮杰，詹宜巨.基于支持向量機(jī)的電力電子電路故障診斷技術(shù)[J].中國電機(jī)工程學(xué)報(bào)，2008，28（12）：107?111.

[11] 王承，葉韻，梁海浪，等.基于多頻測試和神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（5）：1?3.

第2篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：聚類；k-means；算法；實(shí)驗(yàn)

中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044(2008)32-1176-02

Study on the Initial Centrists of K-means Algorithm

MOU Ying1, QUAN Tai-feng2

(1.College of Physics and Information Technology, Chongqing Normal University, Chongqing 400047,China;2.Chongqing Communication Institute, Chongqing 400035, China)

Abstract: In order to conquer the problem that k-means algorithm depends on initial cluster centrists, so this paper discusses use competition neural network and the mind of density to improve the classic k-means algorithm. The two methods are able to improve the random choice of the initial centrists in the classic k-means algorithm. Experimental results show that the two algorithms are effective.

Key words: clustering; K-means; algorithm; experiment

1 引言

聚類是將數(shù)據(jù)對象分組成為多個(gè)類或簇，在同一個(gè)簇中對象之間具有較高的相似度，而不同簇中的對象之間差別較大[1]。在聚類算法中，K-means算法是其中一種最常用最知名的劃分方法[2]，它根據(jù)事先確定的K值，把樣本分為K類，使所有樣本到聚類中心的距離平方和最小?，F(xiàn)在K-means算法已經(jīng)應(yīng)用到各種領(lǐng)域，包括圖像和語音數(shù)據(jù)壓縮，用徑向基函數(shù)網(wǎng)絡(luò)進(jìn)行系統(tǒng)建模的數(shù)據(jù)處理等[3]，但經(jīng)典K-means算法在運(yùn)行初期隨機(jī)產(chǎn)生聚類初始點(diǎn)；如果初始聚類點(diǎn)離數(shù)據(jù)本身中心較近，則算法運(yùn)行效率較高否則反之。

本文將競爭神經(jīng)網(wǎng)絡(luò)和經(jīng)典K-means算法相結(jié)合，提出一種基于競爭神經(jīng)網(wǎng)絡(luò)的K-means算法。另外還采用基于密度的思想進(jìn)行尋找初始聚類中心，從而改變經(jīng)典K-means算法對初始聚類中心的隨機(jī)選擇。實(shí)驗(yàn)結(jié)果表明，這兩種方法有效的克服了K-means對初始聚類中心的依賴性。

2 經(jīng)典K-means算法

經(jīng)典K-means算法的基本思想是：給定一個(gè)包含n個(gè)數(shù)據(jù)對象的數(shù)據(jù)庫，以及要生成的簇的數(shù)目k，隨機(jī)選取k個(gè)對象作為初始的聚類中心，然后計(jì)算剩余各個(gè)樣本到每一個(gè)聚類中心的距離，把該樣本歸到離它最近的那個(gè)聚類中心所在的類，直到調(diào)整結(jié)束且聚類平均誤差準(zhǔn)則函數(shù)E已經(jīng)收斂。

K-means算法的具體描述如下：

1）任選k個(gè)對象特征矢量作為初始聚類中心：z1(0),z2(0)…zk(0)，令t=0

2）將待分類的對象特征矢量集{xi}中的對象逐個(gè)按最小距離原則分配給k類中的某一類，即

如果

i=1,2,…N(1)

則判xi∈wi(t+1)。

其中dij(t)表示xi和wj(t)的中心zj(t)的距離，上角標(biāo)表示迭代次數(shù)。于是產(chǎn)生新的聚類wj(t+1)(j=1,2,…,k)。

3）計(jì)算重新分類后的各類心

式中nj(t+1)為wj(t+1)類中所含對象的個(gè)數(shù)。

因?yàn)檫@一步采取平均的方法計(jì)算調(diào)整后各類的中心，且定為k類，故稱K－均值法。

4）如果Zj(t+1)=Zj(t)(j=1,2,…,k)，則結(jié)束；否則，t=t+1，轉(zhuǎn)至（2）

經(jīng)典K－means算法的計(jì)算復(fù)雜度為O(nkt)，其中，n為對象個(gè)數(shù)，k為聚類個(gè)數(shù)，t為循環(huán)次數(shù)。由于它要求用戶輸入希望產(chǎn)生聚類的數(shù)目,而實(shí)際中的k值也很難被精確的確定，往往表現(xiàn)為一個(gè)模糊的取值區(qū)間[4]。并且在經(jīng)典K-means算法中，首先需要根據(jù)初始聚類中心來確定一個(gè)初始劃分，然后對初始劃分進(jìn)行優(yōu)化。這個(gè)初始聚類中心的選擇對聚類結(jié)果有較大的影響，一旦初始值選擇得不好，可能無法得到有效的聚類結(jié)果，所以這個(gè)算法的聚類結(jié)果對初值的依賴是很強(qiáng)的，這也成為K-means算法的一個(gè)主要問題。然而其方法簡單，結(jié)果尚令人滿意，故應(yīng)用較多。

3 兩種改進(jìn)算法介紹

3.1 基于競爭神經(jīng)網(wǎng)絡(luò)的K-means算法

競爭神經(jīng)網(wǎng)絡(luò)是基于生物神經(jīng)系統(tǒng)中的“側(cè)抑制”現(xiàn)象形成的。競爭神經(jīng)網(wǎng)絡(luò)的顯著特點(diǎn)是它的輸出神經(jīng)元相互競爭以確定勝者，勝者指出哪一種原型模式最能代表輸入模式。競爭神經(jīng)網(wǎng)絡(luò)是一種“自發(fā)”分類器，一種基于感知機(jī)的無監(jiān)督的神經(jīng)網(wǎng)絡(luò)[5]。因此利用競爭神經(jīng)網(wǎng)絡(luò)來對經(jīng)典K-means算法的初始聚類點(diǎn)進(jìn)行改進(jìn)，使改進(jìn)后的K-means算法的初始聚類中心穩(wěn)定的靠近于數(shù)據(jù)本身的類中心，從而減少經(jīng)典K-means的循環(huán)次數(shù)。

考慮到競爭神經(jīng)網(wǎng)絡(luò)的建網(wǎng)速度，在訓(xùn)練競爭神經(jīng)網(wǎng)絡(luò)的時(shí)候，將原始數(shù)據(jù)按照10%進(jìn)行采樣，用采樣后的數(shù)據(jù)建立競爭神經(jīng)網(wǎng)絡(luò)。按照競爭神經(jīng)網(wǎng)絡(luò)的聚類結(jié)果，將簇中數(shù)據(jù)的均值作為初始聚類中心輸入經(jīng)典的K-means算法，從而起到優(yōu)化初始聚類中心的作用。具體的采樣方法是，以α為半徑畫圓，在這個(gè)圓內(nèi)隨機(jī)選取數(shù)據(jù)點(diǎn)的10%作為采樣數(shù)據(jù)，α越小，其采樣頻率越高，采樣到的數(shù)據(jù)越多；α越大，其采樣頻率越低，采樣到的數(shù)據(jù)越少。當(dāng)α取一個(gè)較適中的值的時(shí)候，采樣到的數(shù)據(jù)可以反映原始數(shù)據(jù)的分布，也能夠有效的減少數(shù)據(jù)量。

圖1為基于競爭神經(jīng)網(wǎng)絡(luò)的K-means算法的流程圖。

算法描述如下：

1）從文件中讀出數(shù)據(jù)。

2）利用最?。畲笠?guī)范化操作將數(shù)據(jù)的每個(gè)屬性映射到 空間。

3）采用歐式距離，計(jì)算各個(gè)數(shù)據(jù)之間的相異度矩陣。

4）計(jì)算Davg=AVG(Dij)，α=Davg/2即α取數(shù)據(jù)平均相異度的一半。以α為半徑，按10％的采樣頻率進(jìn)行數(shù)據(jù)采樣。

5）將采樣后的數(shù)據(jù)輸入競爭神經(jīng)網(wǎng)絡(luò)進(jìn)行初始聚類。

6）將初始聚類產(chǎn)生的各個(gè)簇的對象的均值作為經(jīng)典K-means算法的初始聚類中心。

7）運(yùn)行經(jīng)典K-means算法。

3.2 一種基于密度的K-means算法

由于經(jīng)典的K-means算法對聚類個(gè)數(shù)和初始聚類中心存在依賴性的問題，所以其結(jié)果可能是局部最優(yōu)的。如果隨機(jī)選擇的聚類初始點(diǎn)靠近于數(shù)據(jù)本身的中心，則算法運(yùn)行的循環(huán)次數(shù)少，而且數(shù)據(jù)分類也比較合乎實(shí)際；當(dāng)隨機(jī)選擇的初始聚類點(diǎn)不是很好的時(shí)候，算法運(yùn)行的循環(huán)次數(shù)會(huì)增加，而數(shù)據(jù)分類也在一定程度上趨向于局部最優(yōu)。這個(gè)改進(jìn)思路就想利用數(shù)據(jù)的分布，尋找能夠代表不同簇的數(shù)據(jù)，并利用他們周圍的數(shù)據(jù)來對這些數(shù)據(jù)進(jìn)行修正，試圖尋找比較靠近于數(shù)據(jù)本身中心的初始聚類點(diǎn)。具體來說，首先尋找相距最遠(yuǎn)的兩個(gè)點(diǎn)A和B，認(rèn)為他們代表數(shù)據(jù)的兩個(gè)簇。然后選取一個(gè)點(diǎn)C，使AC和BC的距離都大于某一個(gè)值，如此重復(fù)，直到找到k個(gè)代表點(diǎn)。接著在每個(gè)代表點(diǎn)附近尋找α?n/k個(gè)點(diǎn)，其中α表示采樣頻率，n表示數(shù)據(jù)個(gè)數(shù)，k表示簇?cái)?shù)目。這些點(diǎn)和該代表點(diǎn)屬于同一簇，然后對這些認(rèn)為屬于各簇的數(shù)據(jù)求平均，將得到的k個(gè)初始聚類點(diǎn)輸入經(jīng)典K－means算法。圖2為一種基于密度的K-means算法的流程圖。

算法描述如下：

1）從文件中讀出數(shù)據(jù)。

2）輸入k，表示數(shù)據(jù)需要聚成幾類。

3）利用最小－最大規(guī)范化操作將數(shù)據(jù)的每個(gè)屬性映射到[0,1]空間。

4）采用歐式距離，計(jì)算各個(gè)數(shù)據(jù)之間的相異度矩陣。

5）尋找兩個(gè)相距最遠(yuǎn)的點(diǎn)，設(shè)為A和B，將它們作為簇中心，置h=2。

6）如果k>h，尋找一個(gè)點(diǎn)C，使C到已有簇中心的聚類大于ymax-β，其中ymax=(Davg+MAX(Dij))/2，Davg=AVG(Dij) (0

7）在這k個(gè)點(diǎn)的周圍，尋找與其最近的α?n/k個(gè)點(diǎn)，其中α=0.1。

8）將這些認(rèn)為屬于某個(gè)簇的點(diǎn)做平均，將他們的均值作為經(jīng)典K-means算法的初始聚類中心。

9）運(yùn)行經(jīng)典K-means算法。

4 實(shí)驗(yàn)

4.1 測試數(shù)據(jù)

本文的算法均使用matlab進(jìn)行仿真實(shí)驗(yàn)，并與經(jīng)典K-means算法進(jìn)行比較。為了便于更加直觀的觀察聚類結(jié)果，采用了主元分析（PCA）進(jìn)行降維處理，將數(shù)據(jù)投影到3維空間上進(jìn)行顯示。實(shí)驗(yàn)測試數(shù)據(jù)采用來自UCI測試庫的專門用于測試分類、聚類算法的Iris數(shù)據(jù)庫，以及一組客觀的個(gè)人信用數(shù)據(jù)。表1列出了各測試數(shù)據(jù)集的記錄數(shù)、屬性數(shù)和類別數(shù)。

4.2 實(shí)驗(yàn)結(jié)果對比

首先實(shí)驗(yàn)同時(shí)使用兩種改進(jìn)算法和K-means算法對Iris數(shù)據(jù)進(jìn)行聚類，表2是三種算法的實(shí)驗(yàn)結(jié)果對比，其中可以看出，兩種改進(jìn)方法的循環(huán)次數(shù)遠(yuǎn)遠(yuǎn)小于經(jīng)典K-means算法。

然后實(shí)驗(yàn)同時(shí)使用兩種改進(jìn)算法和K-means算法對Credit數(shù)據(jù)進(jìn)行聚類，表3是三種算法的實(shí)驗(yàn)結(jié)果對比，其中可以看出兩種改進(jìn)方法的循環(huán)次數(shù)小于經(jīng)典K-means算法。

4.3 實(shí)驗(yàn)結(jié)果分析

通過實(shí)驗(yàn)結(jié)果對比可以看出：經(jīng)典的K-means算法與聚類數(shù)目和初始聚類中心的選擇有很大關(guān)系，多次運(yùn)行算法，從不同的初始聚類中心出發(fā)會(huì)得到不同的聚類結(jié)果和準(zhǔn)確性，具有一定的主觀性和隨機(jī)性，算法穩(wěn)定性不好?；诟偁幧窠?jīng)網(wǎng)絡(luò)的K-means算法在運(yùn)行經(jīng)典的K-means算法之前用競爭神網(wǎng)做了一個(gè)預(yù)處理，而基于密度的K-means算法在運(yùn)行經(jīng)典的K-means算法之前做了一個(gè)預(yù)處理。這兩種算法都改變了初始聚類中心的隨機(jī)選擇，使輸入經(jīng)典K-means算法的初始聚類中心離數(shù)據(jù)本身的類中心較近，改變其對聚類初始中心的依賴問題；而在競爭神網(wǎng)建立網(wǎng)絡(luò)的時(shí)候，利用采樣數(shù)據(jù)進(jìn)行訓(xùn)練，有效降低了數(shù)據(jù)量，減少了競爭神網(wǎng)的建立速度；并且多次運(yùn)行算法，結(jié)果較穩(wěn)定。從實(shí)驗(yàn)結(jié)果也可以看出，它在兩組測試數(shù)據(jù)上運(yùn)行得較好。

5 結(jié)論

本文針對經(jīng)典K-means算法的主要不足，采用優(yōu)化聚類中心的方法提出了基于競爭神經(jīng)網(wǎng)絡(luò)的K-means算法和基于密度的K-means算法，從而使K-means算法能夠自適應(yīng)的確定聚類中心，避免初始聚類中心的隨機(jī)性，在一定程度上彌補(bǔ)了經(jīng)典算法的不足。

從實(shí)驗(yàn)的結(jié)果來看，采用隨機(jī)選取初始聚類點(diǎn)的方法，初始聚類中心靠近數(shù)據(jù)本身的類中心時(shí)近時(shí)遠(yuǎn)，非常不穩(wěn)定，用于實(shí)際的數(shù)據(jù)聚類，效果不太好。而采用了一系列的改進(jìn)算法后，其初始聚類點(diǎn)離數(shù)據(jù)本身類中心較近,并且較穩(wěn)定，用于實(shí)際的數(shù)據(jù)聚類，效果較好。

參考文獻(xiàn)：

[1] HAN Jia-wei, Kamber M.數(shù)據(jù)挖掘:概念與技術(shù)[M].范明,孟小峰,譯.北京：機(jī)械工業(yè)出版社,2001:223-230.

[2] Belouchrani A,Abed-meraim K,Cardoso J F,et al.A Bjind Source Separation Technique Using Second-order Statistics[J].IEEE Trans.Signal Processing,1997,45(2):434-444.

[3] Charalampidis D,Kasparis T.Wavelet-Based Rotational Invariant Roughness Features for Texture Classification and Segmentation[J].IEEE Transactions on Image Processing,2002,11(8):825-837.

第3篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

[關(guān)鍵詞]無線傳感器，路由，BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TN929.5 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-914X（2015）41-0243-01

1.概述

近年來，微電子機(jī)械系統(tǒng)、無線通訊和數(shù)字化電子領(lǐng)域快速發(fā)展，使得開發(fā)出用于短距離通信的低能耗、低成本、多功能傳感器節(jié)點(diǎn)成為可能。這些節(jié)點(diǎn)能感知環(huán)境，數(shù)據(jù)處理和通訊[1]。基于傳感器節(jié)點(diǎn)協(xié)作的傳感器網(wǎng)絡(luò)提升了應(yīng)用領(lǐng)域與能量，傳感器網(wǎng)絡(luò)是傳統(tǒng)傳感器研究的重大改進(jìn)。

傳感器網(wǎng)絡(luò)有廣泛的應(yīng)用領(lǐng)域，可以用于監(jiān)控和收集分布式區(qū)域中的各種目標(biāo)和信息。圖1展示了一個(gè)經(jīng)典的WSNs，該領(lǐng)域主要是設(shè)計(jì)一個(gè)有效的路由算法，增進(jìn)通訊連通能力，目標(biāo)是減少能量消耗、延長傳感器網(wǎng)絡(luò)的生命周期。與能量消耗相關(guān)的論文研究成功近年來不斷涌現(xiàn)。

2.無線傳感器路由問題建模

一個(gè)大的傳感器網(wǎng)絡(luò)由很多簇組成。傳感器節(jié)點(diǎn)并不直接發(fā)送數(shù)據(jù)，而是在一個(gè)簇中由一個(gè)中心節(jié)點(diǎn)（Sink）完成數(shù)據(jù)收集工作。但是，由于發(fā)射信號限制，一個(gè)傳感器節(jié)點(diǎn)只能和它發(fā)射半徑之內(nèi)的其它節(jié)點(diǎn)相連，本文的內(nèi)容就是針對一個(gè)簇之內(nèi)的信息收集工作展開的。

S是所有傳感器節(jié)點(diǎn)的集合，E是一個(gè)節(jié)點(diǎn)的連接集合。是簇中的一個(gè)節(jié)點(diǎn)，代表著在節(jié)點(diǎn)u和v之間傳輸 1k的數(shù)據(jù)需要消耗的能量，本文使用如下無線通訊模型：接收1KB的數(shù)據(jù)包消耗傳感器節(jié)點(diǎn) 1k的電能，發(fā)送放大器的能量消耗與距離相關(guān)，節(jié)點(diǎn)（u， v）之間用C（u， v）代表[2]。信息收集路徑從sink節(jié)點(diǎn)開始，完成信息收集之后返回到同一節(jié)點(diǎn)，代表著一個(gè)完整的路徑，so是sink節(jié)點(diǎn)。路由的能量消耗按如下公式定義：

D 代表傳輸數(shù)據(jù)的大小，是一個(gè)動(dòng)態(tài)值。

3.基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合模型

反向傳播網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）是前向神經(jīng)網(wǎng)絡(luò)中最重要的一種，該網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法采用誤差反向傳播算法。該算法[3]的學(xué)習(xí)過程主要有兩個(gè)：信號的正向傳播與誤差的反向傳播。主要是通過修正各層神經(jīng)元的權(quán)值，使得總的誤差信號最小。近幾年，，研究人員開展了很多基于神經(jīng)網(wǎng)絡(luò)的無線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合方面的研究工作。實(shí)驗(yàn)結(jié)果表明，把BP神經(jīng)網(wǎng)絡(luò)應(yīng)用傳感器數(shù)據(jù)融合中，可以大大降低傳送數(shù)據(jù)的特征維數(shù)，提高無線網(wǎng)絡(luò)的數(shù)據(jù)融合效率。

3.1 BP神經(jīng)網(wǎng)絡(luò)

BP網(wǎng)絡(luò)是利用BP算法的前向型神經(jīng)網(wǎng)絡(luò)，其是在多層感知器的基礎(chǔ)上增加了反向傳播信號，可以較好地處理非線性的數(shù)據(jù)信息，具有較好的泛化能力，廣泛地應(yīng)用在系統(tǒng)模型辨識、預(yù)測或控制。

BP神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元模型中的激發(fā)函數(shù)通常選用非線性的Sigmoid函數(shù)：

只有當(dāng)系統(tǒng)特性在正負(fù)區(qū)間變化時(shí)，激發(fā)函數(shù)選擇對稱的Sigmoid函數(shù)，又稱為雙曲函數(shù)：

BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、輸出層和隱層組成，其中隱層可以有多層，不過最常用還是單隱層的三層BP網(wǎng)絡(luò)。

3.2 BP神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整規(guī)則

BP網(wǎng)絡(luò)的學(xué)習(xí)過程是就將誤差反向傳播并修正網(wǎng)絡(luò)權(quán)值直到網(wǎng)絡(luò)的總誤差最小。定義BP神經(jīng)網(wǎng)絡(luò)的輸入輸出模型對應(yīng)的系統(tǒng)誤差函數(shù)為：

利用梯度最速下降法解析如何調(diào)整連接權(quán)值使誤差函數(shù)E最小。

BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程[4]：當(dāng)確定網(wǎng)絡(luò)結(jié)構(gòu)后，始對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是由信號的正向傳播與誤差的反向傳播兩個(gè)過程組成的，在正向傳播時(shí)，輸入樣本信號從輸入層進(jìn)入網(wǎng)絡(luò)，通過隱層處理最后傳送給輸出層，如果輸出結(jié)果與期望值不符，則把誤差進(jìn)行反向傳播，根據(jù)上面的權(quán)值調(diào)整系數(shù)調(diào)整權(quán)值的變化，直到網(wǎng)絡(luò)輸出層的輸出結(jié)果滿足要求為止。

4.基于BP神經(jīng)網(wǎng)絡(luò)的 路由仿真實(shí)驗(yàn)

無線傳感器網(wǎng)絡(luò)與神經(jīng)網(wǎng)絡(luò)在有些地方很類似，比如無線傳感器網(wǎng)絡(luò)中的傳感器節(jié)點(diǎn)具有感知數(shù)據(jù)處理信息的能力，相當(dāng)于神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元；無線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)之間通過一定的規(guī)則傳遞信息，則相當(dāng)于連接神經(jīng)元的突觸。神經(jīng)網(wǎng)絡(luò)算法與無線傳感器網(wǎng)絡(luò)中應(yīng)用的數(shù)據(jù)融合技術(shù)有相同的功能，即通過一定的規(guī)則對大量的數(shù)據(jù)進(jìn)行運(yùn)算處理，從而得到反映這些數(shù)據(jù)特征的結(jié)果。因此，可以把神經(jīng)網(wǎng)絡(luò)算法應(yīng)用到無線傳感器網(wǎng)絡(luò)中實(shí)現(xiàn)數(shù)據(jù)的融合。

實(shí)驗(yàn)中，設(shè)置傳感器節(jié)點(diǎn)數(shù)目為 100，200，300，400 和 500。傳感器網(wǎng)絡(luò)環(huán)境是一個(gè) 200m*200m 的空間[5-6]。令傳輸數(shù)據(jù)的大小為 1KB，發(fā)射半徑分別為 20m 和 30m。實(shí)驗(yàn)結(jié)果是 50 次運(yùn)行的平均值。圖2 和圖 3現(xiàn)實(shí)了算法在不同數(shù)據(jù)集上最有解的變化趨勢，從中可以看出能量的逐步變化，并且，圖 3 的能量消耗更小，因?yàn)榘l(fā)射半徑較大。

5.結(jié)論

本文利用BP神經(jīng)網(wǎng)絡(luò)模型解決無線傳感器網(wǎng)絡(luò)路由問題，實(shí)驗(yàn)中，采用了不同規(guī)模的網(wǎng)絡(luò)實(shí)驗(yàn)數(shù)據(jù)，并同該領(lǐng)域其它經(jīng)典算法進(jìn)行比較，驗(yàn)證了本文所提方法在該領(lǐng)域的有效性。下一步的可針對模型在大規(guī)模數(shù)據(jù)集上表現(xiàn)沒有中小規(guī)模優(yōu)秀的問題方面展開。

參考文獻(xiàn)

[1]張重毅，適用于無線傳感器網(wǎng)絡(luò)的移動(dòng)路由算法[D]. 吉林： 吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 2007.

[2] 李鳳保，李凌.無線傳感器網(wǎng)絡(luò)技術(shù)綜述[J]. 儀器儀表學(xué)報(bào)， 2005，26（3）：559-561.

[3] Shih E， Cho S， Ickes N， Min R， Sinha A， Wang A， Chandrakasan A. Physical layer driven protocol and algorithm design forenergy-efficient wireless sensor networks[C]. Proceedings of the ACM MobiCom 2001， Rome： ACM Press， 2001， 272-286.

[4] 唐勇，周明天，張欣.無線傳感器網(wǎng)絡(luò)路由協(xié)議研究進(jìn)展[J]. 軟件學(xué)報(bào)，2006，17（3）：410-421.

第4篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò) 峰值識別理論 洪水預(yù)報(bào)

洪水預(yù)報(bào)作為非工程性防洪措施正日益受到重視，準(zhǔn)確及時(shí)的洪水預(yù)報(bào)為防洪決策提供了科學(xué)的依據(jù).人工神經(jīng)網(wǎng)絡(luò)模擬了人類大腦的結(jié)構(gòu)及其功能，從而具有對模糊信息或復(fù)雜的非線性關(guān)系進(jìn)行識別與處理的能力[1，2].

早期關(guān)于人工神經(jīng)網(wǎng)絡(luò)在水文水資源系統(tǒng)中的應(yīng)用與研究的進(jìn)展情況，文獻(xiàn)[3]有較為詳細(xì)、系統(tǒng)的介紹.其中，關(guān)于洪水預(yù)報(bào)的研究成果，大多處于如何應(yīng)用人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行洪水預(yù)報(bào)的階段，即如何將洪水預(yù)報(bào)的實(shí)際問題概化成人工神經(jīng)網(wǎng)絡(luò)可以識別的算法模型.近期的研究成果表明，研究的問題更加深入，如LINDA SEE(1999)[4]將洪水過程分為上升段、洪峰段和下降段三部分，分別建立相應(yīng)的預(yù)報(bào)模型，充分考慮了不同階段的洪水過程其演進(jìn)規(guī)律的差異.Fi-John Chang(1999)[5]引入洪峰預(yù)報(bào)誤差和峰現(xiàn)誤差作為洪水預(yù)報(bào)精度的評價(jià)標(biāo)準(zhǔn)，對于洪峰預(yù)報(bào)精度給予了高度的重視.能否保證較高的洪水峰值的預(yù)報(bào)精度，是將人工神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)洪水預(yù)報(bào)技術(shù)實(shí)際應(yīng)用的關(guān)鍵性問題.

本文在總結(jié)大量實(shí)踐經(jīng)驗(yàn)的基礎(chǔ)上[6，7]，提出了一種能夠進(jìn)行峰值識別的改進(jìn)BP算法(Error Back Propagation with Peak Recognizer，簡稱BPPR).該算法在修改網(wǎng)絡(luò)權(quán)重時(shí)偏重大值，即大值誤差對權(quán)重的修改起主要作用.這種改進(jìn)的BP算法使人工神經(jīng)網(wǎng)絡(luò)洪水預(yù)報(bào)模型對洪峰峰值的預(yù)報(bào)精度顯著提高，從而保證了洪峰預(yù)報(bào)的可靠性.

1人工神經(jīng)網(wǎng)絡(luò)的峰值識別理論

洪水預(yù)報(bào)主要是為防汛服務(wù)的，通常對洪峰時(shí)段的水位(或流量)的準(zhǔn)確預(yù)報(bào)尤為重要.但是，對于經(jīng)典的BP算法，網(wǎng)絡(luò)訓(xùn)練是根據(jù)全局誤差修改網(wǎng)絡(luò)權(quán)重的，這種權(quán)重修改方法很難控制洪峰水位(或流量)的訓(xùn)練精度，訓(xùn)練后的網(wǎng)絡(luò)權(quán)重所貯存的信息很可能更多地反映了樣本數(shù)量較大的中、低水位(或流量)的變化規(guī)律.所以，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對中、低水位(或流量)的預(yù)報(bào)精度相對較高，而對洪峰的預(yù)報(bào)精度往往低一些.如何提高人工神經(jīng)網(wǎng)絡(luò)模型對洪峰水位(或流量)的預(yù)報(bào)精度，是人工神經(jīng)網(wǎng)絡(luò)理論應(yīng)用于洪水預(yù)報(bào)的關(guān)鍵問題之一.

本文是在結(jié)合實(shí)際課題廣泛研究的基礎(chǔ)上，提出了一種能夠提高網(wǎng)絡(luò)模型峰值識別精度的改進(jìn)BP算法.

1.1 峰值識別的基本思想 經(jīng)典BP算法的訓(xùn)練過程由信號的正向傳播與誤差的逆向傳播兩個(gè)過程組成.其中，誤差的逆向傳播是基于網(wǎng)絡(luò)全局誤差并按“誤差梯度下降”的原則對網(wǎng)絡(luò)權(quán)重進(jìn)行修改.如果對原來基于“全局誤差”的權(quán)重修改原則進(jìn)行合理調(diào)整，使權(quán)重的修改傾向于減小輸出值較大樣本的網(wǎng)絡(luò)映射誤差，這是峰值識別原理的基本思想，其實(shí)質(zhì)是在誤差逆向傳播的網(wǎng)絡(luò)權(quán)重修改過程中，遵循了側(cè)重于“峰值樣本誤差”的權(quán)重修改原則.

1.2峰值識別的算法峰值識別理論的實(shí)現(xiàn)方法，是在引入動(dòng)量項(xiàng)和采用學(xué)習(xí)率自適應(yīng)調(diào)整的改進(jìn)BP算法[4]的基礎(chǔ)上，對峰值樣本的網(wǎng)絡(luò)誤差引入合理的修正系數(shù)，使網(wǎng)絡(luò)的權(quán)重向著使峰值訓(xùn)練誤差減小的方向修改.

首先，從經(jīng)典BP算法開始.設(shè)有輸入為x1(t)、x2(t)、…、xn(t)的n維輸入，輸出為xL1(t)、xL2(t)、…、xLm(t)、的m維輸出和若干隱層組成的多輸入、多輸出人工神經(jīng)網(wǎng)絡(luò)模型.這里的t為樣本序列號，這樣的樣本共有P對.

第l層中第i個(gè)神經(jīng)元節(jié)點(diǎn)所接收到的上一層輸入總和為

式中：Nl為第l層神經(jīng)元節(jié)點(diǎn)總數(shù)；w(l)ij為第l層i節(jié)點(diǎn)與第l-1層j節(jié)點(diǎn)之間的連接權(quán)重；θ(l)i為第l層i節(jié)點(diǎn)的閾值.

第l層中第i個(gè)神經(jīng)元節(jié)點(diǎn)的輸出為

x(l)i(t)=f（y(l)i(t)）=1/1+exp(-σy(l)i(t)) (1≤l≤L，1≤i≤Nl) （2）

式中：f()為轉(zhuǎn)移函數(shù)，這里采用的是對數(shù)型的單極性Sigmoid函數(shù)；σ為決定Sigmoid函數(shù)壓縮程度的系數(shù).該系數(shù)越大，曲線越陡；反之，曲線越緩.

則，當(dāng)訓(xùn)練次數(shù)為k時(shí)，網(wǎng)絡(luò)輸出層及隱層的誤差信號可表示為

式中：d(L)i(t)為訓(xùn)練樣本的期望輸出.

那么，網(wǎng)絡(luò)權(quán)重的修改公式為

式中：η(k)為訓(xùn)練次數(shù)為k時(shí)的學(xué)習(xí)率；α為動(dòng)量項(xiàng)系數(shù).

以上為經(jīng)典BP算法的基本內(nèi)容.基于峰值識別的思想，實(shí)現(xiàn)網(wǎng)絡(luò)誤差修正傾向于輸出樣本的較大值，定義誤差修正系數(shù)ξ

ξi=di(L)(t)/d(L)max(t) （7）

式中：d(L)max(t)為訓(xùn)練樣本期望輸出的最大值.

為了進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練速度，改善網(wǎng)絡(luò)峰值識別的精度，可以在上述修正系數(shù)的基礎(chǔ)上，增設(shè)誤差修正放大系數(shù)μ.那么，加入誤差修正系數(shù)ξ及誤差修正放大系數(shù)μ后，當(dāng)訓(xùn)練次數(shù)為k時(shí)，網(wǎng)絡(luò)輸出層誤差信號的向量表達(dá)式如下

應(yīng)用該算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，能夠使峰值誤差修正占優(yōu)，從而提高網(wǎng)絡(luò)對峰值的映度.

2 應(yīng)用實(shí)例

2.1 工程概況及基本模型 珠江流域西江段的水系關(guān)系比較復(fù)雜，如圖1所示.從柳州站、遷江站、南寧站或貴港站預(yù)報(bào)梧州站洪水目前還是一個(gè)難題.結(jié)合現(xiàn)有的研究成果，介紹洪水預(yù)報(bào)峰值識別理論的有效性.選取珠江流域從對亭站、柳州站、遷江站、南寧站預(yù)報(bào)江口站洪水的江口站洪水預(yù)報(bào)模型，分別以BP算法與引入峰值識別理論的BPPR算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練.以多年實(shí)測記錄數(shù)據(jù)為訓(xùn)練樣本，并采用下一年的記錄數(shù)據(jù)為測試樣本，即以1988、1992～1994、1996～1998各年的水位(流量)資料為訓(xùn)練樣本，以1999年水位(流量)資料作為測試樣本.

圖1 珠江流域西江段主要水情站及洪水平均傳播時(shí)間示意

*傳播時(shí)間單位：h

傳統(tǒng)相應(yīng)水位的洪水預(yù)報(bào)方法是根據(jù)天然河道洪水波的運(yùn)動(dòng)原理，分析洪水波在運(yùn)動(dòng)過程中，波的任一相位自上游水情站傳播到下游水情站的相應(yīng)水位及其傳播時(shí)間的變化規(guī)律，尋找其經(jīng)驗(yàn)關(guān)系，以此進(jìn)行洪水預(yù)報(bào)[8].人工神經(jīng)網(wǎng)絡(luò)對信息的分布存儲(chǔ)、并行處理以及自學(xué)習(xí)的能力，決定了它具有對模糊信息和復(fù)雜非線性關(guān)系的識別與處理能力.網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程，就是網(wǎng)絡(luò)認(rèn)知事物內(nèi)在規(guī)律的過程.構(gòu)造基于人工神經(jīng)網(wǎng)絡(luò)洪水預(yù)報(bào)模型的首要問題，是如何將洪水過程合理地概化成人工神經(jīng)網(wǎng)絡(luò)可以映射的輸入、輸出關(guān)系.

以上游干流和主要支流水情站的水位(流量)資料作為網(wǎng)絡(luò)模型的輸入，以下游水情站所形成的相應(yīng)水位(流量)作為網(wǎng)絡(luò)模型的輸出；同時(shí)，將下游同時(shí)水位(流量)作為網(wǎng)絡(luò)模型的輸入，以模擬下游初始水位的影響.洪水自上游水文站至下游水文站的傳播時(shí)間就是網(wǎng)絡(luò)對洪水的預(yù)見期.

本題中所建立的江口站洪水預(yù)報(bào)模型中，作為江口站的上游水文站共有對亭、柳州、遷江和南寧等站，其中的遷江站處于干流河道.值得一提的是，對亭站方向的來水屬山區(qū)洪水，特點(diǎn)為量小、峰高、歷時(shí)短，洪水過程線陡起陡落，其結(jié)果是水位的變化非常大，而實(shí)際的流量又很小，這無疑會(huì)影響水位預(yù)報(bào)模型的識別精度.為了減少這種小支流的干擾，在建立水位預(yù)報(bào)模型時(shí)，未將對亭站的水位作為輸入項(xiàng).在建立流量預(yù)報(bào)模型時(shí)，為了保證水量的總體平衡，仍將對亭站的流量作為一項(xiàng)輸入.

以3h為一個(gè)間隔時(shí)段進(jìn)行洪水?dāng)?shù)據(jù)采集來組織樣本，以干流遷江站t時(shí)刻水位(流量)、對亭站(t-3)時(shí)刻流量、柳州站(t-3)時(shí)刻水位(流量)、南寧站(t-8)時(shí)刻水位(流量)和江口站t時(shí)刻水位(流量)作為網(wǎng)絡(luò)的輸入，江口站(t+T)時(shí)刻的水位(流量)為網(wǎng)絡(luò)的輸出.其中，T為網(wǎng)絡(luò)的預(yù)見期，即洪水自上游遷江站傳播到江口站的時(shí)間，亦為峰現(xiàn)時(shí)間.在組織樣本時(shí)，采用洪水在各站間的實(shí)測傳播時(shí)間，但網(wǎng)絡(luò)預(yù)報(bào)的預(yù)見期為平均預(yù)見期，即T=9時(shí)段，約28h(洪水在各站間的傳播情況見圖1).圖2為江口站洪水預(yù)報(bào)模型的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖.

圖2 江口站洪水預(yù)報(bào)模型的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，輸入與輸出節(jié)點(diǎn)數(shù)由實(shí)際問題而定，而隱層數(shù)及隱層節(jié)點(diǎn)數(shù)是網(wǎng)絡(luò)設(shè)計(jì)中的關(guān)鍵問題.在實(shí)際問題中，常常無法估計(jì)問題的真實(shí)復(fù)雜程度，通常采用雙隱層.關(guān)于隱層節(jié)點(diǎn)數(shù)目的確定，直接關(guān)系到能否成功地解決問題.實(shí)際上，隱層節(jié)點(diǎn)數(shù)決定于訓(xùn)練樣本的多少、樣本噪音的大小以及所面對問題的復(fù)雜程度.若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)映射能力不足；若隱層節(jié)點(diǎn)數(shù)太多，不僅增加網(wǎng)絡(luò)的訓(xùn)練時(shí)間，還會(huì)引發(fā)所謂“過度吻合”問題，即雖然增加了訓(xùn)練精度，但是由于網(wǎng)絡(luò)過多地獲得了樣本的個(gè)性特征，而掩蓋了樣本的共性特征，從而造成預(yù)報(bào)精度的下降.目前的研究成果，還不能在理論上提供一套科學(xué)的推導(dǎo)方法，試算法是可靠的常規(guī)方法.本題經(jīng)多次試算，合理的拓?fù)浣Y(jié)構(gòu)為：水位預(yù)報(bào)模型(4-40-20-1)，流量預(yù)報(bào)模型(5-40-20-1).

圖3 水位預(yù)報(bào)模型中BP算法與BPPR算法映結(jié)果比較

網(wǎng)絡(luò)模型的初始權(quán)重在(-1，1)之間隨機(jī)產(chǎn)生，動(dòng)量項(xiàng)系數(shù)α取0.9.初始學(xué)習(xí)率η0在基本BP算法中取0.001，在BPPR算法中取0.0005，初始學(xué)習(xí)率往往會(huì)因不同網(wǎng)絡(luò)模型而不同.BPPR算法的峰值誤差修正放大系數(shù)μ取2.0.水位模型的訓(xùn)練停止條件為平均映射誤差l≤0.20m，流量模型的訓(xùn)練停止條件為平均映射誤差q≤500m3/s.

2.2 計(jì)算成果 分別采取BP算法與BPPR算法進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，兩種算法對于峰值水位(流量)的映射情況見圖3、圖4.以完成訓(xùn)練的網(wǎng)絡(luò)模型對1999年的洪水情況進(jìn)行測試預(yù)報(bào)，預(yù)報(bào)結(jié)果見圖5、圖6.

圖4 流量預(yù)報(bào)模型中BP算法與BPPR算法映射結(jié)果比較

2.3 成果分析 圖3、圖4反映了完成訓(xùn)練的網(wǎng)絡(luò)模型對訓(xùn)練樣本中洪峰水位與流量的映射情況，從圖中可以看到，BP算法對于洪水演進(jìn)規(guī)律具有很高的映度，引入峰值識別理論的BPPR算法能夠進(jìn)一步提高網(wǎng)絡(luò)對洪水峰值的映度，這種作用對于較高洪峰識別效果更為明顯.

圖5 1999年水位預(yù)報(bào)結(jié)果比較

圖6 1999年流量預(yù)報(bào)結(jié)果比較

圖5、圖6為網(wǎng)絡(luò)模型對1999年洪水主洪峰的預(yù)報(bào)情況.在水位預(yù)報(bào)模型中，BP算法對洪峰的預(yù)報(bào)誤差為0.13m(低于實(shí)測值)；BPPR算法的預(yù)報(bào)誤差為-0.05m(高于實(shí)測值).在流量預(yù)報(bào)模型中，BP算法對洪峰的預(yù)報(bào)誤差為291m3/s；BPPR算法的預(yù)報(bào)誤差為-83m3/s.

這里所采用的峰值誤差修正放大系數(shù)μ實(shí)質(zhì)上與樣本集中大值樣本所占的比例有關(guān)，大值樣本所占比例越小，μ的取值越大；反之，則小.在實(shí)際操作中，ξμ是作為一個(gè)參數(shù)進(jìn)行權(quán)重調(diào)節(jié)計(jì)算的，所以μ的取值又受樣本集中最大值和最小值間比例關(guān)系的限制.

如果放大系數(shù)選取過大，網(wǎng)絡(luò)訓(xùn)練容易失穩(wěn)，造成訓(xùn)練誤差增大；反之，網(wǎng)絡(luò)權(quán)重的修改難以體現(xiàn)洪峰樣本的貢獻(xiàn).具體取值由實(shí)際問題而定，在珠江流域的洪水預(yù)報(bào)模型中，放大系數(shù)的取值范圍為1.5～2.5.

從網(wǎng)絡(luò)模型的訓(xùn)練識別和測試預(yù)報(bào)兩方面的研究成果來看，人工神經(jīng)網(wǎng)絡(luò)對于洪水演進(jìn)規(guī)律的識別具有較高的精度，能夠模擬洪水的動(dòng)態(tài)過程，其中，引入峰值識別理論的BPPR算法有利于提高模型對峰值的映射與預(yù)報(bào)精度，效果明顯.這些改進(jìn)效果對于水文水資源預(yù)報(bào)中，可能效果并不十分顯著，但在防汛中，水位預(yù)報(bào)對防洪決策至關(guān)重要，往往十幾厘米的誤差，直接影響到防洪方案的決策.因此，峰值識別理論對基于BP算法的洪水預(yù)報(bào)模型來講，具有重要意義.

3 結(jié)束語

基于人工神經(jīng)網(wǎng)絡(luò)的洪水預(yù)報(bào)方法作為防洪減災(zāi)領(lǐng)域一種新的研究途徑，將智能化思想引入到對洪水過程的計(jì)算模擬，更能反映洪水復(fù)雜非線性的動(dòng)態(tài)演進(jìn)規(guī)律.研究結(jié)果表明，人工神經(jīng)網(wǎng)絡(luò)算法能夠很好地映射洪水的演進(jìn)規(guī)律，做到對洪水實(shí)時(shí)的監(jiān)測與預(yù)報(bào)，預(yù)報(bào)精度較高.

針對洪峰預(yù)報(bào)精度在防洪減災(zāi)工作中的重要性，本文提出了基于峰值修正理論的BPPR算法，該算法能夠很大程度上提高峰值的訓(xùn)練與預(yù)報(bào)精度，從而保證了洪水預(yù)報(bào)網(wǎng)絡(luò)對洪峰水位、流量預(yù)報(bào)結(jié)果的可靠性，具有很高的實(shí)際應(yīng)用價(jià)值.這種峰值識別理論與算法還可以應(yīng)用于潮汐預(yù)報(bào)、地震預(yù)報(bào)等峰值預(yù)報(bào)過程起主要作用的相關(guān)領(lǐng)域，具有一定的普適性.

第5篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵字：汽車電機(jī)故障方法

1.電機(jī)故障診斷的特點(diǎn)及實(shí)施電機(jī)故障診斷的意義

1.1電機(jī)故障診斷的特點(diǎn)

電機(jī)的功能是進(jìn)行電能與機(jī)械能量的轉(zhuǎn)換，涉及因素很多，如電路系統(tǒng)、磁路系統(tǒng)、絕緣系統(tǒng)、機(jī)械系統(tǒng)、通風(fēng)散熱系統(tǒng)等。哪一部分工作不良或其相互之間配合不好，都會(huì)導(dǎo)致電機(jī)出現(xiàn)故障。因此，電機(jī)故障要比其它設(shè)備的故障更復(fù)雜，其故障診斷所涉及到的技術(shù)范圍更廣，對診斷人員的要求也就更高。一般來說，電機(jī)故障診斷涉及到的知識領(lǐng)域主要有[20]：電機(jī)理論、電磁測量、信號處理、計(jì)算機(jī)技術(shù)、熱力學(xué)、絕緣技術(shù)、人工智能等。電機(jī)故障診斷的復(fù)雜性還表現(xiàn)在故障特征量的隱含性、故障起因與故障征兆之間的多元性。一種故障可能表現(xiàn)出多種征兆，有時(shí)不同故障起因也可能會(huì)反映出同一個(gè)故障征兆，這種情況下很難立即確定其真正的故障起因。另外，電機(jī)的運(yùn)行還與其負(fù)載情況、環(huán)境因素等有關(guān)，電機(jī)在不同的狀態(tài)下運(yùn)行，表現(xiàn)出的故障狀態(tài)各不相同，這進(jìn)一步增加了電機(jī)故障診斷難度，所以要求對電機(jī)進(jìn)行故障診斷首先必須掌握電機(jī)本身的結(jié)構(gòu)原理、電磁關(guān)系和進(jìn)行運(yùn)行狀況分析的方法，即掌握電機(jī)各種故障征兆與故障起因間的關(guān)系的規(guī)律。

1.2實(shí)施電機(jī)故障診斷的意義

電機(jī)的驅(qū)動(dòng)易受逆變器故障的影響，在交流電機(jī)驅(qū)動(dòng)系統(tǒng)中，逆變器短路故障將會(huì)使電機(jī)產(chǎn)生有規(guī)律波動(dòng)的或是恒定的饋電扭矩，使車輛突然減速。研究表明：逆變器出現(xiàn)故障時(shí)，永磁感應(yīng)電機(jī)將產(chǎn)生較大的饋電扭矩，而且永磁電機(jī)也有存在潛在的高消磁電流的問題。而感應(yīng)電機(jī)在逆變器出現(xiàn)故障時(shí)所產(chǎn)生有規(guī)律的饋電扭矩將由于有持續(xù)的負(fù)載而迅速衰減，這說明了感應(yīng)電機(jī)具有較高的容錯(cuò)能力，適應(yīng)混合動(dòng)力系統(tǒng)的要求。開關(guān)電機(jī)磁阻是最具有故障容錯(cuò)能力的電機(jī)，而且當(dāng)其有一個(gè)逆變器支路出現(xiàn)故障時(shí)電機(jī)仍能產(chǎn)生凈扭矩，另外，開關(guān)磁阻電機(jī)成本低，結(jié)構(gòu)緊湊，但是開關(guān)磁阻電機(jī)有較大的噪聲和扭矩脈沖，而且需要位置檢測器，而這些缺點(diǎn)使得開關(guān)磁阻電機(jī)在現(xiàn)階段不適合應(yīng)用于混合動(dòng)力客車上。在混合動(dòng)力客車動(dòng)力系統(tǒng)中，電機(jī)是作為輔助動(dòng)力的，而且電機(jī)屬于高速旋轉(zhuǎn)設(shè)備，如果電機(jī)出現(xiàn)故障，電機(jī)產(chǎn)生的瞬態(tài)扭矩將使車輛的穩(wěn)定性和動(dòng)力性將受到影響，而且，電機(jī)由高壓電池組驅(qū)動(dòng)，如果電機(jī)出現(xiàn)故障而不能及時(shí)容錯(cuò)，電機(jī)產(chǎn)生的瞬態(tài)電流將使電池受到損害，因此在混合動(dòng)力系統(tǒng)中對電機(jī)進(jìn)行故障診斷是非常必要的。

2.電機(jī)的故障診斷方法及典型故障診斷分析

2.1電機(jī)故障的診斷方法

（1）傳統(tǒng)的電機(jī)故障診斷方法

在傳統(tǒng)的基于數(shù)學(xué)模型的診斷方法中，經(jīng)典的基于狀態(tài)估計(jì)或過程參數(shù)估計(jì)的方法被應(yīng)用于電機(jī)故障檢測。圖1為用此類方法進(jìn)行故障診斷的原理框圖。這種方法的優(yōu)點(diǎn)是能深入電機(jī)系統(tǒng)本質(zhì)的動(dòng)態(tài)性質(zhì)，可實(shí)現(xiàn)實(shí)時(shí)診斷，而缺點(diǎn)是需建立精確的電機(jī)數(shù)學(xué)模型，選擇適當(dāng)決策方法，因此，當(dāng)電機(jī)系統(tǒng)模型不確定或非線性時(shí)，此類方法就難以實(shí)現(xiàn)了。

（3）基于模糊邏輯的電機(jī)故障診斷方法

圖3為基于模糊邏輯的電機(jī)故障診斷方法框圖，故障診斷部分是一個(gè)典型的模糊邏輯系統(tǒng)，主要包括模糊化單元、參考電機(jī)、底層模糊規(guī)則和解模糊單元。其中，模糊推理和底層模糊規(guī)則是模糊邏輯系統(tǒng)的核心，它具有模擬人的基于模糊概念的推理能力，該推理過程是基于模糊邏輯中的蘊(yùn)涵關(guān)系及推理規(guī)則來進(jìn)行的。模糊規(guī)則的制定有兩種基本方法：第一，啟發(fā)式途徑來源于實(shí)際電機(jī)操作者的語言化的經(jīng)驗(yàn)。第二，是采用自組織策略從正常和故障電機(jī)測量獲得的信號進(jìn)行模糊故障診斷的制定，將此方法通過計(jì)算機(jī)仿真實(shí)現(xiàn)，對電機(jī)故障有較好的識別能力。

（4）基于遺傳算法的電機(jī)故障診斷方法

遺傳算法是基于自然選擇和基因遺傳學(xué)原理的搜索算法，它的推算過程就是不斷接近最優(yōu)解的方法，因此它的特點(diǎn)在于并行計(jì)算與全局最優(yōu)。而且，與一般的優(yōu)化方法相比，遺傳算法只需較少的信息就可實(shí)現(xiàn)最優(yōu)化控制。由于一個(gè)模糊邏輯控制器所要確定的參變量很多，專家的經(jīng)驗(yàn)只能起到指導(dǎo)作用，很難根據(jù)指導(dǎo)準(zhǔn)確地定出各項(xiàng)參數(shù)，而反復(fù)試湊的過程就是一個(gè)尋優(yōu)的過程，遺傳算法可以應(yīng)用于該尋優(yōu)過程，較有效地確定出模糊邏輯控制器的結(jié)構(gòu)和數(shù)量。

遺傳算法應(yīng)用于感應(yīng)電機(jī)基于神經(jīng)網(wǎng)絡(luò)的故障診斷方法的框圖如圖4所示。設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的關(guān)鍵在于如何確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及連接權(quán)系數(shù)，這就是一個(gè)優(yōu)化問題，其優(yōu)化的目標(biāo)是使得所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)具有盡可能好的函數(shù)估計(jì)及分類功能。具體地分，可以將遺傳算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和訓(xùn)練兩個(gè)方面，分別構(gòu)成設(shè)計(jì)遺傳算法和訓(xùn)練遺傳算法。許多神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)細(xì)節(jié)，如隱層節(jié)點(diǎn)數(shù)、神經(jīng)元轉(zhuǎn)移函數(shù)等，都可由設(shè)計(jì)遺傳算法進(jìn)行優(yōu)化，而神經(jīng)網(wǎng)絡(luò)的連接權(quán)重可由訓(xùn)練遺傳算法優(yōu)化。這兩種遺傳算法的應(yīng)用可使神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)得以優(yōu)化，特別是用DSP來提高遺傳算法的速度，可使故障響應(yīng)時(shí)間小于300μs，不僅單故障信號診斷準(zhǔn)確率可達(dá)98%，還可用于雙故障信號的診斷，其準(zhǔn)確率為66%。

近年來，電機(jī)故障診斷的智能方法在傳統(tǒng)方法的基礎(chǔ)上得到了飛速發(fā)展，新型的現(xiàn)代故障診斷技術(shù)不斷涌現(xiàn)：神經(jīng)網(wǎng)絡(luò)、模糊邏輯、模糊神經(jīng)網(wǎng)絡(luò)、遺傳算法等都在電機(jī)故障診斷領(lǐng)域得到成功應(yīng)用。隨著現(xiàn)代工業(yè)的發(fā)展，自動(dòng)化系統(tǒng)的規(guī)模越來越大，使其產(chǎn)生故障的可能性和復(fù)雜性劇增，僅靠一種理論或一種方法，無論是智能的還是經(jīng)典的，都很難實(shí)現(xiàn)復(fù)雜條件下電機(jī)故障完全、準(zhǔn)確、及時(shí)地診斷，而多種方法綜合運(yùn)用,既可是經(jīng)典方法與智能方法的結(jié)合，也可是兩種或多種智能方法的結(jié)合，兼顧了實(shí)時(shí)性和精確度,因此多種方法的有機(jī)融合、綜合運(yùn)用這一趨勢將成為必然，也將成為電機(jī)故障在線診斷技術(shù)發(fā)展的主流方向。

參考文獻(xiàn)：

[1]陳清泉,詹宜君，21世紀(jì)的綠色交通工具——電動(dòng)汽車[M]，北京:清華大學(xué)出版社,2001

第6篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：溫度控制系統(tǒng)；研究；實(shí)現(xiàn)

國內(nèi)市場中的注塑機(jī)溫度控制系統(tǒng)大多采用比例積分微分（pid）控制和模糊控制。在塑料機(jī)械中，料桶的溫度控制非常關(guān)鍵，低于或者高于塑料的適宜熔融標(biāo)準(zhǔn)都會(huì)影響產(chǎn)品的最終成型質(zhì)量。由于產(chǎn)品成型過程復(fù)雜而且可影響因素多，如果可以做好料桶的溫控就可以對整個(gè)生產(chǎn)起到事半功倍的效果。但是這幾種控制方式都需要建立精確的數(shù)學(xué)模型，而注塑機(jī)溫度控制系統(tǒng)是一個(gè)大滯后、強(qiáng)耦合、非線性的時(shí)變系統(tǒng)，建立精確的數(shù)學(xué)模型是非常困難的，因此pid溫控系統(tǒng)的效果并不是很理想，鑒于這種情況，本文引入一個(gè)基于bp神經(jīng)網(wǎng)絡(luò)的溫度pid控制系統(tǒng)來改善注塑機(jī)溫度控制。神經(jīng)網(wǎng)絡(luò)具有表達(dá)任意非線性映射的能力，能夠?qū)Ψ蔷€性系統(tǒng)進(jìn)行建模。利用神經(jīng)網(wǎng)絡(luò)的這一特點(diǎn)建立動(dòng)態(tài)模型，作為預(yù)測控制器的預(yù)測模型，可用于熱力過程的預(yù)測和控制，應(yīng)用bp神經(jīng)網(wǎng)絡(luò)，通過學(xué)習(xí)和訓(xùn)練逼近對象的真實(shí)模型。對溫度控制的各相關(guān)指標(biāo)的相對權(quán)重確定。影響溫度變化各相關(guān)因素在輸入預(yù)測和評估模型時(shí)， 需要一組決定其相對重要性的初始權(quán)重，權(quán)重的確定需要基本的原則作支持。例如確定溫度的上限及下限，純加熱控制段的比例，不同位置的溫度控制段的默認(rèn)pid參數(shù)等。目前本文使用的是基于經(jīng)驗(yàn)的三層架構(gòu)的bp神經(jīng)網(wǎng)絡(luò)架構(gòu)，通過輸入層對采樣數(shù)據(jù)的輸入，隱含層的各種計(jì)算，并把計(jì)算結(jié)果通過輸出傳遞出去，這樣經(jīng)過在線指導(dǎo)后，可以滿足bpn-pids系統(tǒng)的算法的實(shí)現(xiàn)。其中各層的連接權(quán)值首先通過隨機(jī)賦值的方式進(jìn)行，然后根據(jù)各指導(dǎo)案例的學(xué)習(xí)，得到健壯的權(quán)重值。

本文的主要工作是設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于bp神經(jīng)網(wǎng)絡(luò)的溫度pid控制系統(tǒng)（bp neural network pid system簡稱為bpn-pids），其核心是 pid神經(jīng)網(wǎng)絡(luò)，如圖1-2 bpn-pids控制算法所示。本文主要參考了如下的相關(guān)技術(shù)：pid控制原理，bp神經(jīng)網(wǎng)絡(luò)（如圖1-1神經(jīng)網(wǎng)絡(luò)圖所示），matlab軟件，b/s軟件架構(gòu)以及asp開發(fā)工具，xml數(shù)據(jù)庫存儲(chǔ)以及opc行業(yè)標(biāo)準(zhǔn)。對于具有多變量強(qiáng)耦合時(shí)變特性的溫度控制系統(tǒng)，本文所構(gòu)建的pid神經(jīng)網(wǎng)絡(luò)可以通過在線學(xué)習(xí)建立科學(xué)的預(yù)測和評估指標(biāo)體系及設(shè)計(jì)相應(yīng)的模型計(jì)算方法與學(xué)習(xí)參數(shù)；同時(shí)，根據(jù)對象參數(shù)發(fā)生變化時(shí)對系統(tǒng)輸出性能的影響來調(diào)整連接權(quán)值，改變網(wǎng)絡(luò)中比例、積分和微分作用的強(qiáng)弱，使系統(tǒng)具備良好的動(dòng)態(tài)和靜態(tài)性能，達(dá)到系統(tǒng)解耦和溫度控制的目的。本文結(jié)合不同塑料的具體實(shí)際特性， 對指標(biāo)和模型體系進(jìn)行了實(shí)證分析， 解決了普通pid控制系統(tǒng)的非確定性、非固定性元素。

bpn-pids系統(tǒng)已借助matlab軟件進(jìn)行了仿真與實(shí)現(xiàn)。系統(tǒng)架構(gòu)如圖1-3系統(tǒng)框架所示，包括服務(wù)器應(yīng)用端程序，注塑機(jī)端相應(yīng)的應(yīng)用。

服務(wù)器應(yīng)用端分為通訊模塊，控制功能模塊與數(shù)據(jù)庫服務(wù)，其中控制功能模塊為核心。

通訊模塊的作用為服務(wù)器應(yīng)用端與注塑機(jī)端的通訊并傳遞相應(yīng)數(shù)據(jù)。

控制功能模塊為核心模塊，通過對傳遞到的數(shù)據(jù)分析與運(yùn)算，進(jìn)行整個(gè)系統(tǒng)的控制。

數(shù)據(jù)庫服務(wù)則為控制功能模塊服務(wù)，它將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫中，需要的時(shí)候則可以提取出來。

注塑機(jī)端應(yīng)用分為：上位機(jī)應(yīng)用，下位機(jī)應(yīng)用其中，上位機(jī)應(yīng)用主要作用是采集下位機(jī)的數(shù)據(jù)，經(jīng)過處理后通過通訊模塊給應(yīng)用程序控制模塊進(jìn)行相應(yīng)的分析，然后接受控制模塊的輸出指令，傳遞給下位機(jī)。

下位機(jī)的主要作用是通過a/d模塊采集料筒的實(shí)際溫度，然后傳遞給上位機(jī)。再接受上位機(jī)的控制指令，對料筒進(jìn)行是否加熱的指令。

由于采用了c/s結(jié)構(gòu)，本文中注塑機(jī)端最多可以接連255個(gè)客戶端。

i）總體結(jié)構(gòu)

設(shè)bp神經(jīng)網(wǎng)絡(luò)是一個(gè)采用三層bp結(jié)構(gòu)，它有m個(gè)輸入節(jié)點(diǎn)，其中，根據(jù)算法結(jié)構(gòu)，m=3，q個(gè)隱含節(jié)點(diǎn)，3個(gè)輸出節(jié)點(diǎn)。輸入節(jié)點(diǎn)對應(yīng)所選的系統(tǒng)運(yùn)行狀態(tài)量，如系統(tǒng)不同時(shí)刻和輸入量和輸出等，必要時(shí)進(jìn)行歸一化處理。輸出節(jié)點(diǎn)分別對應(yīng)pid控制器的三個(gè)參數(shù)kp、ki、kd，由于這三個(gè)參數(shù)都不能為負(fù)，所以輸出層神經(jīng)元激活函數(shù)一定要取非負(fù)的sigmoid函數(shù)。此處根據(jù)經(jīng)驗(yàn)，當(dāng)q值過小，則算法有可能失敗，當(dāng)q值過大，則算法速度太慢，同時(shí)占用資源過多，所以取q=5。

ii）學(xué)習(xí)算法請參看圖1-4 bp神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

（a）、確定bp網(wǎng)絡(luò)結(jié)構(gòu)，即確定輸入層節(jié)點(diǎn)數(shù)m和隱含層

點(diǎn)數(shù)q，并給出各層的加權(quán)系數(shù)的初值，選定學(xué)習(xí)速率η和慣性系數(shù)α。初值隨機(jī)賦值，學(xué)習(xí)速率與慣性系數(shù)取習(xí)慣值，此時(shí)k=1。

（b）、采樣得r（k）和y（k），計(jì)算該時(shí)刻誤差e（k）=r（k）-y（k）

（c）、計(jì)算神經(jīng)網(wǎng)絡(luò)各層神經(jīng)元得輸入、輸出，nn得輸出即為pid控制器得三個(gè)可調(diào)參數(shù)kp、ki、kd。

（d）、根據(jù)增量式算法計(jì)算pid得輸出u（k）。

（e）、進(jìn)行神經(jīng)網(wǎng)絡(luò)得學(xué)習(xí)，通過數(shù)據(jù)庫的存儲(chǔ)讀取，離線調(diào)整加權(quán)系數(shù)，實(shí)現(xiàn)pid控制器參數(shù)得自適應(yīng)調(diào)整置，重復(fù)步驟（b）-（e）。

（f）、置k=k+1，返回到b步驟

在仿真中，比較常規(guī)pid與bpn-pids系統(tǒng)仿真。從中可以得知通過優(yōu)化和混合仿真?zhèn)鹘y(tǒng)pid控制器能夠獲得很好的系統(tǒng)性能，bpn-pids獲得了平滑的變換，但存在靜態(tài)誤差。當(dāng)模型參數(shù)變化時(shí)，比較兩者的魯棒性，顯示了當(dāng)時(shí)延增大時(shí)，傳統(tǒng)pid出現(xiàn)了振蕩。傳統(tǒng)pid控制在注塑機(jī)溫度控制系統(tǒng)中能達(dá)到較好的控制性能和控制精度。但是，當(dāng)系統(tǒng)的參數(shù)發(fā)生變化時(shí)，常規(guī)pid的魯棒性就很差了。而神經(jīng)pid雖然存在靜態(tài)誤差，但仍然有很穩(wěn)定的平滑性。bpn-pids同樣也能獲得更為平滑的過渡過程，但是系統(tǒng)存在著靜態(tài)誤差。bpn-pids具有自學(xué)習(xí)和自調(diào)整的能力，當(dāng)模型參數(shù)改變時(shí)，bpn-pids仍然有平滑的過渡過程，這就證明bpn-pids的魯棒性比傳統(tǒng)pid更強(qiáng)，適應(yīng)能力更強(qiáng)。通過matlab實(shí)現(xiàn)了bpn-pids算法，解決了普通pid控制方法中的非確定性，非固定的問題，通過bp神經(jīng)網(wǎng)絡(luò)的在線自學(xué)習(xí)能力，為今后不同材料，不同模具的應(yīng)用達(dá)到了良好，健壯的溫度控制。 從圖1-5信號跟蹤圖中可以看出：控制變量u變化規(guī)則，擾動(dòng)較小，跟蹤曲線光滑，跟蹤誤差小，達(dá)到穩(wěn)定狀態(tài)后，誤差波動(dòng)小。

圖1-6誤差曲線圖為系統(tǒng)的誤差曲線，可以看出，系統(tǒng)跟蹤誤差非常小大約在（0.008～-0.008 內(nèi)），跟蹤效果很理想。

圖1-7 pid參數(shù)變化圖反映了整個(gè)過程中參數(shù)kp，ki，kd 隨時(shí)間變化的情況，可以看出， kp，ki，kd 在不斷調(diào)整，從而使控制效果最佳。

本文以基于神經(jīng)網(wǎng)絡(luò)的解耦控制和pid控制作為研究的出發(fā)點(diǎn)，經(jīng)過查閱資料、理論研究以及實(shí)際測試，取得的研究結(jié)論可簡要的歸納如下：

（1）就基于神經(jīng)網(wǎng)絡(luò)的參數(shù)自適應(yīng)pid控制算法進(jìn)行了分析研究。利用神經(jīng)網(wǎng)絡(luò)所具有的任意性表達(dá)能力，通過對系統(tǒng)的學(xué)習(xí)來實(shí)現(xiàn)具有最佳組合的pid控制。避免了憑經(jīng)驗(yàn)選取pid控制參數(shù)的不確定性，而且可以實(shí)現(xiàn)控制器參數(shù)的在線調(diào)整和整定。算法主要由兩個(gè)部分組成：

a.經(jīng)典的pid控制器，控制算法為經(jīng)典增量式。直接對被控對象進(jìn)行閉環(huán)控制，而且三個(gè)參數(shù)為在線調(diào)整方式。

b.神經(jīng)網(wǎng)絡(luò)，根據(jù)系統(tǒng)的運(yùn)行情況，根據(jù)學(xué)習(xí)算法，在線調(diào)整pid控制的參數(shù)使得給定性能指標(biāo)最優(yōu)，輸出層神經(jīng)元的輸出狀態(tài)讀對應(yīng)于pid控制器的三個(gè)可調(diào)參數(shù)。

（2）給出了一種基于神經(jīng)網(wǎng)絡(luò)的分散解耦算法bpn-pids算法。這種分散解耦算法從本質(zhì)上仍屬于串聯(lián)解耦的一種特殊情況，但他與串聯(lián)解耦又有所不同。

（3）將基于神經(jīng)網(wǎng)絡(luò)的參數(shù)自適應(yīng)pid控制算法與分散解耦算法結(jié)合，并能過matlab軟件中實(shí)現(xiàn)了bpn-pids算法，并實(shí)現(xiàn)了在線的整定的算法，既避免了當(dāng)單獨(dú)采用自適應(yīng)pid算法時(shí)，如多變量被控對象耦合嚴(yán)重，則控制效果不佳的問題；又避免了當(dāng)采用分散解耦算法時(shí)，如出現(xiàn)多變量被控對象模型參數(shù)發(fā)生變化，原有的控制器參數(shù)不能適應(yīng)變化后的對性的問題。將該算法應(yīng)用與料筒的溫度控制，結(jié)果表明可以取得較為滿意的控制效果。

本文工作對具有多變量強(qiáng)耦合時(shí)變特性的控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)具有較好的參考價(jià)值。

參考文獻(xiàn)

[1]（美）martin t.hagan，等.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[m].機(jī)械工業(yè)出版社，2002）9）.

第7篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：人臉識別；奇異值分解；BP神經(jīng)網(wǎng)絡(luò)；粒子群優(yōu)化算法

分類號：TP391 文獻(xiàn)標(biāo)識碼：A

Face Recognition Classifier based on PSO and Neural Network

DUAN Xiang-jun

( Nanjing College of Information Technology, Nanjing 210046, China )

Abstract: Because BP neural network for face recognition classifier has slow convergence and easy to fall into the local minimum, using particle swarm optimization (PSO) to improve the BP network training method, establishing an algorithm based on the improved PSO-BP neural network, which can more reasonable and effectively to determine the neural network connection weights and thresholds, applying this method to the classification of the face recognition system, and compared results with using the BP neural network classification only, experiment shows that the recognition speed is quicker and recognition result is better.

Key words: face recognition; singular value decomposition; BP neural network; particle swarm optimization

0引言

通常情況下，一個(gè)人臉自動(dòng)識別系統(tǒng)包括以下三個(gè)主要技術(shù)環(huán)節(jié)：人臉檢測、人臉特征提取、人臉識別。人臉識別即將人臉特征提取結(jié)果與庫中人臉對比得出分類結(jié)果，即識別分類；分類器的選擇在人臉識別系統(tǒng)整個(gè)過程中起著成敗與否的關(guān)鍵作用。因此，要慎重選擇研究分類器的設(shè)計(jì)，確保具有優(yōu)秀的識別結(jié)果。

目前，應(yīng)用較廣泛的人臉識別分類器主要有：最小距離分類器[1]、基于PCA的分類法[2]、支持向量機(jī)識別方法[3]、人工神經(jīng)網(wǎng)絡(luò)[4]等模式識別方法。由于人工神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的容錯(cuò)能力、自適應(yīng)學(xué)習(xí)能力以及并行信息處理結(jié)構(gòu)、速度快等三大優(yōu)勢，在模式識別領(lǐng)域有廣泛的應(yīng)用，而人工神經(jīng)網(wǎng)絡(luò)模型又以標(biāo)準(zhǔn)三層BP神經(jīng)網(wǎng)絡(luò)最為經(jīng)典。但由于傳統(tǒng)的BP算法是基于梯度下降法的，而梯度下降法通常具有收斂速度慢、易陷入局部極小等缺點(diǎn)而導(dǎo)致學(xué)習(xí)失敗，另外，BP網(wǎng)絡(luò)學(xué)習(xí)時(shí)間較慢，不適合大規(guī)模的網(wǎng)絡(luò)求解[5]。而粒子群算法（Particle Swarm Optimization, PSO）[6]源于對鳥群捕食行為的研究，系統(tǒng)初始化為一組隨機(jī)解，粒子在解空間追隨最優(yōu)的粒子進(jìn)行搜索，通過迭代搜尋最優(yōu)值，所以用它來完成前期的搜索能較好的克服BP算法的缺點(diǎn)。

1 BP神經(jīng)網(wǎng)絡(luò)分類器

BP算法的基本思想是：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩部分組成。正向傳播時(shí)，輸入樣本從輸入層輸入，經(jīng)各隱含層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出(教師信號)不符，則轉(zhuǎn)入誤差的反向傳播階段。誤差的反向傳播是將輸出誤差以某種形式通過輸出層向隱含層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，以此誤差信號來修正各單元權(quán)值。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。其用于人臉識別的結(jié)構(gòu)模型圖如圖1所示。

2 粒子群算法原理

如果我們把一個(gè)優(yōu)化問題看作是在空中覓食的鳥群，那么在空中飛行的一只覓食的“鳥”就是PSO算法在解空間中進(jìn)行搜索的一個(gè)“粒子”(Particle)，也是優(yōu)化問題的一個(gè)解，“食物”就是優(yōu)化問題的最優(yōu)解。粒子的概念是一個(gè)折衷的選擇，它只有位置和速度，沒有質(zhì)量和體積。

PSO算法中每個(gè)粒子就是解空間中的一個(gè)解，它根據(jù)自己的飛行經(jīng)驗(yàn)和同伴的飛行經(jīng)驗(yàn)來調(diào)整自己的飛行狀態(tài)。每個(gè)粒子在飛行過程中所經(jīng)歷過的最好位置，就是粒子本身找到的最優(yōu)解。整個(gè)群體所經(jīng)歷過的最好位置，就是整個(gè)群體目前找到的最優(yōu)解。前者叫做個(gè)體極值(pBest)，后者叫做全局極值(gBest)。每個(gè)粒子都通過上述兩個(gè)極值不斷更新自己，從而產(chǎn)生新一代群體。實(shí)際操作中通過由優(yōu)化問題所決定的適應(yīng)度函數(shù)值(fitnessvalue)來評價(jià)粒子的“好壞”程度。很顯然，種群中每個(gè)粒子的行為都是：追隨著當(dāng)前的最優(yōu)粒子，在解空間中進(jìn)行搜索[7]。

第8篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：Matlab；BP神經(jīng)網(wǎng)絡(luò)；預(yù)測

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)19-30124-02

Based on Matlab BP Neural Network Application

YANG Bao-hua

(Institute of Information and Computer, Anhui Agricultural University, Hefei 230036, China)

Abstract: BP learning algorithm is a one-way transmission of multi-layer to the network, Matlab toolbox is based on the theory of artificial neural network, based on Matlab toolbox, with watermelon-heavy forecasts, BP neural network forecast the feasibility of re-watermelon is verified, and fast convergence, small error, should be promoted in the forecast crop growth.

Key words: Matlab; BP Neural Networks; Forecast

1 引言

人工神經(jīng)網(wǎng)絡(luò)是人工構(gòu)造的模擬人腦功能而構(gòu)建的一種網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)是結(jié)構(gòu)較簡單、應(yīng)用最廣泛的一種模型，BP神經(jīng)網(wǎng)絡(luò)是Rumelhart等在1986年提出的。它是一種單向傳播的多層前向網(wǎng)絡(luò)，一般具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層[1]，其模型見圖1所示。

■

圖1 BP網(wǎng)絡(luò)模型

Matlab中的神經(jīng)網(wǎng)絡(luò)工具箱是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用Matlab語言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)、網(wǎng)絡(luò)權(quán)值修正規(guī)則和網(wǎng)絡(luò)訓(xùn)練方法。網(wǎng)絡(luò)的設(shè)計(jì)者可根據(jù)自己的需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與訓(xùn)練的程序，免去了繁瑣的編程過程。

紅籽瓜(Red-seed Watermelon)種子即瓜子富含有蛋白質(zhì)、脂肪、鈣、磷及多種維生素，含油率達(dá)55%左右，營養(yǎng)頗為豐富，經(jīng)過精細(xì)加工，味道鮮美，市場十分暢銷[4]。為了提高瓜子的產(chǎn)量，需要關(guān)注很多因素，這些因素的改變會(huì)影響瓜子的產(chǎn)量，所以確定哪些因素能預(yù)測產(chǎn)量，如何預(yù)測是本文研究的內(nèi)容。本文利用紅籽西瓜的測量數(shù)據(jù)，以單果重，種子數(shù)，千粒重，種子重作為輸入因子，仁重為輸出因子，選擇合適的隱層，構(gòu)建影響紅籽西瓜種仁重量的BP網(wǎng)絡(luò)模型，運(yùn)用Matlab軟件進(jìn)行預(yù)測。

2 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本方法

Matlab的NNbox提供了建立神經(jīng)網(wǎng)絡(luò)的專用函數(shù)newff()[5]。用newff函數(shù)來確定網(wǎng)絡(luò)層數(shù)、每層中的神經(jīng)元數(shù)和傳遞函數(shù)，其語法為：

net=newff(PR,[S1,S2,…,SN],{TF1,TF2,…,TFN},BTF,BLF,PF)

式中：PR表示由每個(gè)輸入向量的最大最小值構(gòu)成的R×2矩陣；Si表示第i層網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)；TF表示第i層網(wǎng)絡(luò)的傳遞函數(shù)，缺省為tansig，可選用的傳遞函數(shù)有tansig，logsig或purelin；BTF表示字符串變量，為網(wǎng)絡(luò)的訓(xùn)練函數(shù)名，可在如下函數(shù)中選擇：traingd、traingdm、traingdx、trainbfg、trainlm等，缺省為trainlm；BLF表示字符串變量，為網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)名，缺省為learngdm；BF表示字符串變量，為網(wǎng)絡(luò)的性能函數(shù)，缺省為均方差“mse”。

2.1 網(wǎng)絡(luò)層數(shù)

BP網(wǎng)絡(luò)可以包含不同的隱層，但理論上已經(jīng)證明，在不限制隱層節(jié)點(diǎn)數(shù)的情況下，兩層（只有一個(gè)隱層）的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意非線性映射。

2.2 輸入層節(jié)點(diǎn)數(shù)

輸入層起緩沖存儲(chǔ)器的作用，它接受外部的輸入數(shù)據(jù)，因此其節(jié)點(diǎn)數(shù)取決于輸入矢量的維數(shù)。

2.3 輸出層節(jié)點(diǎn)數(shù)

輸出層節(jié)點(diǎn)數(shù)取決于兩個(gè)方面，輸出數(shù)據(jù)類型和表示該類型所需的數(shù)據(jù)大小。在設(shè)計(jì)輸人層和輸出層時(shí)，應(yīng)該盡可能的減小系統(tǒng)規(guī)模，使系統(tǒng)的學(xué)習(xí)時(shí)間和復(fù)雜性減小。

2.4 隱層節(jié)點(diǎn)數(shù)

一個(gè)具有無限隱層節(jié)點(diǎn)的兩層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意從輸入到輸出的非線性映射。但對于有限個(gè)輸入模式到輸出模式的映射，并不需要無限個(gè)隱層節(jié)點(diǎn)，這就涉及到如何選擇隱層節(jié)點(diǎn)數(shù)的問題，至今為止，尚未找到一個(gè)很好的解析式，隱層節(jié)點(diǎn)數(shù)往往根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己進(jìn)行試驗(yàn)來確定。一般認(rèn)為，隱層節(jié)點(diǎn)數(shù)與求解問題的要求、輸入輸出單元數(shù)多少都有直接的關(guān)系。另外，隱層節(jié)點(diǎn)數(shù)太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過長；而隱層節(jié)點(diǎn)數(shù)太少，容錯(cuò)性差，識別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面的因素進(jìn)行設(shè)計(jì)。

隱層節(jié)點(diǎn)數(shù)的初始值可先由以下兩個(gè)公式中的其中之一來確定[2,3]。

1=■+a (1)

或 1=■(2)

式中，m、n分別為輸入結(jié)點(diǎn)數(shù)目與輸出結(jié)點(diǎn)數(shù)目，a為1～10之間的常數(shù)。

2.5 數(shù)據(jù)歸一化

因?yàn)樵紨?shù)據(jù)幅值大小不一，有時(shí)候還相差比較懸殊。如果直接投人使用，測量值大的波動(dòng)就壟斷了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，使其不能反映小的測量值的變化。所以，在網(wǎng)絡(luò)訓(xùn)練之前，輸人數(shù)據(jù)和目標(biāo)矢量都要經(jīng)過歸一化處理。

根據(jù)公式可將數(shù)據(jù)“歸一化”，即限定在[0,1]區(qū)間內(nèi)。歸一化公式為：

■ (3)

也可以使用歸一化函數(shù)Premnmx，及反歸一化函數(shù)Postmnmx。

3 BP學(xué)習(xí)算法及實(shí)例

3.1 BP學(xué)習(xí)算法

1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；

2) 從訓(xùn)練樣本集合中取一個(gè)樣本，并作為輸入向量送入網(wǎng)絡(luò)；

3) 正向傳播過程，對給定的輸入樣本，通過網(wǎng)絡(luò)計(jì)算得到輸出樣本，并把得到的輸出樣本與期望的樣本比較，如有誤差超出限定范圍，則執(zhí)行第4步；否則返回第2步，輸入下一個(gè)樣本；

4) 反向傳播過程，即從輸出層反向計(jì)算到第一隱層，修正各神經(jīng)元的連接權(quán)值，使用誤差減小。

3.2 實(shí)例

為了提高瓜籽產(chǎn)量，需要關(guān)注很多因素，濾去相關(guān)度過低的因子，根據(jù)經(jīng)驗(yàn)確定輸入因子為單果重，種子數(shù)，千粒重，種子重，輸出因子為仁重?，F(xiàn)以表1所示的2000~2002年測量數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行訓(xùn)練，對2003年的數(shù)據(jù)進(jìn)行預(yù)測。輸出層結(jié)點(diǎn)代表仁重量，神經(jīng)網(wǎng)絡(luò)的預(yù)測模型采用4-4-1，即輸入層4個(gè)神經(jīng)元，根據(jù)公式(2)計(jì)算隱層神經(jīng)元數(shù)確定為4，1個(gè)輸出神經(jīng)元。設(shè)定最大的迭代次數(shù)為500次，系統(tǒng)全局誤差小于0.001。傳遞函數(shù)為tansig，訓(xùn)練函數(shù)為trainlm。

根據(jù)經(jīng)典的BP算法，采用Matlab編程，樣本訓(xùn)練結(jié)果見圖2，2003的數(shù)據(jù)作為預(yù)測樣本，預(yù)測結(jié)果如下：

TRAINLM, Epoch 0/500, MSE 0.316381/0.001, Gradient 2.8461/1e-010

TRAINLM, Epoch 4/500, MSE 0.00056622/0.001, Gradient 0.0830661/1e-010

TRAINLM, Performance goal met.

SSE = 0.0102

y = 0.269 0.267 0.27 0.269 0.2679 0.2679

表1 紅籽西瓜數(shù)量性狀表

瓜籽仁重實(shí)際值為0.265，0.282，0.264，0.269，0.265，0.287，誤差為0.0102，當(dāng)樣本較少時(shí)可以接受的誤差范圍內(nèi)。并且收斂速度快。

■

圖2訓(xùn)練函數(shù)為trainlm的訓(xùn)練結(jié)果

采用traingd函數(shù)進(jìn)行訓(xùn)練，則5000次仍未達(dá)到要求的目標(biāo)誤差0.001，說明該函數(shù)訓(xùn)練的收斂速度很慢。見圖3所示。所以訓(xùn)練函數(shù)的選擇也非常關(guān)鍵。

■

圖3 訓(xùn)練函數(shù)為traingd的訓(xùn)練結(jié)果

4 結(jié)論

用Matlab編編寫的基于BP網(wǎng)絡(luò)的仁重預(yù)測程序，計(jì)算結(jié)果表明，誤差較小，預(yù)測值與實(shí)測值吻合較好，所建立的模型具有較好的實(shí)用性，說明單果重，種子數(shù)，千粒重，種子重的數(shù)據(jù)影響瓜子的產(chǎn)量，同時(shí)驗(yàn)證BP算法可以用于瓜仁產(chǎn)量的預(yù)測。

目前所進(jìn)行的預(yù)測試驗(yàn)中數(shù)據(jù)的樣本較少，且生長動(dòng)態(tài)變化，今后擬建立一個(gè)動(dòng)態(tài)預(yù)測系統(tǒng)，為紅籽瓜品種培育、提高產(chǎn)量提供新的方法，值得在預(yù)測作物生長中推廣。

參考文獻(xiàn)：

[1] 飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與Matlab 7實(shí)現(xiàn)[M].北京：電子工業(yè)出版社.2006:100-105.

[2] 徐廬生.微機(jī)神經(jīng)網(wǎng)絡(luò)[M].北京：中國醫(yī)藥科技出版社,1995．

[3] 高大啟.有教師的線性基本函數(shù)前向三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究[J].計(jì)算機(jī)學(xué)報(bào),1998,21(1):80-85．

[4] 欽州農(nóng)業(yè)信息網(wǎng)：.

第9篇：經(jīng)典神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)技術(shù)，ANNBP網(wǎng)絡(luò)算法

 

1、人工神經(jīng)網(wǎng)絡(luò)概述

人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)信息處理方法的新型計(jì)算機(jī)系統(tǒng)，它可以模擬人腦的一些基本特征，（如自適應(yīng)性，自組織性和容錯(cuò)性），是一個(gè)并行、分布處理結(jié)構(gòu),它由處理單元及其稱為聯(lián)接的無向信號通道互連而成。

人工神經(jīng)網(wǎng)絡(luò)力圖模仿生物神經(jīng)系統(tǒng)，通過接受外部輸入的刺激，不斷獲得并積累知識，進(jìn)而具有一定的判斷預(yù)測能力。盡管神經(jīng)網(wǎng)絡(luò)模型的種類很多，但基本模式都是由大量簡單的計(jì)算單元（又稱為節(jié)點(diǎn)或神經(jīng)元）廣泛相互連接而構(gòu)成的一種并行分布處理網(wǎng)絡(luò)。?；谏窠?jīng)信息傳輸?shù)脑?，各個(gè)節(jié)點(diǎn)通過可變的權(quán)值彼此相連接，每個(gè)節(jié)點(diǎn)對N個(gè)加權(quán)的輸入求和，當(dāng)求和值超過某個(gè)閾值時(shí)，節(jié)點(diǎn)呈“興奮”狀態(tài)，有信號輸出。節(jié)點(diǎn)的特征由其閾值、非線性函數(shù)的類型所決定，而整個(gè)神經(jīng)網(wǎng)絡(luò)則由網(wǎng)絡(luò)拓?fù)?、?jié)點(diǎn)特征以及對其進(jìn)行訓(xùn)練所使用的規(guī)則所決定。

2、多層前向網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)按拓?fù)浣Y(jié)構(gòu)分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。前饋型網(wǎng)絡(luò)在結(jié)構(gòu)上采用的是其信息只能從前一層到它下面一層的單元，在網(wǎng)絡(luò)運(yùn)算過程中不存在任何反饋。從學(xué)習(xí)觀點(diǎn)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單,易于編程；從系統(tǒng)觀點(diǎn)看，前饋網(wǎng)絡(luò)是非線性映射，通過簡單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力，因此具有較強(qiáng)的分類能力和模式識別能力。

反向傳播（BP）網(wǎng)絡(luò)是典型的前饋型網(wǎng)絡(luò)，結(jié)構(gòu)上它屬于多層前向網(wǎng)絡(luò),它的結(jié)構(gòu)如圖1所示。它分為輸入層、隱含層和輸出層，層與層之間多采用全互連方式，同一層之間不存在相互連接。網(wǎng)絡(luò)中每一層權(quán)值都可通過學(xué)習(xí)來調(diào)節(jié),且網(wǎng)絡(luò)的基本處理單元（輸入單元除外）為非線性輸入、輸出關(guān)系，處理單元的輸入、輸出值可連續(xù)變化。由于BP網(wǎng)絡(luò)可在多個(gè)連續(xù)的輸入和一個(gè)或多個(gè)連續(xù)的輸出之間建立非線性映射這一特性，它常被用于智能預(yù)測。

多層前向網(wǎng)絡(luò)是使用最廣泛的一種網(wǎng)絡(luò)結(jié)構(gòu)，它可很好的解決XOR等經(jīng)典的非線性問題，比起單層的感知器有很大的優(yōu)越性，尤其80年代中期，Rumelhart和Mcclelland最先提出了多層前饋網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法，簡稱BP算法，它的效率很高，是目前應(yīng)用最為普遍的訓(xùn)練算法，這使得多層前饋網(wǎng)絡(luò)應(yīng)用更加廣泛。應(yīng)該指出，我們常說的BP網(wǎng)絡(luò)，嚴(yán)格說是基于BP算法的多層前向網(wǎng)絡(luò)。

圖 1 BP網(wǎng)絡(luò)結(jié)構(gòu)圖

4、 BP網(wǎng)絡(luò)算法

BP網(wǎng)絡(luò)算法的思想是把一組樣本的I/O問題變?yōu)橐粋€(gè)非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法,用迭代運(yùn)算求解權(quán)對應(yīng)于學(xué)習(xí)記憶問題，加入隱含層節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。BP網(wǎng)絡(luò)模型設(shè)計(jì)的最大特點(diǎn)是網(wǎng)絡(luò)權(quán)值是通過使用網(wǎng)絡(luò)模型輸出值與已知的樣本值之間的誤差平方和達(dá)到期望值而不斷調(diào)整出來的，并且確定BP神經(jīng)網(wǎng)絡(luò)評價(jià)模型時(shí)涉及隱含層節(jié)點(diǎn)數(shù)、轉(zhuǎn)移函數(shù)、學(xué)習(xí)參數(shù)和網(wǎng)絡(luò)模型的最后選定等問題。下面簡單介紹一下基本BP算法相關(guān)數(shù)學(xué)描述：

(1)梯度下降算法

(2)S(Sigmoid)型函數(shù)

BP網(wǎng)絡(luò)的激活函數(shù)經(jīng)常使用的是Sigmoid對數(shù)或正切激活函數(shù)和線性函數(shù)。對數(shù)S型函數(shù) f(x)=1/(1+exp(-x)), Sigmoid 函數(shù)具有非線性放大功能，它可以把輸入從負(fù)無窮大到正無窮大的信號，變換成-1到1之間的輸出，對較大的輸入信號，放大系數(shù)較小，而較小的輸入，放大系數(shù)較大，所以采用S型激活函數(shù)可以去逼近非線性的輸入/輸出關(guān)系。

(3)BP算法

BP網(wǎng)絡(luò)學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，其學(xué)習(xí)算法是對簡單的學(xué)習(xí)規(guī)則的推廣和發(fā)展。BP網(wǎng)絡(luò)實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想，其學(xué)習(xí)過程包括正向傳播和反向傳播兩部分。。

在正向傳播過程中，給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，輸入信息從輸入層經(jīng)過隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，由輸出層單元產(chǎn)生一個(gè)輸出模式，這是一個(gè)逐層狀態(tài)更新過程，稱為前向傳播。。如果輸出響應(yīng)與期望輸出的模式誤差值不滿足要求，那么就轉(zhuǎn)入誤差反向傳播，將誤差值沿連接通路逐層傳送并修正各層連接權(quán)值。對于給定的一組樣本，不斷用一個(gè)個(gè)訓(xùn)練模式進(jìn)行學(xué)習(xí)，重復(fù)前向傳播和誤差反向傳播過程，當(dāng)各個(gè)訓(xùn)練模式都滿足要求時(shí)，BP網(wǎng)絡(luò)訓(xùn)練完畢。

其中的激發(fā)函數(shù)我們采用S型函數(shù)， 即f(x)=1/(1+exp(-x))。BP算法描述如下：

（2）提供訓(xùn)練樣本：輸入矢量Xk ,k=1,2,..n 和期望輸出tk, k=1,2,…,m；對每個(gè)輸入樣本進(jìn)行（3）到（5）的迭代。

（3）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出okj 。

（4）分別計(jì)算輸出層和隱含層的訓(xùn)練誤差

其中(4-2)為輸出層的誤差值, (4-3)為隱含層的誤差值。

（5）修正權(quán)值和閾值

（6）判斷實(shí)際誤差指標(biāo)是否滿足規(guī)定誤差的要求,滿足則到(7)。

（7）結(jié)束 。

BP算法是人工神經(jīng)網(wǎng)絡(luò)中最為重要的網(wǎng)絡(luò)之一, 也是迄今為止應(yīng)用最為廣泛的網(wǎng)絡(luò)算法, 實(shí)踐證明這種基于誤差反傳遞算法可以解決許多實(shí)際問題, 但其算法自身也存在著局部極小點(diǎn)、算法的收斂速度慢等缺陷，需要我們在今后的研究中不斷完善改進(jìn)。