神經(jīng)網(wǎng)絡(luò)的權(quán)值精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的權(quán)值主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵字：智能手機(jī)；安全；神經(jīng)網(wǎng)絡(luò)；病毒病毒識(shí)別模型在智能手機(jī)監(jiān)測(cè)中的優(yōu)越性以及可行性。

0 引言

現(xiàn)階段，互聯(lián)網(wǎng)已成為當(dāng)今社會(huì)不可或缺的一部分，智能手機(jī)的數(shù)量也是與日俱增，與此同時(shí)不斷發(fā)展的是手機(jī)病毒，手機(jī)病毒已成為現(xiàn)代病毒發(fā)展的趨勢(shì)。

所謂手機(jī)病毒，其實(shí)是一種破壞手機(jī)系統(tǒng)的程序，且其傳播手段極為廣泛，可通過(guò)短信、彩信、郵件、網(wǎng)站或者下載文件、藍(lán)牙等傳播，手機(jī)一旦被病毒感染就會(huì)根據(jù)所感染病毒程序的要求對(duì)手機(jī)實(shí)施破壞，其表現(xiàn)方式不盡相同，可以使關(guān)機(jī)、死機(jī)、刪除手機(jī)資料、自動(dòng)通話(huà)、發(fā)郵件等，有的病毒還能夠破壞手機(jī)SIM卡和芯片等手機(jī)硬件設(shè)備。

怎樣才能避免手機(jī)遭受病毒的破壞？其主要措施還是殺毒軟件和防火墻：

①定期對(duì)殺毒軟件的病毒庫(kù)進(jìn)行更新升級(jí)，盡可能的保證其擁有當(dāng)時(shí)已出現(xiàn)的病毒程序的破解，若病毒庫(kù)中不存在某個(gè)病毒的特征，則殺毒軟件就不能對(duì)該病毒進(jìn)行查殺。此外，現(xiàn)在的手機(jī)殺毒軟件病毒庫(kù)采用的是特征代碼法，病毒的細(xì)微的變化都需要病毒庫(kù)對(duì)其進(jìn)行辨別，然而智能手機(jī)的存儲(chǔ)空間和運(yùn)算能力都是有限的，所以這種防殺毒的方法對(duì)智能手機(jī)而言，并不是完美的。

②而智能手機(jī)的防火墻主要的作用是攔截騷擾電話(huà)等，而并不是對(duì)手機(jī)病毒進(jìn)行監(jiān)控，面對(duì)現(xiàn)存的多樣易變的病毒，防火墻更是顯得微不足道。

究竟該選擇何種方式來(lái)保護(hù)手機(jī)，這也是本文研究的重點(diǎn)―神經(jīng)網(wǎng)絡(luò)。

1 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是依據(jù)生物神經(jīng)的機(jī)制和原理，對(duì)信息進(jìn)行處理的一種模型。它能夠模擬動(dòng)物大腦的某些機(jī)制機(jī)理，實(shí)現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡(luò)具有很大的優(yōu)越性：

①具有自學(xué)功能。比如說(shuō)，當(dāng)對(duì)一幅圖像進(jìn)行識(shí)別時(shí)，將各種不同的圖像樣本及其對(duì)應(yīng)的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，它就能夠自己學(xué)習(xí)識(shí)別相同類(lèi)型的圖像。

②具有聯(lián)想存儲(chǔ)功能。人工神經(jīng)網(wǎng)絡(luò)中的反饋網(wǎng)絡(luò)具備了聯(lián)想存儲(chǔ)的功能。

③具有高速尋找優(yōu)化解的功能。

2 神經(jīng)網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)

神經(jīng)網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)就是監(jiān)控手機(jī)應(yīng)用程序，使手機(jī)的正常業(yè)務(wù)能夠順利進(jìn)行，而對(duì)那些異常業(yè)務(wù)則進(jìn)行阻止。所謂正常的業(yè)務(wù)就是那些手機(jī)用戶(hù)已知的、按照用戶(hù)的意愿運(yùn)行的、并且其運(yùn)行并不破壞用戶(hù)手機(jī)中的資源和產(chǎn)生額外費(fèi)用的已經(jīng)授權(quán)的程序。

通過(guò)神經(jīng)網(wǎng)絡(luò)監(jiān)控手機(jī)的而應(yīng)用程序的流程圖如圖1所示：

圖1 神經(jīng)網(wǎng)絡(luò)安全監(jiān)控流程圖圖2 單層感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)智能手機(jī)安全監(jiān)控的第一步是獲取所運(yùn)行程序的特征，然后借助于神經(jīng)網(wǎng)絡(luò)的識(shí)別功能，對(duì)所提取的應(yīng)用程序的行為特征進(jìn)行識(shí)別，如果識(shí)別結(jié)果為病毒手機(jī)會(huì)向用戶(hù)發(fā)出提示信息，若不為病毒則程序?qū)⒗^續(xù)運(yùn)行。

3.1 程序行為特征的獲取

這里舉個(gè)例子說(shuō)明。例如OwnSkin.A病毒，該病毒以手機(jī)主題的形式誘導(dǎo)手機(jī)用戶(hù)進(jìn)行下載安裝，一旦該病毒被安裝進(jìn)了手機(jī)，它就會(huì)在用戶(hù)不知情的情況下自動(dòng)連接網(wǎng)絡(luò)，自動(dòng)想外界批量發(fā)送短信，對(duì)手機(jī)收到的短信的信息內(nèi)容進(jìn)行刪除等等。從對(duì)病毒的描述詳細(xì)程度方面來(lái)說(shuō)，病毒具有很多種特征，本文以3個(gè)為例，進(jìn)行說(shuō)明，這3個(gè)特征分別是有無(wú)按鍵、是否自啟動(dòng)、是否特殊號(hào)碼，程序行為特征獲取的方法如下：

①針對(duì)手機(jī)自啟動(dòng)的行為特征：每種手機(jī)的系統(tǒng)，都有其正常的程序啟動(dòng)方式，例如Windows Mobile通過(guò)“啟動(dòng)”設(shè)置，Symbian的系統(tǒng)式通過(guò)“Recognizer”來(lái)設(shè)置程序的啟動(dòng)，Linux系統(tǒng)是將啟動(dòng)語(yǔ)句加入/ect/init.d/rcs，或者/usr/etc/rc.local中，在程序啟動(dòng)的時(shí)候?qū)@些個(gè)位置進(jìn)行監(jiān)控，就可以很容易的判別其是否為自啟動(dòng)。

②針對(duì)按鍵這個(gè)行為特征：塞班的系統(tǒng)對(duì)是否有按鍵這個(gè)行為特征的監(jiān)控是粗略的監(jiān)控，以短信為例，手機(jī)短信的使用一般是先按功能鍵啟動(dòng)功能圖標(biāo)，然后選取短信的圖標(biāo)，接著是對(duì)短信內(nèi)容的編輯，即一系列的數(shù)字鍵，監(jiān)控可得到一個(gè)相應(yīng)的按鍵序列，這樣就可以通過(guò)是否有按鍵這個(gè)行為特征來(lái)監(jiān)測(cè)手機(jī)程序的啟動(dòng)是否正常。

③針對(duì)“被叫號(hào)碼”和“文件信息”的特征： 對(duì)于被叫號(hào)碼主要執(zhí)行的是，查看所要撥出去的電話(huà)號(hào)碼是否是設(shè)置在黑名單里的電話(huà)，對(duì)于文件信息則是查看信息中所添加的附件是否是安裝文件，如果是手機(jī)用戶(hù)之間的正常傳輸行為，則必定有按鍵行為特征，這樣也就會(huì)避免手機(jī)中的病毒程序隱蔽性的自啟動(dòng)來(lái)傳輸文件。

3.2 神經(jīng)網(wǎng)絡(luò)建模

仍舊以上述3個(gè)行為特征為例，將其三個(gè)特征分別用“0”或者“1”來(lái)表示，若無(wú)按鍵、自啟動(dòng)、特殊號(hào)碼，其特征值都取“1”，反之則取“0”，這三個(gè)特征值一共組合成了8中可能出現(xiàn)的情況，將其標(biāo)記為矩陣如下：

(1)

借助于神經(jīng)網(wǎng)絡(luò)的識(shí)別功能，本文以單層單神經(jīng)元的神經(jīng)網(wǎng)絡(luò)為例進(jìn)行說(shuō)明，采用以下的參數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)：

該網(wǎng)絡(luò)包含有一個(gè)輸入向量，包汗三個(gè)元素，并且每個(gè)元素取0―1之間的值。

神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通過(guò)hardlim函數(shù)為傳輸手段，根據(jù)這個(gè)函數(shù)設(shè)計(jì)出如圖2所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),：

(2)

該結(jié)構(gòu)輸出結(jié)果為二值向量“0”或者“1”，其中“0”表示不是病毒特征，“1”則表示是行為特征。

在智能手機(jī)的實(shí)際應(yīng)用中，傳輸函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)極易神經(jīng)元等的類(lèi)型多種多樣，可根據(jù)病毒的實(shí)際情況進(jìn)行選擇和應(yīng)用，在此筆者只是舉個(gè)例子來(lái)論述神經(jīng)網(wǎng)絡(luò)是如何識(shí)別網(wǎng)絡(luò)的。當(dāng)網(wǎng)絡(luò)建好之后，就需要通過(guò)適當(dāng)?shù)姆椒▽?duì)病毒樣本進(jìn)行訓(xùn)練得出誤差。

仍以上述例子為例進(jìn)行訓(xùn)練：

輸入向量為：p= ;目標(biāo)向量選為：t= ,在MATLAB7.1的環(huán)境中對(duì)病毒進(jìn)行訓(xùn)練，根據(jù)所的結(jié)果得出訓(xùn)練的誤差性能曲線(xiàn)，如圖3所示：

圖3 訓(xùn)練誤差性能曲線(xiàn)

經(jīng)過(guò)訓(xùn)練并獲取矩陣權(quán)重，至此，神經(jīng)網(wǎng)絡(luò)的建?；就瓿桑淠Ｐ蜑?/p>

a=hardlim(P1*2+P2*2+P3*1-3)

在手機(jī)中所執(zhí)行的應(yīng)用程序，計(jì)算程序的行為特征向量與病毒的行為特征向量（111）之間的歐式距離，當(dāng)所得之?dāng)?shù)比程序的特征行為向量和正常行為特征向量之間的歐式距離大時(shí)，系統(tǒng)將將此程序判定為病毒。

運(yùn)用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對(duì)手機(jī)進(jìn)行監(jiān)測(cè)不需要像殺毒軟件一樣需要定期更新，這對(duì)手機(jī)的安全具有更好的防護(hù)作用。

3結(jié)語(yǔ)

隨著現(xiàn)代社會(huì)智能手機(jī)數(shù)量的增多和日?；W(wǎng)絡(luò)黑客技術(shù)也在不斷的發(fā)展和完善，因此智能手機(jī)安全問(wèn)題已然不能忽視或者小視。本文針對(duì)這個(gè)問(wèn)題，以及殺毒軟件和防火墻的不足之處，論述了神經(jīng)網(wǎng)絡(luò)病毒識(shí)別模型在智能手機(jī)監(jiān)測(cè)中的優(yōu)越性以及可行性。

參考文獻(xiàn)

[1]劉一靜,孫瑩,藺洋. 基于手機(jī)病毒攻擊方式的研究[J]信息安全與通信保密, 2007, (12) .

[2]李錦. 手機(jī)病毒特點(diǎn)及防范對(duì)策[J]通信技術(shù), 2009, (02) .

[3]楊建強(qiáng),吳釗,李學(xué)鋒. 增強(qiáng)智能手機(jī)安全的動(dòng)態(tài)惡意軟件分析系統(tǒng)[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2010, (13) .

[4]智能手機(jī)安全防護(hù)框架淺析[J]. 信息安全與通信保密, 2010, (10).

第2篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

【關(guān)鍵詞】自組織神經(jīng)網(wǎng)絡(luò)；智能建筑管理；BP神經(jīng)網(wǎng)絡(luò)

1 基于自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理

基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)技術(shù)[1]是在自組織神經(jīng)網(wǎng)絡(luò)技術(shù)和專(zhuān)家系統(tǒng)的基礎(chǔ)原理運(yùn)用多層數(shù)據(jù)融合彌補(bǔ)了單循環(huán)數(shù)據(jù)在智能建筑工程管理分析數(shù)據(jù)處理的不足和邏輯的缺陷學(xué)科.多跳自組織神經(jīng)網(wǎng)絡(luò)是智能傳感器采集數(shù)據(jù)訓(xùn)練樣本仿真學(xué)習(xí)模型即自動(dòng)增速各個(gè)自組織神經(jīng)元連接權(quán)閥值與感知識(shí)別隱式分布在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)體系中實(shí)現(xiàn)自組織神經(jīng)網(wǎng)絡(luò)模式記憶與信息處理應(yīng)用.

2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在智能建筑管理中研究

2.1 基于多跳自組織神經(jīng)網(wǎng)絡(luò)在造價(jià)預(yù)測(cè)研究

基于大規(guī)模自組織BP神經(jīng)模型應(yīng)用40個(gè)高層智能建筑工程樣本訓(xùn)練并用工程實(shí)例進(jìn)行驗(yàn)證高精確性;而用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)模擬與輸入層和隱含層加入了偏置自組織神經(jīng)元來(lái)促進(jìn)學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)中有噪聲、干擾等會(huì)造成過(guò)度學(xué)習(xí)現(xiàn)象,同時(shí)采用遺傳優(yōu)化算法進(jìn)行建筑結(jié)構(gòu)優(yōu)化.基于BP神經(jīng)在智能建筑工程估價(jià)中的應(yīng)用“特征提取器”的運(yùn)算大量過(guò)去的工程資料中自動(dòng)提取工程特征與預(yù)算資料的規(guī)律關(guān)系數(shù)據(jù).

2.2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在工程管理績(jī)效評(píng)價(jià)中的應(yīng)用

運(yùn)用大規(guī)模自組織BP神經(jīng)模型對(duì)工程管理績(jī)效評(píng)價(jià)問(wèn)題進(jìn)行研究建立綜合考慮工期、質(zhì)量、費(fèi)用、安全四大控制指標(biāo)的工程管理績(jī)效評(píng)價(jià)模型[2].實(shí)踐證明,基于BP神經(jīng)網(wǎng)絡(luò)在運(yùn)算工程管理績(jī)效評(píng)估模型有利于多跳自組織神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)工程工期、質(zhì)量、成本、安全與績(jī)效之間復(fù)雜的非線(xiàn)性關(guān)系來(lái)提高管理績(jī)效的評(píng)價(jià)數(shù)據(jù).

2.3 基于遺傳算法模型在建設(shè)工程評(píng)標(biāo)結(jié)構(gòu)優(yōu)化應(yīng)用

基于多層神經(jīng)網(wǎng)絡(luò)的工作原理是先將輸入信號(hào)傳輸?shù)较乱粚庸?jié)點(diǎn)運(yùn)算函數(shù)處理后再將該節(jié)點(diǎn)的輸出信息向下一層節(jié)點(diǎn)傳輸?shù)叫盘?hào)傳輸?shù)捷敵鰧庸?jié)點(diǎn)為止.同時(shí)運(yùn)用遺傳算法模型構(gòu)造及算法設(shè)計(jì)進(jìn)行方案優(yōu)劣排序、換位矩陣以及能量函數(shù)構(gòu)造、大規(guī)模自組織神經(jīng)元之間連接和輸出,并用實(shí)例說(shuō)明了該方法的優(yōu)越性和實(shí)用性與非線(xiàn)性.

2.4 基于BP神經(jīng)網(wǎng)絡(luò)模型在建設(shè)工程招投標(biāo)管理應(yīng)用研究

基于BP神經(jīng)網(wǎng)絡(luò)多層數(shù)據(jù)融合多跳自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理分析自動(dòng)預(yù)測(cè)工程招投標(biāo)的招標(biāo)價(jià)格和風(fēng)險(xiǎn)因素分析以及競(jìng)標(biāo)單位資格審查等方面的應(yīng)用指出多跳自組織神經(jīng)網(wǎng)絡(luò)具有的高度并行處理和可完成復(fù)雜輸入輸出的非線(xiàn)性映射組合結(jié)構(gòu),不僅可以保證高的中標(biāo)率,且可避免招標(biāo)過(guò)程中不確定性因素的影響.運(yùn)用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)的工程承包招投標(biāo)報(bào)價(jià)的研究,提出了一個(gè)多因素確定高層智能建筑投標(biāo)報(bào)價(jià)的大規(guī)模自組織模型影響報(bào)高率的諸多因素,并確定了其權(quán)值即確定了用BP神經(jīng)網(wǎng)絡(luò)實(shí)施黑箱操作的樣本輸入值和目標(biāo)值再通過(guò)訓(xùn)練樣本自主調(diào)整修正輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)間的聯(lián)系得出符合各種情況要求的權(quán)值矩陣算法.

2.5 基于智能建筑算法模型研究

基于BP神經(jīng)網(wǎng)絡(luò)是以訓(xùn)練樣本算法即誤差反向傳播算法即BP神經(jīng)算法的學(xué)習(xí)過(guò)程分為信息的正向傳播和誤差的反向傳播[1],其通過(guò)訓(xùn)練樣本前一次迭代的權(quán)值和閾值來(lái)應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)的第一層向后計(jì)算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計(jì)算各層權(quán)值和閾值對(duì)總誤差的梯度進(jìn)而對(duì)前面各層的權(quán)值和閾值進(jìn)行修改運(yùn)算反復(fù)直到神經(jīng)網(wǎng)絡(luò)樣本收斂 BP神經(jīng)網(wǎng)絡(luò)輸入向量為

X=( )T;隱含層輸出向量為Y=( )T;輸出層的輸出向量為O= )T;期望輸出向量為 ;輸入層到隱含層之間的權(quán)值矩陣 ,其中列向量 為隱含層第j個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣 ,其中列向量 為輸出層第k個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量.各層信號(hào)之間的算法結(jié)構(gòu)為:

以上式中的 均為S類(lèi)型函數(shù), 的導(dǎo)數(shù)方程為: （5）

神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的均方誤差為: （6）

則訓(xùn)練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:

式中: 為比例系數(shù),在模型訓(xùn)練中代表學(xué)習(xí)速率.如果BP自組織神經(jīng)網(wǎng)絡(luò)有 個(gè)隱含層,各隱含層節(jié)點(diǎn)分別記為 ,各隱含層輸出分別記為 ,則各層權(quán)值調(diào)整計(jì)算公式分別如下:

輸出層

綜合上述預(yù)測(cè)分析在BP神經(jīng)學(xué)習(xí)算法運(yùn)用各層權(quán)值調(diào)整公式均由學(xué)習(xí)速率、本層輸出的誤差信號(hào)和本層輸入數(shù)字離散信號(hào)決定在訓(xùn)練樣本學(xué)習(xí)的過(guò)程受決策環(huán)境復(fù)雜程度和訓(xùn)練樣本的收斂性即需要增大樣本量來(lái)提高網(wǎng)絡(luò)技術(shù)所學(xué)知識(shí)的代表性應(yīng)注意在收集某個(gè)問(wèn)題領(lǐng)域的樣本時(shí),注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓(xùn)練樣本數(shù)據(jù).

3 結(jié)束語(yǔ)

自組織神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在智能建筑管理領(lǐng)域是在多層智能傳感器等多種信息技術(shù)飛速發(fā)展的多學(xué)科交叉研究領(lǐng)域得到廣泛應(yīng)用.

參考文獻(xiàn):

[1]周小佳.電力系統(tǒng)可靠性神經(jīng)網(wǎng)絡(luò)模型及實(shí)現(xiàn)研究[D].博士學(xué)位論文,1997.

[2]胡保清等.神經(jīng)網(wǎng)絡(luò)在土木工程領(lǐng)域的應(yīng)用[J].低溫智能建筑,2004(2).

作者介紹:

第3篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

【關(guān)鍵詞】遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；柴油機(jī)；故障診斷

柴油機(jī)缸蓋振動(dòng)信號(hào)中包含著豐富的工作狀態(tài)信息，在對(duì)其現(xiàn)代診斷技術(shù)中，基于振動(dòng)信號(hào)分析的診斷方法顯示出了其優(yōu)越性，利用缸蓋振動(dòng)信號(hào)診斷柴油機(jī)故障是一種有效方法。故障特征的提取和故障類(lèi)型的識(shí)別是利用振動(dòng)信號(hào)分析法在對(duì)柴油機(jī)進(jìn)行故障診斷過(guò)程中兩個(gè)最為重要的過(guò)程。根據(jù)提取的故障特征識(shí)別柴油機(jī)的故障類(lèi)型是一個(gè)典型的模式識(shí)別問(wèn)題，對(duì)柴油機(jī)故障類(lèi)型識(shí)別采用恰當(dāng)?shù)哪Ｊ阶R(shí)別方法就尤為重要。神經(jīng)網(wǎng)絡(luò)作為一種自適應(yīng)的模式識(shí)別技術(shù)，其通過(guò)自身的學(xué)習(xí)機(jī)制自動(dòng)形成所要求的決策區(qū)域，而不需要預(yù)先給出有關(guān)模式的經(jīng)驗(yàn)知識(shí)和判斷函數(shù)；它可以充分利用狀態(tài)信息，對(duì)來(lái)自于不同狀態(tài)的信息逐一進(jìn)行訓(xùn)練而獲得某種映射關(guān)系。鑒于其自身特性，在故障模式識(shí)別領(lǐng)域中有著越來(lái)越廣泛的應(yīng)用。而據(jù)統(tǒng)計(jì)，有80%～90%的神經(jīng)網(wǎng)絡(luò)模型都是采用了BP網(wǎng)絡(luò)或者是它的變形。BP網(wǎng)絡(luò)是前向網(wǎng)絡(luò)的核心部分，是神經(jīng)網(wǎng)絡(luò)中最精華、最完美的部分。但是它也存在一些缺陷，例如學(xué)習(xí)收斂速度、不能保證收斂到全局最小點(diǎn)、網(wǎng)絡(luò)結(jié)構(gòu)不易確定。遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法。其基本操作是選擇、交叉和變異，核心內(nèi)容是參數(shù)編碼、初始群體的設(shè)定、適應(yīng)度函數(shù)的設(shè)計(jì)、遺傳操作設(shè)計(jì)和控制參數(shù)的設(shè)定。遺傳算法通過(guò)種群隨機(jī)搜索，對(duì)數(shù)據(jù)進(jìn)行并行處理，將結(jié)果收斂到全局最優(yōu)解。因此，將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于柴油機(jī)故障診斷中，可以提高網(wǎng)絡(luò)的性能，避免網(wǎng)絡(luò)陷入局部極小解，進(jìn)而實(shí)現(xiàn)對(duì)設(shè)備故障的識(shí)別。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)元模型在柴油機(jī)故障診斷中的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的傳遞是S型函數(shù)，輸出量為0至1之間的連續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的任意非線(xiàn)性映射。由于權(quán)值的調(diào)整采用反向傳播學(xué)習(xí)算法，因此也稱(chēng)為其為BP網(wǎng)絡(luò)。

圖1 BP神經(jīng)元模型

上圖給出一個(gè)基本的BP神經(jīng)元模型，它具有R個(gè)輸入，每個(gè)輸入都通過(guò)一個(gè)適當(dāng)?shù)臋?quán)值和ω下一層相連，網(wǎng)絡(luò)輸入可表示為：

a=f（wp+b）

f就是表示輸入/輸出關(guān)系的傳遞函數(shù)。

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與所有影響齒輪故障的特征因素有關(guān)。柴油機(jī)運(yùn)動(dòng)部件多而復(fù)雜，激勵(lì)源眾多且其頻率范圍寬廣，加之噪聲的融入，使得柴油機(jī)表面振動(dòng)信號(hào)極為復(fù)雜。基于這種特點(diǎn)，可以確定用于柴油機(jī)故障診斷的BP神經(jīng)網(wǎng)絡(luò)的輸入層、輸出層隱含層以及節(jié)點(diǎn)數(shù)等。由小波包提取各柴油機(jī)故障的特征值作為輸入節(jié)點(diǎn)，輸出節(jié)點(diǎn)數(shù)目與柴油機(jī)故障類(lèi)別的數(shù)目有關(guān)。

1.2 BP神經(jīng)網(wǎng)絡(luò)與遺傳算法

BP神經(jīng)網(wǎng)絡(luò)又稱(chēng)為反向傳播算法，其算法數(shù)學(xué)意義明確、步驟分明，是神經(jīng)網(wǎng)絡(luò)中最為常用、最有效、最活躍的一種網(wǎng)絡(luò)模型。常用方法梯度下降法和動(dòng)量法，但是梯度下降法訓(xùn)練速度較慢，效率比較低，訓(xùn)練易陷入癱瘓，而且其實(shí)質(zhì)是單點(diǎn)搜索算法，不具有全局搜索能力；動(dòng)量法因?yàn)閷W(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實(shí)際應(yīng)用中速度還是不夠；BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練開(kāi)始時(shí)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)是隨機(jī)給定的，因此結(jié)果存在一定的隨機(jī)性。

遺傳算法（Genetic Algorithm，GA）是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過(guò)程的計(jì)算模型，它是由美國(guó)密歇根大學(xué)的J.Holland 教授于1975年首先提出來(lái)的，遺傳算法具有很強(qiáng)的宏觀搜索能力和良好的全局優(yōu)化性能，因此將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，訓(xùn)練時(shí)先用遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行尋找，將搜索范圍縮小后，再利用BP網(wǎng)絡(luò)來(lái)進(jìn)行精確求解，可以達(dá)到全局尋找和快速高效的目的，并且可以避免局部極小點(diǎn)問(wèn)題。該算法不僅具有全局搜索能力，而且提高了局部搜索能力，從而增強(qiáng)了在搜索過(guò)程中自動(dòng)獲取和積累搜索空間知識(shí)及自應(yīng)用地控制搜索的能力，從而使結(jié)果的性質(zhì)得以極大的改善。

2 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)主要分為：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定、遺傳算法優(yōu)化權(quán)值和閥值、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練及預(yù)測(cè)。其中，BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是根據(jù)樣本的輸入/輸出個(gè)數(shù)確定的，這樣就可以確定遺傳算法優(yōu)化參數(shù)的個(gè)數(shù)，從而確定種群個(gè)體的編碼長(zhǎng)度。因?yàn)檫z傳算法優(yōu)化參數(shù)是BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閥值，只要網(wǎng)絡(luò)結(jié)構(gòu)已知，權(quán)值和閥值的個(gè)數(shù)就已知了。神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值一般是通過(guò)隨機(jī)初始化為[-0.5，0.5]區(qū)間的隨機(jī)數(shù)，這個(gè)初始化參數(shù)對(duì)網(wǎng)絡(luò)訓(xùn)練的影響很大，但是又無(wú)法準(zhǔn)確獲得，對(duì)于相同的初始權(quán)重值和閥值，網(wǎng)絡(luò)的訓(xùn)練結(jié)果是一樣的，引入遺傳算法就是為了優(yōu)化出最佳的初始權(quán)值和閥值。

2.1 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)在柴油機(jī)故障診斷中的應(yīng)用

通過(guò)基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)建立小波包特征量與故障之間的對(duì)應(yīng)關(guān)系。表1為柴油機(jī)常見(jiàn)故障在不同頻段的能量分布，構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。表2為網(wǎng)絡(luò)輸出樣本，“0”代表沒(méi)有故障，“1”代表發(fā)生故障。利用表1中的訓(xùn)練樣本對(duì)基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)1000次訓(xùn)練達(dá)到了理想訓(xùn)練效果。

表1 訓(xùn)練樣本

表2 網(wǎng)絡(luò)理想輸出

表3 待診斷的故障樣本

表4 診斷結(jié)果

將表3中的待診斷的故障樣本輸入到已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到診斷結(jié)果如表4所示。第1組待診斷的信號(hào)第1個(gè)輸出節(jié)點(diǎn)接近1，可以根據(jù)訓(xùn)練樣本結(jié)果判斷該組數(shù)據(jù)故障為供油提前角晚；第2組待診斷的信號(hào)第4個(gè)輸出節(jié)點(diǎn)接近1，根據(jù)訓(xùn)練樣本結(jié)果可以判斷該組數(shù)據(jù)故障類(lèi)型為供油提前角早；第3組待診斷的信號(hào)第7個(gè)數(shù)據(jù)節(jié)點(diǎn)接近1 ，可以判斷故障類(lèi)型為針閥卡死，其診斷結(jié)果和現(xiàn)場(chǎng)勘查結(jié)果一致。

3 結(jié)語(yǔ)

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目的是通過(guò)遺傳算法得到更好的網(wǎng)絡(luò)初始值和閥值。通過(guò)以上研究可以看出，遺傳算法和BP算法有機(jī)的融合，可以有效地彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)值和閥值選擇上的隨機(jī)性缺陷，充分利用了遺傳算法的全局搜索能力和BP神經(jīng)網(wǎng)絡(luò)的局部搜索能力，克服了傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)柴油機(jī)故障診斷的缺點(diǎn)，提高了柴油機(jī)故障診斷的精度。

【參考文獻(xiàn)】

第4篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞:諧波分析 神經(jīng)網(wǎng)絡(luò) 遺傳算法 MATLAB

中圖分類(lèi)號(hào):TM1文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-3973(2010)06-083-02

隨著現(xiàn)代工業(yè)科技的發(fā)展,電力電子裝置的應(yīng)用越來(lái)越廣泛,非線(xiàn)性和時(shí)變性電子裝置大量投入到電網(wǎng)使得電力系統(tǒng)中的非線(xiàn)性負(fù)荷急劇增加,導(dǎo)致了配電網(wǎng)中電壓和電流波形的嚴(yán)重失真,由此而產(chǎn)生了電網(wǎng)諧波污染問(wèn)題,諧波的產(chǎn)生降低了電能質(zhì)量,直接影響工業(yè)用電設(shè)備和居民用電設(shè)備的正常安全運(yùn)行。另一方面隨著科技的發(fā)展,各種精密儀器的投入使用對(duì)電能質(zhì)量提出了更高的要求。諧波問(wèn)題作為降低電能質(zhì)量問(wèn)題的核心內(nèi)容對(duì)電力系統(tǒng)的安全經(jīng)濟(jì)運(yùn)行帶來(lái)了巨大的挑戰(zhàn) 。

對(duì)諧波含量準(zhǔn)確進(jìn)行分析計(jì)算時(shí)保證諧波治理效果的重要前提,本文采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行諧波含量計(jì)算,其實(shí)時(shí)性和結(jié)果精確性都有較大提高。

1諧波含量計(jì)算問(wèn)題

原始理想的電壓和電流波形應(yīng)該是標(biāo)準(zhǔn)的正弦波波形, 可以假設(shè)電源瞬時(shí)電壓為

考慮到負(fù)載電流發(fā)生畸變,含有諧波分量,根據(jù)傅里葉級(jí)數(shù)將負(fù)載電流分解為:

其中,為基波有功電流;為基波無(wú)功電流;為高次諧波電流,可以將式(2)改寫(xiě)成權(quán)值模式:

對(duì)諧波含量的分析計(jì)算目標(biāo)即為求出的值,其中體現(xiàn)高次諧波的含量 。實(shí)際電網(wǎng)中由于電力系統(tǒng)為三相系統(tǒng),偶次諧波基本消除,因此只考慮奇次諧波,占總諧波含量97%以上的諧波集中在25次諧波以下,本文只分析25次以下(包括25次)奇次諧波含量,根據(jù)以上分析,式(4)可以簡(jiǎn)化成

其中 諧波分析即為求取式(5)中權(quán)值系數(shù) 的值。

2基于神經(jīng)網(wǎng)絡(luò)諧波檢測(cè)算法

本系統(tǒng)采用單層感知器―誤差修正學(xué)習(xí)法 。由式(5)可知,神經(jīng)網(wǎng)絡(luò)諧波權(quán)值計(jì)算可用如圖1所示,作為網(wǎng)絡(luò)的輸入,為理論電流:

為實(shí)測(cè)電流值,也就是期望電流值,為期望電流值與網(wǎng)絡(luò)實(shí)際輸出之差,即誤差信號(hào):

誤差信號(hào)為驅(qū)動(dòng)控制信號(hào),其目的是修正調(diào)節(jié)各次諧波權(quán)值,使網(wǎng)絡(luò)輸出一步一步接近期望輸出 ,這一目標(biāo)通過(guò)最小化性能指標(biāo)來(lái)實(shí)現(xiàn) ,性能指標(biāo)定義如下:

權(quán)值修正法則如下:

其中表示第n個(gè)輸入量第k+1表示第次迭代后結(jié)果,為學(xué)習(xí)率,為學(xué)習(xí)誤差,為第n個(gè)輸入向量。

綜合以上分析可知,采用單層感知器-誤差修正神經(jīng)網(wǎng)絡(luò)的諧波算法計(jì)算步驟如下:

(1)給定初始諧波權(quán)值

初始權(quán)值賦值可采用在規(guī)定區(qū)間內(nèi)的隨機(jī)賦值法,初值賦值區(qū)間為[-2,2]。

(2)給定當(dāng)前輸入

由前面分析可知為神經(jīng)網(wǎng)絡(luò)輸入,輸入量在不同的時(shí)刻t不同,因此必須建立查表機(jī)制來(lái)查詢(xún)不同時(shí)刻的網(wǎng)絡(luò)輸入,用表示第n次迭代中第個(gè)輸入量( 的順序依次編號(hào))。

(3)由權(quán)值和輸入量計(jì)算網(wǎng)絡(luò)輸出值

(4)根據(jù)網(wǎng)絡(luò)輸出和期望輸出計(jì)算學(xué)習(xí)誤差,如式(7)所示。

(5)根據(jù)學(xué)習(xí)誤差調(diào)節(jié)權(quán)值

其中表示第次迭代中第n個(gè)輸入量的連接權(quán)值

(6)回到2繼續(xù)進(jìn)行下一次迭代計(jì)算

基于單層感知器-誤差修正學(xué)習(xí)網(wǎng)絡(luò)最大的優(yōu)點(diǎn)就是迭代過(guò)程相對(duì)簡(jiǎn)單,最后系統(tǒng)能穩(wěn)定收斂到目標(biāo)范圍。但系統(tǒng)的穩(wěn)定性受系統(tǒng)反饋參數(shù)影響較大,學(xué)習(xí)率的選取對(duì)于系統(tǒng)重復(fù)學(xué)習(xí)過(guò)程中的穩(wěn)定性和收斂性是非常重要的,的值過(guò)大,會(huì)加快收斂速度但誤差過(guò)大,的值過(guò)小,學(xué)習(xí)速度過(guò)慢,也將影響系統(tǒng)實(shí)時(shí)響應(yīng)速度。

3遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法

上一節(jié)中提到的單層感知器-誤差修正神經(jīng)網(wǎng)絡(luò)是一種簡(jiǎn)單的尋優(yōu)算法,但神經(jīng)網(wǎng)絡(luò)權(quán)值尋優(yōu)算法存在全局搜索能力差的缺點(diǎn),初始權(quán)值隨機(jī)性過(guò)大影響網(wǎng)絡(luò)的泛化能力,而遺傳算法可以對(duì)復(fù)雜的,非線(xiàn)性的、多峰的不可微函數(shù)實(shí)現(xiàn)最優(yōu)全局搜索,能有效利用歷史信息來(lái)推測(cè)下一代更優(yōu)質(zhì)的尋優(yōu)點(diǎn)集 。這樣不斷進(jìn)化,最后收斂到一個(gè)最適應(yīng)環(huán)境的個(gè)體上,進(jìn)而得出問(wèn)題的最優(yōu)解。因此,可以先用遺傳算法對(duì)初始權(quán)值進(jìn)行優(yōu)化,在大范圍解空間定位出適用于優(yōu)化目標(biāo)的較好搜索空間,然后利用神經(jīng)網(wǎng)絡(luò)在這一個(gè)較小解空間進(jìn)行局部尋優(yōu),這樣既可以避免在尋優(yōu)過(guò)程陷入局部最優(yōu),還可以加快算法收斂。據(jù)此本文將遺傳算法與單層感知器-學(xué)習(xí)修正神經(jīng)網(wǎng)絡(luò)算法進(jìn)行結(jié)合來(lái)優(yōu)化諧波含量計(jì)算。遺傳算法進(jìn)化步驟如下 :

第一步:確定決策變量和約束條件

包括基波權(quán)值在內(nèi),一共有13組,總共有26個(gè)權(quán)值,諧波權(quán)值的范圍一般在[-1,1],權(quán)值可能溢出,本文將權(quán)值范圍擴(kuò)大到[-2,2],即:

第二步:建立優(yōu)化模型

優(yōu)化目標(biāo)為使得性能指標(biāo)到合理范圍

第三步:確定編碼、解碼方法

對(duì)于每一個(gè)權(quán)值其取值區(qū)間為[-2,2],由于遺傳算法計(jì)算目的為搜索最優(yōu)區(qū)間,而非最優(yōu)解,因此將[-2,2]區(qū)間以0.2為單位分為20等份,計(jì)算最終目標(biāo)只需求出最優(yōu)解所在區(qū)間即可,可知每個(gè)權(quán)值從-2到2有21個(gè)取值可能,可用4位二進(jìn)制編碼串表示,一共有26個(gè)權(quán)值,按照的順序需要104位二進(jìn)制編碼串來(lái)表示,這便構(gòu)成了染色體編碼方法。解碼時(shí)先將104位的二進(jìn)制編碼串截成26段4位二進(jìn)制編碼串,每一段編碼串表示一個(gè)權(quán)值編碼,設(shè)某一段編碼為,解碼后表示權(quán)值實(shí)際值為,可知

第四步:確定個(gè)體評(píng)價(jià)方法

可知個(gè)體評(píng)價(jià)方法即為性能指標(biāo)控制到合理范圍。

第五步:設(shè)計(jì)遺傳算子

選擇運(yùn)算選用比例選擇算子;交叉運(yùn)算使用單點(diǎn)交叉算子;編譯運(yùn)算使用基本位變異算子。

第六步:設(shè)定遺傳算法運(yùn)行參數(shù)

包括群體大小、終止代數(shù)、交叉概率和變異概率

結(jié)合前面神經(jīng)網(wǎng)絡(luò)算法的分析,可得出遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法計(jì)算諧波的總計(jì)算流程,如圖2所示:

4MATLAB仿真分析

根據(jù)前面對(duì)算法的分析,使用MATLAB提供的神經(jīng)網(wǎng)絡(luò)和遺傳算法工具性進(jìn)行仿真處理 。設(shè)置遺傳算法群體大小為80,終止代數(shù)為100,交叉概率為0.7,變異概率為0.001,神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)率為0.1,使用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練樣本曲線(xiàn)如圖3所示,單獨(dú)使用神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練樣本曲線(xiàn)如圖4所示:

由圖3和圖4可知,采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行諧波分析,在遺傳算法完成100步迭代后適應(yīng)度最高樣本的訓(xùn)練誤差已經(jīng)降到,此后進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練到160步后訓(xùn)練誤差已經(jīng)降到,相比單獨(dú)使用神經(jīng)網(wǎng)絡(luò)算法,需要到350步訓(xùn)練誤差才能到,可見(jiàn)采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法大大加快了迭代速度和計(jì)算結(jié)果的準(zhǔn)確性。

5遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點(diǎn)

使用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法為諧波計(jì)算分析提出了新的解決思路,主要特點(diǎn)包括:(1)全局搜索能力強(qiáng),算法精確度高 。(2)抗干擾能力強(qiáng).。(3)自適應(yīng)能力強(qiáng)。智能算法進(jìn)行諧波分析作為一種新興的諧波分析思路,但是由于智能算法對(duì)于訓(xùn)練樣本的依耐性非常大,算法參數(shù)的設(shè)置對(duì)于整體計(jì)算精度和效率影響非常大,現(xiàn)場(chǎng)應(yīng)用不夠,因此還需作更為深入的探索研究。

注釋:

呂潤(rùn)如. 電力系統(tǒng)高次諧波[M].北京:中國(guó)電力出版社,1998.

危韌勇,李志勇.基于人工神經(jīng)元網(wǎng)絡(luò)的電力系統(tǒng)諧波測(cè)量方法[J]. 電網(wǎng)技術(shù),1999,23(12):20-23.

焦李成.神經(jīng)網(wǎng)絡(luò)計(jì)算[M].西安:西安電子科技大學(xué)出版社,1993.

危韌勇,李志勇,李群湛.一種基于ANN理論的諧波電流動(dòng)態(tài)檢測(cè)方法研究[J]. 鐵道學(xué)報(bào),2000,22(1):40-43.

陳國(guó)良,王熙法,莊鎮(zhèn)泉,王東生.遺傳算法及其應(yīng)用[M].北京:人民郵電出版社,1999.

王小平,曹立民.遺傳算法-理論、應(yīng)用于軟件實(shí)現(xiàn)[M].西安:西安交通大學(xué)出版社,2002.

第5篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2014）01（c）-0240-02

神經(jīng)網(wǎng)絡(luò)是一門(mén)發(fā)展十分迅速的交叉學(xué)科，它是由大量的處理單元組成非線(xiàn)性的大規(guī)模自適應(yīng)動(dòng)力系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有分布式存儲(chǔ)、并行處理、高容錯(cuò)能力以及良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想等特點(diǎn)。該模型對(duì)于擬合現(xiàn)實(shí)復(fù)雜世界有著重要的實(shí)用價(jià)值。

1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），亦稱(chēng)神經(jīng)網(wǎng)絡(luò)（Neural Network，NN），是一種應(yīng)用類(lèi)似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類(lèi)對(duì)自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識(shí)理解基礎(chǔ)之上模擬出來(lái)的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)以及工程科學(xué)的一門(mén)技術(shù)。心理學(xué)家Mcculloch，數(shù)學(xué)家Pitts在20世紀(jì)40年代第一次提出了神經(jīng)網(wǎng)絡(luò)模型，從此開(kāi)創(chuàng)了神經(jīng)科學(xué)理論的研究時(shí)代，此后半個(gè)世紀(jì)神經(jīng)網(wǎng)絡(luò)技術(shù)蓬勃發(fā)展。神經(jīng)網(wǎng)絡(luò)是一種計(jì)算模型，由大量的神經(jīng)元個(gè)體節(jié)點(diǎn)和其間相互連接的加權(quán)值共同組成，每個(gè)節(jié)點(diǎn)都代表一種運(yùn)算，稱(chēng)為激勵(lì)函數(shù)（activation function）。每?jī)蓚€(gè)相互連接的節(jié)點(diǎn)間都代表一個(gè)通過(guò)該連接信號(hào)加權(quán)值，稱(chēng)值為權(quán)重（weight），神經(jīng)網(wǎng)絡(luò)就是通過(guò)這種方式來(lái)模擬人類(lèi)的記憶，網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激勵(lì)函數(shù)。而網(wǎng)絡(luò)本身通常是對(duì)自然界或者人類(lèi)社會(huì)某種算法或函數(shù)的逼近，也可能是一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對(duì)生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)與數(shù)學(xué)統(tǒng)計(jì)模型向結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來(lái)實(shí)現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過(guò)數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類(lèi)似于人的決定能力和簡(jiǎn)單的判斷能力，這種方法是對(duì)傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。

2 神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練

2.1 生物神經(jīng)元模型

人腦是自然界所造就的高級(jí)動(dòng)物，人的思維是由人腦來(lái)完成的，而思維則是人類(lèi)智能的集中體現(xiàn)。人腦的皮層中包含100億個(gè)神經(jīng)元、60萬(wàn)億個(gè)神經(jīng)突觸，以及他們的連接體。神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單位就是神經(jīng)細(xì)胞，即神經(jīng)元，它主要由細(xì)胞體、樹(shù)突、軸突和突觸組成。人類(lèi)的神經(jīng)元具備以下幾個(gè)基本功能特性：時(shí)空整合功能；神經(jīng)元的動(dòng)態(tài)極化性；興奮與抑制狀態(tài)；結(jié)構(gòu)的可塑性；脈沖與電位信號(hào)的轉(zhuǎn)換；突觸延期和不延期；學(xué)習(xí)、遺忘和疲勞；神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元單元相互連接而構(gòu)成的網(wǎng)絡(luò)系統(tǒng)。

2.2 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)，使通過(guò)模仿生物神經(jīng)網(wǎng)絡(luò)的行為特征，進(jìn)行分布式并行信息處理的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到信息處理的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過(guò)預(yù)先提供的一批相互對(duì)應(yīng)的輸入輸出數(shù)據(jù)，分析兩者的內(nèi)在關(guān)系和規(guī)律，最終通過(guò)這些規(guī)律形成一個(gè)復(fù)雜的非線(xiàn)性系統(tǒng)函數(shù)，這種學(xué)習(xí)分析過(guò)程被稱(chēng)作“訓(xùn)練”。神經(jīng)元的每一個(gè)輸入連接都有突觸連接強(qiáng)度，用一個(gè)連接權(quán)值來(lái)表示，即將產(chǎn)生的信號(hào)通過(guò)連接強(qiáng)度放大，每一個(gè)輸入量都對(duì)應(yīng)有一個(gè)相關(guān)聯(lián)的權(quán)重。處理單元將經(jīng)過(guò)權(quán)重的輸入量化，然后相加求得加權(quán)值之和，計(jì)算出輸出量，這個(gè)輸出量是權(quán)重和的函數(shù)，一般稱(chēng)此函數(shù)為傳遞函數(shù)。

2.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)確定以后，接下來(lái)的工作就是訓(xùn)練和學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)不是通過(guò)改變處理單元的本身來(lái)完成訓(xùn)練和學(xué)習(xí)過(guò)程的，而是依靠改變網(wǎng)絡(luò)中各神經(jīng)元節(jié)點(diǎn)的連接權(quán)重來(lái)完成的。因此若處理單元要學(xué)會(huì)正確的處理所給定的問(wèn)題，唯一用以改變處理單元性能的元素就是連接權(quán)重。

2.4 神經(jīng)網(wǎng)絡(luò)的分類(lèi)

神經(jīng)網(wǎng)絡(luò)按照不同的結(jié)構(gòu)、功能，以及學(xué)習(xí)算法，對(duì)網(wǎng)絡(luò)進(jìn)行分類(lèi)，可以分為：（1）感知器神經(jīng)網(wǎng)絡(luò)：最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)類(lèi)型，只有單層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用硬限值作為網(wǎng)絡(luò)傳遞函數(shù)，主要適用于簡(jiǎn)單的線(xiàn)性二類(lèi)劃分問(wèn)題，在此類(lèi)問(wèn)題中處理的效率較高。但不適合本論文的課題。（2）線(xiàn)性神經(jīng)網(wǎng)絡(luò)：?jiǎn)螌咏Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，采用線(xiàn)性函數(shù)作為網(wǎng)絡(luò)的傳遞，主要也是用于解決線(xiàn)性逼近問(wèn)題。

3 BP神經(jīng)網(wǎng)絡(luò)

目前應(yīng)用最為廣泛的網(wǎng)絡(luò)，具有多層網(wǎng)絡(luò)結(jié)構(gòu)，可以由一個(gè)或者多個(gè)隱含層。BP網(wǎng)絡(luò)采用Widrow―Hoff學(xué)習(xí)算法和非線(xiàn)性傳遞函數(shù)，典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow―Hoff算法所規(guī)定的。BP，即Back Propagation，就是指為非線(xiàn)性多層網(wǎng)絡(luò)訓(xùn)練中梯度計(jì)算是采用信號(hào)正向傳播、誤差反向傳播的方式。通過(guò)采用非線(xiàn)性傳遞函數(shù)，BP網(wǎng)絡(luò)能夠以仁義的精度逼近任何非線(xiàn)性函數(shù)，由于采用隱含中間層的結(jié)構(gòu)，BP網(wǎng)絡(luò)能夠提取出更高階的統(tǒng)計(jì)性質(zhì)，尤其是當(dāng)輸入規(guī)模龐大時(shí)，網(wǎng)絡(luò)能夠提取高階統(tǒng)計(jì)性質(zhì)的能力就顯得非常重要了，結(jié)合本文的課題，將采用BP神經(jīng)網(wǎng)絡(luò)及其改進(jìn)算法進(jìn)行組合集成實(shí)驗(yàn)，用以解決財(cái)務(wù)預(yù)警的實(shí)際問(wèn)題，在后面的章節(jié)會(huì)采用相關(guān)實(shí)驗(yàn)證明組合集成的BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)。

4 徑向基神經(jīng)網(wǎng)絡(luò)

徑向基神經(jīng)網(wǎng)絡(luò)又稱(chēng)為RBF網(wǎng)絡(luò)，它與BP網(wǎng)絡(luò)同為多層前向網(wǎng)絡(luò)，也能夠以任意的精度逼近任何非線(xiàn)性函數(shù)，只是它與BP網(wǎng)絡(luò)采用的傳遞函數(shù)不同，BP通常采用的是Sigmoid函數(shù)或線(xiàn)性函數(shù)作為傳遞函數(shù)，而RBF網(wǎng)絡(luò)則采用徑向基函數(shù)作為傳遞函數(shù)。本文后面將采用徑向基函網(wǎng)絡(luò)與BP網(wǎng)絡(luò)進(jìn)行對(duì)比。

5 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)

競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是它的各個(gè)神經(jīng)元之間是相互競(jìng)爭(zhēng)的關(guān)系，眾多神經(jīng)元之間相互競(jìng)爭(zhēng)以決定勝出者，或勝神經(jīng)元決定哪一種原模型最能代表輸入模式。

6 反饋神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007）BP神經(jīng)網(wǎng)絡(luò)具有sigmoid隱含層以及線(xiàn)性輸出層，具有很強(qiáng)的映射能力，本節(jié)我們對(duì)BP網(wǎng)絡(luò)神經(jīng)元和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行介紹。神經(jīng)網(wǎng)絡(luò)方法的具體步驟是：向網(wǎng)絡(luò)提供訓(xùn)練例子，即學(xué)習(xí)樣本，包括輸入和期望的輸出。確定網(wǎng)絡(luò)的實(shí)際輸出和期望輸出之間允許的誤差。改變網(wǎng)絡(luò)中所有連接權(quán)值，使網(wǎng)絡(luò)產(chǎn)生的輸出更接近于期望輸出，直到滿(mǎn)足確定的允許誤差。下圖給出了一個(gè)具有N個(gè)輸入的基本的BP神經(jīng)元模型結(jié)構(gòu)。途中每一個(gè)輸入都被賦予一定的權(quán)值，與偏差求和和后形成神經(jīng)元傳遞函數(shù)的輸入。

我們來(lái)看看三層BP神經(jīng)網(wǎng)絡(luò)模型的數(shù)學(xué)表達(dá)，首先我們來(lái)確定途中各個(gè)參數(shù)所代表的涵義：

（1）輸入向量：X=（x1，x2，…，xi，…，xn）T；

（2）隱層輸出向量：Y=（y1，y2，…，yj，…，ym）T；

（3）輸出層輸出向量：O=（O1，O2，…，Ok，…，Ol）T；

（4）期望輸出向量：d=（d1，d2，…，dk，…，dl）T；

（5）輸入層到隱層之間的權(quán)值矩陣：V=（V1，V2，…，Vj，…，Vm）；

（6）隱層到輸出層之間的權(quán)值矩陣：W=（W1，W2，…，Wk，…，Wl）。

BP神經(jīng)網(wǎng)絡(luò)就是通過(guò)構(gòu)建上述變量來(lái)完成網(wǎng)絡(luò)的描述。

我們從上至下，從輸出層開(kāi)始看BP網(wǎng)絡(luò)的工作原理，對(duì)于輸出層：

k=1，2，…，l （1）

k=1，2，…，l （2）

對(duì)于隱層：j=1，2，…，m （3）

j=1，2，…，m （4）

其中的是傳遞函數(shù)我們可以采用單極性Sigmoid函數(shù)： （5）

（1）網(wǎng)絡(luò)誤差與權(quán)值調(diào)整

輸出誤差E定義：

（6）

（7）

在這一步的基礎(chǔ)上，進(jìn)一步展開(kāi)至輸入層：

（8）

j=0，1，2，…，m；k=1，2，…，l （9）

i=0，1，2，…，n；j=1，2，…，m （10）

式中負(fù)號(hào)表示梯度下降，常數(shù)η∈（0，1）表示比例系數(shù)。在全部推導(dǎo)過(guò)程中，對(duì)輸出層有j=0，1，2，…，m；k=1，2，…，l，對(duì)隱層有i=0，1，2，…，n；j=1，2，…，m

（2）BP算法推導(dǎo)

對(duì)于輸出層，式（9）可寫(xiě)為：

（8）對(duì)隱層，式（9）可寫(xiě)為：（10），對(duì)于隱層，利用式（7）：

可得： （11）

將以上結(jié)果代入式（8），并應(yīng)用式（5）：，得到：

（12）

（13）

至此兩個(gè)誤差信號(hào)的推導(dǎo)已完成。將式（12）代回到式（8），得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計(jì)算公式為：

（14）

第6篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；模式；分類(lèi)

中圖分類(lèi)號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2009)04-0922-02

The Research of the Classification of Model with Neural Network

GUO Xiao-yan

(Gansu Agriculture University, Information & Science Technology College, Lanzhou 730070, China)

Abstract: The problems of classification of model with neural network can be solved by the help oftutors information, and also be solved by the help of clustering without the tutors information.This article analyzes andcompares several neural network models being used for classification of model,reach a conclusionthat inparticular situation different models of neural network can bechoiced , and if nessesary aintegratedway can be used.

Key words: neural network; classification; model

傳統(tǒng)的分類(lèi)方法對(duì)于同類(lèi)相聚，異類(lèi)分離比較有優(yōu)勢(shì)，但客觀世界中許多事物在樣本空間中的區(qū)域分割曲面非常復(fù)雜，相近的樣本可能屬于不同的類(lèi)，而遠(yuǎn)離的樣本可能屬于同一類(lèi)1。模式是對(duì)某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類(lèi)是具有某些共同特征的模式的集合。模式分類(lèi)可分為兩種類(lèi)型，分類(lèi)和聚類(lèi)，分類(lèi)是在類(lèi)別知識(shí)等導(dǎo)師信息的指導(dǎo)下，將待識(shí)別的輸入模式分配到各自的模式類(lèi)中去。聚類(lèi)是無(wú)導(dǎo)師的分類(lèi)方法，它是將相似的模式樣本劃歸為一類(lèi)，而將不相似的分離開(kāi)，實(shí)現(xiàn)了模式樣本類(lèi)內(nèi)相似性和類(lèi)間分離性。通過(guò)聚類(lèi)，可以發(fā)現(xiàn)原始樣本的分布特性。

神經(jīng)網(wǎng)絡(luò)對(duì)外界的輸入樣本具有很強(qiáng)的識(shí)別能力，可以發(fā)現(xiàn)輸入樣本自身的聯(lián)系和規(guī)律以及輸入樣本和期望輸出之間的非線(xiàn)性規(guī)律，因此在模式分類(lèi)方面具有傳統(tǒng)分類(lèi)方法無(wú)法比擬的優(yōu)點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)在模式分類(lèi)方面提出了大量了網(wǎng)絡(luò)模型，發(fā)現(xiàn)了許多學(xué)習(xí)算法。

1 無(wú)導(dǎo)師分類(lèi)機(jī)制

對(duì)于無(wú)導(dǎo)師的模式分類(lèi)只從輸入樣本入手，通過(guò)分析與比較，找到輸入樣本的特征和內(nèi)在規(guī)律，從而將具有相似性的樣本聚為一類(lèi)。

1.1 SOM網(wǎng)

SOM 網(wǎng)屬于自組織映射神經(jīng)網(wǎng)絡(luò)，SOM神經(jīng)網(wǎng)絡(luò)接收外界的輸入模式時(shí)，會(huì)分為不同的對(duì)應(yīng)區(qū)域，各區(qū)域?qū)Σ煌妮斎肽Ｊ綍?huì)有不同的響應(yīng)特征，利用這個(gè)特征可以對(duì)輸入模式進(jìn)行分類(lèi)。

算法思想：

它的學(xué)習(xí)規(guī)則是“勝者為王”。找出和輸入向量最為相似的競(jìng)爭(zhēng)層神經(jīng)元（即獲勝神經(jīng)元），在一個(gè)以該神經(jīng)元為中心的鄰域內(nèi)對(duì)本區(qū)域內(nèi)的所有神經(jīng)元的權(quán)值進(jìn)行不同程度的調(diào)整，調(diào)整的原則是由遠(yuǎn)及近，由興奮變?yōu)橐种?，?quán)值調(diào)整的結(jié)果是使競(jìng)爭(zhēng)層的特定神經(jīng)元變得對(duì)輸入層的某些樣本敏感，從而達(dá)到分類(lèi)的目的。

算法步驟：

1) 找出獲勝神經(jīng)元

對(duì)于每一個(gè)輸入模式向量 X，競(jìng)爭(zhēng)層的所有神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,…,m)均與X進(jìn)行比較，將與X最為相似的神經(jīng)元判為獲勝神經(jīng)元。其權(quán)值記為Wj*。相似性量度為X和W的歐氏距離或夾角余弦。

■

m是競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)。

d=||X-Wj*||=min||X-Wj*||(j=1,2,…,n)

d為輸入向量X離獲勝神經(jīng)元的距離

2) 找出一個(gè)Wj*的一個(gè)鄰域Sj，對(duì)于Sj內(nèi)的所有權(quán)值進(jìn)行調(diào)整。

3) 權(quán)值調(diào)整

Wj(t+1)=Wj(t)+α[X-Wj(t)]

α為學(xué)習(xí)率，隨著t的增加，α的值在不斷地減小。

權(quán)值的調(diào)整是使得獲勝結(jié)點(diǎn)更加接近輸入樣本，從而使競(jìng)爭(zhēng)層的每一個(gè)神經(jīng)元變?yōu)橐粋€(gè)聚類(lèi)中心。當(dāng)向網(wǎng)絡(luò)輸入一個(gè)模式時(shí)，競(jìng)爭(zhēng)層中哪個(gè)神經(jīng)元獲勝使輸出為1，當(dāng)前輸入就歸為哪類(lèi)。

通過(guò)聚類(lèi)進(jìn)行模式劃分的方法還有模糊聚類(lèi)，K-均值聚類(lèi)，HCM，最近鄰聚類(lèi)(NN算法)等，這些算法的最主要優(yōu)點(diǎn)就是不需要導(dǎo)師信號(hào)，這對(duì)于一些無(wú)法得到導(dǎo)師信號(hào)的模式分類(lèi)情況來(lái)說(shuō)是有優(yōu)勢(shì)的。

2 有導(dǎo)師分類(lèi)機(jī)制

基于無(wú)導(dǎo)師的聚類(lèi)算法只考慮輸入樣本，而沒(méi)有考慮輸入樣本所對(duì)應(yīng)的輸出、這就使得這樣的分類(lèi)不是最優(yōu)的。

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)利用導(dǎo)師信號(hào)和輸入樣本來(lái)訓(xùn)練網(wǎng)絡(luò)的權(quán)值，從而找到從輸入樣本到導(dǎo)師信號(hào)（期望輸出）之間的非經(jīng)性變幻規(guī)律來(lái)修整權(quán)值，經(jīng)過(guò)測(cè)試樣本和期望輸出的多次訓(xùn)練來(lái)使成熟的網(wǎng)絡(luò)穩(wěn)定，當(dāng)有新的輸入時(shí)，就可根據(jù)此規(guī)律對(duì)它樣本進(jìn)行正確的分類(lèi)。

BP神經(jīng)網(wǎng)絡(luò)的算法思想是：輸入樣本自輸入層傳入，由各隱層處理后，傳向輸出層，這屬于正向傳播；如果輸出與期望輸出(導(dǎo)師信號(hào))不符，得到誤差值，輸出誤差通過(guò)隱層向輸入層逐反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)成為修正各單元權(quán)值的依據(jù)。

2.1.1 BP神經(jīng)網(wǎng)絡(luò)的描述1(圖2)

1） 正向傳播

對(duì)于有單個(gè)隱層單元的BP神經(jīng)網(wǎng)絡(luò)而言

隱層輸出：

■

輸出層：

■

l 為輸出層神經(jīng)元的個(gè)數(shù)m為隱層神經(jīng)元的個(gè)數(shù)n為輸入層神經(jīng)元的個(gè)數(shù)

f(x)可采用單極性的Sigmoid函數(shù)：

■

2）反向修正權(quán)值

輸出誤差E定義如下：

■

其中d為導(dǎo)師信號(hào)（期望輸出），o為實(shí)際輸出

進(jìn)一步展開(kāi)至輸入層，有：

■

權(quán)值修正：

■

η是學(xué)習(xí)率，可以控制學(xué)習(xí)的時(shí)間和快慢。

在BP神經(jīng)網(wǎng)絡(luò)中，利用導(dǎo)師信號(hào)和神經(jīng)網(wǎng)絡(luò)的輸出得到總誤差E,調(diào)整權(quán)值時(shí)，按誤差梯度下降的原則進(jìn)行。利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，可以利用導(dǎo)師信息先規(guī)定類(lèi)別信息，再利用輸入樣本和類(lèi)別信息得出E，從而反向調(diào)整ω，ν值，如果網(wǎng)絡(luò)的總誤差小于一個(gè)特定的值，可認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到最終的ω，ν值。對(duì)于新的樣本，此訓(xùn)練好的網(wǎng)絡(luò)便可進(jìn)行正確分類(lèi)。

3 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

利用BP網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，完全沒(méi)有考慮輸入樣本的特征，只利用導(dǎo)師信息進(jìn)行權(quán)值的修正，因此學(xué)習(xí)時(shí)間很長(zhǎng)，分類(lèi)的精度也不是非常高，錯(cuò)分的情況很多。通常，輸入樣本本身具有某種規(guī)律性，利用現(xiàn)有樣本的自身規(guī)律加上導(dǎo)師信號(hào)的限制，可以大大提高分類(lèi)的精度，同時(shí)可以縮短學(xué)習(xí)的時(shí)間。徑向基函數(shù)網(wǎng)絡(luò)就是基于這種思想。

用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對(duì)輸入向量進(jìn)行變換，將低維空間的模式變到高維空間中，使低維空間中的不可分問(wèn)題在高維空間中變得可分。

算法思想：

1）找到分類(lèi)中心向量，也稱(chēng)基向量，(一般用K-均值法，動(dòng)態(tài)聚類(lèi)法等)，假定分類(lèi)中心向量個(gè)數(shù)為 個(gè)，這也就決定隱層神經(jīng)元的個(gè)數(shù)。

2）算出輸入樣本到各個(gè)分類(lèi)中心向量的距離d，利用基函數(shù)f(x),自變量為d，得到隱層輸出，只有離分類(lèi)中心最近的向量得到較大的輸出。

■

p是輸入樣本個(gè)數(shù)，j是聚類(lèi)中心的個(gè)數(shù)，k是樣本和聚類(lèi)中心向量的維數(shù)。

■

3）最后通過(guò)隱層到輸出層的線(xiàn)性變換得到最終的輸出，則：

■

學(xué)習(xí)算法：

1）利用無(wú)導(dǎo)師機(jī)制選取分類(lèi)中心向量；

2）利用有導(dǎo)師信號(hào)修正隱層到輸出層的權(quán)值，權(quán)值的修正仍用類(lèi)似BP神經(jīng)網(wǎng)絡(luò)的梯度下降算法。

徑向基函數(shù)網(wǎng)絡(luò)對(duì)于輸入層向隱層的變換是非線(xiàn)性的，而隱層到輸出層變換進(jìn)線(xiàn)性的，在確定中心結(jié)點(diǎn)時(shí)，可采用無(wú)導(dǎo)師的聚類(lèi)機(jī)制，當(dāng)修正隱層到輸出層的權(quán)值時(shí)可采用有導(dǎo)師機(jī)制，此兩種方法結(jié)合即可發(fā)現(xiàn)輸入樣本中的內(nèi)在規(guī)律，又可利用導(dǎo)師信號(hào)進(jìn)行約束從而提高分類(lèi)的精度和縮短學(xué)習(xí)的時(shí)間。

3 結(jié)論

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí)，如果可以得到導(dǎo)師信號(hào)，可采用徑向基神經(jīng)網(wǎng)絡(luò)，或BP神經(jīng)網(wǎng)絡(luò)，徑向基神經(jīng)網(wǎng)絡(luò)收縮速度快，不容易陷入局部極小值，在解決分類(lèi)時(shí)和般優(yōu)越于BP神經(jīng)網(wǎng)絡(luò)，如果無(wú)法得到導(dǎo)師信號(hào)，則可采用自組織神經(jīng)網(wǎng)絡(luò)SOM網(wǎng)絡(luò)，通常SOM也可以用在徑向基神經(jīng)網(wǎng)絡(luò)的選用中心向量問(wèn)題上。

參考文獻(xiàn)：

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].2版.北京:化學(xué)工業(yè)出版社,2007.

第7篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

中圖分類(lèi)號(hào):TP39文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-3973(2010)06-061-02

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法,通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò),其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網(wǎng)絡(luò)的學(xué)習(xí)算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡(luò),設(shè)k為迭代次數(shù),則每一次權(quán)值和閾值的修正案下式進(jìn)行:

式中:w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)= 為第k次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)個(gè)權(quán)值或閾值的梯度向量。負(fù)號(hào)代表梯度的反方向,即梯度的最速下降方向。 為學(xué)習(xí)速率,在訓(xùn)練時(shí)事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,其默認(rèn)值為0.01,可以通過(guò)改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù),在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均誤差MSE(mean square error):

根據(jù)(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權(quán)值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因?yàn)榉聪騻鞑ニ惴ǖ膽?yīng)用廣泛,所以已經(jīng)開(kāi)發(fā)出了很多反向傳播算法的變體。其中最常見(jiàn)得事在梯度下降算法的基礎(chǔ)上修改公式(2.1)的權(quán)值更新法則,即引入沖量因子,并且0≤

標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時(shí),只按照第K步的負(fù)梯度方向進(jìn)行修正,而沒(méi)有考慮到以前積累的經(jīng)驗(yàn),即以前時(shí)刻的梯度方向,從而常常使學(xué)習(xí)過(guò)程發(fā)生振蕩,收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是:將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上,作為本次的實(shí)際權(quán)值調(diào)整量,即公式(2.3)所示:是沖量系數(shù),通常0≤

(3)學(xué)習(xí)率可變的BP算法(variable learnling rate backpropagation,VLBP)

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng),學(xué)習(xí)率選得太小,收斂慢;反之,則有可能修正的過(guò)頭,導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法,在訓(xùn)練的過(guò)程中,力求使算法穩(wěn)定,而同時(shí)又使學(xué)習(xí)的不長(zhǎng)盡量地大,學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過(guò)乘上一個(gè)相應(yīng)的增量因子來(lái)調(diào)整學(xué)習(xí)率的大小。即公式(2.5)所示:

其中:為使步長(zhǎng)增加的增量因子,為使步長(zhǎng)減小的增量因子; 為學(xué)習(xí)率。

3 建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

BP預(yù)測(cè)模型的設(shè)計(jì)主要有輸入層、隱含層、輸出層及各層的個(gè)數(shù)和層與層之間的傳輸函數(shù)。

(1)網(wǎng)絡(luò)層數(shù)

BP有一個(gè)輸入層和一個(gè)輸出層,但可以包含多個(gè)隱含層。但理論的上已證明,在不限制隱含層節(jié)點(diǎn)的情況下,只有一個(gè)隱含層的BP就可以實(shí)現(xiàn)任意非線(xiàn)性映射。

(2)輸入層和輸出層的節(jié)點(diǎn)數(shù)

輸入層是BP的第一層,它的節(jié)點(diǎn)數(shù)由輸入的信號(hào)的維數(shù)決定,這里輸入層的個(gè)數(shù)為3;輸出層的節(jié)點(diǎn)數(shù)取決于BP的具體應(yīng)用有關(guān),這里輸出節(jié)點(diǎn)為1。

(3)隱含層的節(jié)點(diǎn)數(shù)

隱含層節(jié)點(diǎn)數(shù)的選擇往往是根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己的進(jìn)行的實(shí)驗(yàn)來(lái)確定的。根據(jù)前人經(jīng)驗(yàn),可以參考以下公式設(shè)計(jì):

其中:n為隱含層節(jié)點(diǎn)數(shù);m為輸入節(jié)點(diǎn)數(shù);t為輸出節(jié)點(diǎn)數(shù);a為1~10之間的常數(shù)。根據(jù)本文要預(yù)測(cè)的數(shù)據(jù)及輸入和輸出節(jié)點(diǎn)的個(gè)數(shù),則取隱含層個(gè)數(shù)為10。

(4)傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù):

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù),那么整個(gè)網(wǎng)絡(luò)的輸出就會(huì)限制在0~1之間的連續(xù);而如果選的是Pureline函數(shù),那么整個(gè)網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的MATLAB仿真實(shí)驗(yàn)

(1)樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來(lái)源于中國(guó)歷年國(guó)內(nèi)生產(chǎn)總值統(tǒng)計(jì)表,為了讓樣本數(shù)據(jù)在同一數(shù)量級(jí)上,首先對(duì)BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理:將原樣本數(shù)據(jù)乘上,同時(shí)將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測(cè)試樣本集,1991~1999年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集,即1991~1998年訓(xùn)練樣本作為訓(xùn)練輸入;1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出;1992~2000年我國(guó)的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測(cè)試樣本集,即1992~1999年的測(cè)試樣本作為測(cè)試輸入,2000年測(cè)試樣本數(shù)據(jù)作為測(cè)試輸出。

(2)確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù),如第3節(jié)所述,本文選取S函數(shù)(tansig)和線(xiàn)性函數(shù)(purelin)。

(3)設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

(4)設(shè)定BP的學(xué)習(xí)精度為0.001;BP的學(xué)習(xí)率為0.1。

(5)創(chuàng)建BP結(jié)構(gòu)如圖4所示;訓(xùn)練BP的結(jié)果圖5所示:

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計(jì)的網(wǎng)絡(luò)模型相符,且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時(shí),就打到了學(xué)習(xí)精度0.000997788,其學(xué)習(xí)速度比較快。

(6)測(cè)試BP神經(jīng)網(wǎng)絡(luò)

通過(guò)MATLAB對(duì)測(cè)試樣本數(shù)據(jù)進(jìn)行仿真,與實(shí)際的2000年我國(guó)三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見(jiàn)表1),說(shuō)明BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是可行的。、

5總結(jié)

總之,在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中,BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類(lèi)、數(shù)據(jù)壓縮等。通過(guò)本文可以體現(xiàn)出MATLAB語(yǔ)言在編程的高效、簡(jiǎn)潔和靈活。雖然BP在預(yù)測(cè)方面有很多的優(yōu)點(diǎn),但其還有一定的局限性,還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn):

[1]周開(kāi)利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京:清華大學(xué)出版社,2005.7.

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京:機(jī)械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機(jī)械工業(yè)出版社,2003.1.

第8篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

但當(dāng)BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于預(yù)測(cè)模型尤其對(duì)于未來(lái)增長(zhǎng)趨勢(shì)比較明顯的預(yù)測(cè)模型時(shí)，雖然其收斂精度較高，但其值域范圍受限導(dǎo)致訓(xùn)練樣本擬合函數(shù)與預(yù)測(cè)數(shù)據(jù)有較大差異，導(dǎo)致其局部搜索能力較強(qiáng)但全局搜索能力較差，易陷入局部最優(yōu)值。本文通過(guò)引入遺傳算法，發(fā)揮該算法全局搜索能力較強(qiáng)的特點(diǎn)，對(duì)BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行預(yù)優(yōu)化，賦予各層較佳輸出解空間，發(fā)揮BP神經(jīng)網(wǎng)絡(luò)局部搜索能力強(qiáng)的特點(diǎn)，實(shí)現(xiàn)強(qiáng)強(qiáng)聯(lián)合，提高時(shí)間序列預(yù)測(cè)的精準(zhǔn)度。

1．1BP神經(jīng)網(wǎng)絡(luò)

BP(BackPropagationnetwork)神經(jīng)網(wǎng)絡(luò)是當(dāng)今預(yù)測(cè)領(lǐng)域應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)由3層組成:輸入層、隱含層和輸出層。每一層中都包含若干節(jié)點(diǎn)(神經(jīng)元)，不同層之間節(jié)點(diǎn)通過(guò)權(quán)值進(jìn)行全連接，同層節(jié)點(diǎn)之間無(wú)連接。其中，隱含層可為多層，實(shí)際應(yīng)用過(guò)程中有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即可實(shí)現(xiàn)非線(xiàn)性函數(shù)擬合。

1．2遺傳算法

本文中的優(yōu)化對(duì)象為BP神經(jīng)網(wǎng)絡(luò)各層間權(quán)值和閾值。因此，在種群初始化時(shí)，遺傳算法采用常用的二進(jìn)制編碼，并由農(nóng)業(yè)機(jī)械數(shù)量的歷史樣本數(shù)目確定遺傳算法將優(yōu)化的參數(shù)(權(quán)值和閾值)個(gè)數(shù)，從而確定種群的編碼長(zhǎng)度。因BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元采用S型傳遞函數(shù)，為減小計(jì)算誤差，減少或避免計(jì)算結(jié)果落入局部最小值，權(quán)值和閾值應(yīng)避免選擇區(qū)間內(nèi)較小和較大數(shù)值，選擇在［－0．5，0．5］區(qū)間內(nèi)的隨機(jī)數(shù)。遺傳算法計(jì)算流程。

2預(yù)測(cè)結(jié)果與分析

本文采用基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)，以我國(guó)從1997－2013年的農(nóng)業(yè)機(jī)械數(shù)量為基礎(chǔ)數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試和預(yù)測(cè)。其中，遺傳算法群體規(guī)模M=50，交叉概率pc=0．6，變異概率pm=0．01，BP神經(jīng)網(wǎng)絡(luò)權(quán)值閾值取值空間為［－0．5，0．5］，訓(xùn)練次數(shù)為1000，訓(xùn)練目標(biāo)為0．01，學(xué)習(xí)速率為0．1。我國(guó)在1997－2013年期間的農(nóng)機(jī)總動(dòng)力、農(nóng)用大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量的預(yù)測(cè)值與歷史樣本數(shù)據(jù)之間的絕對(duì)值平絕誤差分別為1．080%、1．352%和1．765%。由此看出，使用基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)對(duì)于以農(nóng)業(yè)機(jī)械數(shù)量為預(yù)測(cè)對(duì)象的時(shí)間序列預(yù)測(cè)模型的預(yù)測(cè)精度較好，預(yù)測(cè)精度穩(wěn)定性較佳。從預(yù)測(cè)誤差可以看出，本文所使用的BP神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)本時(shí)間序列模型時(shí)，基本避免運(yùn)算結(jié)果落入局部最小值，收斂性能較好，與前文中遺傳算法和BP神經(jīng)網(wǎng)絡(luò)優(yōu)勢(shì)互補(bǔ)、強(qiáng)強(qiáng)聯(lián)合的理論設(shè)想較為一致。2014年我國(guó)農(nóng)機(jī)總動(dòng)力、農(nóng)用大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量的預(yù)測(cè)結(jié)果來(lái)看，該預(yù)測(cè)結(jié)果與2013年度數(shù)值比較有較大增長(zhǎng)，但增長(zhǎng)幅度有所下降。預(yù)計(jì)到2014年，我國(guó)農(nóng)機(jī)總動(dòng)力、大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量分別為11．251×108kW、587．012萬(wàn)臺(tái)和2043．201萬(wàn)臺(tái)，與1997年相比分別增加了167．86%、751．96%和94．87%，與2013年相比分別增加了4．17%、10．75%和2．16%。其中，2014年農(nóng)機(jī)總動(dòng)力和小型拖拉機(jī)數(shù)量增長(zhǎng)率分別小于2013年的增長(zhǎng)率5．88%和3．3%，農(nóng)用大中型拖拉機(jī)數(shù)量增長(zhǎng)率大于2013年的增長(zhǎng)率9．19%。由于我國(guó)在2004年出臺(tái)了一系列鼓勵(lì)提高農(nóng)業(yè)機(jī)械化的法律、政策、法規(guī)，中央財(cái)政農(nóng)機(jī)購(gòu)置補(bǔ)貼資金投入連年大幅增加，極大地調(diào)動(dòng)了農(nóng)民購(gòu)機(jī)的積極性和企業(yè)生產(chǎn)的積極性，促進(jìn)我國(guó)農(nóng)機(jī)裝備總量持續(xù)增長(zhǎng)和農(nóng)機(jī)結(jié)構(gòu)優(yōu)化。隨著跨區(qū)作業(yè)和農(nóng)業(yè)生產(chǎn)合作社的逐步發(fā)展，有效提高了農(nóng)用大中型拖拉機(jī)在農(nóng)業(yè)生產(chǎn)中的的利用率，降低了農(nóng)民勞動(dòng)強(qiáng)度，提高生產(chǎn)效率，因而其近幾年的保有量有較大增幅。小型拖拉機(jī)受農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和農(nóng)業(yè)機(jī)械大型化的影響，其近幾年的保有量增幅逐年降低。

3結(jié)論

第9篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵字：BP神經(jīng)網(wǎng)絡(luò)； 數(shù)據(jù)庫(kù)； 查詢(xún)；準(zhǔn)確度

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）04-0001-03

神經(jīng)網(wǎng)絡(luò)系統(tǒng)是根據(jù)人體神經(jīng)系統(tǒng)的基本原理構(gòu)建的，其在一定程度上實(shí)現(xiàn)了記憶和訓(xùn)練過(guò)程[1-2]。此項(xiàng)功能體現(xiàn)了神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)計(jì)算機(jī)算法存在的根本差異，其具備在線(xiàn)學(xué)習(xí)、自調(diào)節(jié)以及自適應(yīng)性，同時(shí)具備信息的分布式信息存儲(chǔ)特性。正是由于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)特性，使其在聯(lián)想記憶、數(shù)據(jù)非線(xiàn)性映射、在線(xiàn)學(xué)習(xí)模型構(gòu)建、數(shù)據(jù)信息分類(lèi)與識(shí)別等領(lǐng)域具有了廣泛的應(yīng)用空間。

在云數(shù)據(jù)應(yīng)用時(shí)代，存儲(chǔ)系統(tǒng)的應(yīng)用領(lǐng)域及使用者的范圍不斷擴(kuò)大[6]，用戶(hù)呈指數(shù)倍的增長(zhǎng)使得數(shù)據(jù)的存儲(chǔ)容量不斷增長(zhǎng)，用戶(hù)訪問(wèn)數(shù)據(jù)庫(kù)的頻繁程度也將持續(xù)增加，這對(duì)存儲(chǔ)系統(tǒng)數(shù)據(jù)庫(kù)訪問(wèn)的吞吐量性能提出了更高的要求，也對(duì)數(shù)據(jù)查詢(xún)的效率得出了更加嚴(yán)格的標(biāo)準(zhǔn)。

本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法主要通過(guò)對(duì)云存儲(chǔ)數(shù)據(jù)的關(guān)鍵詞進(jìn)行相似度對(duì)比，利用神經(jīng)網(wǎng)絡(luò)算法對(duì)查詢(xún)數(shù)據(jù)樣本進(jìn)行記憶訓(xùn)練，通過(guò)對(duì)查詢(xún)關(guān)鍵字進(jìn)行數(shù)據(jù)匹配，最終實(shí)現(xiàn)數(shù)據(jù)的準(zhǔn)確查詢(xún)。為了測(cè)試本文設(shè)計(jì)的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實(shí)驗(yàn)場(chǎng)景，模擬數(shù)據(jù)庫(kù)檢索過(guò)程，完成了對(duì)查詢(xún)方法進(jìn)行測(cè)試驗(yàn)證。

1 神經(jīng)網(wǎng)絡(luò)模型的建立

1.1 BP神經(jīng)網(wǎng)絡(luò)處理單元模型

為了不失一般性，選取BP神經(jīng)網(wǎng)絡(luò)的任意兩層介紹其處理單元的數(shù)學(xué)模型。BP神經(jīng)網(wǎng)絡(luò)處理單元的結(jié)果如圖1所示，其中，L1層的[n]個(gè)神經(jīng)元和L2層的[p]個(gè)神經(jīng)元進(jìn)行全連接，定義連接權(quán)向量為[W={wij}，i=1，2，…，n，j=1，2，…，p]；L1層的[n]個(gè)神經(jīng)元的輸出作為L(zhǎng)2層各神經(jīng)元的輸入列向量[X=（x1，…，xi，…，xn）T]，L2層各個(gè)神經(jīng)元的閾值設(shè)置為[θj，j=1，2，…，p]，因此，L2層各神經(jīng)元接收的輸入加權(quán)和如下式所示[3-4]：

L2層各神經(jīng)元的輸出結(jié)果利用轉(zhuǎn)移函數(shù)進(jìn)行計(jì)算。一般情況下，BP神經(jīng)網(wǎng)絡(luò)將Sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)。Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為：

因此，L2層各個(gè)處理單元的輸出為：

由于Sigmoid函數(shù)的輸出類(lèi)似于本文設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)的信號(hào)輸出形式，本文設(shè)計(jì)的模型采用Sigmoid函數(shù)作為系統(tǒng)的轉(zhuǎn)移函數(shù)，其能蜃既訪枋鍪據(jù)檢索過(guò)程中的非線(xiàn)性特性水平[5-6]。

1.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

本文的無(wú)線(xiàn)通信選擇機(jī)制采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)果，具體學(xué)習(xí)算法如下所述：

輸入模式向量設(shè)為[Xk=（x1k，…，xik，…，xnk）T]，[k=1，2，…，m]，其中[m]表示樣本模式對(duì)個(gè)數(shù)，[n]表示輸入層神經(jīng)元數(shù)量；輸入模式對(duì)應(yīng)的期望輸出向量為[Yk=（y1k，…，yik，…，yqk）T]，隱含層神經(jīng)元的凈輸入向量設(shè)置為[Sk=（s1k，…，sik，…，spk）T]，輸出向量設(shè)置為[Bk=（b1k，…，bik，…，bpk）T]，[q]表示輸出層單元數(shù)量，[p]表示隱含層單元個(gè)數(shù)；輸出層神經(jīng)元凈輸入向量設(shè)置為[Lk=（l1k，…，lik，…，lqk）T]，實(shí)際輸出向量設(shè)置為[Ck=（c1k，…，cik，…，cqk）T]；輸入層神經(jīng)元至隱含層神經(jīng)元的連接權(quán)值設(shè)置為[W={wij}]，其中，[i=1，2，…，n，j=1，2，…，p]隱含層至輸出層的連接權(quán)值設(shè)置為[V={vjt}]，隱含層神經(jīng)元的閾值設(shè)置為[θ={θj}，j=1，2，…，p]，輸出層各神經(jīng)元的閾值設(shè)置為[γ={γt}，t=1，2，…，q]。

（1）初始化操作。將連接權(quán)值矩陣[W]、[V]及閾值[θ]、[γ]在[[-1，+1]]區(qū)間內(nèi)進(jìn)行隨機(jī)取值。

（2）隨機(jī)從訓(xùn)練集合中選取一個(gè)學(xué)習(xí)模式對(duì)[（Xk，Yk）]作為BP神經(jīng)網(wǎng)絡(luò)的輸入。

（3）輸入層的輸出的計(jì)算。輸入層的各神經(jīng)元不對(duì)輸入模式進(jìn)行任何處理，而是直接將接收到的數(shù)據(jù)關(guān)鍵詞直接輸出到隱含層各神經(jīng)元，不做任何的數(shù)據(jù)處理。

（4）根據(jù)下式求得隱含層各處理單元的凈輸入和凈輸出：

（5）根據(jù)下式求得各輸出層神經(jīng)元的凈輸入和實(shí)際輸出：

（6）根據(jù)設(shè)定的期望輸出，通過(guò)下式求得各輸出層神經(jīng)元的校正誤差[dkt]，

（7）根據(jù)下式得出隱含層各神經(jīng)處理單元的校正誤差[ekj]，

（8）根據(jù)下式調(diào)整隱含層至輸出層的連接權(quán)值[V]和輸出層神經(jīng)元閾值[γ]， [α]表示學(xué)習(xí)速率，[0

（9）根據(jù)下式調(diào)整輸入層至隱含層神經(jīng)元的連接權(quán)值[W]和輸出層神經(jīng)元閾值[θ]， [β]表示學(xué)習(xí)速率，[0

（10）為BP神經(jīng)網(wǎng)絡(luò)隨機(jī)輸入下一個(gè)學(xué)習(xí)模式對(duì)，返回（3）處，直至訓(xùn)練完成[m]個(gè)學(xué)習(xí)模式對(duì)。

（11）對(duì)系統(tǒng)的全局誤差[E]進(jìn)行判斷，查看其是否滿(mǎn)足神經(jīng)網(wǎng)絡(luò)設(shè)定的精度需求。如果 [E≤ε]，這說(shuō)明滿(mǎn)足結(jié)束條件，結(jié)束學(xué)習(xí)過(guò)程，如果未滿(mǎn)足，則繼續(xù)學(xué)習(xí)。

（12）更新神網(wǎng)絡(luò)學(xué)習(xí)次數(shù)，如果未達(dá)到設(shè)定的學(xué)習(xí)次數(shù)，則返回Step2。

（13）BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程結(jié)束。

在整個(gè)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)階段中，分別涵蓋了輸入模式的“順傳播過(guò)程”，全局誤差的“逆?zhèn)鞑ミ^(guò)程”以及“學(xué)習(xí)記憶訓(xùn)練”過(guò)程，（11）至（12）表示是收斂過(guò)程。全局誤差[E]的理想學(xué)習(xí)曲線(xiàn)如圖2所示。

為了減小震蕩，加快網(wǎng)絡(luò)的記憶訓(xùn)練速度，作者在對(duì)連接權(quán)值進(jìn)行調(diào)整時(shí)，在改變量基礎(chǔ)上添加一定比例的權(quán)值改變值，稱(chēng)之為動(dòng)量項(xiàng)。則附加動(dòng)量項(xiàng)的連接權(quán)值調(diào)整方法如下式所示：

式中，[ηΔwij（n-1）]代表動(dòng)量項(xiàng)，其中[n]為學(xué)習(xí)次數(shù)，[η]作為動(dòng)量系數(shù)，[0

加入動(dòng)量項(xiàng)的本質(zhì)目的是使控制學(xué)習(xí)過(guò)程的學(xué)習(xí)速率[β]不僅僅是一個(gè)固定值，而是能夠持續(xù)變化的。在引入動(dòng)量項(xiàng)后，網(wǎng)絡(luò)總是試圖使連接權(quán)值的調(diào)整按照相同方向進(jìn)行，即使前后兩次連接權(quán)值的調(diào)整值方向相反，也能夠降低震蕩趨勢(shì)，加快學(xué)習(xí)記憶速度，以及網(wǎng)絡(luò)收斂速度[7]。

通常來(lái)說(shuō)，動(dòng)量系數(shù)的取值不宜過(guò)大。若動(dòng)量系數(shù)過(guò)大，動(dòng)量項(xiàng)所占比例過(guò)重，則本次誤差修正項(xiàng)的作用會(huì)不太明顯，以致完全沒(méi)有作用，反而會(huì)減慢收斂速度，甚至導(dǎo)致整個(gè)網(wǎng)絡(luò)震蕩。一般情況下，動(dòng)量系數(shù)的最大值在0.9作用，本文取值為0.6。

2 數(shù)據(jù)庫(kù)查詢(xún)方法測(cè)試

為了測(cè)試本文設(shè)計(jì)的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實(shí)驗(yàn)場(chǎng)景，模擬數(shù)據(jù)庫(kù)檢索過(guò)程，完成了對(duì)查詢(xún)方法進(jìn)行測(cè)試驗(yàn)證。數(shù)據(jù)庫(kù)查詢(xún)學(xué)習(xí)樣本使用的是加州大學(xué)標(biāo)準(zhǔn)數(shù)據(jù)集，通過(guò)選擇中度數(shù)據(jù)規(guī)模的樣本空間進(jìn)行設(shè)計(jì)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，主要訓(xùn)練搜索關(guān)鍵字與查詢(xún)結(jié)果直接的對(duì)應(yīng)關(guān)系，并進(jìn)行存儲(chǔ)記憶。通過(guò)不同查詢(xún)次數(shù)的響應(yīng)延時(shí)進(jìn)行統(tǒng)計(jì)分析，與未使用任何算法的隨機(jī)檢索方法的搜索結(jié)果進(jìn)行對(duì)比分析。數(shù)據(jù)檢索實(shí)驗(yàn)對(duì)比結(jié)果如圖3所示。

從數(shù)據(jù)檢索對(duì)比結(jié)果得知，當(dāng)?shù)螖?shù)達(dá)到200次時(shí)，本文提出的基于神經(jīng)網(wǎng)絡(luò)算法的數(shù)據(jù)庫(kù)查詢(xún)方法滿(mǎn)足收斂條件[f（x）≤e-10]，此時(shí)可視為系統(tǒng)以及查詢(xún)到最優(yōu)數(shù)據(jù)結(jié)果。同時(shí)，較隨機(jī)數(shù)據(jù)庫(kù)檢索方法，本設(shè)計(jì)的優(yōu)化方法在響應(yīng)延時(shí)方面平均降低了34.7%，同時(shí)搜索查詢(xún)準(zhǔn)確率高達(dá)99.3%。

3 總結(jié)

神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶、數(shù)據(jù)非線(xiàn)性映射、在線(xiàn)學(xué)習(xí)模型構(gòu)建、數(shù)據(jù)信息分類(lèi)與識(shí)別等領(lǐng)域具有了廣泛的應(yīng)用空間。通過(guò)對(duì)云存儲(chǔ)數(shù)據(jù)庫(kù)查詢(xún)過(guò)程的原理進(jìn)行研究，本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法主要通過(guò)對(duì)云存儲(chǔ)數(shù)據(jù)的關(guān)鍵詞進(jìn)行相似度對(duì)比，利用神經(jīng)網(wǎng)絡(luò)算法對(duì)查詢(xún)數(shù)據(jù)樣本進(jìn)行記憶訓(xùn)練，通過(guò)對(duì)查詢(xún)關(guān)鍵字進(jìn)行數(shù)據(jù)匹配，最終實(shí)現(xiàn)數(shù)據(jù)的準(zhǔn)確查詢(xún)。為了測(cè)試本文設(shè)計(jì)的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實(shí)驗(yàn)場(chǎng)景，模擬數(shù)據(jù)庫(kù)檢索過(guò)程，完成了對(duì)查詢(xún)方法進(jìn)行測(cè)試驗(yàn)證。仿真結(jié)果表明，本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫(kù)優(yōu)化查詢(xún)方法的準(zhǔn)確率高達(dá)98.3%，具有較高的檢索精度及穩(wěn)定性。

參考文獻(xiàn)：

[1] 李中志.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的水位流量關(guān)系擬合[J].中國(guó)農(nóng)村水利水電， 2008（10）：30-32.

[2] 任雯，胥布工.基于標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)模型的非線(xiàn)性系統(tǒng)分布式無(wú)線(xiàn)網(wǎng)絡(luò)化控制[J]. 控制與決策， 2015，30（4）：691-697.

[3] 余開(kāi)華.小波神經(jīng)網(wǎng)絡(luò)模型在河道流量水位預(yù)測(cè)中的應(yīng)用[J].水資源與水工程學(xué)報(bào)， 2013， 24（2）：204-208.

[4] 潘道宏.RBF神經(jīng)網(wǎng)絡(luò)模型擬合電力抽水站水位流量關(guān)系研究[J].水利科技與經(jīng)濟(jì)， 2010，16（3）：300-301.

[5] 孔玉靜，侯鑫，華爾天等.基于BP神經(jīng)網(wǎng)絡(luò)的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)路由協(xié)議的研究[J].傳感技術(shù)學(xué)報(bào)， 2013， 26（2）：246-251.

[6] 田曉青，劉松良.基于人工神經(jīng)網(wǎng)絡(luò)的過(guò)閘流量軟測(cè)量研究[J].電子產(chǎn)品世界， 2013（10）：43-45.