卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò) 人體行為識(shí)別 Dropout

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）04（c）-0028-02

該文采用隨機(jī)Dropout卷積神經(jīng)網(wǎng)絡(luò)，筆者將此法的優(yōu)點(diǎn)大致概況為將繁瑣雜亂的前期圖像處理簡易化，原來的圖像不可以直接輸入，現(xiàn)在的原始圖像即可實(shí)現(xiàn)直輸功能，因其特性得到廣泛研究與應(yīng)用。另外，卷積神經(jīng)網(wǎng)絡(luò)在圖像的處理中能夠?qū)⒅付ǖ淖藙?shì)、陽光的照射反應(yīng)、遮避、平面移動(dòng)、縮小與放大等其他形式的扭曲達(dá)到魯棒性，從而達(dá)到良好的容錯(cuò)能力，進(jìn)而可以發(fā)現(xiàn)其在自適應(yīng)能力方面也非常強(qiáng)大。因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)在之前建立網(wǎng)絡(luò)模型時(shí)，樣本庫為訓(xùn)練階段提供的樣本，數(shù)量有限，品質(zhì)上也很難滿足要求，致使網(wǎng)絡(luò)權(quán)值參數(shù)不能夠完成實(shí)時(shí)有效的調(diào)度與整理。

1 卷積神經(jīng)網(wǎng)絡(luò)

據(jù)調(diào)查卷積神經(jīng)網(wǎng)絡(luò)由K.Fukushima在80年代提出，那時(shí)候它被稱為神經(jīng)認(rèn)知機(jī)，這一認(rèn)知成為當(dāng)時(shí)的第一個(gè)網(wǎng)絡(luò)，后來網(wǎng)絡(luò)算法發(fā)生了規(guī)模性變革，由LeCun為代表提出了第一個(gè)手寫數(shù)字識(shí)別模型，并成功投入到商業(yè)用途中。LeNet被業(yè)界冠以卷積神經(jīng)網(wǎng)絡(luò)的代表模型，這類系統(tǒng)在很多方面都起到了不容小趨的作用，它多數(shù)應(yīng)用于各類不同的識(shí)別圖像及處理中，在這些層面上取得了重要成果。

筆者經(jīng)查閱資料發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)其實(shí)是由兩個(gè)種類組合而來，它們分別是特征提取、分類器，這種組成我們可以看到特征提取類可由一定數(shù)量的卷積層以及子采樣層相互重疊組合而成，全部都連接起來的1層或者2層神經(jīng)網(wǎng)絡(luò)，就是由分類器來進(jìn)行安排的。卷積神經(jīng)網(wǎng)絡(luò)中的局部區(qū)域得到的感覺、權(quán)值的參數(shù)及子采樣等可以說是重要網(wǎng)絡(luò)結(jié)構(gòu)特征。

1.1 基本CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖1中就是最為經(jīng)典的LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)圖。通過圖1中我們可以獲悉，該模型有輸入輸出層，除這兩層外還有6層，其征提取可在前4層中體現(xiàn)，后兩層體現(xiàn)的是分類器。

在特征提取部分，6個(gè)卷積核通過卷積，是圖像經(jīng)尺寸為32×32的輸入而得見表1，運(yùn)算過程如式（1）：

（1）

式中：卷積后的圖像與一個(gè)偏置組合起來，使函數(shù)得到激活，因此特征圖變誕生了，通過輸出得到了6個(gè)尺寸的特征圖，這6個(gè)尺寸均為28×28，近而得到了第一層的卷積，以下筆者把它簡要稱為c1；那么c1層中的6個(gè)同尺寸圖再經(jīng)由下面的子采樣2×2尺寸，再演變成特征圖，數(shù)量還是6個(gè)，尺寸卻變成了14×14，具體運(yùn)算如公式（2）：

通過表2我們可以使xi生成的和與采樣系數(shù)0.25相乘，那么采樣層的生成也就是由加上了一個(gè)偏置，從而使函數(shù)被激活形成了采樣層的第1個(gè)層次，以下我們簡要稱為s1；這種過程我們可反復(fù)運(yùn)用，從而呈現(xiàn)出卷積層中的第2層，可以簡要稱之為c2，第2層簡稱s2；到目前為止，我們對(duì)特征的提取告一段落。

神經(jīng)網(wǎng)絡(luò)的識(shí)別，我們可以看到它是由激活函數(shù)而形成的一個(gè)狀態(tài)，這一狀態(tài)是由每個(gè)單元的輸出而得；那么分類器在這里起到的作用是將卷積層全部連接起來，這種通過連接而使1層與上面1層所有特征圖進(jìn)行了串連，簡要稱之為c5；因而2層得到了退變與簡化效應(yīng)，從而使該神經(jīng)網(wǎng)絡(luò)成為經(jīng)典，簡要稱之為F6，向量及權(quán)值是由F6 輸送，然后由點(diǎn)積加上偏置得到結(jié)果的有效判定。

1.2 改進(jìn)的隨機(jī)DropoutCNN網(wǎng)絡(luò)

1.2.1 基本Dropout方法

神經(jīng)網(wǎng)絡(luò)泛化能力能夠得到提升，是基于Dropout方法的深入學(xué)習(xí)。固定關(guān)系中存在著節(jié)點(diǎn)的隱含，為使權(quán)值不再依附于這種關(guān)系，上述方法可隨機(jī)提取部分神經(jīng)元，這一特性是通過利用Dropout在網(wǎng)絡(luò)訓(xùn)練階段中隨機(jī)性而得，對(duì)于取值能夠有效的存儲(chǔ)及保護(hù)存留，這一特性在輸出設(shè)定方面一定要注重為0，這些被選擇的神經(jīng)元隨然這次被抽中應(yīng)用，但并不影響下次訓(xùn)練的過程，并具還可以恢復(fù)之前保留的取值，那么每兩個(gè)神經(jīng)元同時(shí)產(chǎn)生作用的規(guī)避，可以通過重復(fù)下次隨機(jī)選擇部分神經(jīng)元的過程來解決；我們通過這種方法，使網(wǎng)絡(luò)結(jié)構(gòu)在每次訓(xùn)練階段中都能呈現(xiàn)不同變化，使一些受限制的特征，不再受到干擾，使其真正能展現(xiàn)自身的優(yōu)點(diǎn)，在基于Dropout方法中，我們可以將一些神經(jīng)元的一半設(shè)為0來進(jìn)行輸出，隨機(jī)神經(jīng)元的百分比可控制在50%，有效的避免了特征的過度相似與穩(wěn)合。

1.2.2 隨機(jī)Dropout方法

Dropout方法就是隨機(jī)輸出為0的設(shè)定，它將一定比例神經(jīng)元作為決定的因素，其定義網(wǎng)絡(luò)在構(gòu)建模型時(shí)得到廣泛采用。神經(jīng)元基于隨機(jī)Dropout的方法是該文的重要網(wǎng)絡(luò)輸出途徑，通過設(shè)定輸出為0，使其在網(wǎng)絡(luò)中得到變。圖2是隨機(jī)Dropout的加入神經(jīng)元連接示意圖，其在圖中可知兩類神經(jīng)元：一類是分類器的神經(jīng)元，這一階段的神經(jīng)元可分榱講悖渙硪煥嗌窬元是由輸出而形成的層次。模型在首次訓(xùn)練的階段會(huì)使神經(jīng)元隨機(jī)形成凍結(jié)狀態(tài)，這一狀態(tài)所占的百分比為40%、60%，我們還可以看到30%及50%的神經(jīng)元可能在網(wǎng)絡(luò)隨機(jī)被凍結(jié)，那么這次凍結(jié)可以發(fā)生在模型第二次訓(xùn)練，那么第三次神經(jīng)元的凍結(jié)可從圖示中得出70%及40%，還可以通過變化用人工設(shè)置，其范圍值宜為35%～65%，那么網(wǎng)絡(luò)神經(jīng)元連接次序的多樣化，也因此更為突出與精進(jìn)，網(wǎng)絡(luò)模型的泛化能力也得到了跨越勢(shì)的提高。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)方法

卷積神經(jīng)網(wǎng)絡(luò)通過實(shí)驗(yàn)，通過輸入層呈現(xiàn)一灰色圖像，該圖像尺寸被設(shè)定成28×28的PNG格式，這里我們以圖像框架圖得到雙線性差值，用來處理圖像及原視頻中的影像，將框架圖的卷積核設(shè)定為5×5的尺寸，子采樣系數(shù)控制值為0.25，采用SGD迭代200次，樣本數(shù)量50個(gè)進(jìn)行設(shè)定，一次誤差反向傳播實(shí)現(xiàn)批量處理，進(jìn)行權(quán)值調(diào)整。實(shí)驗(yàn)采用交叉驗(yàn)證留一法，前四層為特征提取層，C1-S1-C2-S2按順序排列，6-6-12-12個(gè)數(shù)是相應(yīng)特征，通過下階段加入隨機(jī)Dropout，這階段為雙層也就是兩層，進(jìn)行連接，連接層為全體，從而可知結(jié)果由分類得出，又從輸出層輸出。

2.2 實(shí)驗(yàn)結(jié)果分析

識(shí)別錯(cuò)誤率可通過卷積神經(jīng)網(wǎng)絡(luò)模型，及訓(xùn)練過程與檢測過程中可查看到的。在訓(xùn)練階段中，我們可以將Dropout的網(wǎng)絡(luò)中融入200次訓(xùn)練，在將沒有使用該方法的網(wǎng)絡(luò)進(jìn)行相互比較分析，我可以得知，后者訓(xùn)練時(shí)的識(shí)別錯(cuò)誤率稍高于前者，前者與后的相比較所得的差異不是很大，進(jìn)而我們可知使用Dropout方法，對(duì)卷積神經(jīng)網(wǎng)絡(luò)在泛化能力上得到有效的提升，從而有效的防止擬合。

3 結(jié)語

筆者基于Dropout卷積神經(jīng)網(wǎng)絡(luò)，人體行為識(shí)別在視頻中進(jìn)行， 通過Weizmann數(shù)據(jù)集檢測實(shí)驗(yàn)結(jié)果，隨機(jī)Dropout在分類器中加入。通過實(shí)驗(yàn)可以得知：隨機(jī)Dropout的加入，使卷積神經(jīng)構(gòu)建了完美網(wǎng)絡(luò)模型，并且使其在人體行為識(shí)別中的效率贏得了大幅度的提升，近而使泛化能力可以通過此類方法得到提高，可以防止擬合。

參考文獻(xiàn)

[1] 其它計(jì)算機(jī)理論與技術(shù)[J].電子科技文摘，2002（6）.

第2篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

關(guān)鍵詞： 列車車號(hào)； 車號(hào)識(shí)別； 卷積神經(jīng)網(wǎng)絡(luò)； LeNet?5

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）13?0063?04

Abstract： For the character recognition of freight train license， the improved recognition method based on convolutional neural network LeNet?5 is proposed. Considering the structural features of the hierarchical convolutional neural network and local field， the parameters of quantity and size of each layer feature pattern in the network were improved correspondingly to form the new network model suitable for the freight train license recognition. The experimental results show that the proposed method has strong robustness to solve the license breakage and stain， and high recognition rate， which provides a guarantee for the accuracy of the entire license recognition system.

Keywords： train license； license recognition； convolutional neural network； LeNet?5

0 引 言

目前貨運(yùn)列車車號(hào)識(shí)別系統(tǒng)[1?2]主要是基于RFID技術(shù)實(shí)現(xiàn)的，但是，由于該系統(tǒng)的準(zhǔn)確性依賴于列車底部安裝的RFID標(biāo)簽，而RFID標(biāo)簽容易損壞、丟失，因此，此類系統(tǒng)無法保證車號(hào)識(shí)別的準(zhǔn)確性。為此，研究者開發(fā)了基于圖像的貨運(yùn)列車車號(hào)識(shí)別系統(tǒng)，系統(tǒng)根據(jù)視頻采集到的圖像，利用模糊集合論[1?2]、人工神經(jīng)網(wǎng)絡(luò)[3]、支持向量機(jī)[4]以及隱馬爾可夫模型[4]等技術(shù)進(jìn)行車號(hào)字符的識(shí)別。但是，由于貨運(yùn)列車車號(hào)存在因噴涂方式而導(dǎo)致的單個(gè)字符斷裂，或者列車長期的野外運(yùn)行導(dǎo)致的車廂污損，車號(hào)字符的殘缺等現(xiàn)象，這使得目前的基于圖像的貨運(yùn)列車車號(hào)識(shí)別系統(tǒng)的魯棒性與識(shí)別率還有待進(jìn)一步提高。

LeNet?5[5?7]是由YannLecun等人提出的一種專門用于二維圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)避免了人工提取特征依賴于主觀意識(shí)的缺點(diǎn)，只需要將歸一化大小的原始圖像輸入網(wǎng)絡(luò)，該網(wǎng)絡(luò)就可以直接從圖像中識(shí)別視覺模式。LeNet?5把特征提取和識(shí)別結(jié)合起來，通過綜合評(píng)價(jià)和學(xué)習(xí)，并在不斷的反向傳播過程中選擇和優(yōu)化這些特征，將特征提取變?yōu)橐粋€(gè)自學(xué)習(xí)的過程，通過這種方法找到分類性能最優(yōu)的特征。LeNet?5已經(jīng)成功應(yīng)用于銀行對(duì)支票手寫數(shù)字的識(shí)別中。

為此，本文將卷積神經(jīng)網(wǎng)絡(luò)LeNet?5應(yīng)用于列車車號(hào)字符的識(shí)別中，為了使之適用于列車車號(hào)字符的識(shí)別需求，去除掉了LeNet?5中的一些針對(duì)手寫字符識(shí)別而特別設(shè)計(jì)的連接方式及參數(shù)，并在此基礎(chǔ)上，改變網(wǎng)絡(luò)中各層特征圖的數(shù)量以形成新的網(wǎng)絡(luò)模型。

1 LeNet?5的改進(jìn)

卷積神經(jīng)網(wǎng)絡(luò)可以從很多方面著手改進(jìn)。諸如多層前饋網(wǎng)絡(luò)，可以考慮在誤差函數(shù)中增加懲罰項(xiàng)使得訓(xùn)練后得到趨向于稀疏化的權(quán)值，或者增加一些競爭機(jī)制使得在某個(gè)特定時(shí)刻網(wǎng)絡(luò)中只有部分節(jié)點(diǎn)處在激活狀態(tài)等。本文主要從卷積神經(jīng)網(wǎng)絡(luò)的層次化以及局部鄰域等結(jié)構(gòu)上的特點(diǎn)入手，考慮卷積神經(jīng)網(wǎng)絡(luò)中各層特征圖數(shù)量及大小對(duì)網(wǎng)絡(luò)訓(xùn)練過程及識(shí)別結(jié)果的影響。

以LeNet?5結(jié)構(gòu)為基礎(chǔ)，去除掉LeNet?5中的一些針對(duì)手寫字符識(shí)別而特別設(shè)計(jì)的連接方式及參數(shù)，得到改進(jìn)后的神經(jīng)網(wǎng)絡(luò)。在此基礎(chǔ)上，改變網(wǎng)絡(luò)中各層特征圖的數(shù)量以形成新的網(wǎng)絡(luò)模型。定義一種新的網(wǎng)絡(luò)模型，將其命名為LeNet?5.1，該網(wǎng)絡(luò)結(jié)構(gòu)與LeNet?5基本相同，主要做出以下改變：

（1） 將原先LeNet?5所采用的激活函數(shù)由雙曲正切函數(shù)修改為Sigmoid函數(shù)，此時(shí)，網(wǎng)絡(luò)中所有層的輸出值均在[0，1]區(qū)間內(nèi)，輸出層的最終結(jié)果也將保持在[0，1]區(qū)間內(nèi)。

（2） 省略掉F6層，將輸出層與C5層直接相連，連接方式為全連接，而不是原LeNet?5中所采用的徑向基函數(shù)（RBF）網(wǎng)絡(luò)結(jié)構(gòu)。

（3） 簡化原LeNet?5中的學(xué)習(xí)速率。原LeNet?5網(wǎng)絡(luò)中采用的學(xué)習(xí)速率為一個(gè)特殊的序列，而在本網(wǎng)絡(luò)中將學(xué)習(xí)速率固定為0.002。

（4） 輸入數(shù)據(jù)原始尺寸為28×28，采取邊框擴(kuò)充背景像素的方法將圖像擴(kuò)充至32×32。

之所以做以上相關(guān)改動(dòng)，是因?yàn)樵嫉腖eNet?5就是專門為手寫字符識(shí)別任務(wù)而特殊設(shè)計(jì)的，這就造成了LeNet?5網(wǎng)絡(luò)中相關(guān)的預(yù)處理及參數(shù)的選擇過程或多或少均帶有一些針對(duì)特定問題的先驗(yàn)知識(shí)。例如激活函數(shù)中參數(shù)的選擇，學(xué)習(xí)速率定的速率序列以及數(shù)據(jù)預(yù)處理殊的填充方式等，這些特定的設(shè)計(jì)使得LeNet?5在其他任務(wù)的識(shí)別過程中并不一定適用，或者需要進(jìn)行長期的觀察實(shí)驗(yàn)以選得一組針對(duì)特定任務(wù)的較好的值，造成了LeNet?5不能快速的應(yīng)用于除手寫字符外其他的識(shí)別任務(wù)中。

2 改進(jìn)后的網(wǎng)絡(luò)對(duì)列車車號(hào)字符的識(shí)別

車號(hào)經(jīng)過分割之后為一個(gè)個(gè)的單字符圖像，采用邊框擴(kuò)充背景像素的方法將其歸一化為32×32，如圖1所示。

由圖1中可以看出，待識(shí)別的字符圖像質(zhì)量不高，有的數(shù)字字符出現(xiàn)殘缺、斷裂或者嚴(yán)重變形。這都給識(shí)別任務(wù)提出了一定的挑戰(zhàn)。

本文采集到的車號(hào)圖像來自于不同型號(hào)的貨運(yùn)列車。從中選取400幅圖像作為訓(xùn)練集，另外選取400幅圖像作為測試集。用上一節(jié)提出的LeNet?5.1網(wǎng)絡(luò)進(jìn)行訓(xùn)練，誤分類率曲線如圖2所示。可以看出，在LeNet?5.1訓(xùn)練過程中，訓(xùn)練MCR（Misclassification Rate）和測試MCR的變化過程相對(duì)穩(wěn)定，驗(yàn)證了改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)的合理性。在經(jīng)過16次的迭代之后，測試MCR降至最低（5.75%），之后基本保持穩(wěn)定，即16次迭代之后，網(wǎng)絡(luò)達(dá)到了當(dāng)前的最佳訓(xùn)練效果，達(dá)到了收斂狀態(tài)。這時(shí)，訓(xùn)練MCR為0.5%，測試MCR是5.75%。

訓(xùn)練過程中的誤分類率曲線

而針對(duì)相同的數(shù)據(jù)，采用原始的LeNet?5進(jìn)行訓(xùn)練和測試后，誤分類率如圖3所示。從圖3中可以看出，LeNet?5經(jīng)過了18次的迭代后，測試MCR才達(dá)到相對(duì)穩(wěn)定的狀態(tài)，降至6%，最終的訓(xùn)練MCR為1%。相比之下，經(jīng)過簡化和改進(jìn)的LeNet?5.1，由于改進(jìn)了原始的LeNet?5中專門為手寫字符識(shí)別任務(wù)而特殊設(shè)計(jì)的一些預(yù)處理及函數(shù)選擇等固定模式，并且精簡了網(wǎng)絡(luò)結(jié)構(gòu)，使得LeNet?5.1在列車車號(hào)的識(shí)別方面具有了更快的訓(xùn)練速度和收斂速度，另外，最終達(dá)到的準(zhǔn)確度也有所提升。

在證明了改進(jìn)后的LeNet?5.1網(wǎng)絡(luò)的合理性之后，增加訓(xùn)練圖像的規(guī)模，采用10 000幅車號(hào)數(shù)字字符圖像用來訓(xùn)練，5 000幅用來測試。為了與其他方法進(jìn)行比較，采用相同的訓(xùn)練數(shù)據(jù)對(duì)車號(hào)識(shí)別中常用的三層BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試，這里采用的BP網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)量為450，學(xué)習(xí)速率采用0.01。實(shí)驗(yàn)結(jié)果比較如表1所示。從表1可以看出，改進(jìn)后的LeNet?5.1網(wǎng)絡(luò)的識(shí)別率比BP網(wǎng)絡(luò)的識(shí)別率高出4.62個(gè)百分點(diǎn)，在識(shí)別速度方面，LeNet?5.1也明顯優(yōu)于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)。

3 針對(duì)車型號(hào)字母識(shí)別而改進(jìn)的神經(jīng)網(wǎng)絡(luò)及其結(jié)果

貨運(yùn)列車車號(hào)的組成是由車型號(hào)與車號(hào)共同組成的，因此還需要對(duì)車型號(hào)進(jìn)行識(shí)別，車型號(hào)中除了有阿拉伯?dāng)?shù)字字符之外，還有很多表示車種及車廂材質(zhì)等屬性的英文字母，這些英文字母同樣采用卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別。由于車型號(hào)很多，初期針對(duì)若干常用型號(hào)的列車進(jìn)行識(shí)別，以測試網(wǎng)絡(luò)的性能，后期對(duì)全車型進(jìn)行識(shí)別。

3.1 常用列車車型的識(shí)別

在試運(yùn)行階段主要識(shí)別的車型局限于7種主要的車型：C64K，C64H，C70A，C70E，C80，C62AK和C62BK。由于車種都為敞篷車（第一個(gè)大寫字母C），主要對(duì)后面代表該車型載重量的兩位數(shù)字以及最后代表車廂材質(zhì)等屬性的字母進(jìn)行識(shí)別?？紤]到車型號(hào)字符串的固定模式，如圖4所示，可以分別建立兩個(gè)不同的卷積神經(jīng)網(wǎng)絡(luò)分別用來識(shí)別數(shù)字和字母，由于之前已經(jīng)解決了數(shù)字的識(shí)別問題，接下來主要進(jìn)行字母的識(shí)別。要識(shí)別的代表車廂材質(zhì)的字母共有6個(gè)：K，H，A，E，A和B，為了盡可能的避免因字母分割問題而導(dǎo)致的識(shí)別錯(cuò)誤，把AK和BK分別作為一個(gè)整體來識(shí)別，那么需要識(shí)別的字符組合變?yōu)椋篕，H，A，E，AK和BK。由于識(shí)別種類的減少，可以對(duì)網(wǎng)絡(luò)模型LeNet?5.1進(jìn)行相應(yīng)的簡化，命名該模型為LeNet?5.2。

LeNet?5.2是在LeNet?5.1的基礎(chǔ)上進(jìn)行改動(dòng)而得到的：

（1） 卷積層C1的特征圖由6個(gè)減少為4個(gè)，相應(yīng)地，S2層的特征圖也由6個(gè)減少為4個(gè)。

（2） 卷積層C3的特征圖由16個(gè)減少為11個(gè)，相應(yīng)地，S4層的特征圖也由16個(gè)減少為11個(gè)。

（3） 卷積層C5的特征圖個(gè)數(shù)由120個(gè)減少為80個(gè)。

（4） 輸出分類的數(shù)目由10個(gè)減少為6個(gè)。

另外，卷積層C3層與次抽樣層S2層的連接情況如表2所示。

表2的連接方式采用與表1相同的思想，每一列都說明了C3層中的一個(gè)特征圖是由S2中的那幾個(gè)特征圖結(jié)合而成。卷積層C3中第0個(gè)至第5個(gè)特征圖分別與次抽樣層S2中的兩個(gè)特征圖相連接，一共6種組合。C3中的這6個(gè)特征圖負(fù)責(zé)抽取上一層中某兩個(gè)特征圖所潛在的特征。C3層中第6個(gè)至第9個(gè)特征圖中每個(gè)特征圖分別對(duì)應(yīng)上一層中的3個(gè)特征圖的組合，而C3層中最后一個(gè)特征圖則與上一層中所有的特征圖相連接。這樣卷積層C3中的特征圖就包含了次抽樣層S2中多個(gè)特征圖的所有組合，這樣使得卷積層C3抽取到的特征比S2層更抽象、更高級(jí)，同時(shí)，相對(duì)于輸入數(shù)據(jù)，C3層相比S2層具有更好的對(duì)位移、扭曲等特征的不變性。

相比LeNet?5.1，LeNet?5.2將網(wǎng)絡(luò)層中的特征圖數(shù)量做了相應(yīng)的削減，減少了網(wǎng)絡(luò)中可訓(xùn)練參數(shù)的數(shù)量。

實(shí)驗(yàn)數(shù)據(jù)來自以上提到的7類常用車型。經(jīng)過前面過程的定位和分割之后，將分割之后代表車廂材質(zhì)等屬性的字母圖像收集起來。本實(shí)驗(yàn)中，共收集到6種代表不同車廂材質(zhì)屬性的字母共800幅，其中400幅用作訓(xùn)練數(shù)據(jù)，另外400幅用作測試數(shù)據(jù)。

圖5為LeNet?5.2使用以上數(shù)據(jù)訓(xùn)練過程中得到的MCR曲線圖。由圖5中可以看出，在經(jīng)過13次迭代之后，測試MCR達(dá)到最低的3.25%，并且在隨后的迭代過程中基本保持穩(wěn)定，而對(duì)應(yīng)的訓(xùn)練MCR為0.75%。

3.2 全車型識(shí)別

經(jīng)過對(duì)鐵道行業(yè)標(biāo)準(zhǔn)《鐵路貨車車種車型車號(hào)編碼》（TB2435?93）里面包含的所有車型號(hào)進(jìn)行統(tǒng)計(jì)，除了10個(gè)阿拉伯?dāng)?shù)字外，包括了除O，R，V，Z四個(gè)字母外所有的大寫英文字母，總共有32類字符。

訓(xùn)練過程中的誤分類率曲線

針對(duì)車型號(hào)的識(shí)別需求，本文在LeNet?5.1的基礎(chǔ)上提出了一種新的網(wǎng)絡(luò)模型，稱之為LeNet?5.3。與LeNet?5.2相反，LeNet?5.3是在LeNet?5.1的基礎(chǔ)上對(duì)網(wǎng)絡(luò)中各層的特征圖數(shù)量進(jìn)行擴(kuò)充：

（1） 卷積層C1的特征圖由6個(gè)增加至8個(gè)，相應(yīng)地，S2層的特征圖也由6個(gè)增加至8個(gè)。

（2） 卷積層C3的特征圖由16個(gè)增加至24個(gè)，相應(yīng)地，S4層的特征圖也由16個(gè)增加至24個(gè)。

（3） 卷積層C5的特征圖個(gè)數(shù)由120個(gè)增加至240個(gè)。

（4） 輸出層神經(jīng)元的個(gè)數(shù)由10個(gè)增加至32個(gè)。

其中卷積層C3層與次抽樣層S2層的連接情況參考LeNet?5.2所采用的原則，使卷積層C3中的特征圖包含次抽樣層S2中多個(gè)特征圖的主要組合。

與LeNet?5.1相比，LeNet?5.3需要有更多的輸出類別，各層的特征圖數(shù)量也做了相應(yīng)的增加，以增加整個(gè)網(wǎng)絡(luò)的識(shí)別性能。為了驗(yàn)證改進(jìn)后的LeNet?5.3的性能，收集了大量真實(shí)列車車廂圖片，經(jīng)過車號(hào)定位和分割之后，將單個(gè)的數(shù)字字符或者大寫字母字符圖像尺寸依次歸一化為32×32，分別建立訓(xùn)練圖像庫和測試圖像庫。

由于LeNet?5.1各層的特征圖數(shù)量多，因此該網(wǎng)絡(luò)涉及到的可訓(xùn)練參數(shù)也大大增加，這也意味著需要更多的數(shù)據(jù)樣本用于網(wǎng)絡(luò)訓(xùn)練。若訓(xùn)練集和測試集規(guī)模依然采用跟前面實(shí)驗(yàn)中一樣的各400幅，訓(xùn)練過程中的誤分類率曲線如圖6所示，圖6中的曲線變化非常不穩(wěn)定，波動(dòng)較大。測試MCR達(dá)到最低點(diǎn)后又突然升高，不能獲得穩(wěn)定的分類結(jié)果，訓(xùn)練過程無法收斂。

網(wǎng)絡(luò)訓(xùn)練過程中無法收斂的主要原因在于相比網(wǎng)絡(luò)中過多的需要訓(xùn)練確定的權(quán)值，數(shù)據(jù)集規(guī)模過小，已然不能滿足學(xué)習(xí)的要求。從特征圖角度來看，網(wǎng)絡(luò)無法通過不充足的訓(xùn)練樣本學(xué)習(xí)到穩(wěn)定而有效的特征圖組合，從而導(dǎo)致了網(wǎng)絡(luò)不收斂。要解決這個(gè)問題需要加大測試樣本的數(shù)量。

為了訓(xùn)練和測試LeNet?5.3，對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)充：訓(xùn)練圖像庫包含字符圖像4 000幅，測試圖像庫包含字符圖像2 000幅。訓(xùn)練過程中的誤分類率曲線如圖7所示。從圖7中可以看出，經(jīng)過32次迭代之后網(wǎng)絡(luò)趨于收斂，并且達(dá)到了較好的識(shí)別率。

4 結(jié) 語

本文針對(duì)貨運(yùn)列車車號(hào)識(shí)別的難題，提出了基于卷積神經(jīng)網(wǎng)絡(luò)LeNet?5改進(jìn)后的識(shí)別方法，主要對(duì)卷積神經(jīng)網(wǎng)絡(luò)中各層特征圖數(shù)量及大小進(jìn)行了改進(jìn)。且與傳統(tǒng)的BP網(wǎng)絡(luò)進(jìn)行了比較，從實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)無論在魯棒性還是識(shí)別率以及識(shí)別速度上都優(yōu)于BP網(wǎng)絡(luò)，可以很好地勝任列車車號(hào)識(shí)別任務(wù)。

參考文獻(xiàn)

[1] 宋敏.鐵路車輛車號(hào)自動(dòng)識(shí)別系統(tǒng)的研究和開發(fā)[D].天津：河北工業(yè)大學(xué)，2011：1?5.

[2] LU S， CHEN B M， KO C C. Perspective rectification of document images using fuzzy set and morphological operations [J]. Image and vision computing， 2005， 23（5）： 541?553.

[3] SHAH P， KARAMCHANDANI S， NADKAR T， et al. OCR?based chassis?number recognition using artificial neural networks [C]// Proceedings of 2009 IEEE International Conference on Vehicular Electronics and Safety （ICVES）. [S.l.]： IEEE， 2009： 31?34.

[4] CHEN D， BOURLARD H， THIRAN J P. Text identification in complex background using SVM [C]// Proceedings of 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2001： 621?626.

[5] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[6] LECUN Y A， BOTTOU L， ORR G B， et al. Efficient backprop [M]// Anon. Neural networks： tricks of the trade. Berlin： Springer Berlin Heidelberg， 1998： 9?50.

第3篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

關(guān)鍵詞：物聯(lián)網(wǎng)；人臉識(shí)別；視頻網(wǎng)絡(luò)

1物聯(lián)網(wǎng)及人臉識(shí)別視頻網(wǎng)絡(luò)技術(shù)的發(fā)展

1.1物聯(lián)網(wǎng)視頻網(wǎng)絡(luò)技術(shù)的發(fā)展?fàn)顩r

最近幾年，隨著物聯(lián)網(wǎng)技術(shù)、圖像處理技術(shù)以及數(shù)據(jù)傳輸技術(shù)的快速發(fā)展，視頻網(wǎng)絡(luò)技術(shù)應(yīng)運(yùn)而生并取得了長足的發(fā)展。當(dāng)前，視頻網(wǎng)絡(luò)系統(tǒng)作為一種模擬數(shù)字控制系統(tǒng)，其具有非常成熟和穩(wěn)定的性能，已廣泛應(yīng)用于實(shí)際工程中。雖然數(shù)字系統(tǒng)發(fā)展迅速，但尚未完全形成相應(yīng)的體系，因此，混合數(shù)字和模擬應(yīng)用程序逐漸遷移到數(shù)字系統(tǒng)將成為未來發(fā)展的主要趨勢(shì)之一。當(dāng)前，國內(nèi)外市場上主流的產(chǎn)品主要有兩種，即模擬視頻數(shù)字網(wǎng)絡(luò)系統(tǒng)、數(shù)字視頻網(wǎng)絡(luò)系統(tǒng)。前者技術(shù)先進(jìn)，性能穩(wěn)定，被廣泛應(yīng)用于實(shí)際工程應(yīng)用中，特別是大中型視頻網(wǎng)絡(luò)項(xiàng)目。后者作為一種新興技術(shù)，是一種通過以計(jì)算機(jī)技術(shù)和視頻壓縮為核心的新型視頻網(wǎng)絡(luò)系統(tǒng)，其有效的避免了模擬系統(tǒng)所存在的一些弊端，但未來仍需要進(jìn)行不斷的改進(jìn)和發(fā)展。外部集成、視頻數(shù)字化、視頻網(wǎng)絡(luò)連接、系統(tǒng)集成是未來視頻網(wǎng)絡(luò)系統(tǒng)發(fā)展的重要研究方向。數(shù)字化是網(wǎng)絡(luò)的前提，而網(wǎng)絡(luò)是系統(tǒng)集成的基礎(chǔ)。因此，視頻網(wǎng)絡(luò)領(lǐng)域的兩個(gè)最大發(fā)展特征是：數(shù)字化和網(wǎng)絡(luò)化。

1.2人臉識(shí)別視頻網(wǎng)絡(luò)的發(fā)展?fàn)顩r

人臉識(shí)別技術(shù)作為模式識(shí)別領(lǐng)域中的一項(xiàng)前沿課題，截止目前，已有三十多年的研究歷史。人臉識(shí)別目前是模式識(shí)別和人工智能的研究熱點(diǎn)，目前主要采用AdaBoost分類器進(jìn)行人臉區(qū)域的檢測，人臉識(shí)別研究的內(nèi)容大致分為以下內(nèi)容：（1）人臉檢測：其指的是在不同場景下的人臉檢測及其位置。人臉檢測是通過在整個(gè)輸入的圖像中找到一個(gè)合適的人臉區(qū)域?yàn)槟康模⒃搱D像分為人臉區(qū)域和非人臉區(qū)域兩部分。在實(shí)際的某些理想情況下，由于可以人為手動(dòng)控制拍攝環(huán)境，因此，可以輕松確定人臉的位置；但是在大多數(shù)情況下，由于場景更加復(fù)雜，因此，人臉的位置是未知的。因而在實(shí)際的人臉識(shí)別視頻網(wǎng)絡(luò)過程中，首先必須確定識(shí)別場景中是否有人臉的存在，如果存在人臉，再進(jìn)一步確定圖像中人臉的具體區(qū)域。（2）人臉識(shí)別：將系統(tǒng)檢測到的人臉特征信息與系統(tǒng)數(shù)據(jù)庫中存在的已知人臉信息進(jìn)行充分識(shí)別與匹配，以此獲取相關(guān)信息，該過程的本質(zhì)是選擇正確的人臉模型和匹配策略。在實(shí)際生活的應(yīng)用當(dāng)中，由于成人的面部模型處于不斷變化當(dāng)中，且容易受到時(shí)間、光線、相機(jī)角度等方面的差異，因而很難用一張圖紙表達(dá)同一個(gè)人的面部圖像，這使得提取特征變得困難，由于大量的原始灰度圖像數(shù)據(jù)，神經(jīng)元的數(shù)量通常很大并且訓(xùn)練時(shí)間很長。除此之外，完全依賴于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法具有當(dāng)前計(jì)算機(jī)系統(tǒng)固有的局限性，盡管神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的感應(yīng)能力，但是隨著樣本數(shù)量的增加，其性能可能會(huì)大大降低。簡而言之，由于年齡，表情，傾斜度和其他表征對(duì)象的因素的多樣性，很難進(jìn)行人臉識(shí)別，因此，識(shí)別該對(duì)象的效果仍遠(yuǎn)未達(dá)到現(xiàn)實(shí)。目前，普遍采用AdaBoost算法來對(duì)出現(xiàn)在視頻中的人臉區(qū)域進(jìn)行檢測，以此達(dá)到實(shí)時(shí)獲取人臉圖像的目的，AdaBoost算法的原理是通過訓(xùn)練得到多個(gè)不同的弱分類器并將這些弱分類器通過疊加、級(jí)聯(lián)得到強(qiáng)分類器，AdaBoost算法流程如圖1所示。（3）表情分析：即對(duì)面部表情信息（幸福，悲傷，恐懼，驚奇等）進(jìn)行分析和分類。當(dāng)前，由于問題的復(fù)雜性，正在對(duì)面部表情的分析進(jìn)行研究，它仍處于起步階段。心理學(xué)表明，至少有六種與不同面部表情相關(guān)的情緒：幸福，悲傷，驚奇，恐懼，憤怒和惡心。即與沒有表情的面部特征相比，這六個(gè)表情的面部特征具有相對(duì)獨(dú)特的運(yùn)動(dòng)規(guī)則。（4）生理分類：分析已知面孔的生理特征，并獲得相關(guān)信息，例如種族、年齡、性別和職業(yè)。顯然，此過程需要大量知識(shí)，通常非常困難和復(fù)雜。

2物聯(lián)網(wǎng)卷積神經(jīng)網(wǎng)絡(luò)人臉識(shí)別方法分析

卷積神經(jīng)網(wǎng)絡(luò)是專門設(shè)計(jì)用于識(shí)別二維形狀的多層感知器。通常，可以使用梯度下降和反向傳播算法來訓(xùn)練網(wǎng)絡(luò)。從結(jié)構(gòu)上講，卷積神經(jīng)網(wǎng)絡(luò)包含三個(gè)概念：局部感受野、權(quán)重共享和下采樣，使其在平移，縮放，傾斜或其他形式的變形中相當(dāng)穩(wěn)定。當(dāng)前，卷積神經(jīng)網(wǎng)絡(luò)被廣泛用于模式識(shí)別，圖像處理和其他領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于提取目標(biāo)人臉圖像的特征。訓(xùn)練網(wǎng)絡(luò)后，將先前測試的模型用作面部分類器，微調(diào)可以縮短網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間。卷積神經(jīng)網(wǎng)絡(luò)的基本體系結(jié)構(gòu)是輸入層，卷積層（conv），歸約層（字符串），完全連接層和輸出層（分類器）。通常有多個(gè)卷積層+速記層，此程序?qū)崿F(xiàn)的CNN模型是LeNet5，并且有兩個(gè)“卷積+下采樣層”LeNetConvPoolLayer。完全連接的層等效于MLP（多層感知器）中的HiddenLayer。輸出層是一個(gè)分類器，通常使用softmax回歸（有些人稱為直接邏輯回歸，它實(shí)際上是多類邏輯回歸）。LogisticRegression也直接提供了該軟件。人臉圖像在視頻監(jiān)控中實(shí)時(shí)發(fā)送到計(jì)算機(jī)，并且面部區(qū)域部分由AdaBoost算法確定。在預(yù)處理之后，將臉部圖像注入到新訓(xùn)練的預(yù)訓(xùn)練模型中進(jìn)行識(shí)別。該過程如圖2所示。

3物聯(lián)網(wǎng)人臉識(shí)別視頻網(wǎng)絡(luò)多目標(biāo)算法優(yōu)化

多目標(biāo)優(yōu)化問題的實(shí)質(zhì)是協(xié)調(diào)并在各個(gè)子目標(biāo)之間達(dá)成折衷，以便使不同的子目標(biāo)功能盡可能地最佳。工程優(yōu)化的大多數(shù)實(shí)際問題都是多用途優(yōu)化問題，目標(biāo)通常相互沖突。長期以來，多目標(biāo)優(yōu)化一直受到人們的廣泛關(guān)注，現(xiàn)在已經(jīng)開發(fā)出更多的方法來解決多目標(biāo)優(yōu)化問題。如果多標(biāo)準(zhǔn)優(yōu)化沒有最差的解決方案，那么通常會(huì)有無限多的解決方案，這并不是最差的解決方案。解決面部強(qiáng)調(diào)時(shí)，人們不能直接應(yīng)用許多次等解決方案。作為最后的決定，我們只能選擇質(zhì)量不是最低，最能滿足我們要求的解決方案。找到最終解決方案的方法主要有三種。因此，只有通過找到大量有缺陷的解決方案以形成有缺陷的解決方案的子集，然后根據(jù)我們的意圖找到最終的解決方案。基于此，多目標(biāo)算法是通過將多準(zhǔn)則問題轉(zhuǎn)變?yōu)橐粋€(gè)關(guān)鍵問題，這種方法也可以視為輔助手段。這種方法的棘手部分是如何獲取實(shí)際體重信息，至于面部特征，我們將建議一種基于權(quán)重的多功能優(yōu)化算法，該算法可以更好地反映臉部的特征。我們將人臉的每個(gè)特征都視為多個(gè)目標(biāo)，并且在提取面部特征時(shí)，面部特征會(huì)受到外界的強(qiáng)烈影響，例如位置，光照條件和強(qiáng)度的變化，并且所有部位和每個(gè)部位都會(huì)受到影響。因此，我們可以使用加權(quán)方法從每個(gè)受影響的分?jǐn)?shù)中提取不同的權(quán)重。通過開展試驗(yàn)測試，結(jié)果表明，在有多目標(biāo)優(yōu)化的算法的作用下，比在沒有多目標(biāo)優(yōu)化的算法作用下人臉識(shí)別效果有所提高，大約提高了5—10個(gè)百分點(diǎn)。

4結(jié)論

鑒于多準(zhǔn)則優(yōu)化算法在科學(xué)研究的各個(gè)領(lǐng)域中的廣泛使用，本文提出了一種多準(zhǔn)則優(yōu)化算法來對(duì)復(fù)雜的多準(zhǔn)則人臉圖像上的各種面部特征進(jìn)行特征提取的多準(zhǔn)則優(yōu)化，以達(dá)到提高人臉識(shí)別率的目標(biāo)、提高整個(gè)人臉識(shí)別視頻網(wǎng)絡(luò)系統(tǒng)的性能。

參考文獻(xiàn)

[1]江斌,桂冠.基于物聯(lián)網(wǎng)的人臉識(shí)別視頻網(wǎng)絡(luò)的優(yōu)化方法研究[C]//物聯(lián)網(wǎng)與無線通信-2018年全國物聯(lián)網(wǎng)技術(shù)與應(yīng)用大會(huì)論文集.2018.

[2]余雷.基于物聯(lián)網(wǎng)的遠(yuǎn)程視頻監(jiān)控優(yōu)化方法研究[J].科技通報(bào),2014(6).

[3]張勇.遠(yuǎn)程視頻監(jiān)控系統(tǒng)的傳輸技術(shù)的實(shí)現(xiàn)[D].電子科技大學(xué),2011(9)

第4篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

關(guān)鍵詞：人臉識(shí)別技術(shù)；病毒管控；人工智能；神經(jīng)網(wǎng)絡(luò)

互聯(lián)網(wǎng)在今天的社會(huì)中發(fā)揮著舉足輕重的作用。如今社會(huì)，隨著許多人工智能技術(shù)、網(wǎng)絡(luò)技術(shù)、云計(jì)算等互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，像人臉識(shí)別等技術(shù)的應(yīng)用越來越廣泛，在控制病毒傳播途徑等場合發(fā)揮了巨大作用，不斷地提高著社會(huì)的安全性和便利性，不僅提高了防控中病毒檢測效率，也為病毒的控制提供了可靠的技術(shù)方法，能夠及時(shí)發(fā)現(xiàn)和控制公共場所的安全隱患因素，避免對(duì)社會(huì)經(jīng)濟(jì)、居民生活造成破壞，。但目前的人臉識(shí)別等技術(shù)還存在許多缺陷，需要完善和革新，充滿著巨大的潛力和進(jìn)步空間。

1人臉識(shí)別技術(shù)研究意義

人臉識(shí)別技術(shù)是一種生物特征識(shí)別技術(shù)，最早產(chǎn)生于上世紀(jì)60年代，基于生理學(xué)、圖像處理、人機(jī)交互及認(rèn)知學(xué)等方面的一種識(shí)別技術(shù)。相比于其他人類特征像指紋識(shí)別、聲紋識(shí)別、虹膜識(shí)別等技術(shù)，人臉識(shí)別雖然存在人臉識(shí)別單一性低，且區(qū)分度難度高、易受環(huán)境影響等不足。但是人臉識(shí)別技術(shù)擁有速度快、大范圍群體識(shí)別及非接觸、遠(yuǎn)距離可識(shí)別等優(yōu)勢(shì)，都是其他生物識(shí)別識(shí)別技術(shù)所不具備的，而在傳播性強(qiáng)、感染風(fēng)險(xiǎn)大的病毒傳播過程中，這些顯然是必須要考慮的重要影響因素。通過將人臉識(shí)別等人工智能技術(shù)引入信息管理系統(tǒng)，綜合集成視頻監(jiān)控、圖像處理、深度學(xué)習(xí)和大數(shù)據(jù)等技術(shù)，結(jié)合非接觸測溫、定位等技術(shù)，助力病情防控，在一定程度上推動(dòng)病毒病情防控信息化、智能化發(fā)展進(jìn)程?？勺鳛榧訌?qiáng)公共場所的人員的體溫實(shí)時(shí)監(jiān)測、地址信息定位的監(jiān)控管理，規(guī)范公共場所針對(duì)病毒傳播的預(yù)防行為。

2人臉識(shí)別技術(shù)

2.1人臉檢測技術(shù)

人臉檢測是自動(dòng)人臉識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵環(huán)節(jié)。早期的人臉識(shí)別研究主要針對(duì)具有較強(qiáng)約束條件的人臉圖象（如無背景的圖象），往往假設(shè)人臉位置靜止或者容易獲取。人臉檢測分為前深度學(xué)習(xí)時(shí)期，AdaBoost框架時(shí)期以及深度學(xué)習(xí)時(shí)期。前深度學(xué)習(xí)時(shí)期，人們將傳統(tǒng)的計(jì)算機(jī)視覺算法運(yùn)用于人臉檢測，使用了模板匹配技術(shù)，依賴于人工提取特征，然后用這些人工特征訓(xùn)練一個(gè)檢測器；后來技術(shù)發(fā)展，在2001年Viola和Jones設(shè)計(jì)了一種人臉檢測算法，它使用簡單的Haar-like特征和級(jí)聯(lián)的AdaBoost分類器構(gòu)造檢測器，檢測速度較之前的方法有2個(gè)數(shù)量級(jí)的提高，并且保持了很好的精度，稱這種方法為VJ框架。VJ框架是人臉檢測歷史上第一個(gè)最具有里程碑意義的一個(gè)成果，奠定了基于AdaBoost目標(biāo)檢測框架的基礎(chǔ)，使用級(jí)聯(lián)AdaBoost分類器進(jìn)行目標(biāo)檢測的思想是：用多個(gè)AdaBoost分類器合作實(shí)現(xiàn)對(duì)候選框的分類，這些分類器組成一個(gè)流水線，對(duì)滑動(dòng)窗口中的候選框圖像進(jìn)行判定，確定檢測目標(biāo)是人臉還是非人臉。Adaboost框架技術(shù)的精髓在于用簡單的強(qiáng)分類器在初期快速排除掉大量的非人臉窗口，同時(shí)保證高的召回率，使得最終能通過所有級(jí)強(qiáng)分類器的樣本數(shù)數(shù)量較少。在深度學(xué)習(xí)時(shí)期，開始將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉檢測領(lǐng)域。研究方向有兩種：一是將適用于多任務(wù)的目標(biāo)檢測網(wǎng)絡(luò)應(yīng)用于人臉檢測中；另一種是研究特定的的人臉檢測網(wǎng)絡(luò)。人臉檢測技術(shù)具有特殊唯一性和穩(wěn)定性，在現(xiàn)今社會(huì)對(duì)于構(gòu)建居民身份識(shí)別系統(tǒng)，病毒傳播防控系統(tǒng)，以及計(jì)算機(jī)視覺交互模型的構(gòu)建具有廣泛的應(yīng)用。人臉檢測技術(shù)不僅作為人臉識(shí)別的首要步驟，也在許多其他領(lǐng)域發(fā)揮巨大影響，如人臉關(guān)鍵點(diǎn)提取、人臉追蹤、基于內(nèi)容的檢索、數(shù)字視頻處理、視頻檢測、安防監(jiān)控、人證比對(duì)、社交等領(lǐng)域都有重要的應(yīng)用價(jià)值。數(shù)碼相機(jī)、手機(jī)等移動(dòng)端上的設(shè)備已經(jīng)大量使用人臉檢測技術(shù)實(shí)現(xiàn)成像時(shí)對(duì)人臉的對(duì)焦、圖集整理分類等功能，各種虛擬美顏相機(jī)也需要人臉檢測技術(shù)定位人臉。評(píng)價(jià)一個(gè)人臉檢測算法好壞的指標(biāo)是檢測率和誤報(bào)率，我們定義檢測率為：算法要求在檢測率和誤報(bào)率之間盡量平衡，理想的情況是達(dá)到高檢測率，低誤報(bào)率。

2.2人臉識(shí)別技術(shù)

目前主要流行的人臉識(shí)別技術(shù)包括幾何特征識(shí)別，模型識(shí)別，特征臉識(shí)別和基于深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)的的人臉識(shí)別技術(shù)等。人臉特征識(shí)別主要通過對(duì)人臉面部結(jié)構(gòu)特征如眼睛、鼻子等五官幾何特點(diǎn)及其相對(duì)位置分布等，生成圖像，并計(jì)算各個(gè)面部特征之間的歐式距離、分布、大小等關(guān)系該方法比較簡單，反應(yīng)速度快，并且具有魯棒性強(qiáng)等優(yōu)點(diǎn)，但是在實(shí)際環(huán)境下使用容易受檢測的環(huán)境的變化、人臉部表情變化等影響，精度通常不高，細(xì)節(jié)處理上不夠完善。模型識(shí)別技術(shù)主要包括隱馬爾可夫模型、主動(dòng)表象模型、主動(dòng)形狀模型等，識(shí)別率較高，并且對(duì)表情等變化影響較小。特征臉識(shí)別來源于主成分描述人臉照片技術(shù)（PCA技術(shù)），從數(shù)學(xué)上來講，特征臉就是人臉的圖像集協(xié)方差矩陣的特征向量。該技術(shù)能有效的顯示人臉信息，效率較高?；谏疃葘W(xué)習(xí)的人臉識(shí)別是獲取人臉圖像特征，并將包含人臉信息的特征進(jìn)行線性組合等，提取人臉圖像的特征，學(xué)習(xí)人臉樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次。可以采用如三層前饋BP神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McClelland為首的科學(xué)家提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)本質(zhì)上是一種能夠?qū)W量的輸入與輸出之間的映射關(guān)系的輸入到輸出的映射，從結(jié)構(gòu)上講，BP網(wǎng)絡(luò)具有輸入層、隱藏層和輸出層；從本質(zhì)上講，BP算法就是以網(wǎng)絡(luò)誤差平方為目標(biāo)函數(shù)、采用梯度下降法來計(jì)算目標(biāo)函數(shù)的最小值。BP神經(jīng)網(wǎng)路輸入層有n個(gè)神經(jīng)元節(jié)點(diǎn)，輸出層具有m個(gè)神經(jīng)元，隱含層具有k個(gè)神經(jīng)元，采用BP學(xué)習(xí)算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。BP算法主要包括兩個(gè)階段：向前傳播階段和向后傳播階段。在向前傳播階段，信息從輸入層經(jīng)過逐級(jí)的變換，傳送到輸出層。這個(gè)過程也是在網(wǎng)絡(luò)完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行。將Xp作為輸入向量，Yp為期望輸出向量則BP神經(jīng)網(wǎng)絡(luò)向前傳播階段的運(yùn)算，得到實(shí)際輸出表達(dá)式為向后傳播階段主要包括兩大步驟：①計(jì)算實(shí)際輸出Op與對(duì)應(yīng)理想輸出Yp之差；②按極小化誤差方法調(diào)整帶權(quán)矩陣。之所以將此階段稱為向后傳播階段，是對(duì)應(yīng)于輸入信號(hào)的正常傳播而言的，因?yàn)樵撾A段都需要收到精度要求進(jìn)行誤差處理，所以也可以稱之為誤差傳播階段。(1)確定訓(xùn)練集。由訓(xùn)練策略選擇樣本圖像作為訓(xùn)練集。(2)規(guī)定各權(quán)值Vij，Wjk和閾值Φj，θk參數(shù)，并初始化學(xué)習(xí)率α及精度控制參數(shù)ε。(3)從訓(xùn)練集中取輸入向量X到神經(jīng)網(wǎng)絡(luò)，并確定其目標(biāo)輸出向量D。(4)利用上式計(jì)算出一個(gè)中間層輸出H，再用本式計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出Y。(5)將輸出矢量中yk與目標(biāo)矢量中dk進(jìn)行比較，計(jì)算輸出誤差項(xiàng)，對(duì)中間層的隱單元計(jì)算出L個(gè)誤差項(xiàng)。(6)最后計(jì)算出各權(quán)值和閾值的調(diào)整量。所以，卷積神經(jīng)網(wǎng)絡(luò)算法是通過訓(xùn)練人臉特征庫的方式進(jìn)行學(xué)習(xí)生成，對(duì)不同環(huán)境下不同表現(xiàn)情況的人臉圖像識(shí)別有更高的精確性。

2.3人臉識(shí)別軟件實(shí)現(xiàn)方式

(1)采集人臉數(shù)據(jù)集，然后對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理變成訓(xùn)練格式。(2)部署訓(xùn)練模型，根據(jù)訓(xùn)練算法所需依賴部署電腦環(huán)境。(3)訓(xùn)練過程，下載預(yù)訓(xùn)練模型，將人臉數(shù)據(jù)集分批次作為輸入開始訓(xùn)練，最終輸出為訓(xùn)練好的模型。(4)部署訓(xùn)練好的模型，捕獲畫面即可對(duì)畫面中的人臉進(jìn)行實(shí)時(shí)檢測。

3人臉識(shí)別在病毒傳播防控中的應(yīng)用

通過人臉識(shí)別技術(shù)，可以實(shí)現(xiàn)無接觸、高效率的對(duì)流動(dòng)人員進(jìn)行信息的收集、身份識(shí)別、定位地址信息等操作，大大減少了傳染的可能性，切斷了病毒傳播途徑，大大提高了工作效率。通過提前收錄人臉信息，采用深度學(xué)習(xí)對(duì)人臉特征模型的訓(xùn)練學(xué)習(xí)，即可獲取人臉識(shí)別特征模型，再次驗(yàn)證時(shí)即可實(shí)現(xiàn)人臉識(shí)別和個(gè)人信息快速匹配。AI人工智能幫助人們更好的解放雙手，為人們的生活和工作提供了重要的幫助。本文還提出了在人臉識(shí)別的系統(tǒng)基礎(chǔ)上，可以加入定位系統(tǒng)、測溫系統(tǒng)等，依托物聯(lián)網(wǎng)技術(shù)和云計(jì)算大數(shù)據(jù)，更加優(yōu)化管控系統(tǒng)的效率。病毒傳播防控中人臉識(shí)別系統(tǒng)流程可以概括為圖2。

4結(jié)語

本文研究了一種人臉識(shí)別技術(shù)在病毒傳播管控系統(tǒng)中的應(yīng)用，并分析設(shè)計(jì)了人臉識(shí)別實(shí)時(shí)監(jiān)測及病毒管控系統(tǒng)的流程，大大提高了信息管理的效率，減弱了傳播風(fēng)險(xiǎn)。作為一門新興技術(shù)，目前的人臉識(shí)別技術(shù)還存在著諸多不足之處，像存在環(huán)境光的影響、人臉表情變化、妝容變化、佩戴口罩等都會(huì)影響到系統(tǒng)識(shí)別精度；另外安全問題也引人深思：現(xiàn)今人臉支付方式迅猛發(fā)展，錄入的人臉模型信息數(shù)據(jù)庫存在有一定的安全風(fēng)險(xiǎn)，一旦被不法分子盜取信息后果不堪設(shè)想，所以模型數(shù)據(jù)庫安全、網(wǎng)絡(luò)安全，也是系統(tǒng)開發(fā)中必須重視的問題。人臉識(shí)別為代表的人工智能技術(shù)的研究，在病毒傳播管控作出重大貢獻(xiàn)，依托我國領(lǐng)先的計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和5G等技術(shù)，加強(qiáng)人工智能技術(shù)與5G通信技術(shù)的結(jié)合，優(yōu)勢(shì)互補(bǔ)，以此來加快大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)技術(shù)發(fā)展進(jìn)程，對(duì)我國社會(huì)進(jìn)步，促進(jìn)城市建設(shè)和管理朝著高效、秩序、和諧穩(wěn)定的方向不斷發(fā)展，增強(qiáng)我國的經(jīng)濟(jì)實(shí)力有著重大價(jià)值和研究意義。

參考文獻(xiàn)

[1]王彥秋,馮英偉.基于大數(shù)據(jù)的人臉識(shí)別方法[J].現(xiàn)代電子技術(shù),2021,44(7):87-90.

[2]李剛,高政.人臉自動(dòng)識(shí)別方法綜述[J].計(jì)算機(jī)應(yīng)用研究,2003,20(8):4-9,40.

[3]馬玉琨,徐姚文.ReviewofPresentationAttackDetectioninFaceRecognitionSystem[J].計(jì)算機(jī)科學(xué)與探索,2021,7(15):1195-1206.

[4]余璀璨,李慧斌.基于深度學(xué)習(xí)的人臉識(shí)別方法綜述[J].工程數(shù)學(xué)學(xué)報(bào),2021,38.

[5]王紅星,胡永陽,鄧超.基于LBP和ELM的人臉識(shí)別算法研究與實(shí)現(xiàn)[J].河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版),2005.

[6]鐘陳,王思翔,王文峰.面向疫情防控的人臉識(shí)別系統(tǒng)與標(biāo)準(zhǔn)研究[J].信息技術(shù)與標(biāo)準(zhǔn)化,2020,6,11-13,1671-539X.

[6]彭駿,吉綱,張艷紅,占濤.精準(zhǔn)人臉識(shí)別及測溫技術(shù)在疫情防控中的應(yīng)用[J].軟件導(dǎo)刊,2020,10,1672-7800.

第5篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

計(jì)算機(jī)視覺的第一步是特征提取，即檢測圖像中的關(guān)鍵點(diǎn)并獲取有關(guān)這些關(guān)鍵點(diǎn)的有意義信息。特征提取過程本身包含4個(gè)基本階段：圖像準(zhǔn)備、關(guān)鍵點(diǎn)檢測、描述符生成和分類。實(shí)際上，這個(gè)過程會(huì)檢查每個(gè)像素，以查看是否有特征存在干該像素中。

特征提取算法將圖像描述為指向圖像中的關(guān)鍵元素的一組特征向量。本文將回顧一系列的特征檢測算法，在這個(gè)過程中，看看一般目標(biāo)識(shí)別和具體特征識(shí)別在這些年經(jīng)歷了怎樣的發(fā)展。

早期特征檢測器

Scale Invariant Feature Transform（SIFT）及Good Features To Track（GFTT）是特征提取技術(shù)的早期實(shí)現(xiàn)。但這些屬于計(jì)算密集型算法，涉及到大量的浮點(diǎn)運(yùn)算，所以它們不適合實(shí)時(shí)嵌入式平臺(tái)。

以SIFT為例，這種高精度的算法，在許多情況下都能產(chǎn)生不錯(cuò)的結(jié)果。它會(huì)查找具有子像素精度的特征，但只保留類似于角落的特征。而且，盡管SIFT非常準(zhǔn)確，但要實(shí)時(shí)實(shí)現(xiàn)也很復(fù)雜，并且通常使用較低的輸入圖像分辨率。

因此，SIFT在目前并不常用，它主要是用作一個(gè)參考基準(zhǔn)來衡量新算法的質(zhì)量。因?yàn)樾枰档陀?jì)算復(fù)雜度，所以最終導(dǎo)致要開發(fā)一套更容易實(shí)現(xiàn)的新型特征提取算法。

二代算法

Speeded Up Robust Features（SURF）是最早考慮實(shí)現(xiàn)效率的特征檢測器之一。它使用不同矩形尺寸中的一系列加法和減法取代了SIFT中浩繁的運(yùn)算。而且，這些運(yùn)算容易矢量化，需要的內(nèi)存較少。

接下來，HOG（Histograms ofOriented Gradients）這種在汽車行業(yè)中常用的熱門行人檢測算法可以變動(dòng)，采用不同的尺度來檢測不同大小的對(duì)象，并使用塊之間的重疊量來提高檢測質(zhì)量，而不增加計(jì)算量。它可以利用并行存儲(chǔ)器訪問，而不像傳統(tǒng)存儲(chǔ)系統(tǒng)那樣每次只處理一個(gè)查找表，因此根據(jù)內(nèi)存的并行程度加快了查找速度。

然后，ORB（Oriented FASTand Rotated BRIEF）這種用來替代SIFT的高效算法將使用二進(jìn)制描述符來提取特征。ORB將方向的增加與FAST角點(diǎn)檢測器相結(jié)合，并旋轉(zhuǎn)BRIEF描述符，使其與角方向?qū)R。二進(jìn)制描述符與FAST和HarrisCorner等輕量級(jí)函數(shù)相結(jié)合產(chǎn)生了一個(gè)計(jì)算效率非常高而且相當(dāng)準(zhǔn)確的描述圖。

CNN：嵌入式平臺(tái)目標(biāo)識(shí)別的下一個(gè)前沿領(lǐng)域

配有攝像頭的智能手機(jī)、平板電腦、可穿戴設(shè)備、監(jiān)控系統(tǒng)和汽車系統(tǒng)采用智能視覺功能將這個(gè)行業(yè)帶到了一個(gè)十字路口，需要更先進(jìn)的算法來實(shí)現(xiàn)計(jì)算密集型應(yīng)用，從而提供更能根據(jù)周邊環(huán)境智能調(diào)整的用戶體驗(yàn)。因此，需要再一次降低計(jì)算復(fù)雜度來適應(yīng)這些移動(dòng)和嵌入式設(shè)備中使用的強(qiáng)大算法的嚴(yán)苛要求。

不可避免地，對(duì)更高精度和更靈活算法的需求會(huì)催生出矢量加速深度學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)（CNN），用于分類、定位和檢測圖像中的目標(biāo)。例如，在使用交通標(biāo)志識(shí)別的情況下，基于CNN的算法在識(shí)別準(zhǔn)確度上勝過目前所有的目標(biāo)檢測算法。除了質(zhì)量高之外，CNN與傳統(tǒng)目標(biāo)檢測算法相比的主要優(yōu)點(diǎn)是，CNN的自適應(yīng)能力非常強(qiáng)。它可以在不改變算法代碼的情況下快速地被重新“訓(xùn)練（tuning）”以適應(yīng)新的目標(biāo)。因此，CNN和其他深度學(xué)習(xí)算法在不久的將來就會(huì)成為主流目標(biāo)檢測方法。

CNN對(duì)移動(dòng)和嵌入式設(shè)備有非常苛刻的計(jì)算要求。卷積是CNN計(jì)算的主要部分。CNN的二維卷積層允許用戶利用重疊卷積，通過對(duì)同一輸入同時(shí)執(zhí)行一個(gè)或多個(gè)過濾器來提高處理效率。所以，對(duì)于嵌入式平臺(tái)，設(shè)計(jì)師應(yīng)該能夠非常高效地執(zhí)行卷積，以充分利用CNN流。

事實(shí)上，CNN嚴(yán)格來說并不是一種算法，而是一種實(shí)現(xiàn)框架。它允許用戶優(yōu)化基本構(gòu)件塊，并建立一個(gè)高效的神經(jīng)網(wǎng)絡(luò)檢測應(yīng)用，因?yàn)镃NN框架是對(duì)每個(gè)像素逐一計(jì)算，而且逐像素計(jì)算是一種要求非?？量痰倪\(yùn)算，所以它需要更多的計(jì)算量。

不懈改進(jìn)視覺處理器

第6篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

Abstract： Classifier selection is the key factor for data classification. K-mean classifier， ISODATA classifier and SOFM neural network classifier are compared in computational complexity and classification performance. The experiments show that three kinds of classifiers cost equal time on the same image， but the self organizing feature map neural network classifier is optimal in classification performance.

關(guān)鍵詞： K-均值分類器；ISODATA分類器；SOFM神經(jīng)網(wǎng)絡(luò)分類器

Key words： K-mean classifier；ISODATA classifier；SOFM neural network classifier

中圖分類號(hào)：TP7 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1006-4311（2013）04-0182-02

0 引言

K-均值分類器、迭代自組織數(shù)據(jù)分類器和自組織特征映射神經(jīng)網(wǎng)絡(luò)分類器在遙感圖像分類方面應(yīng)用廣泛。王曉軍等人將非監(jiān)督K-均值分類用在合成孔徑雷達(dá)SAR圖像各極化通道上進(jìn)行參數(shù)估計(jì)[1]。包健等人將K-均值算法用于高光譜遙感影像的非監(jiān)督分類中，具有較強(qiáng)的實(shí)用性[2]。賈明明等人選取對(duì)氣候變化敏感的澳大利亞作為研究區(qū)。利用了ISODATA分類結(jié)果、NDVI閾值及其時(shí)間序列主成分分析特征量對(duì)研究區(qū)土地利用/覆被進(jìn)行分類[3]。李正金等人進(jìn)行了基于TM衛(wèi)星遙感技術(shù)和小麥估產(chǎn)模型的冬小麥產(chǎn)量監(jiān)測研究，采用優(yōu)化的ISODATA分類方法，結(jié)合人機(jī)交互式判讀解譯作物信息[4]。夏浩銘等提取地物在空間上的聯(lián)系，利用神經(jīng)網(wǎng)絡(luò)分類，獲得較好的地物分類精度[5]。文章闡述了三種分類器的工作原理，分析了三種分類器的計(jì)算復(fù)雜度和分類效果。

1 K-均值分類器

基本K-均值思想很簡單。首先，選擇k個(gè)初始聚類中心，其中k是目標(biāo)分類數(shù)目。每個(gè)樣本按照距離函數(shù)計(jì)算與所有聚類中心的距離，樣本加入到與之距離最短的聚類中心所在分組。新樣本加入后，更新該分組的聚類中心。重復(fù)訓(xùn)練和更新，直到每類的聚類中心不發(fā)生變化為止。當(dāng)分類數(shù)目已知時(shí)，利用K-均值分類方法能夠方便地計(jì)算出樣本聚類中心。但是在實(shí)際應(yīng)用中，分類數(shù)目可能無法估算，這在一定程度上限制了這種方法的應(yīng)用。

K-均值算法特點(diǎn)是每次調(diào)整樣本后，修改一次聚合中心和準(zhǔn)則值，當(dāng)考察完n個(gè)樣本后，一次迭代運(yùn)算完成，新的聚合中心和準(zhǔn)則值也計(jì)算出來。在迭代過程中，準(zhǔn)則值逐漸減小，直到它的最小值為止。如果在一次迭代前后，準(zhǔn)則值沒有變化，說明算法已經(jīng)收斂。

2 ISODATA分類器

ISODATA算法通過對(duì)樣本迭代來確定聚類的中心。每一次迭代時(shí)，首先是在不改變類別數(shù)目的情況下改變分類。然后將樣本平均矢量之差小于某一閾值的類別合并起來，根據(jù)樣本協(xié)方差矩陣來決定其分裂與否。主要環(huán)節(jié)是聚類、集群分裂和集群合并等處理。

ISODATA分類算法最優(yōu)迭代次數(shù)很難設(shè)定，一般遙感圖像的數(shù)據(jù)量大，若迭代誤差取值較小，分類也很難實(shí)現(xiàn)。沈照慶等人[6]以某次迭代中“合并”和“分裂”都為零為求最優(yōu)分類數(shù)的迭代條件，而不是預(yù)先設(shè)定迭代次數(shù)；取最大和最小隸屬度取代每一個(gè)隸屬度為比對(duì)特征值，提高了分類速度和精度；利用等效轉(zhuǎn)換研究隸屬度矩陣的迭代誤差變化規(guī)律，得出變化速度趨于穩(wěn)定時(shí)為求解最優(yōu)隸屬度矩陣的智能迭代控制，減少人為事先干預(yù)。

3 SOFM神經(jīng)網(wǎng)絡(luò)分類器

神經(jīng)網(wǎng)絡(luò)由被稱作神經(jīng)元的相互連接處理單元組成。自組織特征映射（Self-Organizing Feature Map，簡稱SOFM）網(wǎng)絡(luò)模擬大腦的神經(jīng)系統(tǒng)自組織特征映射的功能，在學(xué)習(xí)過程中不需要指導(dǎo)，進(jìn)行自組織學(xué)習(xí)。SOFM網(wǎng)絡(luò)可用于圖像壓縮、語言識(shí)別、機(jī)器學(xué)習(xí)和優(yōu)化問題等。

訓(xùn)練SOFM網(wǎng)絡(luò)時(shí)首先初始化連接權(quán)重為小的隨機(jī)數(shù)，訓(xùn)練開始后，輸入向量送入網(wǎng)絡(luò)。每輸入一個(gè)樣本矢量，各神經(jīng)元的加權(quán)和中必然有一個(gè)最大值，經(jīng)過側(cè)反饋?zhàn)饔茫谧畲笾迭c(diǎn)周圍連接權(quán)重自適應(yīng)調(diào)節(jié)。SOFM網(wǎng)絡(luò)已經(jīng)證明，網(wǎng)絡(luò)通過反復(fù)學(xué)習(xí)輸入模式，可使連接加權(quán)矢量空間分布密度與輸入模式的概率分布趨于一致，也就是連接權(quán)矢量空間分布能反應(yīng)輸入模式的統(tǒng)計(jì)特征。訓(xùn)練好的網(wǎng)絡(luò)在競爭層產(chǎn)生了一個(gè)或幾個(gè)最大輸出，它們?cè)诟偁帉又械奈恢梅从沉溯斎胂蛄吭谧陨砜臻g的特征。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)選取2003年青島市一景SPOT5圖像作為數(shù)據(jù)源，截取城鄉(xiāng)結(jié)合部某地作為實(shí)驗(yàn)區(qū)域，實(shí)驗(yàn)區(qū)域在紅波波段顯示為圖1（a）。對(duì)于實(shí)驗(yàn)區(qū)的遙感圖像分別采用上述分類器進(jìn)行地物分類實(shí)驗(yàn)。

用ENVI 4.3的分類功能根據(jù)K-均值算法分類。參數(shù)設(shè)置為：分類數(shù)量15（一般為最終輸出分類數(shù)的2-3倍），最大迭代次數(shù)為40（默認(rèn)是15），其它參數(shù)取默認(rèn)值。K-均值關(guān)注的是不同波段的灰度信息，系統(tǒng)自動(dòng)分類時(shí)，得到的分類數(shù)目為八類，結(jié)果如圖1（b）所示。從分類結(jié)果上可以看出，K-均值分類算法對(duì)水體的分類效果較好，水體用紅色表示，不但能分出主河道而且顯示出在耕地中有一條灌溉溝渠。綠地在分類圖中用綠色表示，圖上中部的綠地分類正確，但在河道附近，部分耕地錯(cuò)分為綠地了。耕地被分為藍(lán)色、黃色和暗綠色三類。反射系數(shù)高的南北方向道路和屋頂較亮的廠房被歸為一類，東西走向的道路兩邊毛刺現(xiàn)象嚴(yán)重。建筑物錯(cuò)分率也較高。

在ENVI 4.3環(huán)境下，利用ISODATA算法分類。參數(shù)設(shè)置為：類別數(shù)范圍[5-15]（一般最小數(shù)量不能小于最終分類數(shù)，最大數(shù)量為最終分類數(shù)量的2-3倍），最大迭代次數(shù)為40（默認(rèn)是15），其它參數(shù)取默認(rèn)值，結(jié)果見圖1（c）。從分類結(jié)果上看，ISODATA分類算法對(duì)灰度值一致性好的水體分類效果較好，水體用紅色表示。能區(qū)分出主河道而且顯示出在耕地中有一條灌溉溝渠，但將圖像下方，靠近南北走向的道路的一間面積較大的廠房錯(cuò)分為水體。綠地在分類圖中用綠色表示，圖上中部的綠地分類正確較好，但在河道附近，相當(dāng)一部分耕地錯(cuò)分為綠地了。耕地分類效果表較好，但有部分錯(cuò)分為綠地。東西走向的道路線條比較連貫，兩邊有點(diǎn)毛刺現(xiàn)象，但不嚴(yán)重。的空地用粉紅色表示，居民區(qū)是暗綠色，部分工廠廠房的屋頂錯(cuò)分為水體。

SOFM網(wǎng)絡(luò)利用MATLAB中的神經(jīng)網(wǎng)絡(luò)工具箱實(shí)現(xiàn)。設(shè)定SOFM網(wǎng)絡(luò)的輸入矢量各維的數(shù)據(jù)范圍是像素灰度在[1，32]之間，鄰域像素卷積[25，800]之間，學(xué)習(xí)率為0.9，距離函數(shù)是歐氏距離函數(shù)，訓(xùn)練步長是5000。輸入訓(xùn)練樣本，每類500個(gè)，5類共2500個(gè)樣本，距離為5類，每類表征一種地物類型。網(wǎng)絡(luò)對(duì)類型的定義儲(chǔ)存在訓(xùn)練網(wǎng)絡(luò)中。利用訓(xùn)練好的網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)圖像所有像元進(jìn)行分類。分類結(jié)果用灰度圖像表示，像素的顏色代表分類的類型，像素的位置對(duì)于測試圖像同位置的地物，如圖1（d）所示。白色表示道路，淺灰表示建筑物，灰色表示綠地，深灰表示耕地，黑色表示水體。從分類結(jié)果圖上看，縱橫貫穿郊區(qū)的主干道和樓區(qū)內(nèi)的道路基本能夠正確分類。由于反射系數(shù)與道路相近，工廠廠房的屋頂也被錯(cuò)分為道路。建筑物、耕地和綠地總體上分類正確。水體的分類結(jié)果令人滿意，主水道和灌溉的溝渠都能清楚地分出。分類器處理樣本圖像的時(shí)間接近，都是20分鐘左右。

5 總結(jié)

K-均值分類中耕地被分三類，道路兩邊毛刺現(xiàn)象嚴(yán)重，建筑物錯(cuò)分率也較高，分類效果最差。SOFM網(wǎng)絡(luò)對(duì)道路、水體、耕地和綠地總體上分類正確，分類正確率最高。ISODATA分類對(duì)水體、耕地、道路分類基本正確，建筑物錯(cuò)分較多。

參考文獻(xiàn)：

[1]王曉軍，王鶴磊，李連華，孟藏珍，馬寧.基于C均值分類的極化SAR圖像白化斑點(diǎn)濾波方法[J].系統(tǒng)工程與電子技術(shù)，

2008，30（12）：2389-2392.

[2]包健，厲小潤.K均值算法實(shí)現(xiàn)遙感圖像的非監(jiān)督分類.機(jī)電工程，2008，25（3）：77-80.

[3]賈明明，劉殿偉，宋開山，王宗明，姜廣甲，杜嘉，曾麗紅.基于MODIS時(shí)序數(shù)據(jù)的澳大利亞土地利用/覆被分類與驗(yàn)證.遙感

技術(shù)與應(yīng)用，2010，25（3）：379-386.

[4]李正金，李衛(wèi)國，申雙.基于ISODATA法的冬小麥產(chǎn)量分級(jí)監(jiān)測預(yù)報(bào).遙感應(yīng)用，2009，8：30-32.

第7篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

前 言

雖然目前公眾媒體將無線通信炒的很熱，但這個(gè)領(lǐng)域從1897年馬可尼成功演示無線電波開始，已經(jīng)有超過一百年的歷史。到1901年就實(shí)現(xiàn)了跨大西洋的無線接收，表明無線通信技術(shù)曾經(jīng)有過一段快速發(fā)展時(shí)期。在之后的幾十年中，眾多的無線通信系統(tǒng)生生滅滅。

20世紀(jì)80年代以來，全球范圍內(nèi)移動(dòng)無線通信得到了前所未有的發(fā)展，與第三代移動(dòng)通信系統(tǒng)（3g）相比，未來移動(dòng)通信系統(tǒng)的目標(biāo)是，能在任何時(shí)間、任何地點(diǎn)、向任何人提供快速可靠的通信服務(wù)。因此，未來無線移動(dòng)通信系統(tǒng)應(yīng)具有高的數(shù)據(jù)傳輸速度、高的頻譜利用率、低功耗、靈活的業(yè)務(wù)支撐能力等。但無線通信是基于電磁波在自由空間的傳播來實(shí)現(xiàn)信息傳輸?shù)?。信?hào)在無線信道中傳輸時(shí)，無線頻率資源受限、傳輸衰減、多徑傳播引起的頻域選擇性衰落、多普勒頻移引起的時(shí)間選擇性衰落以及角度擴(kuò)展引起的空間選擇性衰落等都使得無線鏈路的傳輸性能差。和有線通信相比，無線通信主要由兩個(gè)新的問題。一是通信行道經(jīng)常是隨時(shí)間變化的，二是多個(gè)用戶之間常常存在干擾。無線通信技術(shù)還需要克服時(shí)變性和干擾本文由收集由于這個(gè)原因，無線通信中的信道建模以及調(diào)制編碼方式都有所不同。

1.無線數(shù)字通信中盲源分離技術(shù)分析

盲源分離（bss：blind source separation），是信號(hào)處理中一個(gè)傳統(tǒng)而又極具挑戰(zhàn)性的問題，bss指僅從若干觀測到的混合信號(hào)中恢復(fù)出無法直接觀測的各個(gè)原始信號(hào)的過程，這里的“盲”，指源信號(hào)不可測，混合系統(tǒng)特性事先未知這兩個(gè)方面。在科學(xué)研究和工程應(yīng)用中，很多觀測信號(hào)都可以看成是多個(gè)源信號(hào)的混合，所謂“雞尾酒會(huì)”問題就是個(gè)典型的例子。其中獨(dú)立分量分析ica（independent component analysis）是一種盲源信號(hào)分離方法，它已成為陣列信號(hào)處理和數(shù)據(jù)分析的有力工具，而bss比ica適用范圍更寬。目前國內(nèi)對(duì)盲信號(hào)分離問題的研究，在理論和應(yīng)用方面取得了很大的進(jìn)步，但是還有很多的問題有待進(jìn)一步研究和解決。盲源分離是指在信號(hào)的理論模型和源信號(hào)無法精確獲知的情況下，如何從混迭信號(hào)（觀測信號(hào)）中分離出各源信號(hào)的過程。盲源分離和盲辨識(shí)是盲信號(hào)處理的兩大類型。盲源分離的目的是求得源信號(hào)的最佳估計(jì)，盲辨識(shí)的目的是求得傳輸通道混合矩陣。盲源信號(hào)分離是一種功能強(qiáng)大的信號(hào)處理方法，在生物醫(yī)學(xué)信號(hào)處理，陣列信號(hào)處理，語音信號(hào)識(shí)別，圖像處理及移動(dòng)通信等領(lǐng)域得到了廣泛的應(yīng)用。

根據(jù)源信號(hào)在傳輸信道中的混合方式不同，盲源分離算法分為以下三種模型：線性瞬時(shí)混合模型、線性卷積混合模型以及非線性混合模型。

1.1 線性瞬時(shí)混合盲源分離

線性瞬時(shí)混合盲源分離技術(shù)是一項(xiàng)產(chǎn)生、研究最早，最為簡單，理論較為完善，算法種類多的一種盲源分離技術(shù)，該技術(shù)的分離效果、分離性能會(huì)受到信噪比的影響。盲源分離理論是由雞尾酒會(huì)效應(yīng)而被人們提出的，雞尾酒會(huì)效應(yīng)指的是雞尾酒會(huì)上，有音樂聲、談話聲、腳步 聲、酒杯餐具的碰撞聲等，當(dāng)某人的注意集中于欣賞音樂或別人的談話，對(duì)周圍的嘈雜聲音充耳不聞時(shí)，若在另一處有人提到他的名字，他會(huì)立即有所反應(yīng)，或者朝 說話人望去，或者注意說話人下面說的話等。該效應(yīng)實(shí)際上是聽覺系統(tǒng)的一種適應(yīng)能力。當(dāng)盲源分離理論提出后很快就形成了線性瞬時(shí)混合模型。線性瞬時(shí)混合盲源分離技術(shù)是對(duì)線性無記憶系統(tǒng)的反應(yīng)，它是將n個(gè)源信號(hào)在線性瞬時(shí)取值混合后，由多個(gè)傳感器進(jìn)行接收的分離模型。

20世紀(jì)八、九十年代是盲源技術(shù)迅猛發(fā)展的時(shí)期，在1986年由法國和美國學(xué)者共同完了將兩個(gè)相互獨(dú)立的源信號(hào)進(jìn)行混合后實(shí)現(xiàn)盲源分離的工作，這一工作的成功開啟了盲源分離技術(shù)的發(fā)展和完善。在隨后的數(shù)十年里對(duì)盲源技術(shù)的研究和創(chuàng)新不斷加深，在基礎(chǔ)理論的下不斷有新的算法被提出和運(yùn)用，但先前的算法不能夠完成對(duì)兩個(gè)以上源信號(hào)的分離；之后在1991年，法國學(xué)者首次將神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用到盲源分離問題當(dāng)中，為盲源分離提出了一個(gè)比較完整的數(shù)學(xué)框架。到了1995年在神經(jīng)網(wǎng)絡(luò)技術(shù)基礎(chǔ)上盲源分離技術(shù)有了突破性的進(jìn)展，一種最大化的隨機(jī)梯度學(xué)習(xí)算法可以做到同時(shí)分辨出10人的語音，大大推動(dòng)了盲源分離技術(shù)的發(fā)展進(jìn)程。

1.2 線性卷積混合盲源分離

相比瞬時(shí)混合盲源分離模型來說，卷積混合盲源分離模型更加復(fù)雜。在線性瞬時(shí)混合盲源分離技術(shù)不斷發(fā)展應(yīng)用的同時(shí)，應(yīng)用中也有無法準(zhǔn)確估計(jì)源信號(hào)的問題出現(xiàn)。常見的是在通信系統(tǒng)中的問題，通信系統(tǒng)中由于移動(dòng)客戶在使用過程中具有移動(dòng)性，移動(dòng)用戶周圍散射體會(huì)發(fā)生相對(duì)運(yùn)動(dòng)，或是交通工具發(fā)生的運(yùn)動(dòng)都會(huì)使得源信號(hào)在通信環(huán)境中出現(xiàn)時(shí)間延遲的現(xiàn)象，同時(shí)還造成信號(hào)疊加，產(chǎn)生多徑傳輸。正是因?yàn)檫@樣問題的出現(xiàn)，使得觀測信號(hào)成為源信號(hào)與系統(tǒng)沖激響應(yīng)的卷積，所以研究學(xué)者將信道環(huán)境抽象成為線性卷積混合盲源分離模型。線性卷積混合盲源分離模型按照其信號(hào)處理空間域的不同可分為時(shí)域、頻域和子空間方法。

1.3 非線性混合盲源分離

非線性混合盲源分離技術(shù)是盲源分離技術(shù)中發(fā)展、研究最晚的一項(xiàng)，許多理論和算法都還不算成熟和完善。在衛(wèi)星移動(dòng)通信系統(tǒng)中或是麥克風(fēng)錄音時(shí)，都會(huì)由于乘性噪聲、放大器飽和等因素的影響造成非線性失真。為此，就要考慮非線性混合盲源分離模型。非線性混合模型按照混合形式的不同可分為交叉非線性混合、卷積后非線性混合和線性后非線性混合模型三種類型。在最近幾年里非線性混合盲源分離技術(shù)受到社會(huì)各界的廣泛關(guān)注，特別是后非線性混合模型。目前后非線性混合盲源分離算法中主要有參數(shù)化方法、非參數(shù)化方法、高斯化方法來抵消和補(bǔ)償非線性特征。

2.無線通信技術(shù)中的盲源分離技術(shù)

在無線通信系統(tǒng)中通信信號(hào)的信號(hào)特性參數(shù)復(fù)雜多變，實(shí)現(xiàn)盲源分離算法主要要依據(jù)高階累積量和峭度兩類參數(shù)。如圖一所示，這是幾個(gè)常見的通信信號(hào)高階累積量。

在所有的通信系統(tǒng)中，接收設(shè)備處總是會(huì)出現(xiàn)白色或是有色的高斯噪聲，以高階累積量為準(zhǔn)則的盲源分離技術(shù)在處理這一問題時(shí)穩(wěn)定性較強(qiáng)，更重要的是對(duì)不可忽略的加性高斯白噪聲分離算法同時(shí)適用。因此，由高階累積量為準(zhǔn)則的盲源分離算法在通信系統(tǒng)中優(yōu)勢(shì)明顯。

分離的另一個(gè)判據(jù)就是峭度，它是反映某個(gè)信號(hào)概率密度函數(shù)分布情況與高斯分布的偏離程度的函數(shù)。峭度是由信號(hào)的高階累積量定義而來的，是度量信號(hào)概率密度分布非高斯性大小的量值。

第8篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

【關(guān)鍵詞】系統(tǒng)故障預(yù)測 模型 數(shù)據(jù)

現(xiàn)階段，針對(duì)系統(tǒng)故障預(yù)測方面的研究幾乎為零，傳統(tǒng)的做法一般主要是依靠科研人員通過人工分析采集到的數(shù)據(jù)，結(jié)合積累的經(jīng)驗(yàn)等進(jìn)行簡單粗略的估計(jì)，而無法做到實(shí)際意義上的故障預(yù)測，且這類傳統(tǒng)的方法往往需要耗費(fèi)巨大的人力、物力成本，同時(shí)預(yù)測的周期短、精度差、準(zhǔn)確性低，可靠性和實(shí)時(shí)性得不到保證，往往無法得到令人滿意的效果。

為實(shí)現(xiàn)真正意義上的系統(tǒng)的故障預(yù)測，同時(shí)克服上述傳統(tǒng)方法的弊端，針對(duì)高復(fù)雜度、高集成度的綜合系統(tǒng)，開展自主學(xué)習(xí)的故障預(yù)測技術(shù)研究具有極其重要的意義。該研究能夠進(jìn)一步推動(dòng)故障預(yù)測技術(shù)在復(fù)雜系統(tǒng)乃至航天等各領(lǐng)域內(nèi)的實(shí)踐和應(yīng)用，為進(jìn)一步研究故障預(yù)測技術(shù)打下基礎(chǔ)。

1 故障預(yù)測的國內(nèi)外研究現(xiàn)狀

關(guān)于故障預(yù)測方面的研究國外已有一定的成果，但其在許多領(lǐng)域的應(yīng)用并不完善，而國內(nèi)在這方面的研究尚處于起步和探索階段。

以系統(tǒng)運(yùn)行各狀態(tài)為基礎(chǔ)，采用人工智能領(lǐng)域中深度置信網(wǎng)絡(luò)（DBN）高效的深度學(xué)習(xí)算法構(gòu)建故障的預(yù)測模型，從而實(shí)現(xiàn)系統(tǒng)故障的有效預(yù)測。

國外率先對(duì)復(fù)雜系統(tǒng)進(jìn)行故障預(yù)測研究是20世紀(jì)70年代Saeks等人，他們所研究的是系統(tǒng)中出現(xiàn)故障的征兆，由于這種征兆幅值很小，還沒有對(duì)系統(tǒng)造成破壞，所以很難用一般的方法辨別出，因此發(fā)展一直很緩慢，一度陷入困境。Khoshgoftaar等人在1992年提出了用神經(jīng)網(wǎng)絡(luò)來訓(xùn)練神經(jīng)元進(jìn)行軟件系統(tǒng)的故障測定，這種經(jīng)過訓(xùn)練的模型的優(yōu)勢(shì)在于對(duì)故障的趨勢(shì)預(yù)測。2007年國際空間站的飛行控制委員會(huì)通過監(jiān)測國際空間站上4個(gè)陀螺儀的若干參數(shù)提前數(shù)月預(yù)測和發(fā)現(xiàn)某個(gè)陀螺儀的失效故障，從而能夠及時(shí)切換以保障空間站的正常運(yùn)行。

我國在故障預(yù)測方面的研究較晚，目前尚處于理論研究階段。如2003年重慶大學(xué)的孫才新院士及其課題組利用模糊數(shù)學(xué)中的灰色模型研究了電力系統(tǒng)故障的預(yù)測問題。2005年，南京理工大學(xué)的秦俊奇以大口徑火炮為研究對(duì)象，運(yùn)用先進(jìn)的動(dòng)態(tài)模糊綜合評(píng)判理論和多Agent并行推理技術(shù)，在對(duì)火炮進(jìn)行詳細(xì)故障分析的基礎(chǔ)上，對(duì)故障預(yù)測技術(shù)進(jìn)行了系統(tǒng)的理論和應(yīng)用研究并建立了相應(yīng)的故障預(yù)測模型。近幾年P(guān)HM技術(shù)也受到了軍事及航天等領(lǐng)域越來越多的重視，北京航空航天大學(xué)可靠性工程研究所、航空643所、哈爾濱工業(yè)大學(xué)等研究機(jī)構(gòu)從設(shè)備監(jiān)控衰退規(guī)律、故障預(yù)測模型、健康管理技術(shù)等方面對(duì)PHM技術(shù)進(jìn)行了較多跟蹤研究。

2 模型建立方法及需要解決的關(guān)鍵技術(shù)

2.1 模型建立方法

建立自主學(xué)習(xí)模型時(shí)，采用數(shù)據(jù)挖掘的方法對(duì)系統(tǒng)大量的歷史數(shù)據(jù)進(jìn)行分析，同時(shí)并結(jié)合數(shù)據(jù)融合及維度變換設(shè)計(jì)特征集的分類器以提取和建立特征參數(shù)，建立其對(duì)應(yīng)的特征指標(biāo)參數(shù)體系，通過傳感器網(wǎng)絡(luò)采集獲得參數(shù)，并對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理以提取出有效數(shù)據(jù)，再將有效數(shù)據(jù)作為深度學(xué)習(xí)的數(shù)據(jù)基礎(chǔ)，經(jīng)過反復(fù)的訓(xùn)練和學(xué)習(xí)，以建立相關(guān)的故障預(yù)測模型，再應(yīng)用測試驗(yàn)證系統(tǒng)進(jìn)行反復(fù)驗(yàn)證、調(diào)整，最終建立故障預(yù)測的學(xué)習(xí)模型。

2.2 建立學(xué)習(xí)模型的關(guān)鍵技術(shù)

2.2.1 系統(tǒng)特征參數(shù)體系的建立

針對(duì)某系統(tǒng)，依據(jù)一定的原則，利用主觀或客觀的方法建立相互獨(dú)立、能夠敏感反映整個(gè)系統(tǒng)的各項(xiàng)指標(biāo)參數(shù)，即表征系統(tǒng)的特征集，如工作、性能、功能、環(huán)境等參數(shù)，常用的方法包括數(shù)據(jù)挖掘、基于貝葉斯理論的信息融合、多維度數(shù)據(jù)變換等。

2.2.2 通過機(jī)器自主深度學(xué)習(xí)建立相應(yīng)的模型

研究和借鑒國內(nèi)外關(guān)于深度學(xué)習(xí)、故障預(yù)測方面的理論和成果，尤其關(guān)注深度學(xué)習(xí)在預(yù)測及多特征量預(yù)測方面的應(yīng)用，在此基礎(chǔ)上結(jié)合系統(tǒng)的特征參數(shù)、各類故障和非故障模式狀態(tài)的特點(diǎn)，提出一種深度學(xué)習(xí)算法，通過學(xué)習(xí)和訓(xùn)練建立相應(yīng)的故障預(yù)測模型，利用驗(yàn)證系統(tǒng)和實(shí)際系統(tǒng)的應(yīng)用數(shù)據(jù)，通過逐層反復(fù)學(xué)習(xí)和訓(xùn)練設(shè)定模型的最優(yōu)初始化參數(shù)，并以自頂向下的監(jiān)督算法進(jìn)行調(diào)整使得模型收斂，從而實(shí)現(xiàn)故障預(yù)測、深度學(xué)習(xí)與系統(tǒng)應(yīng)用相結(jié)合。主要的自主學(xué)習(xí)技術(shù)包括卷積神經(jīng)網(wǎng)絡(luò)、深度波爾茲曼機(jī)模型、深度置信網(wǎng)絡(luò)等。

2.2.3 多維度數(shù)據(jù)分析方法的研究

針對(duì)測試數(shù)據(jù)與監(jiān)測數(shù)據(jù)的獨(dú)立性，擬采用貝葉斯方法對(duì)數(shù)據(jù)進(jìn)行融合，建立一種基于異構(gòu)空間的數(shù)據(jù)模型，再結(jié)合特征提取與特征抽象，對(duì)多維度數(shù)據(jù)進(jìn)行分析。

3 總結(jié)

通過對(duì)現(xiàn)有數(shù)據(jù)的分析，提取故障特征信息，建立故障特征信息庫，構(gòu)造一個(gè)多層的人工神經(jīng)網(wǎng)絡(luò)模型，通過模型層次的分析獲得樣本的本質(zhì)表示，結(jié)合故障注入的方法，提出故障注入的方案，利用故障注入驗(yàn)證自主學(xué)習(xí)方法。

再結(jié)合多維度數(shù)分析方法，建立多維度數(shù)據(jù)模型，同樣利用故障注入技術(shù)，建立多維度數(shù)據(jù)的故障信息，通過狀態(tài)預(yù)測模型進(jìn)行故障預(yù)測，結(jié)合注入的故障信息，對(duì)故障預(yù)測的結(jié)論進(jìn)行反饋和確認(rèn)。最終確立自主學(xué)習(xí)模型，達(dá)到系統(tǒng)故障預(yù)測的目的。

參考文獻(xiàn)

[1]朱大奇.航空電子設(shè)備故障診斷技術(shù)研究[D].南京：南京航空航天大學(xué)，2002：1-3.

[2]彭俊杰，洪炳，袁成軍.軟件實(shí)現(xiàn)的星載系統(tǒng)故障注入技術(shù)研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2004，36（07）：934-936.

[3]張寶珍.先進(jìn)的診斷和預(yù)測技術(shù)[J].裝備質(zhì)量，2001.

[4]Baroth E，Powers W T，F(xiàn)ox J.IVHM（integrated vehicle health management）techniques for future space vehicles[J].37thJoint Propulsion Conference & Exhibit，2001.

[5]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國圖像形象學(xué)報(bào)，2014（02）：175-184.

[6]郭麗麗，丁世飛.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)科學(xué)，2015，42（05）：28-33.

第9篇：卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)過程范文

關(guān)鍵詞： 情感分析； 情感傾向性； 詞典擴(kuò)充； 電力客服工單； 主動(dòng)服務(wù)

中圖分類號(hào)： TN915.853?34； V249 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）11?0163?04

Dictionary expansion based sentiment tendency analysis of power customer service order

GU Bin， PENG Tao， CHE Wei

（State Grid Jiangsu Electric Power Company， Nanjing 210000， China）

Abstract： In order to improve the customer satisfaction and active service consciousness of the electric power enterprises effectively， the textual characteristic of the power customer service order is combined to construct the sentiment analysis model of the power customer service order. The keywords of the service order are extracted according to TF?IDF thought. The word2vec training is used to get the word vector of each word. The cosine similarity is calculated to expand the high similarity field vocabulary to the sentiment dictionary. The service order sentiment analysis and text classification are performed. The validity of the method is verified with experimental analysis. The results show that， in comparison with the original sentiment dictionary， the method of dictionary expansion and service order sentiment tendency analysis is superior， has higher accuracy， and can provide a certain reference significance for the customer relation management of power enterprise.

Keywords： sentiment analysis； sentiment tendency； dictionary expansion； power customer service order； active service

0 引 言

隨著電力體制改革的逐步深化，配電市場競爭不斷加劇，迫切需要供電企業(yè)改變傳統(tǒng)的思維方式和工作模式，進(jìn)一步樹立市場化服務(wù)意識(shí)，從客戶需求出發(fā)，挖掘客戶的潛在需求和內(nèi)在價(jià)值，從而提升客戶滿意度和運(yùn)營效益。作為與客戶交流、溝通的重要窗口，電力企業(yè)95598客服系統(tǒng)記錄了海量的客戶信息，若能徹底挖掘客服工單中的客戶特征、情感信息并了解客戶的關(guān)注焦點(diǎn)，對(duì)電力企業(yè)和客戶都將具有十分重要的意義[1]。

電力客服工單情感傾向性分析可以有效地發(fā)掘客戶情感信息和需求，可根據(jù)客戶情感傾向性識(shí)別潛在的投訴客戶，可根據(jù)反饋信息判別某項(xiàng)業(yè)務(wù)的實(shí)施效果等。針對(duì)文本情感傾向性分析，現(xiàn)有的理論研究比較側(cè)重于文本特征提取以及采用機(jī)器學(xué)習(xí)方法對(duì)文本進(jìn)行分類，但是基于具體業(yè)務(wù)特征進(jìn)行情感詞典擴(kuò)充的研究還比較少，導(dǎo)致情感傾向性計(jì)算往往會(huì)存在一定的差異，因此，根據(jù)電力行業(yè)的特c，進(jìn)行客戶服務(wù)工單情感詞典擴(kuò)充及情感傾向性的研究非常有必要。

情感分析是指利用文本挖掘、機(jī)器學(xué)習(xí)技術(shù)分析挖掘隱藏在文本中的情感信息，并將其分類為積極情感態(tài)度和消極情感態(tài)度[2]。目前，國內(nèi)外關(guān)于文本情感傾向性分析已經(jīng)進(jìn)行了較多的研究工作[3?7]，文獻(xiàn)[3]基于情感詞間的點(diǎn)互信息和上下文約束，提出一種兩階段的領(lǐng)域情感詞典構(gòu)建算法，提升了情感詞情感傾向的識(shí)別能力。文獻(xiàn)[4]研究了基于矩陣投影（MP）和歸一化向量（NLV）的文本分類算法，實(shí)現(xiàn)對(duì)商品評(píng)價(jià)的情感分析，不僅可以有效識(shí)別商品評(píng)論情感性傾向，而且提升了識(shí)別效率。文獻(xiàn)[5]將詞級(jí)別向量和字級(jí)別向量作為原始特征，采用卷積神經(jīng)網(wǎng)絡(luò)提取文本特征并進(jìn)行情感傾向性分析，結(jié)果表明字級(jí)別向量可取得較高的準(zhǔn)確率。文獻(xiàn)[6]提出一種詞圖模型的方法，利用PageRank算法得到情感詞的褒貶權(quán)值，并將其作為條件隨機(jī)場模型特征預(yù)測情感詞傾向，提升了具體語境下預(yù)測的準(zhǔn)確性，但是針對(duì)文本數(shù)量較大的情況準(zhǔn)確率較低。文獻(xiàn)[7]結(jié)合句子結(jié)構(gòu)上下文語義關(guān)聯(lián)信息，提出一種基于深度神經(jīng)網(wǎng)絡(luò)的跨文本粒度情感分類模型，提升了分類準(zhǔn)確率，但該方法只適應(yīng)于特定領(lǐng)域，泛化能力較低。

鑒于以上研究現(xiàn)狀，本文以電力客戶服務(wù)領(lǐng)域文本特征為突破口，構(gòu)建了電力客服工單情感分析模型，基于工單關(guān)鍵詞提取對(duì)原始的情感詞典進(jìn)行擴(kuò)充，并對(duì)工單情感傾向性進(jìn)行分析，最后，通過算例應(yīng)用驗(yàn)證了本文所提方法的有效性。

1 相關(guān)工作

1.1 情感分類

情感分類技術(shù)的主要目標(biāo)是基于文本數(shù)據(jù)識(shí)別用戶所表達(dá)的情感信息，并將文本數(shù)據(jù)分為正類和負(fù)類。當(dāng)前，針對(duì)情感分類的研究，主要從監(jiān)督學(xué)習(xí)、基于規(guī)則方法、跨領(lǐng)域情感分析等方面展_研究，與此同時(shí)，針對(duì)文本特征的提取和特征情感判別是情感分類研究的兩個(gè)關(guān)鍵問題。

1.2 Word2vec介紹

word2vec是Google在2013年開源的一款將詞表征為實(shí)數(shù)值向量（word vector）的高效工具，采用的模型有CBOW（Continuous Bag?of?Words，即連續(xù)的詞袋模型）和Skip?Gram兩種，word2vec采用的是Distributed Representation的詞向量表示方式，經(jīng)過對(duì)輸入集數(shù)據(jù)進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)將文本詞匯轉(zhuǎn)換為維空間向量，然后基于空間向量相似度來表達(dá)文本語義相似度，模型輸出結(jié)果可用于自然語言處理領(lǐng)域相關(guān)工作，比如文本聚類、詞典擴(kuò)充、詞性分析等。

word2vec生成詞向量的基本思想來源于NNLM（Neural Network Language Model）模型，其采用一個(gè)三層神經(jīng)網(wǎng)絡(luò)構(gòu)建語言模型，假設(shè)某個(gè)詞的出現(xiàn)只與前個(gè)詞相關(guān)，其原理示意圖如圖1所示。

圖1中，最下方的為前個(gè)輸入詞，并根據(jù)其預(yù)測下一個(gè)詞每個(gè)輸入詞被映射為一個(gè)向量，為詞語的詞向量。網(wǎng)絡(luò)的第一層（輸入層）為輸入詞語組成的維向量網(wǎng)絡(luò)第二層（隱藏層）計(jì)算為偏置因子，使用激活函數(shù)tanh；網(wǎng)絡(luò)第三層（輸出層）包含個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)表示下一詞的未歸一化log概率，并使用softmax激活函數(shù)將輸出值歸一化，最后使用隨機(jī)梯度下降法對(duì)模型進(jìn)行優(yōu)化。

圖1 NNLM原理模型圖

模型的目標(biāo)函數(shù)為：

需要滿足的約束條件為：

2 電力客服工單情感分析模型

本文以某電力公司客服工單數(shù)據(jù)為研究對(duì)象，在深入理解電力業(yè)務(wù)及工單文本語義特點(diǎn)的基礎(chǔ)上，建立了一種電力客服工單情感分析模型。首先，在進(jìn)行文本預(yù)處理的基礎(chǔ)上，對(duì)文本進(jìn)行分詞處理并且完成關(guān)鍵詞提?。蝗缓?，采用word2vec訓(xùn)練工單數(shù)據(jù)，并基于關(guān)鍵詞進(jìn)行情感詞典擴(kuò)充，構(gòu)建電力客服領(lǐng)域?qū)Ｓ们楦性~典；最后，進(jìn)行工單情感傾向性分析。

2.1 工單文本預(yù)處理

由于工單文本數(shù)據(jù)中存在大量價(jià)值含量較低甚至沒有價(jià)值意義的數(shù)據(jù)，在進(jìn)行分詞、情感分析中會(huì)對(duì)結(jié)果產(chǎn)生較大的影響，那么在文本挖掘之前就必須先進(jìn)行文本預(yù)處理，去除大量沒有挖掘意義的工單數(shù)據(jù)。工單文本預(yù)處理工作主要包括：刪除未標(biāo)注業(yè)務(wù)類型數(shù)據(jù)、分句處理、文本去重、短句刪除等。

分句處理：將工單數(shù)據(jù)處理成以句子為最小單位，以句尾標(biāo)點(diǎn)符號(hào)為標(biāo)志分割，包括“，”，“?！?，“；”，“！”等符號(hào)。

文本去重：就是去除工單數(shù)據(jù)中重復(fù)的部分，常用的方法有觀察比較刪除法、編輯距離去重法、Simhash算法去重等。

短句刪除：刪除過短的文本，如“還可以”，“非常好”等，設(shè)置文本字符數(shù)下限為10個(gè)國際字符。

2.2 電力客戶服務(wù)領(lǐng)域情感詞典構(gòu)建

2.2.1 分詞

本文采用python的jieba分詞工具對(duì)數(shù)據(jù)集進(jìn)行分詞，并完成詞性標(biāo)注和去除停用詞，由于情感分析通常由名詞、形容詞、副詞和連詞等反映出來，因此刪除詞性為動(dòng)詞的詞匯。jieba中文分詞工具包包含三種分詞模式：精確模式、全模式和搜索引擎模式，綜合分詞效果及后文的研究，本文選擇精確模式進(jìn)行分詞，三種模式的分詞效果如表1所示。

另外，在實(shí)際的分詞過程中，出現(xiàn)了個(gè)別分詞結(jié)果與實(shí)際的語義不符，原因是字典中缺少相關(guān)的專有名詞，或者是這些詞語的詞頻較低，比如“客戶/咨詢/抄/表示/數(shù)等/信息”，“客戶/查戶/號(hào)”，“變壓器/重/過載”，“查/分/時(shí)/電價(jià)”等，因此，需要對(duì)原有詞典進(jìn)行更新。python中采用jieba.load_userdict（dict.txt）語句添加自定義詞典，其中dict.txt是保存字典內(nèi)容的文件，其格式為每一行分三部分：一部分為詞語；另一部分為詞頻；最后為詞性（可省略），用空格隔開。

2.2.2 關(guān)鍵詞提取

構(gòu)建電力客戶服務(wù)領(lǐng)域?qū)偾楦性~典，需要盡可能保證領(lǐng)域詞典的多樣性，關(guān)鍵詞的提取要求一方面能夠盡量反應(yīng)出這個(gè)特征項(xiàng)所屬的類別，另一方面能夠把自身屬于的類別與其他類別有效地區(qū)分開來，依據(jù)此原理，本文采用TF?IDF思想進(jìn)行電力客戶服務(wù)領(lǐng)域關(guān)鍵詞的提取，關(guān)鍵詞選取的權(quán)重決定了情感詞典的多樣性，為下文情感詞典的擴(kuò)充做好基礎(chǔ)，算法原理如下。

將工單文檔和特征項(xiàng)構(gòu)建成二維矩陣，各條工單的特征向量可表示為：

式中：表示第個(gè)工單中第個(gè)特征中的詞頻。則與為：

式中：表示語料庫中的文件總數(shù)；表示包含詞語的文件總數(shù)，防止分母為零的情況，通常對(duì)分母做+1的處理。因此，的計(jì)算公式為：

實(shí)際應(yīng)用中，依據(jù)維度的大小確定相應(yīng)的權(quán)重大小，這樣就形成了代表語料特征的關(guān)鍵詞集。

2.2.3 基于word2vec進(jìn)行情感詞典擴(kuò)充

隨著經(jīng)濟(jì)技術(shù)的發(fā)展及客戶文化的差異，不同的客戶通常使用不同的詞匯描述同一個(gè)對(duì)象特征，且電力行業(yè)中存在許多專用詞匯，同樣也表達(dá)了一定情感，但這些詞脫離于現(xiàn)有的情感詞典，因此，有必要對(duì)現(xiàn)有的情感詞典進(jìn)行擴(kuò)充，進(jìn)而提升工單情感傾向性分析的準(zhǔn)確性[8]。選取中國知網(wǎng)情感詞集和大連理工大學(xué)林鴻飛教授整理和標(biāo)注的中文情感詞匯本體庫作為基礎(chǔ)的情感詞典，然后依據(jù)權(quán)重較大的關(guān)鍵詞對(duì)原有詞典進(jìn)行擴(kuò)充[9]?；谏衔碾娏蛻舴?wù)工單中提取的關(guān)鍵詞，采用word2vec工具對(duì)工單數(shù)據(jù)集進(jìn)行訓(xùn)練，根據(jù)CBOW模型或Skip?Gram模型訓(xùn)練出每個(gè)詞的詞向量，并通過計(jì)算余弦相似度得到文本語義上的相似度，并將相似度較高的詞語加入到情感詞典中。

依據(jù)上文分詞后得到的工單文本數(shù)據(jù)，采用Linux Version2.6環(huán)境對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，操作命令如下：

./word2vec ?train data95598.txt ?output vectors_95598data.bin ?cbow 0 ?size 200 ?winodw 5 ?negative 0 ?hs 1 ?sample le?3 threads 12 ?binary 1

其中，data95598.txt為輸入數(shù)據(jù)集；vectors_95598data.bin為模型輸出文件；采用Skip?Gram模型進(jìn)行訓(xùn)練，詞向量維度設(shè)置為200；訓(xùn)練窗口大小設(shè)置為5；-sample表示采樣的閾值，訓(xùn)練結(jié)果采用二進(jìn)制方式存儲(chǔ)。這樣，得到的模型文件中就包含了每個(gè)詞的詞向量。

采用余弦相似度計(jì)算關(guān)鍵詞的相似詞，即基于生成的詞向量計(jì)算兩個(gè)維向量的相似度，因?yàn)閣ord2vec本身就是基于上下文語義生成的詞向量，因此，余弦值越大，表明兩個(gè)詞語的語義越相似。向量與的余弦計(jì)算公式如下：

通過distince命令計(jì)算輸入詞與其他詞的余弦相似度，經(jīng)過排序返回相似詞列表，再經(jīng)過人工篩選，將這些詞加入到原有情感詞典中，實(shí)現(xiàn)對(duì)原有情感詞典的擴(kuò)充。

2.3 工單情感傾向性分析

工單情感傾向性分析是基于構(gòu)建的情感詞典，計(jì)算每個(gè)客服工單的情感分值，從而判斷工單的情感傾向性。通過上文處理，每一個(gè)客服工單都可以被分割成一個(gè)個(gè)子句片段，表示為每個(gè)子句片段由一系列分詞后的詞語構(gòu)成，提取每個(gè)句子的情感詞、否定詞等，表示為依據(jù)情感詞典中給定詞的極性值計(jì)算每個(gè)子句的情感值，分別算每個(gè)句子的正向和負(fù)向情感分值，計(jì)算公式如下：

式中：SenSum表示某個(gè)客服工單的情感分值；表示第個(gè)子句中第個(gè)正向情感詞的極性值；表示第個(gè)子句中第個(gè)負(fù)向情感詞的極性值。

在否定子句中，當(dāng)為偶數(shù)時(shí)，否定子句情感為正；當(dāng)為奇數(shù)時(shí)，否定子句情感極性為負(fù)。對(duì)所有的子句情感分值求和并求均值，就得到了整個(gè)客服工單的情感值，進(jìn)而判斷客服工單的情感傾向性，若SenSum為正，表示工單情感為正向；否則，工單情感為負(fù)向。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

本文的實(shí)驗(yàn)環(huán)境基于Linux系統(tǒng)，采用python語言進(jìn)行算法的實(shí)現(xiàn)，抽取某電力公司95598客服工單數(shù)據(jù)作為研究對(duì)象，運(yùn)用jieba包進(jìn)行中文分詞處理，并采用word2vec訓(xùn)練數(shù)據(jù)生成詞向量及擴(kuò)充情感詞典。由于工單數(shù)據(jù)是按照業(yè)務(wù)類型生成的，因此選取業(yè)務(wù)類型為表揚(yáng)的工單作為正類，選取業(yè)務(wù)類型為投訴的作為負(fù)類，其中，正類和負(fù)類數(shù)據(jù)比例為21，共得到20 000條數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集，隨后進(jìn)行情感傾向性分析，隨機(jī)選擇70%的數(shù)據(jù)作為訓(xùn)練集，30%的數(shù)據(jù)作為測試集。

3.2 評(píng)價(jià)指標(biāo)

當(dāng)前針對(duì)文本分類效果評(píng)估有許多方法，本文選擇準(zhǔn)確率（precision）、召回率（recall）和值進(jìn)行文本情感分類效果的評(píng)估，準(zhǔn)確率是對(duì)分類精確性的度量，召回率是對(duì)分類完全性的度量，值越大說明分類效果越好，準(zhǔn)確率和召回率是一組互斥指標(biāo)，值是將二者結(jié)合的一個(gè)度量指標(biāo)，值越大，分類效果越好，并將通過本文情感分析模型得到的結(jié)果與業(yè)務(wù)員標(biāo)注的類型做對(duì)比分析。它們的計(jì)算公式如下：

3.3 實(shí)驗(yàn)結(jié)果及分析

本文基于抽取到的客服工單數(shù)據(jù)，結(jié)合設(shè)計(jì)的電力客服工單情感分析模型，實(shí)現(xiàn)對(duì)電力客戶服務(wù)領(lǐng)域情感詞典的擴(kuò)充，并基于構(gòu)建的電力客服領(lǐng)域?qū)僭~典進(jìn)行工單情感傾向性分析，70%的數(shù)據(jù)用于訓(xùn)練word2vec并進(jìn)行情感詞典的擴(kuò)充，30%的數(shù)據(jù)用于測試工單情感分類的準(zhǔn)確性。測試集共包含工單數(shù)6 000條，其中正類工單3 895條，負(fù)類工單2 105條。將采用本文情感分析模型得到的結(jié)果與原始基礎(chǔ)情感詞典得到的結(jié)果進(jìn)行對(duì)比分析，見表2。

由表2可知，采用本文構(gòu)建的電力客服工單詞典針對(duì)正向和負(fù)向的情感詞都有較高的準(zhǔn)確率、召回率和值，由此可知，本文設(shè)計(jì)的電力客服工單情感分析模型是合理的，且具有明顯的性能優(yōu)勢(shì)。

4 結(jié) 語

本文設(shè)計(jì)了一種電力客服工單情感分析模型，構(gòu)建了電力客服領(lǐng)域情感專用詞典并進(jìn)行工單情感傾向性分析。采用word2vec工具對(duì)采集到的數(shù)據(jù)進(jìn)行訓(xùn)練，并用測試集數(shù)據(jù)對(duì)本文提出的模型進(jìn)行驗(yàn)證分析，結(jié)果表明，本文所提方法具有一定的合理性和可行性，可為電力企業(yè)客戶關(guān)系管理提供一定的參考意義，促進(jìn)企業(yè)客戶滿意度及運(yùn)營效益的提升。此外，本文主要研究了基于構(gòu)建的電力客服專用情感詞典進(jìn)行客戶情感傾向性分析，但是對(duì)于無監(jiān)督性學(xué)習(xí)方法情感傾向性分析以及情感強(qiáng)度的分析還有待進(jìn)一步研究。

參考文獻(xiàn)

[1] 李勝宇，高俊波，許莉莉.面向酒店評(píng)論的情感分析模型[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（1）：227?231.

[2] SINGH VK， PIRYANI R， UDDIN A， et al. Sentiment analysis of movie reviews： a new feature?based heuristic for aspect?level sentiment classification [C]// Proceedings of 2013 International Multi?Conference on Automation， Computing， Communication， Control and Compressed Sensing （iMac4s）. Kottayam： IEEE， 2013： 712?717.

[3] 郗亞輝.產(chǎn)品評(píng)論中領(lǐng)域情感詞典的構(gòu)建[J].中文信息學(xué)報(bào)，2016，30（5）：136?144.

[4] 鐘將，楊思源，孫啟干.基于文本分類的商品評(píng)價(jià)情感分析[J].計(jì)算機(jī)應(yīng)用，2014，34（8）：2317?2321.

[5] 劉龍飛，楊亮，張紹武，等.基于卷積神經(jīng)網(wǎng)絡(luò)的微博情感傾向性分析[J].中文信息學(xué)報(bào)，2015，29（6）：159?165.

[6] 黃挺，姬東鴻.基于圖模型和多分類器的微博情感傾向性分析[J].計(jì)算機(jī)工程，2015，41（4）：171?175.

[7] 劉金碩，張智.一種基于聯(lián)合深度神經(jīng)網(wǎng)絡(luò)的食品安全信息情感分類模型[J].計(jì)算機(jī)科學(xué)，2016，43（12）：277?280.