卷積神經(jīng)網(wǎng)絡(luò)方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

目前，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）已成為圖像、文本、語音識別等領(lǐng)域的研究熱點(diǎn)之一。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中發(fā)現(xiàn)了用于局部敏感和方向選擇的神經(jīng)元結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)就是在此生物學(xué)的基礎(chǔ)上發(fā)展而來的。

二、卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程

按照時(shí)間順序，可以將卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展可以分為三個(gè)階段：初步探索階段；全面興起階段；躍進(jìn)試發(fā)展階段。

2.1初步探索階段

這一階段只是在初步探索卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。197開始，福島邦彥成功開發(fā)出了一種淺層自組織神經(jīng)網(wǎng)絡(luò)認(rèn)知機(jī)[1]。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)行了改進(jìn)。認(rèn)知機(jī)及其變種并不是真正意義上的深度學(xué)習(xí)模型，因?yàn)榈木W(wǎng)絡(luò)層數(shù)少，并不能進(jìn)行深度學(xué)習(xí)特征。

2.2全面興起階段

這一階段以LeNet-5的出現(xiàn)為開始。1Lecun等[2]提出的LeNet-5采用了基于梯度的反向傳播算法對網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練，LeNet-5在手寫字符識別領(lǐng)域的成功應(yīng)用引起了學(xué)術(shù)界對于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)注。同一時(shí)期，卷積神經(jīng)網(wǎng)絡(luò)在語音識別、物體檢測、人臉識別等方面的研究也逐漸開展起來。

2.3躍進(jìn)試發(fā)展階段

這一階段以AlexNet的出現(xiàn)為起點(diǎn)，它的出現(xiàn)是卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)歷史性的時(shí)刻，在此后卷積神經(jīng)網(wǎng)絡(luò)在AlexNet的基礎(chǔ)上衍生出許多變種。2012年，Krizhevsky等[3]提出了AlexNet，使得卷積神經(jīng)網(wǎng)絡(luò)成為了學(xué)術(shù)界的焦點(diǎn)。AlexNet之后，不斷有新的卷積神經(jīng)網(wǎng)絡(luò)模型被提出，。并且，卷積神經(jīng)網(wǎng)絡(luò)不斷與一些傳統(tǒng)算法相融合，加上遷移學(xué)習(xí)方法的引入，使得卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域獲得了快速的擴(kuò)展。

三、卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

CNN基礎(chǔ)的結(jié)構(gòu)是卷積層，池化層，最后為全連接層，所有的卷積神經(jīng)網(wǎng)絡(luò)模型都是在此結(jié)構(gòu)上搭建而來。

3.1卷積層

圖像經(jīng)過卷積層及提取出其輸入特征。卷積層的運(yùn)算由特征提取階段和特征映射階段構(gòu)成。

（1）特征提取階段。在特征提取階段，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，使用卷積濾波器做卷積操作，提取出該局部的特征。設(shè)一個(gè)n*n的局部區(qū)域內(nèi)第i個(gè)像素的輸入值是Xi（i=1，2，..n*n），與n*n大小濾波器相對應(yīng)的值為wi，這個(gè)濾波器的有個(gè)固定的偏置量為b，這個(gè)區(qū)域最后經(jīng)過卷積操作變成了一個(gè)值y，卷積操作如公式（3-1）

全連接層一般放在最后，經(jīng)過全連接層后得到特征向量，可將這個(gè)特征向量用于分類或者檢索。全連接層其實(shí)就是一個(gè)卷積層，只不過最后得到的是一個(gè)向量。當(dāng)選擇的卷積核大小與輸入的大小一樣大時(shí)，經(jīng)過征提取和特征映射階段后。輸出大小為1*1的區(qū)域。這樣不同的卷積核卷積進(jìn)過此層得到的是向量，1*1的區(qū)域值即是向量的一個(gè)值。

四、結(jié)語

卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過這些年的發(fā)展，對圖像、語言、文本等二S數(shù)據(jù)的識別可以達(dá)到90%，遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的淺層特征學(xué)習(xí)的方法。目前，有學(xué)者將此方法遷移到了三維模型檢索領(lǐng)域，并且取得了不錯(cuò)的結(jié)果。未來的卷積神經(jīng)網(wǎng)絡(luò)這一深層學(xué)習(xí)結(jié)構(gòu)一定大有可為。

參 考 文 獻(xiàn)

[1]K.福島（Fukushima）.Neocognitron：一個(gè)自組織的神經(jīng)網(wǎng)絡(luò)模型為了一個(gè)不受位置平移影響的模式識別的機(jī)能.生物控制論，36，193-202，1980

第2篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

P鍵詞：深度學(xué)習(xí)；文本分類；多類型池化

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）35-0187-03

1 引言

為了進(jìn)行分類，我們建立句子模型來分析和表示句子的語義內(nèi)容。句子模型問題的關(guān)鍵在于一定程度上的自然語言理解。很多類型的任務(wù)需要采用句子模型，包括情感分析、語義檢測、對話分析、機(jī)器翻譯等。既然單獨(dú)的句子很少或基本不被采用，所以我們必須采用特征的方式來表述一個(gè)句子，而特征依賴于單詞和詞組。句子模型的核心是特征方程，特征方程定義了依據(jù)單詞和詞組提取特征的過程。求最大值的池化操作是一種非線性的二次抽樣方法，它返回集合元素中的最大值。

各種類型的模型已經(jīng)被提出?；诔煞謽?gòu)成的方法被應(yīng)用于向量表示，通過統(tǒng)計(jì)同時(shí)單詞同時(shí)出現(xiàn)的概率來獲取更長的詞組。在有些情況下，通過對詞向量進(jìn)行代數(shù)操作生成句子層面的向量，從而構(gòu)成成分。在另外一些情況下，特征方程和特定的句法或者單詞類型相關(guān)。

一種核心模型是建立在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上。這種模型包含了單詞包或者詞組包的模型、更結(jié)構(gòu)化的遞歸神經(jīng)網(wǎng)絡(luò)、延遲的基于卷積操作的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型有很多優(yōu)點(diǎn)。通過訓(xùn)練可以獲得通用的詞向量來預(yù)測一段上下文中單詞是否會(huì)出現(xiàn)。通過有監(jiān)督的訓(xùn)練，神經(jīng)網(wǎng)絡(luò)能夠根據(jù)具體的任務(wù)進(jìn)行良好的調(diào)節(jié)。除了作為強(qiáng)大的分類器，神經(jīng)網(wǎng)絡(luò)模型還能夠被用來生成句子[6]。

我們定義了一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并將它應(yīng)用到句子語義模型中。這個(gè)網(wǎng)絡(luò)可以處理長度不同的句子。網(wǎng)絡(luò)中的一維卷積層和多類型動(dòng)態(tài)池化層是相互交錯(cuò)的。多類型動(dòng)態(tài)池化是一種對求最大值池化操作的范化，它返回集合中元素的最大值、最小值、平均值的集合[1]。操作的范化體現(xiàn)在兩個(gè)方面。第一，多類型池化操作對一個(gè)線性的值序列進(jìn)行操作，返回序列中的多個(gè)數(shù)值而不是單個(gè)最大的數(shù)值。第二，池化參數(shù)k可以被動(dòng)態(tài)的選擇，通過網(wǎng)絡(luò)的其他參數(shù)來動(dòng)態(tài)調(diào)整k的值。

卷積層的一維卷積窗口對句子特征矩陣的每一行進(jìn)行卷積操作。相同的n-gram的卷積窗口在句子的每個(gè)位置進(jìn)行卷積操作，這樣可以根據(jù)位置獨(dú)立地提取特征。一個(gè)卷積層后面是一個(gè)多類型動(dòng)態(tài)池化層和一個(gè)非線性的特征映射表。和卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的使用一樣，為豐富第一層的表述，通過不同的卷積窗口應(yīng)用到句子上計(jì)算出多重特征映射表。后續(xù)的層也通過下一層的卷積窗口的卷積操作計(jì)算出多重特征映射表。最終的結(jié)構(gòu)我們叫它多類型池化的卷積神經(jīng)網(wǎng)絡(luò)。

在輸入句子上的多層的卷積和動(dòng)態(tài)池化操作產(chǎn)生一張結(jié)構(gòu)化的特征圖。高層的卷積窗口可以獲取非連續(xù)的相距較遠(yuǎn)的詞組的句法和語義關(guān)系。特征圖會(huì)引導(dǎo)出一種層級結(jié)構(gòu)，某種程度上類似于句法解析樹。這種結(jié)構(gòu)不僅僅是和句法相關(guān)，它是神經(jīng)網(wǎng)絡(luò)內(nèi)部所有的。

我們將此網(wǎng)絡(luò)在四種場景下進(jìn)行了嘗試。前兩組實(shí)驗(yàn)是電影評論的情感預(yù)測[2]，此網(wǎng)絡(luò)在二分和多種類別的分類實(shí)驗(yàn)中的表現(xiàn)都優(yōu)于其他方法。第三組實(shí)驗(yàn)在TREC數(shù)據(jù)集（Li and Roth， 2002）上的6類問題的分類問題。此網(wǎng)絡(luò)的正確率和目前最好的方法的正確率持平。第四組實(shí)驗(yàn)是推特的情感預(yù)測，此網(wǎng)絡(luò)將160萬條微博根據(jù)表情符號自動(dòng)打標(biāo)來進(jìn)行訓(xùn)練。在手工打標(biāo)的測試數(shù)據(jù)集上，此網(wǎng)絡(luò)將預(yù)測錯(cuò)誤率降低了25%。

本文的概要如下。第二段主要闡述MCNN的背景知識，包括核心概念和相關(guān)的神將網(wǎng)絡(luò)句子模型。第三章定義了相關(guān)的操作符和網(wǎng)絡(luò)的層。第四章闡述生成的特征圖的處理和網(wǎng)絡(luò)的其他特點(diǎn)。第五章討論實(shí)驗(yàn)和回顧特征學(xué)習(xí)探測器。

2 背景

MCNN的每一層的卷積操作之后都伴隨一個(gè)池化操作。我們先回顧一下相關(guān)的神經(jīng)網(wǎng)絡(luò)句子模型。然后我們來闡述一維的卷積操作和經(jīng)典的延遲的神經(jīng)網(wǎng)絡(luò)（TDNN）[3]。在加了一個(gè)最大池化層到網(wǎng)絡(luò)后，TDNN也是一種句子模型[5]。

2.1 相關(guān)的神經(jīng)網(wǎng)絡(luò)句子模型

已經(jīng)有很多的神經(jīng)網(wǎng)絡(luò)句子模型被描述過了。 一種比較通用基本的模型是神經(jīng)網(wǎng)絡(luò)詞包模型（NBoW）。其中包含了一個(gè)映射層將單詞、詞組等映射到更高的維度；然后會(huì)有一個(gè)比如求和之類的操作。結(jié)果向量通過一個(gè)或多個(gè)全連接層來進(jìn)行分類。

有以外部的解析樹為基礎(chǔ)的遞歸神經(jīng)網(wǎng)絡(luò)，還有在此基礎(chǔ)上更進(jìn)一步的RNN網(wǎng)絡(luò)。

最后一種是以卷積操作和TDNN結(jié)構(gòu)為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)句子模型。相關(guān)的概念是動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，我們接下來介紹的就是它。

2.2 卷積

一維卷積操作便是將權(quán)重向量[m∈Rm]和輸入向量[s∈Rs]進(jìn)行操作。向量m是卷積操作的過濾器。具體來說，我們將s作為輸入句子，[si∈R]是與句子中第i個(gè)單詞相關(guān)聯(lián)的單獨(dú)的特征值。一維卷積操作背后的思想是通過向量m和句子中的每個(gè)m-gram的點(diǎn)積來獲得另一個(gè)序列c：

[ci=mTsi-m+1：i （1）]

根據(jù)下標(biāo)i的范圍的不同，等式1產(chǎn)生兩種不同類型的卷積。窄類型的卷積中s >= m并且會(huì)生成序列[c∈Rs-m+1]，下標(biāo)i的范圍從m到s。寬類型的卷積對m和s的大小沒有限制，生成的序列[c∈Rs+m-1]，下標(biāo)i的范圍從1到s+m-1。超出下標(biāo)范圍的si窄（i < 1或者i > s）置為0。窄類型的卷積結(jié)果是寬類型的卷積結(jié)果的子序列。

寬類型的卷積相比于窄類型的卷積有一些優(yōu)點(diǎn)。寬類型的卷積可以確保所有的權(quán)重應(yīng)用到整個(gè)句子，包括句子收尾的單詞。當(dāng)m被設(shè)為一個(gè)相對較大的值時(shí)，如8或者10，這一點(diǎn)尤其重要。另外，寬類型的卷積可以確保過濾器m應(yīng)用于輸入句子s始終會(huì)生成一個(gè)有效的非空結(jié)果集c，與m的寬度和s句子的長度無關(guān)。接下來我們來闡述TDNN的卷積層。

4 驗(yàn)與結(jié)果分析

我們對此網(wǎng)絡(luò)進(jìn)行了4組不同的實(shí)驗(yàn)。

4.1 電影評論的情感預(yù)測

前兩組實(shí)驗(yàn)是關(guān)于電影評論的情感預(yù)測的，數(shù)據(jù)集是Stanford Sentiment Treebank.實(shí)驗(yàn)輸出的結(jié)果在一個(gè)實(shí)驗(yàn)中是分為2類，在另一種試驗(yàn)中分為5類：消極、略微消極、中性、略微積極、積極。而實(shí)驗(yàn)總的詞匯量為15448。

表示的是電影評論數(shù)據(jù)集情感預(yù)測準(zhǔn)確率。NB和BINB分別表示一元和二元樸素貝葉斯分類器。SVM是一元和二元特征的支撐向量機(jī)。在三種神經(jīng)網(wǎng)絡(luò)模型里――Max-TDNN、NBoW和DCNN――模型中的詞向量是隨機(jī)初始化的；它們的維度d被設(shè)為48。Max-TDNN在第一層中濾波窗口的大小為6。卷積層后面緊跟一個(gè)非線性化層、最大池化層和softmax分類層。NBoW會(huì)將詞向量相加，并對詞向量進(jìn)行非線性化操作，最后用softmax進(jìn)行分類。2類分類的MCNN的參數(shù)如下，卷積層之后折疊層、動(dòng)態(tài)多類型池化層、非線性化層。濾波窗口的大小分別7和5。最頂層動(dòng)態(tài)多類型池化層的k的值為4。網(wǎng)絡(luò)的最頂層是softmax層。5類分類的MCNN有相同的結(jié)構(gòu)，但是濾波窗口的大小分別為10和7，k的值為5。

我們可以看到MCNN的分類效果遠(yuǎn)超其他算法。NBoW的分類效果和非神經(jīng)網(wǎng)絡(luò)算法差不多。而Max-TDNN的效果要比NBoW的差，可能是因?yàn)檫^度池化的原因，丟棄了句子太多重要的特征。除了RecNN需要依賴外部的解析樹來生成結(jié)構(gòu)化特征，其他模型都不需要依賴外部資源。

4.2 問題分類

問題分類在問答系統(tǒng)中應(yīng)用非常廣泛，一個(gè)問題可能屬于一個(gè)或者多個(gè)問題類別。所用的數(shù)據(jù)集是TREC數(shù)據(jù)集，TREC數(shù)據(jù)集包含6種不同類別的問題，比如一個(gè)問題是否關(guān)于地點(diǎn)、人或者數(shù)字信息。訓(xùn)練集包含5452個(gè)打標(biāo)的問題和500個(gè)測試集。

4.3 Twitter情感預(yù)測

在我們最后的實(shí)驗(yàn)里，我們用tweets的大數(shù)據(jù)集進(jìn)行訓(xùn)練，我們根據(jù)tweet中出現(xiàn)的表情符號自動(dòng)地給文本進(jìn)行打標(biāo)簽，積極的或是消極的。整個(gè)數(shù)據(jù)集包含160萬條根據(jù)表情符號打標(biāo)的tweet以及400條手工標(biāo)注的測試集。整個(gè)數(shù)據(jù)集包含76643個(gè)單詞。MCNN的結(jié)構(gòu)和4.1節(jié)中結(jié)構(gòu)相同。隨機(jī)初始化詞向量且維度d設(shè)為60。

我們發(fā)現(xiàn)MCNN的分類效果和其他非神經(jīng)網(wǎng)絡(luò)的算法相比有極大的提高。MCNN和NBoW在分類效果上的差別顯示了MCNN有極強(qiáng)的特征提取能力。

5 結(jié)語

在本文中我們闡述了一種動(dòng)態(tài)的卷積神經(jīng)網(wǎng)絡(luò)，它使用動(dòng)態(tài)的多類型池化操作作為非線性化取樣函數(shù)。此網(wǎng)絡(luò)在問題分類和情感預(yù)測方面取得了很好的效果，并且不依賴于外部特征如解析樹或其他外部資源。

參考文獻(xiàn)

[1]. Yann LeCun， Le ?on Bottou， Yoshua Bengio， and Patrick Haffner. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE， 86（11）：2278-2324， November.

[2]. Richard Socher， Alex Perelygin， Jean Wu， Jason Chuang， Christopher D. Manning， Andrew Y. Ng， and Christopher Potts. 2013b. Recursive deep mod- els for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Process- ing， pages 1631C1642， Stroudsburg， PA， October. Association for Computational Linguistics.

[3]. Geoffrey E. Hinton. 1989. Connectionist learning procedures. Artif. Intell.， 40（1-3）：185C234.

[4]. Alexander Waibel， Toshiyuki Hanazawa， Geofrey Hinton， Kiyohiro Shikano， and Kevin J. Lang. 1990. Readings in speech recognition. chapter Phoneme Recognition Using Time-delay Neural Networks， pages 393C404. Morgan Kaufmann Publishers Inc.， San Francisco， CA， USA.

第3篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

過去10年，人們對機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，你都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日報(bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個(gè)模型來推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)(node)，基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)進(jìn)行的。然而，為了得到好的結(jié)果需要大量時(shí)間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀(jì)初，計(jì)算能力呈指數(shù)級增長，計(jì)算技術(shù)出現(xiàn)了“寒武紀(jì)大爆發(fā)”。在這個(gè)10年的爆炸式的計(jì)算增長中，深度學(xué)習(xí)成為這個(gè)領(lǐng)域的重要的競爭者，贏得了許多重要的機(jī)器學(xué)習(xí)競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機(jī)器學(xué)習(xí)，就不得不提深度學(xué)習(xí)。

作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學(xué)習(xí)的動(dòng)機(jī)，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計(jì)。在課程項(xiàng)目中，我使用并開發(fā)了用于圖像識別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長短期記憶的字符級文本生成。

本文中，作者總結(jié)了10個(gè)強(qiáng)大的深度學(xué)習(xí)方法，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問題的。首先，下面這張圖直觀地說明了人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，機(jī)器學(xué)習(xí)又是人工智能的一個(gè)子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開來的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復(fù)雜的連接層的方法用于訓(xùn)練網(wǎng)絡(luò)的計(jì)算機(jī)能力的“寒武紀(jì)大爆炸”自動(dòng)特征提取

這里說的“更多的神經(jīng)元”時(shí)，是指神經(jīng)元的數(shù)量在逐年增加，以表達(dá)更復(fù)雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)。基本上，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，通過共享的權(quán)重在空間中擴(kuò)展。CNN設(shè)計(jì)用于通過內(nèi)部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計(jì)用于識別序列，例如語音信號或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個(gè)層級網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，輸入必須以一種樹的方式進(jìn)行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計(jì)算函數(shù)偏導(dǎo)數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當(dāng)使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問題時(shí)，你需要在每次迭代中計(jì)算函數(shù)梯度。

對于神經(jīng)網(wǎng)絡(luò)，目標(biāo)函數(shù)具有組合的形式。如何計(jì)算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈?zhǔn)椒▌t(基本微積分)來計(jì)算導(dǎo)數(shù)。(ii)利用有限差分進(jìn)行近似微分。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過，有限差分通常用于在調(diào)試時(shí)驗(yàn)證back-prop實(shí)現(xiàn)。

2.隨機(jī)梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達(dá)最終目的地之前，河流不會(huì)完全停下來(這是山腳的最低點(diǎn)，那么這就是我們想要的理想情況。)在機(jī)器學(xué)習(xí)中，相當(dāng)從初始點(diǎn)(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個(gè)坑，這可能迫使河流陷入困境。在機(jī)器學(xué)習(xí)術(shù)語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個(gè)問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語來說是函數(shù)的性質(zhì))。但是，當(dāng)你有一種特殊的地形時(shí)(形狀像一個(gè)碗，用ML的術(shù)語來說，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對ML的優(yōu)化來說總是好事，取決于函數(shù)的初始值，你可能會(huì)以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學(xué)習(xí)速率或步長)，你可能以不同的方式到達(dá)最終目的地。這兩個(gè)標(biāo)準(zhǔn)都會(huì)影響到你是否陷入坑里(局部極小值)。

3.學(xué)習(xí)率衰減

根據(jù)隨機(jī)梯度下降的優(yōu)化過程調(diào)整學(xué)習(xí)率(learning rate)可以提高性能并減少訓(xùn)練時(shí)間。有時(shí)這被稱為學(xué)習(xí)率退火(learning rate annealing)或自適應(yīng)學(xué)習(xí)率(adaptive learning rates)。訓(xùn)練過程中最簡單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時(shí)間的推移而降低學(xué)習(xí)度。在訓(xùn)練過程開始時(shí)使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率。在特定的時(shí)間點(diǎn)較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過擬合在這樣的網(wǎng)絡(luò)中是一個(gè)嚴(yán)重的問題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測試時(shí)將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)合起來變得困難。Dropout是解決這個(gè)問題的一種方法。

Dropout的關(guān)鍵想法是在訓(xùn)練過程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過度適應(yīng)。在訓(xùn)練過程中，從一個(gè)指數(shù)級的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測試時(shí)，通過簡單地使用一個(gè)具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進(jìn)。研究表明，在視覺、語音識別、文檔分類和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個(gè)基于樣本的離散化過程。目標(biāo)是對輸入表示(圖像，隱藏層輸出矩陣等)進(jìn)行下采樣，降低其維度，并允許對包含在分區(qū)域中的特征進(jìn)行假設(shè)。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時(shí)，它通過減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計(jì)算成本。最大池化是通過將一個(gè)最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的。

6.批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)。

權(quán)重問題：無論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)?？紤]一個(gè)小批量(mini batch)，在最初時(shí)，在所需的特征激活方面將會(huì)有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個(gè)微小的擾動(dòng)，就會(huì)導(dǎo)致后面層巨大的變化。在反向傳播過程中，這些現(xiàn)象會(huì)導(dǎo)致對梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時(shí)間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(biāo)(通過歸一化)流動(dòng)。

學(xué)習(xí)率問題：一般來說，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程。

7.長短時(shí)記憶

LSTM網(wǎng)絡(luò)在以下三個(gè)方面與RNN的神經(jīng)元不同：

能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；能夠決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步長。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來決定所有這些。所以，你看下面的圖表：

當(dāng)前時(shí)間標(biāo)記處的輸入信號x(t)決定所有上述3點(diǎn)。輸入門從點(diǎn)1接收決策，遺忘門從點(diǎn)2接收決策，輸出門在點(diǎn)3接收決策，單獨(dú)的輸入能夠完成所有這三個(gè)決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場景切換。

8. Skip-gram

詞嵌入模型的目標(biāo)是為每個(gè)詞匯項(xiàng)學(xué)習(xí)一個(gè)高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個(gè)詞匯項(xiàng)(vocabulary term)共享的上下文相似，那么這兩個(gè)詞匯項(xiàng)就相似。

換句話說，假設(shè)你有一個(gè)句子，比如“貓是哺乳動(dòng)物”。如果你用“狗”去替換“貓”，這個(gè)句子仍然是一個(gè)有意義的句子。因此在這個(gè)例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動(dòng)物”)。

基于上述假設(shè)，你可以考慮一個(gè)上下文窗口(context window，一個(gè)包含k個(gè)連續(xù)項(xiàng)的窗口)，然后你跳過其中一個(gè)單詞，試著去學(xué)習(xí)一個(gè)能夠得到除跳過項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)，并預(yù)測跳過的項(xiàng)是什么。如果兩個(gè)詞在一個(gè)大語料庫中反復(fù)共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為一個(gè)數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測特定單詞。

我們通過在一個(gè)龐大的語料庫中抽取大量的句子來做到這一點(diǎn)，每當(dāng)我們看到一個(gè)單詞時(shí)，我們就會(huì)提取它周圍的單詞。然后，我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測位于這個(gè)上下文中心的單詞。

當(dāng)我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類似語境中的單詞得到的是相似的向量。

10.遷移學(xué)習(xí)

第4篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；反向傳播算法；仿射變換；sloth；python；theano

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2017）04-0096-02

隨著環(huán)保壓力的增大，各國已經(jīng)開始利用攝像頭來監(jiān)控漁船的捕撈活動(dòng)，并運(yùn)用機(jī)器學(xué)習(xí)技術(shù)來對漁船捕獲的魚類圖像進(jìn)行自動(dòng)的識別與分類從而扼制非法的捕撈。

目前計(jì)算機(jī)性能的飛速發(fā)展、圖像數(shù)據(jù)采集設(shè)備的廉價(jià)與普及促進(jìn)了機(jī)器學(xué)習(xí)理論與方法的發(fā)展，數(shù)據(jù)科學(xué)家已經(jīng)可以構(gòu)建復(fù)雜的機(jī)器學(xué)習(xí)模型并利用從廉價(jià)的數(shù)碼攝像頭設(shè)備采集到大量的數(shù)據(jù)快速的訓(xùn)練模型。吳一全等[1]采用了手動(dòng)選擇特征的方法， 基于支持向量機(jī)對5種魚進(jìn)行識別，各類魚的識別精度平均為83.33%。萬鵬等[2]計(jì)算魚的長軸方向各段的平均寬度與長度的比值并將其作為特征參數(shù)，利用3層BP（back propagation）神經(jīng)網(wǎng)絡(luò)對鯽魚和鯉魚進(jìn)行識別，識別精度為92.50%。但是這些方法都是基于手動(dòng)選擇特征的機(jī)器學(xué)習(xí)方法，手動(dòng)選擇特征的方法基于人的經(jīng)驗(yàn)選擇特征， 會(huì)導(dǎo)致遺漏重要的特征， 導(dǎo)致分類準(zhǔn)確率低。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)能在訓(xùn)練過程中自動(dòng)學(xué)到“好”特征，避免了手動(dòng)選擇特征。本次研究采用了基于VGG16的卷積神經(jīng)網(wǎng)絡(luò)（CNN）來進(jìn)行魚類分類，并運(yùn)用了數(shù)據(jù)集擴(kuò)增方法，dropout方法， batch normalization方法來降低模型的過擬合。但是原始數(shù)據(jù)集背景干擾很大，船上的人、物體和甲板上捕獲的魚類糅合在一起，直接采用原始數(shù)據(jù)集訓(xùn)練會(huì)導(dǎo)致訓(xùn)練出的模型穩(wěn)定性不好。

基于上述分析，本文從原始數(shù)據(jù)出發(fā)，設(shè)計(jì)了一種目標(biāo)檢測方法，即在原始訓(xùn)練數(shù)據(jù)已經(jīng)有魚類類別標(biāo)簽的基礎(chǔ)上，再標(biāo)注上一層表示魚類在圖片中坐標(biāo)位置的標(biāo)簽，然后利用這些二次標(biāo)注過的數(shù)據(jù)訓(xùn)練模型，就可得到一個(gè)既能預(yù)測魚在圖片中的坐標(biāo)位置又能預(yù)測魚的分類的糅合模型。因?yàn)檫@兩種預(yù)測網(wǎng)絡(luò)在卷積層共同訓(xùn)練一套濾波器，所以在訓(xùn)練濾波器預(yù)測魚的坐標(biāo)位置時(shí)，訓(xùn)練完成的濾波器便能在另一方面輔助預(yù)測魚的分類，使特征提取只專注于魚的坐標(biāo)區(qū)域，這樣就有效的排除了背景干擾。實(shí)驗(yàn)結(jié)果顯示此模型具有很高的識別精度和魯棒性，能在背景干擾很強(qiáng)的圖片數(shù)據(jù)集上準(zhǔn)確的完成魚類的識別和分類。

1 模型構(gòu)建

實(shí)驗(yàn)數(shù)據(jù)來源于某組織舉辦的圖像識別競賽。數(shù)據(jù)通過固定在漁船某個(gè)位置的攝像頭采集，通過采集甲板上捕獲的魚類照片，共采集到3777張共8個(gè)分類的照片作為訓(xùn)練樣本，分別為長鰭金槍魚、大眼金槍魚、黃鰭金槍魚、鰍魚、月魚、鯊魚、其他、無魚類（表示沒有魚出現(xiàn)在照片里）。按一定比例做分層采樣，其中2984張用作訓(xùn)練集，394張用作驗(yàn)證集，399張用作測試集。訓(xùn)練集用經(jīng)過錯(cuò)切幅度值為0.15的仿射變換作數(shù)據(jù)集擴(kuò)增來降低過擬合，因?yàn)樵趶脑紨?shù)據(jù)集上分層采樣得來的小樣本數(shù)據(jù)集上驗(yàn)證顯示當(dāng)錯(cuò)切幅度值等于0.15時(shí)，模型在測試集上的分類精度最高。

在訓(xùn)練集上采用sloth@款圖片標(biāo)注工具手動(dòng)標(biāo)注魚類在圖片中的位置，并把這些標(biāo)注結(jié)果和已有的魚類分類標(biāo)注結(jié)果當(dāng)做輸入數(shù)據(jù)和圖片數(shù)據(jù)一起傳給模型訓(xùn)練。

本次研究的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。卷積層采用了被廣泛使用在圖像分類任務(wù)中的VGG模型的卷積濾波器的權(quán)重[3]，并在其模型上作微調(diào)來實(shí)現(xiàn)本次研究的目標(biāo)。

輸入層將不同尺寸的圖片統(tǒng)一轉(zhuǎn)換成244*244大小。

匯合層（max pooling）是指取一小塊像素區(qū)域的像素最大值，作用是可減少數(shù)據(jù)量，控制過擬合。

全連接層的權(quán)重采用反向傳播算法（back propagation）訓(xùn)練，參數(shù)尋優(yōu)采用隨機(jī)梯度下降方法。動(dòng)態(tài)學(xué)習(xí)率設(shè)定方法采用了 Adam方法，可根據(jù)損失函數(shù)在迭代訓(xùn)練中產(chǎn)生的信息自動(dòng)調(diào)整學(xué)習(xí)率。

激活層函數(shù)采用RELU方法，公式為。最后一層預(yù)測魚類分類的激活曾需要把對應(yīng)于各個(gè)分類的分?jǐn)?shù)值轉(zhuǎn)換成總和為1的對應(yīng)于各個(gè)分類的概率值，所以激活函數(shù)采用Softmax方法，公式如下

由于卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)強(qiáng)大的表示能力，為了降低模型的過擬合以及加快模型的訓(xùn)練速度，本次工作在激活曾后面再依次加入一層dropout層和batch normalization層。dropout層是指隨機(jī)的舍棄一部分激活曾神經(jīng)元的值，并將其置為0[4]。batch normalization層是指規(guī)范化每層激活層的輸出，并加入4個(gè)規(guī)范化參數(shù)來抑制模型訓(xùn)練過程中的反規(guī)范化現(xiàn)象[5]。

2 程序?qū)崿F(xiàn)

具體的軟件實(shí)現(xiàn)采用python編程語言和keras框架平臺。keras底層采用輕量易用的theano框架，并依賴計(jì)算機(jī)的顯卡來進(jìn)行更快速的訓(xùn)練工作。整個(gè)圖像分類的軟件框架主要由4部分組成，分別是輸入圖像數(shù)據(jù)處理、模型各個(gè)網(wǎng)絡(luò)層的實(shí)現(xiàn)及拼接、模型編譯、模型訓(xùn)練及預(yù)測。下面按數(shù)據(jù)在模型中流動(dòng)的順序具體的闡述各個(gè)部分的程序?qū)崿F(xiàn)。

2.1 輸入圖像數(shù)據(jù)處理

第5篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

關(guān)鍵詞：Deep Learning；多隱含層感知；DropConnect；算法

中圖分類號：TP181

Deep Learning是機(jī)器學(xué)習(xí)研究的新領(lǐng)域，它掀起了機(jī)器學(xué)習(xí)領(lǐng)域的第二次浪潮，并受到學(xué)術(shù)界到工業(yè)界高度重視。Deep Learning概念根源于人工神經(jīng)網(wǎng)絡(luò)[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模擬人腦分析學(xué)習(xí)機(jī)制的多層次神經(jīng)網(wǎng)絡(luò)，并通過這種網(wǎng)絡(luò)分析解釋數(shù)據(jù)，如視頻、文本和聲音等。Deep Learning的多隱含層使得它具有優(yōu)異的特征學(xué)習(xí)能力，而且學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類。它的“逐層初始化”（layer-wise pre-training[4]）可以有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度。本文在對Deep Learning算法分析的基礎(chǔ)上，著重闡述了對Regularization of Neural Networks using DropConnect模型的改進(jìn)。

1 Deep Learning算法分析

1.1 Deep Learning多隱含層感知架構(gòu)

Deep Learning算法最優(yōu)秀特征是多隱含層感知器架構(gòu)，這種架構(gòu)通過組合低層特征來形成更加抽象的高層屬性類別或特征，并實(shí)現(xiàn)對數(shù)據(jù)分布式表示。Deep Learning的多隱含層結(jié)構(gòu)是由輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)（如圖1所示），只有相鄰層神經(jīng)元之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個(gè)淺層機(jī)器學(xué)習(xí)模型（如logistic regression，Support Vector Machines）。

圖1 含多個(gè)隱含層的Deep Learning模型

Deep Learning的多隱含層感知結(jié)構(gòu)模擬的是人腦的大腦皮層工作。人大腦皮層計(jì)算也是分多層進(jìn)行[5]，例如圖像在人腦中是分多個(gè)階段處理，首先是進(jìn)入大腦皮層V1區(qū)提取邊緣特征，然后進(jìn)入大腦皮層V2區(qū)抽象成圖像的形狀或者部分，再到更高層，以此類推。高層的特征是由底層組合而成。使用含多隱含層感知器架構(gòu)網(wǎng)絡(luò)主要優(yōu)勢在于它能以更簡潔的方式表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)關(guān)系（如圖2）。通過這種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，Deep Learning可以實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，表征輸入數(shù)據(jù)的分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。

圖2 多層次實(shí)現(xiàn)復(fù)雜函數(shù)圖

1.2 Deep Learning訓(xùn)練過程

（1）首先逐層構(gòu)建單層神經(jīng)元，使得每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。

（2）當(dāng)所有層訓(xùn)練完后，使用Wake-Sleep算法[6]進(jìn)行調(diào)優(yōu)。

將除最頂層的其它層間的權(quán)重是雙向的。向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓“認(rèn)知”和“生成”達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。

1.3 Deep Learning數(shù)據(jù)處理一般過程

Deep Learning算法通過傳感器等方式獲得數(shù)據(jù)之后，首先對數(shù)據(jù)進(jìn)行預(yù)處理。在數(shù)據(jù)預(yù)處理中，標(biāo)準(zhǔn)的第一步是數(shù)據(jù)歸一化處理，第二步是數(shù)據(jù)白化處理（如PCA白化和ZCA白化）。其次特征提取和特征選擇。然后將輸出作為下層的輸入，不斷進(jìn)行特征提取和特征選擇，直到學(xué)習(xí)到合符要求的最佳特征。在特征提取和特征選擇過程中，常用自動(dòng)編碼、稀疏編碼、聚類算法、限制波爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)等算法進(jìn)行特征提取和特征選擇。然后用反向傳播算法、隨機(jī)梯度下降算法、批量梯度下降算法等進(jìn)行調(diào)優(yōu)處理，再用池化等算法避免特征過度擬合，從而得到最終提取特征。最后將學(xué)習(xí)到的最終提取特征輸入到分類器（如softmax分類器，logistic回歸分類器）進(jìn)行識別、推理或預(yù)測。

2 基于Regularization of Neural Networks using DropConnect模型改進(jìn)

2.1 Regularization of Neural Networks using DropConnect模型[2]

該模型的四個(gè)基本組成成分是：

（1）特征提取：v=g（x；Wg）。x是輸入層的輸入數(shù)據(jù)，Wg是特征提取函數(shù)的參數(shù)，v是輸出的提取特征，特征提取函數(shù)g（）。其中g(shù)（）為多層卷積神經(jīng)網(wǎng)絡(luò)算法函數(shù)，而Wg卷積神經(jīng)網(wǎng)絡(luò)的偏值。

（2）DropConnect層：r=a（u）=a（（M*W）v）如圖3。v是輸出的提取特征，W是完全連接的權(quán)重矩陣，M是二進(jìn)制掩碼矩陣，該矩陣的每個(gè)元素隨機(jī)的以1-p概率設(shè)置為0或以p概率設(shè)置為1，a（）是一個(gè)非線性激活函數(shù)，r是輸出向量。M*W是矩陣對應(yīng)元素相乘。

（3）Softmax分類器層：o=s（r；Ws）。將r映射到一個(gè)k維的輸出矩陣（k是類的個(gè)數(shù)），Ws是softmax分類函數(shù)的參數(shù)。

（4）交叉熵?fù)p失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是標(biāo)簽，o是概率。

圖3 DropConnect示意圖

2.2 模型改進(jìn)描述和分析

對DropConnect模型的改進(jìn)主要集中在上面它的四個(gè)基本組成成分中的DropConnect層。由于該層以隨機(jī)方式讓掩碼矩陣M的每個(gè)元素Mij按1-p的概率設(shè)置為0，然后讓掩碼矩陣與層間的權(quán)重矩陣對應(yīng)相乘即M*W。相對DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比較好的特征r，同時(shí)也提高算法的泛化性。因?yàn)镈ropconnect模型在權(quán)重W和v運(yùn)算之前，將權(quán)重以一定的概率稀疏了，從運(yùn)行結(jié)果看整體算法的錯(cuò)誤率降低了。但是，由于是隨機(jī)的讓Mij按1-p的概率為0，并且這種隨機(jī)是不可以預(yù)測的，故可能會(huì)導(dǎo)致某些重要特征對應(yīng)的權(quán)重被屏蔽掉，最終造成輸出ri的準(zhǔn)確性降低。故就此提出了新的設(shè)計(jì)思想。

改進(jìn)思想是用單層稀疏編碼層代替DropConnect層，通過稀疏編碼訓(xùn)練出一組最佳稀疏的特征。具體描述：讓經(jīng)過多層卷積神經(jīng)網(wǎng)絡(luò)提取到的特征v作為稀疏編碼的輸入，經(jīng)過稀疏編碼重復(fù)訓(xùn)練迭代，最終得到最佳的稀疏的特征r。因?yàn)橄∈杈幋a算法是一種無監(jiān)督學(xué)習(xí)方法，用它可以尋找出一組“超完備”基向量來更高效地表示輸入數(shù)據(jù)。

總之任何對Deep Learning算法的改進(jìn)，都是為了提取出最佳特征，并使用優(yōu)秀的分類算法來分類、預(yù)測或推理，最終降低算法的錯(cuò)誤率。而對于怎樣改進(jìn)算法，以何種方式降低錯(cuò)誤率，則沒有具體的限制。并且各種提取特征和特征選擇的算法之間并不是互斥的，它們之間可以有各種形式的嵌套，最終的目標(biāo)都是提高算法的正確率和效率。

3 結(jié)束語

Deep Learning使得語音、圖像和文本等的智能識別和理解取得驚人進(jìn)展，如Google Brain項(xiàng)目和微軟推同聲傳譯系統(tǒng)。它極大地推動(dòng)了人工智能和人機(jī)交互快速發(fā)展。隨著從學(xué)術(shù)界到工業(yè)界的廣泛重視，Deep Learning算法的改進(jìn)依然在繼續(xù)，Deep Learning算法的正確率和效率仍在不斷提高。Deep Learning的發(fā)展將加快“大數(shù)據(jù)+深度模型”時(shí)代來臨。

參考文獻(xiàn)：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507

[2]湯姆?米切爾.機(jī)器學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2003：1-280.

[3]吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.

[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

第6篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

當(dāng)今的社會(huì)是信息的社會(huì)。要使信息得到及時(shí)利用，為國民經(jīng)濟(jì)和科學(xué)技術(shù)以及國防工業(yè)的發(fā)展服務(wù)，必須對信息數(shù)據(jù)的采集、加工處理、傳輸、存儲、決策和執(zhí)行等進(jìn)行全面的技術(shù)革新，以適應(yīng)社會(huì)發(fā)展形式的需求。因此，信息科學(xué)技術(shù)有著極其廣泛的重要應(yīng)用領(lǐng)域，如通信、雷達(dá)、聲納、電子測量儀器、生物醫(yī)學(xué)工程、振動(dòng)工程、地震勘探、圖像處理、計(jì)算機(jī)科學(xué)等。各領(lǐng)域的電子信息系統(tǒng)往往具有不同的性能和特征，但是電子信息系統(tǒng)設(shè)備的設(shè)計(jì)都涉及到信息表征和信息處理技術(shù)，如果這種信息科技能獲得新的突破，電子信息系統(tǒng)產(chǎn)品將走上新的臺階。

當(dāng)前信息系統(tǒng)智能化和具有高的魯棒性及容錯(cuò)性是值得研究的重大問題，雖然人工智能和專家系統(tǒng)已取得好的成績，但還不適應(yīng)信息社會(huì)發(fā)展的需求，需尋求新的發(fā)展途徑。21世紀(jì)被稱為“智能化世紀(jì)和人工神經(jīng)網(wǎng)絡(luò)世紀(jì)”，信息科學(xué)與腦科學(xué)、認(rèn)知科學(xué)、神經(jīng)生物學(xué)、計(jì)算機(jī)科學(xué)、非線性科學(xué)、數(shù)學(xué)、物理學(xué)諸學(xué)科相結(jié)合所產(chǎn)生的神經(jīng)計(jì)算科學(xué)，為實(shí)現(xiàn)新的信息表征和信息處理提供了新的手段，將使信息技術(shù)和信息系統(tǒng)智能化得到飛躍的發(fā)展。

21世紀(jì)是信息社會(huì)的智能化時(shí)代，信息高速公路的發(fā)展加速了通信技術(shù)和多媒體通信系統(tǒng)進(jìn)入網(wǎng)絡(luò)化、智能化進(jìn)程；開拓國際互聯(lián)網(wǎng)，使千家萬戶能在因特網(wǎng)和大型計(jì)算機(jī)網(wǎng)絡(luò)上搜索和瀏覽各種信息，這都涉及到通信系統(tǒng)和信息處理系統(tǒng)的高度智能化問題。

現(xiàn)代信息處理要解決的問題往往是很復(fù)雜的，它要完成由輸入空間到輸出空間的映射，這個(gè)映射可以是線性的，也可以是非線性的，所以信息處理系統(tǒng)是有序結(jié)構(gòu)的物理系統(tǒng)中的映射，恰好是與神經(jīng)網(wǎng)絡(luò)信息處理同構(gòu)。

2　人工神經(jīng)網(wǎng)絡(luò)信息處理

一般來說，智能信息處理可以劃分為兩大類，一類為基于傳統(tǒng)計(jì)算機(jī)的智能信息處理，另一類為基于神經(jīng)計(jì)算的智能信息處理。前者信息系統(tǒng)包括智能儀器、自動(dòng)跟蹤監(jiān)測儀器系統(tǒng)、自動(dòng)控制制導(dǎo)系統(tǒng)、自動(dòng)故障診斷和報(bào)警系統(tǒng)等。在人工智能系統(tǒng)中，它們具有模仿或代替與人的思維有關(guān)的功能，通過邏輯符號處理系統(tǒng)的推理規(guī)則來實(shí)現(xiàn)自動(dòng)診斷、問題求解以及專家系統(tǒng)的智能。這種智能實(shí)際上體現(xiàn)了人類的邏輯思維方式，主要應(yīng)用串行工作程序按照一些推理規(guī)則一步一步進(jìn)行計(jì)算和操作，應(yīng)用領(lǐng)域很廣。后者是用人工神經(jīng)網(wǎng)絡(luò)來模仿延伸人腦認(rèn)知功能的新型智能信息處理系統(tǒng)，即仿造人腦的思維、聯(lián)想記憶、推理及意識等高級精神活動(dòng)的智能，這類神經(jīng)智能系統(tǒng)可以解決傳統(tǒng)方法所不能或難以解決的問題。例如美國研制出的一種電子“偵探”(蘇聯(lián)《科學(xué)與生活》，1990年)，就是用神經(jīng)網(wǎng)絡(luò)做的能辨識人面孔的智能系統(tǒng)，只要讓它看一下某人或他的照片就能記住描述此人面貌的256個(gè)數(shù)字參數(shù)，同時(shí)能記住達(dá)500人，思考辨認(rèn)時(shí)間總共為1s。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有很高的容錯(cuò)性和魯棒性及自組織性，即使連接線被破壞了50％，它仍能處在優(yōu)化工作狀態(tài)，這在軍事系統(tǒng)電子設(shè)備中有著特別重要的意義，故美國無人偵察飛機(jī)已用上這種神經(jīng)信息系統(tǒng)。美國許多公司生產(chǎn)的神經(jīng)網(wǎng)絡(luò)芯片及神經(jīng)智能系統(tǒng)已商品化。今年最新報(bào)導(dǎo)：美Attrasoft公司做出世界上最大的百萬個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)(軟件)。

3　盲信號處理技術(shù)

盲信號處理包括多個(gè)信源混合的盲源分離、多通道傳輸信道的參數(shù)估計(jì)和系統(tǒng)辨識、盲解卷積和盲均衡技術(shù)、盲陣列信號處理和盲波束形成技術(shù)等，在通信、雷達(dá)、聲納、控制工程、地震勘探、生物醫(yī)學(xué)工程等領(lǐng)域有著極其重要的應(yīng)用價(jià)值，是國際上非常重視的熱門研究課題。從數(shù)學(xué)上講，盲信號處理問題可以用X(t)=AS(t)來描述，這里X(t)是已知觀測數(shù)據(jù)矢量，而信號矢量S(t)和系統(tǒng)參數(shù)矩陣A都是未知的，如何只由觀測矢量X(t)來推求S(t)或A，其解將存在不定因素，可能有許多不同的兩個(gè)量相乘而得到同一個(gè)觀測數(shù)據(jù)X(t)。求解這類問題是一個(gè)國際性的盲處理難題，但該問題有很高的實(shí)用價(jià)值。圖像、語聲、中文詩詞及英文文字等多媒體信息混合后的盲分離問題，最高信號干擾之比高于70dB。

第7篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

關(guān)鍵詞：圖像采集和處理；圖像檢測；Gabor紋理濾波；神經(jīng)網(wǎng)絡(luò)

DoI：10.15938/j.jhust.2016.06.009

中圖分類號：TPl83；TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號：1007-2683（2016）06-0044-06

0.引言

鋼鐵企業(yè)為了提高競爭力，對帶鋼的生產(chǎn)提出了新的要求，也對帶鋼表面檢測系統(tǒng)提出了更高的要求，既要有更高的檢測速度還要有更加準(zhǔn)確的檢測精度，而與此同時(shí)，跟隨機(jī)器視覺技術(shù)的發(fā)展，帶鋼表面檢測系統(tǒng)也得到了廣泛的研究與應(yīng)用，主要研究包括：①光源技術(shù)，由于帶鋼檢測對光源要求頻度高、體積小，這限制了傳統(tǒng)光源在其應(yīng)用，激光具有方向性好、亮度高、體積小等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測應(yīng)用中，國內(nèi)的徐科等提出熱軋鋼檢測中用綠光作為激光光源，但激光照明需解決均勻性問題.②掃描技術(shù)，由于電荷耦合元件（charge-coupled device，CCD）能夠?qū)崿F(xiàn)實(shí)時(shí)檢測，成為目前研究和應(yīng)用的主流技術(shù)，但是，CCD電荷耦合器需在同步時(shí)鐘的控制下，以行為單位一位一位地輸出信息，速度較慢，而互補(bǔ)金屬氧化物半導(dǎo)體（complementary metal oxide semiconductor，CMOS）光電傳感器采集光信號的同時(shí)就可以取出電信號，還能同時(shí)處理各單元的圖像信息，速度比CCD電荷耦合器快很多，③圖像處理算法，受限于帶鋼加工過程的特性，帶鋼表面呈現(xiàn)出隨機(jī)紋理的特點(diǎn)，對于隨機(jī)紋理圖像的處理分析，目前常用的方法有共生矩陣法、頻域?yàn)V波法、分形法等，作為頻域?yàn)V波法的代表，二維Gabor濾波器有著與生物視覺系統(tǒng)相近的特點(diǎn)，廣泛應(yīng)用于紋理圖像的處理分析，但是，CPU很難滿足現(xiàn)在的帶鋼檢測的實(shí)時(shí)要求，④分類算法，特征選擇的主流算法是主成分分析和信息增益，主成分分析存在特征向量方向不一致的問題，而且如何確定主成分存在主觀性，信息增益可以衡量特征的劣，利用它可對特征進(jìn)行排序，方便后面的特征選擇，但信息增益適用于離散特征，信息增益率既適用于離散特征也適用于連續(xù)特征，被廣泛應(yīng)用于特征選擇的過程中，圖像分類算法主流算法包括支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)不適用于大樣本的分類問題，BP神經(jīng)網(wǎng)絡(luò)方法具有能夠解決非線性分類問題，對噪聲不敏感等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測中，如王成明等提出的基于BP神經(jīng)網(wǎng)絡(luò)的帶鋼表面質(zhì)量檢測方法等，但是BP神經(jīng)網(wǎng)絡(luò)的超參的設(shè)定往往具有隨機(jī)性，這嚴(yán)重影響了分類效果。

本文首先介紹了帶鋼表面缺陷高速高分辨率成像系統(tǒng)的設(shè)計(jì)，針對光源的不均勻性、圖像處理速度慢等問題，提出改進(jìn)方法，然后介紹了分類器的構(gòu)建，針對樣本劃分的隨機(jī)性、特征選擇的隨機(jī)性以及BP神經(jīng)網(wǎng)絡(luò)超參設(shè)定的隨機(jī)性問題，做出改進(jìn)，最后介紹試驗(yàn)結(jié)果。

1.帶鋼表面缺陷高速高分辨率的成像系統(tǒng)的設(shè)計(jì)

1）大功率半導(dǎo)體均勻發(fā)光激光器技術(shù)，激光能夠保證帶鋼表面缺陷的檢出率，本系統(tǒng)選用808mm半導(dǎo)體激光器作為照明源，出光功率可達(dá)30w，亮度可達(dá)1500流明，激光照明需解決均勻性的問題，本文采用了基于鮑威爾棱鏡的激光線發(fā)生辦法，解決了激光照明的均勻性問題，其光路如圖1所示。

該方法首先在激光聚焦位置放置圓形球面透鏡，負(fù)責(zé)將發(fā)散的激光束匯聚成準(zhǔn)平行光，同時(shí)控制光柱的粗細(xì)，然后，利用鮑威爾棱鏡的擴(kuò)散效果對圓柱的一個(gè)方向進(jìn)行擴(kuò)束，最終形成激光線，為保證亮度及寬度的適應(yīng)性，激光器出光口距離圓透鏡、鮑威爾棱鏡的距離可以精密調(diào)整，為了降低反射亮度損失，在透鏡表面鍍上808±5nm的T≥99%的增透膜。

GPU的算法分為兩個(gè)流程：訓(xùn)練過程主要針對無缺陷圖像進(jìn)行，通過訓(xùn)練完成紋理圖像的背景建模，一方面消除背景變化帶來的干擾，另一方面形成有效的Gabor卷積參數(shù)，以便在檢測過程中得到最優(yōu)的檢出效果.檢測過程對實(shí)際拍攝的缺陷圖像進(jìn)行分析，首先按照GPU的核心數(shù)和緩存大小對圖像進(jìn)行分解，本文所有GPU的核心數(shù)為1024，顯存2G，因此將原始圖像分解為1000塊，分別加載到1000個(gè)核心中，同時(shí)并發(fā)運(yùn)行卷積運(yùn)算.最后將各個(gè)窗口的卷積結(jié)果合并到一起，得到完成的濾波結(jié)果，最后借助于背景模式，將背景的干擾消除，得到干凈的缺陷區(qū)域。

3）成像系統(tǒng)，根據(jù)缺陷檢測的精度要求（1800m/min的檢測速度，0.25mm的精度），帶鋼的規(guī)格要求（1900 mm規(guī)格），對帶鋼進(jìn)行成像系統(tǒng)設(shè)計(jì)，基于互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）的成像芯片具有速度快，用電低等優(yōu)勢，選用兩個(gè)4K線掃描CMOS相機(jī)作為成像核心器件，選用Camera Link Full接口作為數(shù)據(jù)輸出，兩個(gè)4K掃描中間重疊100mm作為圖像拼接區(qū)，兩組線激光光源與線掃描組成系統(tǒng)的主要成像模塊，成像系統(tǒng)結(jié)構(gòu)如圖3所示。

2.構(gòu)建分類器

檢測缺陷類別及其特征描述如表1所示：

1）訓(xùn)練集和樣本集劃分.主要缺陷類別有5個(gè)，每個(gè)類別收集樣本7000，共計(jì)35000個(gè)樣本，為了避免訓(xùn)練集和樣本集劃分的盲目性，采用10一折交叉驗(yàn)證的方式劃分訓(xùn)練集和測試集，即將樣本集分成10份，從中選1份為測試集，剩下的為訓(xùn)練集，如圖4所示，究竟選擇哪一份作為測試集，需在后面的嵌套循環(huán)中實(shí)現(xiàn)。

2）特征選擇，缺陷區(qū)域的長度、寬度、面積、區(qū)域?qū)Ρ榷鹊裙灿?jì)138個(gè)特征形成初始特征集合，利用信息增益率來對各個(gè)特征排序。

上述各循環(huán)組合在一起就是一個(gè)嵌套循環(huán)，其N-S盒圖如圖5所示，最外層是測試集和訓(xùn)練集的10折交叉驗(yàn)證，第1層是確定最優(yōu)的特征數(shù)，第3層是確定最優(yōu)的隱含層節(jié)點(diǎn)數(shù)，第4、5層是確定最優(yōu)的輸入層和隱含層、隱含層和輸出層的初始權(quán)值。

經(jīng)以上循環(huán)，確定D3作為測試集，最優(yōu)特征數(shù)為23個(gè)，最優(yōu)的隱含層節(jié)點(diǎn)數(shù)是46個(gè)，同時(shí)也確定了最優(yōu)的初始權(quán)值，對應(yīng)的3層BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型如圖6所示。

3.實(shí)驗(yàn)結(jié)果

1）鮑威爾棱鏡與柱透鏡進(jìn)行對比在實(shí)際工作距離1.5m處，采用0.1m為間隔使用光功率計(jì)測試光源功率，如圖7所示，橫軸為測試點(diǎn)，縱軸為測試點(diǎn)的光功率。實(shí)驗(yàn)表明，鮑威爾棱鏡均勻性優(yōu)于柱透鏡。

2）Gabor濾波方法與其他方法比較將動(dòng)態(tài)閾值法+Blob分析法（方法A）和灰度共生矩陣紋理背景消除法（方法B）兩種方法與Gabor濾波方法進(jìn)行比較，如圖8所示.由于缺陷與背景灰度相近（圖（a）），致使方法A缺陷丟失（圖（b）），由于缺陷與背景紋理相近（圖（d）），致使方法B產(chǎn)生噪聲（圖（e）），Gabor方法取得了不錯(cuò)的效果（圖（e）、（圖（f）））。

3）GPU與CPU比較以4096×4096的圖像為例，選10幅有代表性圖像，利用CPU（最新的inteli7-2600處理器，4核8線程，2.6GHz，內(nèi)存8G）和GPU（nVidiaGTX970，4G存顯卡）進(jìn)行Ga-bor運(yùn)算，計(jì)算時(shí)間如表2所示，GPU計(jì)算效率明顯優(yōu)于CPU，其中CPU的平均耗時(shí)為290.4ms，而GPU的平均耗時(shí)為31.7ms。

4）檢測效果在產(chǎn)線速度為1775m/min，最小檢測缺陷的尺寸為0.25mm的檢測系統(tǒng)中，對帶鋼的主要4種類型缺陷進(jìn)行檢測統(tǒng)計(jì)，檢測結(jié)果如表3所示。

可計(jì)算出整體檢出率99.9%，檢測準(zhǔn)確率99.4%。

第8篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

關(guān)鍵詞：智能科學(xué)與技術(shù)；興趣導(dǎo)向；逆向教學(xué)

0引言

智能科學(xué)與技術(shù)是信息科學(xué)與技術(shù)的核心、前沿與制高點(diǎn)，也是整個(gè)現(xiàn)代科學(xué)技術(shù)體系的頭腦中樞，是現(xiàn)代科學(xué)技術(shù)創(chuàng)新的引領(lǐng)和示范，是現(xiàn)代社會(huì)（包括經(jīng)濟(jì)、社會(huì)、文化、民生、國防等）走向智能化的主導(dǎo)技術(shù)支柱。在越來越激烈尖銳的國際競爭環(huán)境中，智能科學(xué)與技術(shù)水平已經(jīng)成為一個(gè)國家綜合國力與科技實(shí)力的標(biāo)志。智能科學(xué)與技術(shù)的發(fā)展和智能科學(xué)與技術(shù)學(xué)科的人才培養(yǎng)，不僅僅是智能科學(xué)與技術(shù)研究與教育本身的事情，更是關(guān)系到整個(gè)社會(huì)智能化發(fā)展優(yōu)劣的大事情，也是關(guān)系到整個(gè)國家強(qiáng)弱興衰的大事情。

科技發(fā)展，關(guān)鍵在于人才。在新的發(fā)展機(jī)遇下，國家對智能科學(xué)與技術(shù)專門人才的需求更加旺盛。因此，如何促進(jìn)智能科學(xué)與技術(shù)教學(xué)方式的改革是培養(yǎng)厚基礎(chǔ)、高層次的智能科學(xué)與技術(shù)人才的基本途徑。智能科學(xué)與技術(shù)教學(xué)方式的改革，不僅發(fā)展智能科學(xué)與技術(shù)本身，而且對受教育者創(chuàng)新能力的提高也至關(guān)重要。

目前，網(wǎng)絡(luò)的普及與全社會(huì)信息化程度的提高，對我國人才培養(yǎng)提出了更高的要求，特別是高校在課堂教學(xué)方面，部分原有教材及培養(yǎng)模式亟待調(diào)整。以智能科學(xué)與技術(shù)為代表的前沿新興學(xué)科，在學(xué)科發(fā)展途徑、應(yīng)用技術(shù)轉(zhuǎn)化及從業(yè)人員年齡、成長環(huán)境等方面，均與很多傳統(tǒng)學(xué)科存在較大的差異，而使用傳統(tǒng)教學(xué)方式進(jìn)行人才培養(yǎng)，也出現(xiàn)了一些水土不服的現(xiàn)象。

1教學(xué)理念的改變

相對于傳統(tǒng)學(xué)科，智能科學(xué)與技術(shù)從業(yè)人員平均年齡顯現(xiàn)出年輕化的特點(diǎn)，且由于從業(yè)人員及學(xué)生普遍年齡較輕，在他們的成長過程中，外在環(huán)境相對寬松，自由、平等的理念在他們的成長過程中不斷被提及和強(qiáng)化。傳統(tǒng)“教師講、學(xué)生聽”的演講式講授方式雖然能夠在一定時(shí)間內(nèi)讓學(xué)生了解大量信息，但學(xué)生接收到的大部分信息只停留在記憶層面，很難上升到理解層面，導(dǎo)致學(xué)生只是被動(dòng)的“填鴨式”接受。

在科技發(fā)達(dá)、網(wǎng)絡(luò)互聯(lián)的今天，人們不是自投羅網(wǎng)就是被網(wǎng)羅其中，知識獲取的渠道不再局限于紙質(zhì)媒介和言傳身教，更多來自于電子資源及網(wǎng)絡(luò)媒介，教師和學(xué)生獲取知識的途徑及資源差異越來越小，在知識量、閱歷等方面縮小了師生間的差距，師生之間傳統(tǒng)的信息不對稱差距逐步縮小，導(dǎo)致教師在知識積淀上沒有了絕對優(yōu)勢。

與此同時(shí)，逐步深入青年學(xué)生內(nèi)心的自由、平等觀念對中國傳統(tǒng)的尊師重道思想帶來了不小的沖擊。在當(dāng)今開放的網(wǎng)絡(luò)環(huán)境下，針對新興時(shí)代的學(xué)生，傳統(tǒng)習(xí)俗中的師長觀念由于知識獲取渠道的平等化而缺乏強(qiáng)有力的現(xiàn)實(shí)支撐，教師的身份權(quán)威性和知識權(quán)威性都受到了不同程度的質(zhì)疑，繼續(xù)使用“填鴨式”“訓(xùn)導(dǎo)式”教學(xué)方式，將會(huì)事倍功半。

因此，針對新興學(xué)科，一線教師需要進(jìn)行教學(xué)理念上的修正，特別是教師應(yīng)順應(yīng)培養(yǎng)對象的整體特點(diǎn)，基于自由和平等的觀念進(jìn)行自我定位，以交流討論式代替居高臨下布施式的教學(xué)觀念，充分與學(xué)生打成一片，以便更好地調(diào)動(dòng)學(xué)生的思維，引導(dǎo)學(xué)生進(jìn)行主動(dòng)思考和主動(dòng)學(xué)習(xí)。

2教學(xué)素材的改進(jìn)與提高

當(dāng)今時(shí)代是知識爆炸的時(shí)代，科學(xué)技術(shù)日新月異，新知識、新成果層出不窮，特別是智能科學(xué)與技術(shù)這一前沿學(xué)科，正在向理論創(chuàng)新和大規(guī)模實(shí)際應(yīng)用發(fā)展，新理論、新方法不斷被提出并驗(yàn)證，新模型、新實(shí)例、新應(yīng)用不斷產(chǎn)出。

“教學(xué)素材對教育理念的滲透發(fā)揮著重要作用，它已經(jīng)成為促進(jìn)或阻礙教學(xué)模式轉(zhuǎn)變的活躍而關(guān)鍵的要素。隨著新時(shí)代知識的快速更新?lián)Q代和知識面的不斷拓寬，教學(xué)素材是否優(yōu)秀的標(biāo)準(zhǔn)不僅僅是包含多少知識，更重要的是包含多少最新的知識；不僅僅是傳遞解決問題的方法，更重要的是傳遞超前、新穎的解決問題的方法。

當(dāng)今學(xué)生知識涉獵面廣，現(xiàn)有的網(wǎng)絡(luò)環(huán)境也為他們提供了很好的平臺，如果他們已經(jīng)獲取的知識及應(yīng)用的先進(jìn)程度遠(yuǎn)遠(yuǎn)超過課本素材羅列的知識，將會(huì)極大地削弱他們對本學(xué)科的興趣，進(jìn)而影響課堂教學(xué)效果。

此外，作為智能科學(xué)與技術(shù)這一前沿學(xué)科的教學(xué)素材，必須體現(xiàn)出時(shí)代性、開放性、多元性與全面性。因此，教學(xué)過程中所采用素材的改進(jìn)和提高，應(yīng)該向著不斷更新、與時(shí)俱進(jìn)的方向靠攏，教師應(yīng)該不斷將最新理論、最新方法、最新應(yīng)用融合于一線基礎(chǔ)教學(xué)過程中，使學(xué)生在學(xué)習(xí)過程中始終緊跟前沿技術(shù)的發(fā)展，在未來工作中能更快、更好地融入行業(yè)中。

3教學(xué)方式的轉(zhuǎn)變

目前，學(xué)生群體主要為90后，高校即將迎來00后，他們成長過程中的家庭環(huán)境和社會(huì)環(huán)境與早期學(xué)生相比更為平等和寬松，他們的學(xué)習(xí)需求也由目標(biāo)導(dǎo)向型逐步演化為興趣導(dǎo)向型。因此，如何激發(fā)學(xué)生的興趣，進(jìn)而以興趣為基礎(chǔ)激發(fā)學(xué)生自主學(xué)習(xí)的動(dòng)力，將是教學(xué)效果事半功倍的途徑。

青年學(xué)生正處于思維高度活躍的階段，他們往往對新興成果和前沿?zé)狳c(diǎn)有著超過常人的關(guān)注，如何巧妙而有效地將這種關(guān)注轉(zhuǎn)化為針對本學(xué)科的興趣，進(jìn)而反向推導(dǎo)出基礎(chǔ)理論并讓學(xué)生消化、吸收，就成為一線教師面臨的重要問題。

從1997年國際象棋大師卡斯帕羅夫和電腦“深藍(lán)”第一次人機(jī)大戰(zhàn)開始，智能科學(xué)與技術(shù)迅速躋身科技前沿?zé)狳c(diǎn)，且經(jīng)久不衰。2016年3月，Alpha Go再次燃起人工智能之火，經(jīng)過媒體的推波助瀾，成為社會(huì)關(guān)注的焦點(diǎn)，大大增強(qiáng)了智能科學(xué)與技術(shù)的關(guān)注度。而青年學(xué)生作為最容易追趕潮流的群體，自然對此類熱點(diǎn)趨之若鶩。

作為智能科學(xué)與技術(shù)學(xué)科的一線教師，應(yīng)把握和利用社會(huì)輿論的潮流以及學(xué)生心理的律動(dòng)，及時(shí)以此熱點(diǎn)為突破口，吸引學(xué)生的興趣，引起共鳴，進(jìn)而進(jìn)行反向推導(dǎo)相關(guān)基礎(chǔ)理論并加以詳解。

例如，教師以Alpha Go為課堂開篇討論，引導(dǎo)學(xué)生思考，并說明Alpha Go的核心原理是深度學(xué)習(xí)。在這個(gè)實(shí)例中，Alpha Go模擬人類下棋的推理與思考過程，其中推理過程通過搜索樹來搜索可能的棋局，思考過程通過兩個(gè)深度神經(jīng)網(wǎng)絡(luò)確定可能的搜索方向和評估棋局，這兩個(gè)神經(jīng)網(wǎng)絡(luò)包括：

（1）落子選擇器（policy network），這是一種深度卷積神經(jīng)網(wǎng)絡(luò)，主要通過當(dāng)前棋盤布局預(yù)測下一步走棋位置的概率。

（2）棋局評估器（value network），與落子選擇器具有相似的結(jié)構(gòu)，主要在給定棋子位置的情況下，輸出雙方棋手獲勝的可能性，從而對棋局進(jìn)行評估。

如此，教師可以帶領(lǐng)學(xué)生了解搜索樹及搜索算法，也可以從深度卷積神經(jīng)網(wǎng)絡(luò)到普通神經(jīng)網(wǎng)絡(luò)，講解神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，分析神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)的發(fā)展過程。這樣就可以將學(xué)生對Alpha Go本身的興趣，巧妙地引導(dǎo)到對神經(jīng)網(wǎng)絡(luò)等基礎(chǔ)概念和原理方面，以此強(qiáng)化學(xué)生對基礎(chǔ)知識的掌握。

同時(shí)，開放式的考核方式也是促進(jìn)學(xué)生創(chuàng)新、使教學(xué)方法適應(yīng)新時(shí)代的一種有效途徑。對于本學(xué)科感興趣的話題，教師應(yīng)鼓勵(lì)學(xué)生多談自己的思路和想法；對于開放式課題，應(yīng)給學(xué)生提供展示的舞臺，鼓勵(lì)學(xué)生分享自己在查找資料、解決難點(diǎn)、編程過程中的心得體會(huì)，充分調(diào)動(dòng)學(xué)生的積極性和主動(dòng)性；將這些考核成績按比例計(jì)入學(xué)生課業(yè)總成績中，充分肯定學(xué)生的創(chuàng)新能力。

4結(jié)語

教學(xué)成效是設(shè)計(jì)和構(gòu)建教學(xué)方式的基本出發(fā)點(diǎn)，教師應(yīng)該結(jié)合學(xué)生需求從學(xué)習(xí)成效、教學(xué)技巧、教學(xué)內(nèi)容上總體把握教學(xué)方式閣，采用不同于傳統(tǒng)講授方式的逆向教學(xué)（如圖1所示），使其滿足和順應(yīng)新一代青年學(xué)生的心理認(rèn)同需求和學(xué)習(xí)需求，將新理論、新應(yīng)用不斷融入基礎(chǔ)教學(xué)中，達(dá)到更好的教學(xué)效果。

第9篇：卷積神經(jīng)網(wǎng)絡(luò)方法范文

關(guān)鍵詞：蛋白質(zhì)二級結(jié)構(gòu)預(yù)測；基團(tuán)編碼；正交編碼；SVM

0引言

氨基酸序列的研究是生物信息學(xué)中對生物序列展開探討設(shè)計(jì)的主要工作，氨基酸序列決定了蛋白質(zhì)的空間結(jié)構(gòu)，而蛋白質(zhì)的空間結(jié)構(gòu)決定了蛋白質(zhì)生理功能的多樣性。在利用x射線結(jié)晶學(xué)及核磁共振等技術(shù)對蛋白質(zhì)結(jié)構(gòu)進(jìn)行探測時(shí)發(fā)現(xiàn)，蛋白質(zhì)結(jié)構(gòu)有4個(gè)層次，蛋白質(zhì)的二級結(jié)構(gòu)是認(rèn)識了解蛋白質(zhì)的折疊模式和三級結(jié)構(gòu)的基礎(chǔ)，進(jìn)一步為研究蛋白質(zhì)的功能以及彼此之間的相互作用模式提供結(jié)構(gòu)基礎(chǔ)，同時(shí)還可以為新藥研發(fā)提供幫助。故研究蛋白質(zhì)的二級結(jié)構(gòu)具有重要的意義。