神經(jīng)網(wǎng)絡(luò)綜述精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)綜述主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)綜述范文

【關(guān)鍵字】入侵 檢測(cè) 神經(jīng)網(wǎng)絡(luò)

一、引言

隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)攻擊的行為日益增多，一般的防火墻和數(shù)據(jù)加密等被動(dòng)的防護(hù)很難對(duì)網(wǎng)絡(luò)行全面的監(jiān)控，有主動(dòng)防御功能的入侵檢測(cè)技術(shù)可以補(bǔ)充防火墻的不足。神經(jīng)網(wǎng)絡(luò)有良好的歸納推理能力和自適應(yīng)性，對(duì)已知和未知的攻擊行為進(jìn)行檢測(cè)，在入侵檢測(cè)過程中起到了重要的作用。

二、基于神經(jīng)網(wǎng)路的通信系統(tǒng)入侵檢測(cè)技術(shù)發(fā)展趨勢(shì)

如圖1所示，基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)，在2001年到2003年間申請(qǐng)量較小，之后幾年內(nèi)，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展以及網(wǎng)絡(luò)環(huán)境的日漸復(fù)雜，基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)研究受到更多重視，專利申請(qǐng)數(shù)量也穩(wěn)步增加，該技術(shù)得到快速發(fā)展。

三、基于神經(jīng)網(wǎng)路的通信系統(tǒng)入侵檢測(cè)技術(shù)解析

針對(duì)基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)專利申請(qǐng)的研究，可主要分為四個(gè)技術(shù)分支：選擇合適的數(shù)據(jù)源和數(shù)據(jù)屬性、改進(jìn)現(xiàn)有算法、發(fā)現(xiàn)新的入侵檢測(cè)算法、改進(jìn)入侵檢測(cè)系統(tǒng)構(gòu)架。

3.1選擇合適的數(shù)據(jù)源和數(shù)據(jù)屬性

選擇合適的數(shù)據(jù)源和數(shù)據(jù)屬性是一個(gè)關(guān)鍵環(huán)節(jié)，在入侵檢測(cè)系統(tǒng)征提取器和分類器成為了入侵檢測(cè)領(lǐng)域研究的特點(diǎn)。如2012年的申請(qǐng)?zhí)枮?01210074813中，對(duì)于相同的訓(xùn)練數(shù)據(jù)，加入少量有標(biāo)簽的數(shù)據(jù)的半監(jiān)督GHSOM算法，同時(shí)利用有標(biāo)簽的數(shù)據(jù)判斷神經(jīng)元類型，對(duì)神經(jīng)元起到自動(dòng)標(biāo)識(shí)的作用；2014年的專利申請(qǐng)?zhí)枮?01410750891中，提供一種基于加權(quán)距離度量以及矩陣分解的入侵檢測(cè)方法，可有效解決現(xiàn)有技術(shù)沒有考慮整個(gè)數(shù)據(jù)集的特性以及各數(shù)據(jù)集屬性之間量綱的差異，對(duì)噪聲數(shù)據(jù)敏感，導(dǎo)致檢測(cè)效果較差的問題。

3.2改進(jìn)現(xiàn)有的算法

入侵檢測(cè)算法是基于神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)的核心，其直接關(guān)系到檢測(cè)的效率和誤警率。申請(qǐng)?zhí)枮?01310712975的專利，提供一種集成維納過程與Adaboost集成學(xué)習(xí)方法、解決不平衡數(shù)據(jù)集的分類問題，能夠?qū)蓪W(xué)習(xí)算法泛化能力進(jìn)行極大提升；申請(qǐng)?zhí)枮?01410372707的專利中提供一種用于基于特征的三階段神經(jīng)網(wǎng)絡(luò)入侵檢測(cè)的方法和系統(tǒng)，其針對(duì)入侵檢測(cè)使用三階段神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)較少的假警報(bào)率。

3.3發(fā)現(xiàn)新的入侵檢測(cè)算法

隨著基礎(chǔ)的檢測(cè)算法日益成熟，為開發(fā)新的檢測(cè)算法提供了強(qiáng)有力的基礎(chǔ)，因此，近年來，開始出現(xiàn)關(guān)于新的檢測(cè)算法的申請(qǐng)。申請(qǐng)?zhí)枮?01310032391的專利中將PCA降維與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式引入手機(jī)，從而降低了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的計(jì)算量和存儲(chǔ)量，以少的計(jì)算量達(dá)到主動(dòng)防御的效果；申請(qǐng)?zhí)枮?01410855655的專利中通過廣義回歸神經(jīng)網(wǎng)絡(luò)結(jié)合模糊聚類算法迭代學(xué)習(xí)和訓(xùn)練，使得網(wǎng)絡(luò)入侵連接的分類更加準(zhǔn)確，改進(jìn)了經(jīng)典的Apriori算法，降低了其時(shí)間復(fù)雜度，適應(yīng)了網(wǎng)絡(luò)環(huán)境的變化。

3.4入侵檢測(cè)系統(tǒng)構(gòu)架

入侵檢測(cè)系統(tǒng)是一種能夠通過系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)護(hù)，分析網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)，檢測(cè)到有可疑的入侵行為后進(jìn)行警報(bào)等一系列措施的系統(tǒng)。申請(qǐng)?zhí)枮?01110457562的專利可針對(duì)入侵檢測(cè)全過程，從攻擊或從事惡意行為的網(wǎng)絡(luò)入侵到操作系統(tǒng)內(nèi)部監(jiān)控，都給予其抵御，并形成防御機(jī)制，增加了防御的實(shí)時(shí)性，為自動(dòng)抵抗攻擊帶來動(dòng)力；消除了大量的數(shù)據(jù)輸入；實(shí)現(xiàn)了Linux下的高量數(shù)據(jù)包監(jiān)聽；申請(qǐng)?zhí)枮?01410383497的專利中基于Hadoop分布式計(jì)算框架，提出了一種著眼于整個(gè)互聯(lián)網(wǎng)防御的安全體系。

第2篇：神經(jīng)網(wǎng)絡(luò)綜述范文

關(guān)鍵詞：  人工神經(jīng)網(wǎng)絡(luò)； 應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)方法自從本世紀(jì)40年代被提出以來，許多從事人工智能、計(jì)算機(jī)科學(xué)、信息科學(xué)的科學(xué)家都在對(duì)它進(jìn)行研究，已在軍事、醫(yī)療、航天、自動(dòng)控制、金融等許多領(lǐng)域取得了成功的應(yīng)用。目前出現(xiàn)了許多模仿動(dòng)物和人的智能形式與功能的某個(gè)方面的神經(jīng)網(wǎng)絡(luò)，例如，Grossberg提出的自適應(yīng)共振理論（Adaptive Resonance Theory，ART），T-Kohenen的自組織特征映射網(wǎng)絡(luò)(Self-Organizing feature Map，SOM)，徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function，RBF），Hopfield網(wǎng)等。進(jìn)入90年代以后，由于計(jì)算機(jī)技術(shù)和信息技術(shù)的發(fā)展，以及各種算法的不斷提出，神經(jīng)網(wǎng)絡(luò)的研究逐漸深化，應(yīng)用面也逐步擴(kuò)大，本研究對(duì)常用的神經(jīng)網(wǎng)絡(luò)方法及其在醫(yī)學(xué)領(lǐng)域中的應(yīng)用做一簡(jiǎn)單綜述。

    1  自組織特征映射網(wǎng)絡(luò)（self-organizing feature map，SOM）在基因表達(dá)數(shù)據(jù)分析中的應(yīng)用

   1.1   方法介紹

    腦神經(jīng)學(xué)的研究表明，人腦中大量的神經(jīng)元處于空間的不同區(qū)域，有著不同的功能，各自敏感著各自的輸入信息模式的不同特征。芬蘭赫爾辛基大學(xué)神經(jīng)網(wǎng)絡(luò)專家T.Kohonen根據(jù)大腦神經(jīng)系統(tǒng)的這一特性，于1981年提出了自組織特征映射網(wǎng)絡(luò)，它模擬人的大腦，利用競(jìng)爭(zhēng)學(xué)習(xí)的方式進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)，具有很強(qiáng)的自組織、自適應(yīng)學(xué)習(xí)能力，魯棒性和容錯(cuò)能力，其理論及應(yīng)用發(fā)展很快，目前已在信息處理、模式識(shí)別、圖像處理、語音識(shí)別、機(jī)器人控制、數(shù)據(jù)挖掘等方面都有成功應(yīng)用的實(shí)例。

    Kohonen網(wǎng)絡(luò)由輸入層和競(jìng)爭(zhēng)層組成，網(wǎng)絡(luò)結(jié)構(gòu)見圖1。輸入層由N個(gè)神經(jīng)元組成，競(jìng)爭(zhēng)層由M個(gè)輸出神經(jīng)元組成，輸入層與競(jìng)爭(zhēng)層各神經(jīng)元之間實(shí)現(xiàn)全互連接，競(jìng)爭(zhēng)層之間實(shí)行側(cè)向連接。設(shè)輸入向量為x=(x1,…,xd)T ，輸出神經(jīng)元j對(duì)應(yīng)的權(quán)重向量為wj=(wj1,…,wjd)T ，對(duì)每一輸出神經(jīng)元計(jì)算輸入向量x 和權(quán)重向量wj 間的距離，據(jù)此利用競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則對(duì)權(quán)向量進(jìn)行調(diào)節(jié)。在網(wǎng)絡(luò)的競(jìng)爭(zhēng)層，各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后僅一個(gè)神經(jīng)元成為勝利者，并對(duì)與獲勝神經(jīng)元有關(guān)的各權(quán)重朝著更有利于它競(jìng)爭(zhēng)的方向調(diào)整，這樣在每個(gè)獲勝神經(jīng)元附近形成一個(gè)“聚類區(qū)”，學(xué)習(xí)的結(jié)果使聚類區(qū)內(nèi)各神經(jīng)元的權(quán)重向量保持與輸入向量逼近的趨勢(shì)，從而使具有相近特性的輸入向量聚集在一起，這種自組織聚類過程是系統(tǒng)自主、無教師示教的聚類方法，能將任意維輸入模式在輸出層映射成一維或二維離散圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變。網(wǎng)絡(luò)通過對(duì)輸入模式的學(xué)習(xí)，網(wǎng)絡(luò)競(jìng)爭(zhēng)層神經(jīng)元相互競(jìng)爭(zhēng)，自適應(yīng)地形成對(duì)輸入模式的不同響應(yīng)，模擬大腦信息處理的聚類功能、自組織、自學(xué)習(xí)功能，實(shí)現(xiàn)用低維目標(biāo)空間的點(diǎn)去表示高維原始空間的點(diǎn)，其工作原理和聚類算法及改進(jìn)方法參見相關(guān)文獻(xiàn)［1］。

    1.2  應(yīng)用

    基因芯片技術(shù)的應(yīng)用使得人們可以從基因水平探討疾病的病因及預(yù)后，而基因芯片產(chǎn)生的數(shù)據(jù)具有高維度（變量多）、樣本量小、高噪聲的特點(diǎn)，樣本量遠(yuǎn)小于變量數(shù)，如何從海量的數(shù)據(jù)中挖掘信息或知識(shí)成為重大課題。聚類分析是數(shù)據(jù)挖掘中的一類重要技術(shù)，傳統(tǒng)方法主要有系統(tǒng)聚類、k-means聚類等，但在處理復(fù)雜非線性關(guān)系及變量間的交互作用時(shí)效果較差，受異常值影響較大。近年來神經(jīng)網(wǎng)絡(luò)技術(shù)法成為聚類領(lǐng)域的研究熱點(diǎn)，其中自組織特征映射網(wǎng)絡(luò)由于其良好的自適應(yīng)性，其算法對(duì)基因表達(dá)數(shù)據(jù)的聚類有較高的穩(wěn)定性和智能性，尤其在處理基因表達(dá)中有缺失數(shù)據(jù)及原始空間到目標(biāo)空間存在非線性映射結(jié)構(gòu)時(shí)有較好的體現(xiàn)，適用于復(fù)雜的多維數(shù)據(jù)的模式識(shí)別和特征分類等探索性分析，同時(shí)可實(shí)現(xiàn)聚類過程和結(jié)果的可視化［2］。目前Kohonen網(wǎng)絡(luò)已被成功用到許多基因表達(dá)數(shù)據(jù)的分析中，Jihua Huang等［3］設(shè)計(jì)6×6的網(wǎng)絡(luò)對(duì)酵母細(xì)胞周期數(shù)據(jù)進(jìn)行分析，總正確率為67.7%；曹暉等［4］將其算法改進(jìn)后用在酵母菌基因表達(dá)數(shù)據(jù)中，總正確率高達(dá)84.73%，有較高的聚類效能；鄧慶山［5］將該模型與K平均值聚類方法結(jié)合用于公開的結(jié)腸基因表達(dá)數(shù)據(jù)集和白血病基因表達(dá)數(shù)據(jù)集，聚類的準(zhǔn)確率分別為94.12%和90.32%。目前Kohonen網(wǎng)絡(luò)在醫(yī)學(xué)領(lǐng)域中主要應(yīng)用前景有：① 發(fā)現(xiàn)與疾病相關(guān)的新的未知基因，對(duì)目標(biāo)基因進(jìn)一步研究，提高診斷的正確率，并對(duì)藥物的開發(fā)研究提供重要的線索；② 對(duì)腫瘤組織的基因表達(dá)譜數(shù)據(jù)聚類，以期發(fā)現(xiàn)新的、未知的疾病亞型（腫瘤亞型），以便提出更加有針對(duì)性的治療方案，為從分子水平對(duì)疾病分型、診斷、預(yù)后等提供依據(jù)；③ 發(fā)現(xiàn)與已知基因有相似功能的基因，為推斷未知基因的可能功能提供線索。

    2  BP神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)研究中的應(yīng)用

    2.1  BP神經(jīng)網(wǎng)絡(luò)在疾病輔助診斷中的應(yīng)用

    2.1.1  方法介紹

    BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)，一般由一個(gè)輸入層（input layer）、一個(gè)輸出層（output layer）、一個(gè)或幾個(gè)中間層（隱層）組成。每一層可包含一個(gè)或多個(gè)神經(jīng)元，其中每一層的每個(gè)神經(jīng)元和前一層相連接，同一層之間沒有連接。輸入層神經(jīng)元傳遞輸入信息到第一隱層或直接傳到輸出層，隱層的神經(jīng)元對(duì)輸入層的信息加權(quán)求和，加一個(gè)常數(shù)后，經(jīng)傳遞函數(shù)運(yùn)算后傳到下一個(gè)隱層（或輸出層），常用的傳遞函數(shù)是logistic函數(shù)，即Φh=1/(1+exp(-z)) ，輸出層神經(jīng)元對(duì)前一層的輸入信息加權(quán)求和經(jīng)傳遞函數(shù)Φ0 （線性或logistic函數(shù)或門限函數(shù)）運(yùn)算后輸出，BP神經(jīng)網(wǎng)絡(luò)一般采用BP算法訓(xùn)練網(wǎng)絡(luò)，關(guān)于BP算法及改進(jìn)可參考相關(guān)文獻(xiàn)［1］。

第3篇：神經(jīng)網(wǎng)絡(luò)綜述范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);電力負(fù)荷;短期預(yù)測(cè)

中圖分類號(hào):TP183 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 09-0000-02

Power Load Short-term Forecasting Based on BP Neural Network

Wang Jing,Yang Xiao

(School of Economics&Management,North China Electric Power University,Beijing102206,China)

Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.

Keywords:BP Neural Network;Power Load;Short-term Forecast

一、引言

目前,全國(guó)供電緊張,部分嚴(yán)重地區(qū)經(jīng)常缺電,造成許多發(fā)電設(shè)備不能及時(shí)檢修,處于超負(fù)荷的運(yùn)轉(zhuǎn)狀態(tài)。會(huì)導(dǎo)致機(jī)組老化加速,出現(xiàn)不可預(yù)見的事故,造成人員、財(cái)產(chǎn)的傷亡。因此對(duì)未來電網(wǎng)內(nèi)負(fù)荷變化趨勢(shì)的預(yù)測(cè),是電網(wǎng)調(diào)度部門和設(shè)計(jì)部門所必須具備的基本信息之一。

電力系統(tǒng)負(fù)荷預(yù)測(cè)是電力生產(chǎn)部門的重要工作,通過精確的預(yù)測(cè)電力負(fù)荷,可以經(jīng)濟(jì)的調(diào)度發(fā)電機(jī)組,合理安排機(jī)組啟停、機(jī)組檢修計(jì)劃,降低發(fā)電成本,提高經(jīng)濟(jì)效益。負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)控制、運(yùn)行和計(jì)劃都有著重要的意義。電力系統(tǒng)負(fù)荷變化受多方面的影響,包括不確定性因素引起的隨機(jī)波動(dòng)和周期性變化規(guī)律。并且,由于受天氣、節(jié)假日等特殊情況影響,又使負(fù)荷變化出現(xiàn)差異。神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)非線性的映射功能,用神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)電力負(fù)荷越來越引起人們的關(guān)注。

二、BP網(wǎng)絡(luò)理論

(一)BP網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)全稱為Back-Propagation Network,即反向傳播網(wǎng)絡(luò),是一種多層前饋神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu)圖如圖1所示,根據(jù)圖示可以知道BP神經(jīng)網(wǎng)絡(luò)是一種有三層或三層以上的神經(jīng)網(wǎng)絡(luò),包括輸入層、中間層(隱層)和輸出層。前后層之間實(shí)現(xiàn)全連接,各層之間的神經(jīng)元不進(jìn)行連接。當(dāng)學(xué)習(xí)樣本輸入后,神經(jīng)元的激活之經(jīng)由各層從輸入層向輸出層傳遞。之后,根據(jù)減少目標(biāo)輸出與實(shí)際輸出誤差的原則,從輸出層反向經(jīng)過各層至輸入層,逐級(jí)修正各連接的權(quán)值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進(jìn)行,網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷上升。

BP神經(jīng)網(wǎng)絡(luò)傳遞函數(shù)不同于感知器模型傳遞函數(shù),BP神經(jīng)網(wǎng)絡(luò)要求其必須是可微的,所以感知器網(wǎng)絡(luò)中所用到的硬閾值傳遞函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中并不適應(yīng)。BP神經(jīng)網(wǎng)絡(luò)中常用的傳遞函數(shù)有正切函數(shù)、Sigmoid型的對(duì)數(shù)或線性函數(shù)。由于這些函數(shù)均是可微的,所以BP神經(jīng)網(wǎng)絡(luò)所劃分的區(qū)域是一個(gè)非線性的超平面組成的區(qū)域,是一個(gè)比較平滑的曲面,它比線性劃分更加的精確。另外,網(wǎng)絡(luò)才有嚴(yán)格的梯度下降法進(jìn)行學(xué)習(xí),權(quán)值修正的解析式分非常明確。

(二)BP網(wǎng)絡(luò)算法

(1)初始化。給沒給連接權(quán)值 、 、閾值 與 賦予區(qū)間 內(nèi)的隨機(jī)值

(2)確定輸入P和目標(biāo)輸出T。選取一組輸入樣本 和目標(biāo)輸出樣本 提供給網(wǎng)絡(luò)。

(3)用輸入樣本 、連接權(quán) 和閾值 計(jì)算中間層各單元的輸入 ,然后用 通過傳遞函數(shù)計(jì)算中間層各單元的輸出 。

(4)利用中間層的輸出 、連接權(quán) 和閾值 計(jì)算輸出層各單元的輸出 ,然后通過傳遞函數(shù)計(jì)算輸出層各單元的響應(yīng) 。

(5)利用目標(biāo)向量 和網(wǎng)絡(luò)的實(shí)際輸出 ,計(jì)算輸出層各單元的一般化誤差 。

(6)利用連接權(quán) 、輸出層的一般化誤差 和中間層的輸出 計(jì)算中間層各單元的一般化誤差 。

(7)利用輸出層各單元的一般化誤差 與中間呈個(gè)單元的輸出 來修正連接權(quán) 和閾值 。

(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權(quán) 和閾值 ,計(jì)算方法同(7)。

(9)達(dá)到誤差精度要求或最大訓(xùn)練步數(shù),輸出結(jié)果,否則返回(3)

三、實(shí)證研究

(一)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文以南方某缺電城市的整點(diǎn)有功負(fù)荷值,在預(yù)測(cè)的前一天中,每隔2小時(shí)對(duì)電力負(fù)荷進(jìn)行一次測(cè)量,這樣,可以得到12組負(fù)荷數(shù)據(jù)。此外電力負(fù)荷還和環(huán)境因素有關(guān),文章選取預(yù)測(cè)日最高氣溫、最低氣溫和降雨量氣象特征作為網(wǎng)絡(luò)輸入變量。所以設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)為:15個(gè)輸入層節(jié)點(diǎn)和12個(gè)輸出向量,根據(jù)Kolmogorov定理可知,網(wǎng)絡(luò)中間層的神經(jīng)元可以去31個(gè)。

(二)輸入數(shù)據(jù)歸一化處理

獲得輸入變量后,為了防止神經(jīng)元飽和現(xiàn)象,在BP神經(jīng)網(wǎng)絡(luò)輸入層進(jìn)行歸一化,文章才有如下公式進(jìn)行變換。

(三)實(shí)證分析

中間層神經(jīng)元傳遞函數(shù)和輸出層傳遞函數(shù)分別采用S型正切函數(shù)tansig和S型對(duì)數(shù)函數(shù)logsig,因?yàn)檫@連個(gè)函數(shù)輸出區(qū)間為[0,1],滿足網(wǎng)絡(luò)設(shè)計(jì)的需求。

利用以下代碼創(chuàng)建一個(gè)滿足上述要求的BP神經(jīng)網(wǎng)絡(luò)。

threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];

netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)

其中變量threshold用于規(guī)定輸入向量的最大值和最小值,規(guī)定了網(wǎng)絡(luò)輸入向量的最大值為1,最小值為0,。“trainlm”是為網(wǎng)絡(luò)設(shè)定的訓(xùn)練函數(shù),采用的是Levenberg-Marquardt算法進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。該方法明顯優(yōu)于共軛梯度法及變學(xué)習(xí)效率的BP算法,LM算法可大大提高學(xué)習(xí)速度,縮短訓(xùn)練時(shí)間。

使用該地區(qū)2007年8月11日到20日的負(fù)荷和氣象數(shù)據(jù)作為輸入向量,8月12日至8月21日負(fù)荷數(shù)據(jù)作為目標(biāo)向量,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再用8月20日負(fù)荷數(shù)據(jù)和21日的氣象特征數(shù)據(jù)來預(yù)測(cè)21日用電負(fù)荷,檢驗(yàn)預(yù)測(cè)誤差是否能帶到要求。

利用MATLAB進(jìn)行仿真,經(jīng)過79次訓(xùn)練后達(dá)到誤差要求結(jié)果。如圖2

網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)定見下表

從圖3和圖4中可以看出運(yùn)用BP神經(jīng)網(wǎng)絡(luò)方法很好的預(yù)測(cè)了負(fù)荷走勢(shì),并且預(yù)測(cè)誤差較小,負(fù)荷工程預(yù)測(cè)的要求。四、結(jié)論

在進(jìn)行電力負(fù)荷預(yù)測(cè)時(shí),必須考慮氣象因素的影響。在不同的地區(qū)氣象因素對(duì)電力負(fù)荷的影響不同,因此本文在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時(shí),結(jié)合該地實(shí)際情況考慮氣象因素。本文研究了BP神經(jīng)網(wǎng)絡(luò)在電力負(fù)荷短期預(yù)測(cè)中的應(yīng)用,根據(jù)上述的預(yù)測(cè)結(jié)果可以說明BP神經(jīng)網(wǎng)絡(luò)對(duì)電力負(fù)荷進(jìn)行短期預(yù)測(cè)是目前一種比較可行的方法。

參考文獻(xiàn)

[1]蔣平,鞠平.應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行中期電力負(fù)荷預(yù)報(bào)[J].電力系統(tǒng)自動(dòng)化,1995,6(19):15-17

[2]蘇寧.MATLAB軟件在電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J].華北電力技術(shù),2007(8):16-19

[3]康重慶,夏清,張伯明.電力系統(tǒng)負(fù)荷預(yù)測(cè)研究綜述與發(fā)展方向的探討[J].電力系統(tǒng)自動(dòng)化,2OO4,28(17):1-11

[4]姜勇.電力系統(tǒng)短期負(fù)荷預(yù)測(cè)的模糊神經(jīng)網(wǎng)絡(luò)方法[J].繼電器,2002,36(2):11-13

[5]田景文,高美娟.人工神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用[M].北京:北京理工大學(xué)出版社,2006

第4篇：神經(jīng)網(wǎng)絡(luò)綜述范文

論文摘要：分析了模擬電路故障診斷的重要性和目前存在的困難，對(duì)基于小渡分析理論和神經(jīng)網(wǎng)絡(luò)理論的模擬電路故障診斷方法進(jìn)行了綜述．指出了小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于模擬電路故障診斷存在的問題和未來的應(yīng)用前景。

模擬電路故障診斷在理論上可概括為:在已知網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、輸人激勵(lì)和故障響應(yīng)或可能已知部分元件參數(shù)的情況下，求故障元件的參數(shù)和位置。

盡管目前模擬電路故障診斷理論和方法都取得了不少成就，提出了很多故障診斷方法，如故障字典法、故障參數(shù)識(shí)別法、故障驗(yàn)證法等。但是由于模擬電路測(cè)試和診斷有其自身困難，進(jìn)展比較緩慢。其主要困難有:模擬電路中的故障模型比較復(fù)雜，難以作簡(jiǎn)單的量化;模擬電路中元件參數(shù)具有容差，增加了故障診斷的難度;在模擬電路中廣泛存在著非線性問題，為故障的定位診斷增加了難度;在一個(gè)實(shí)用的模擬電路中，幾乎無一例外地存在著反饋回路，仿真時(shí)需要大量的復(fù)雜計(jì)算;實(shí)際的模擬電路中可測(cè)電壓的節(jié)點(diǎn)數(shù)非常有限.導(dǎo)致可用于作故障診斷的信息量不夠充分，造成故障定位的不確定性和模糊性。

因此，以往對(duì)模擬電路故障診斷的研究主要停留在中小規(guī)模線性無容差或小容差的情況，有些方法也已成功地應(yīng)用于工程實(shí)際。但如何有效地解決模擬電路的容差和非線性問題，如何解決故障診斷的模糊性和不確定性等是今后迫切需要解決的問題。小波神經(jīng)網(wǎng)絡(luò)則因其利于模擬人類處理問題的過程、容易顧及人的經(jīng)驗(yàn)且具有一定的學(xué)習(xí)能力等特點(diǎn)，所以在這一領(lǐng)域得到了廣泛應(yīng)用。

1小波分析理論在模擬電路故障診斷中的應(yīng)用現(xiàn)狀分析

簡(jiǎn)單地講，小波就是一個(gè)有始有終的小的“波浪”小波分析源于信號(hào)分析，源于函數(shù)的伸縮和平移，是Fourier分析、Gabor分析和短時(shí)Fourier分析發(fā)展的直接結(jié)果。小波分析的基木原理是通過小波母函數(shù)在尺度上的伸縮和時(shí)域上的平移來分析信號(hào)，適當(dāng)選擇母函數(shù).可以使擴(kuò)張函數(shù)具有較好的局部性，小波分析是對(duì)信號(hào)在低頻段進(jìn)行有效的逐層分解，而小波包分析是對(duì)小波分析的一種改進(jìn)，它為信號(hào)提供了一種更加精細(xì)的分析方法，對(duì)信號(hào)在全頻段進(jìn)行逐層有效的分解，更有利于提取信號(hào)的特征。因此，它是一種時(shí)頻分析方法。在時(shí)頻域具有良好的局部化性能并具有多分辨分析的特性，非常適合非平穩(wěn)信號(hào)的奇異性分析。如:利用連續(xù)小波變換可以檢測(cè)信號(hào)的奇異性，區(qū)分信號(hào)突變和噪聲，利用離散小波變換可以檢測(cè)隨機(jī)信號(hào)頻率結(jié)構(gòu)的突變。

小波變換故障診斷機(jī)理包括:利用觀測(cè)器信號(hào)的奇異性進(jìn)行故障診斷以及利用觀測(cè)器信號(hào)頻率結(jié)構(gòu)的變化進(jìn)行故障診斷。小波變換具有不需要系統(tǒng)的數(shù)學(xué)模型、故障檢測(cè)靈敏準(zhǔn)確、運(yùn)算量小、對(duì)噪聲的抑制能力強(qiáng)和對(duì)輸入信號(hào)要求低的優(yōu)點(diǎn)。但在大尺度下由于濾波器的時(shí)域?qū)挾容^大，檢測(cè)時(shí)會(huì)產(chǎn)生時(shí)間延遲，且不同小波基的選取對(duì)診斷結(jié)果也有影響。在模擬電路故障診斷中，小波變換被有效地用來提取故障特征信息即小波預(yù)處理器之后，再將這些故障特征信息送人故障分類處理器進(jìn)行故障診斷。小波分析理論的應(yīng)用一般被限制在小規(guī)模的范圍內(nèi)，其主要原因是大規(guī)模的應(yīng)用對(duì)小波基的構(gòu)造和存儲(chǔ)需要的花費(fèi)較大。

2神經(jīng)網(wǎng)絡(luò)理論在模擬電路故障診斷中的應(yīng)用分析

人工神經(jīng)網(wǎng)絡(luò)(ANN)是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的，是一種抽象的數(shù)學(xué)模型，是對(duì)人腦功能的模擬。經(jīng)過十幾年的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)已形成了數(shù)十種網(wǎng)絡(luò)，包括多層感知器Kohomen自組織特征映射、Hopfield網(wǎng)絡(luò)、自適應(yīng)共振理論、ART網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)、概率神經(jīng)網(wǎng)絡(luò)等。這些網(wǎng)絡(luò)由于結(jié)構(gòu)不同，應(yīng)用范圍也各不相同。由于人工神經(jīng)網(wǎng)絡(luò)本身不僅具有非線性、自適應(yīng)性、并行性、容錯(cuò)性等優(yōu)點(diǎn)以及分辨故障原因、故障類型的能力外，而且訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)能儲(chǔ)存有關(guān)過程的知識(shí)，能直接從定量的、歷史故障信息中學(xué)習(xí)。所以在20世紀(jì)80年代末期，它已開始應(yīng)用于模擬電路故障診斷。隨著人工神經(jīng)網(wǎng)絡(luò)的不斷成熟及大量應(yīng)用，將神經(jīng)網(wǎng)絡(luò)廣泛用于模擬電路的故障診斷已是發(fā)展趨勢(shì)。BY神經(jīng)網(wǎng)絡(luò)由于具有良好的模式分類能力，尤其適用于模擬電路故障診斷領(lǐng)域，因而在模擬電路故障診斷系統(tǒng)中具有廣泛的應(yīng)用前景，也是目前模擬電路故障診斷中用得較多而且較為有效的一種神經(jīng)網(wǎng)絡(luò)。 　3小波神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)展分析

3，1小波分析理論與神經(jīng)網(wǎng)絡(luò)理論結(jié)合的必要性

在神經(jīng)網(wǎng)絡(luò)理論應(yīng)用于模擬電路故障診斷的過程中，神經(jīng)網(wǎng)路對(duì)于隱層神經(jīng)元節(jié)點(diǎn)數(shù)的確定、各種參數(shù)的初始化和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)造等缺乏更有效的理論性指導(dǎo)方法，而這些都將直接影響神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用效果。小波分析在時(shí)域和頻域同時(shí)具有良好的局部化特性，而神經(jīng)網(wǎng)絡(luò)則具有自學(xué)習(xí)、并行處理、自適應(yīng)、容錯(cuò)性和推廣能力二因此把小波分析和神經(jīng)網(wǎng)絡(luò)兩者的優(yōu)點(diǎn)結(jié)合起來應(yīng)用于故障診斷是客觀實(shí)際的需要。

目前小波分析與神經(jīng)網(wǎng)絡(luò)的結(jié)合有兩種形式，一種是先利用小波變換對(duì)信號(hào)進(jìn)行預(yù)處理，提取信號(hào)的特征向量作為神經(jīng)網(wǎng)絡(luò)的輸人，另一種則是采用小波函數(shù)和尺度函數(shù)形成神經(jīng)元，達(dá)到小波分析和神經(jīng)網(wǎng)絡(luò)的直接融合第一種結(jié)合方式是小波神經(jīng)網(wǎng)絡(luò)的松散型結(jié)合，第二種結(jié)合方式是小波神經(jīng)網(wǎng)絡(luò)的緊致型結(jié)合。

3.2小波分析理論與神經(jīng)網(wǎng)絡(luò)理論的結(jié)合形式

小波與神經(jīng)網(wǎng)絡(luò)的松散型結(jié)合，即:用小波分析或小波包分析作為神經(jīng)網(wǎng)絡(luò)的前置處理手段，為神經(jīng)網(wǎng)絡(luò)提供輸人特征向魚具體來說就是利用小波分析或小波包分析，把信號(hào)分解到相互獨(dú)立的頻帶之內(nèi)，各頻帶內(nèi)的能童值形成一個(gè)向覺，該向童對(duì)不同的故障對(duì)應(yīng)不同的值，從而可作為神經(jīng)網(wǎng)絡(luò)的輸入特征向量一旦確定神經(jīng)網(wǎng)絡(luò)的輸入特征向童，再根據(jù)經(jīng)驗(yàn)確定采用哪種神經(jīng)網(wǎng)絡(luò)及隱層數(shù)和隱層單元數(shù)等，就可以利用試驗(yàn)樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，調(diào)整權(quán)值，從而建立起所需的小波神經(jīng)網(wǎng)絡(luò)模型。

小波與神經(jīng)網(wǎng)絡(luò)的緊致型結(jié)合，即:用小波函數(shù)和尺度函數(shù)形成神經(jīng)元，達(dá)到小波分析和神經(jīng)網(wǎng)絡(luò)的直接融合，稱為狹義上的小波神經(jīng)網(wǎng)絡(luò)，這也是常說的小波神經(jīng)網(wǎng)絡(luò)。它是以小波函數(shù)或尺度函數(shù)作為激勵(lì)函數(shù)，其作用機(jī)理和采用Sigmoid函數(shù)的多層感知器基本相同。故障診斷的實(shí)質(zhì)是要實(shí)現(xiàn)癥狀空間到故障空間的映射，這種映射也可以用函數(shù)逼近來表示。小波神經(jīng)網(wǎng)絡(luò)的形成也可以從函數(shù)逼近的角度加以說明。常見的小波神經(jīng)網(wǎng)絡(luò)有:利用尺度函數(shù)作為神經(jīng)網(wǎng)絡(luò)中神經(jīng)元激勵(lì)函數(shù)的正交基小波網(wǎng)絡(luò)、自適應(yīng)小波神經(jīng)網(wǎng)絡(luò)、多分辨率小波網(wǎng)絡(luò)、區(qū)間小波網(wǎng)絡(luò)等。

3.3小波分析理論與神經(jīng)網(wǎng)絡(luò)理論結(jié)合的優(yōu)點(diǎn)

小波神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點(diǎn):一是可以避免M LY等神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的育目性;二是具有逼近能力強(qiáng)、網(wǎng)絡(luò)學(xué)習(xí)收斂速度快、參數(shù)的選取有理論指導(dǎo)、有效避免局部最小值問題等優(yōu)點(diǎn)。

在模擬電路故障診斷領(lǐng)域，小波神經(jīng)網(wǎng)絡(luò)還是一個(gè)嶄新的、很有前途的應(yīng)用研究方向。隨著小波分析理論和神經(jīng)網(wǎng)絡(luò)理論的不斷發(fā)展，小波神經(jīng)網(wǎng)絡(luò)應(yīng)用于模擬電路故障診斷領(lǐng)域?qū)⑷找娉墒臁?/p>

第5篇：神經(jīng)網(wǎng)絡(luò)綜述范文

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計(jì)與生產(chǎn)進(jìn)入了納米時(shí)代，計(jì)算機(jī)的計(jì)算能力與計(jì)算速度得到了空前的提高，但是人們的需求是無限的，要求計(jì)算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計(jì)算機(jī)本身能像人一樣識(shí)別與感知周圍的環(huán)境，并對(duì)復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計(jì)算機(jī)能對(duì)為的環(huán)境做出識(shí)別與判斷也就要求計(jì)算機(jī)能夠智能的識(shí)別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域。通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取目標(biāo)特征進(jìn)而識(shí)別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在感知識(shí)別周圍環(huán)境的能力有了巨大的提升，使得計(jì)算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類識(shí)別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運(yùn)用。

1.1 國(guó)內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計(jì)信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計(jì)信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對(duì)人類感知的理解，迄今已在語音識(shí)別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語音識(shí)別，自然語言處理等領(lǐng)域有廣泛的運(yùn)用。

2013年百度成立百度深度學(xué)習(xí)研究院以來我國(guó)的人工智能領(lǐng)域取得了長(zhǎng)足的進(jìn)步。在人工智能專家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術(shù)，DuerOS語音交互計(jì)算平臺(tái)，人臉識(shí)別技術(shù)，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識(shí)別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新方向，通過學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識(shí)別，語音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過特征表達(dá)和分類器來進(jìn)行目標(biāo)識(shí)別等任務(wù)的。并在語音識(shí)別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個(gè)隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實(shí)驗(yàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測(cè)試的復(fù)雜度大幅度降低，同時(shí)也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對(duì)上一層的圖像進(jìn)行卷積運(yùn)算，提取圖像特征，下采樣核則是對(duì)上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識(shí)別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時(shí)的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運(yùn)算量。LeNet5算法在1962年幼Hubel等人提出，在識(shí)別手寫數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對(duì)比分析

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像進(jìn)行識(shí)別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識(shí)別圖像，但是在現(xiàn)實(shí)生活運(yùn)用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對(duì)位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對(duì)圖像中目標(biāo)進(jìn)行識(shí)別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對(duì)圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對(duì)物體探測(cè)中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計(jì)算機(jī)視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時(shí)一般采用經(jīng)過預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費(fèi)本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類器對(duì)特征向量進(jìn)行分類，在訓(xùn)練SVMs時(shí)將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測(cè)試時(shí)將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評(píng)分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對(duì)一張圖片1000-2000個(gè)候選區(qū)圖像進(jìn)行前向運(yùn)算，保存所有后選取圖片的特征值，要求計(jì)算硬件有大量的存儲(chǔ)空間，同時(shí)處理每一張圖片的時(shí)間也會(huì)增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲(chǔ)的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢(shì)，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計(jì)算的時(shí)間成本很大，達(dá)不到實(shí)時(shí)的計(jì)算效果，R-CNN在對(duì)候選區(qū)進(jìn)行處理時(shí)會(huì)使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個(gè)輸出，引入了Rol層。

Fast-R-CNN在運(yùn)行的時(shí)候同樣會(huì)生成大量的候選區(qū)，同時(shí)將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個(gè)候選區(qū)生成一個(gè)固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計(jì)算K+1分類的損失，K為第K個(gè)目標(biāo)，1為背景；Regression LOSS計(jì)算候選區(qū)的四個(gè)角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計(jì)算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實(shí)驗(yàn)測(cè)試

對(duì)于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)平臺(tái)為基于Linux系統(tǒng)的debian8下運(yùn)行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實(shí)驗(yàn)。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實(shí)現(xiàn)的訓(xùn)練樣本為錄制實(shí)驗(yàn)室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對(duì)每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓(xùn)練樣本，7.2萬張作為測(cè)試樣本。

6 總結(jié)

在目標(biāo)識(shí)別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對(duì)圖像的識(shí)別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識(shí)別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對(duì)一張圖片需要進(jìn)行1000-2000次的卷積運(yùn)算，特征重復(fù)提取。因此在訓(xùn)練和前向測(cè)試時(shí)，R-CNN用的時(shí)間長(zhǎng)，不能很好的適用于處理實(shí)時(shí)圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對(duì)每個(gè)候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測(cè)試時(shí)間的同時(shí)也需要耗費(fèi)大量?jī)?nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運(yùn)用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第6篇：神經(jīng)網(wǎng)絡(luò)綜述范文

Abstract: The simulation non-linear model should be used to carry on the forecast to the non-linear tendency real estate price index. A model with improved algorithm is developed to predict real estate price index based on BP artificial neural network. The research results show that the network has good ability to reflect the intrinsic change rules with higher predicted precision.

關(guān)鍵詞： 房地產(chǎn)價(jià)格指數(shù)；BP神經(jīng)網(wǎng)絡(luò)；改進(jìn)算法；預(yù)測(cè)

Key words: real estate price index；BP artificial neural network；improved algorithm；predict

中圖分類號(hào)：F83文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1006-4311（2011）17-0149-01

0引言

房地產(chǎn)價(jià)格指數(shù)是動(dòng)態(tài)描述一定區(qū)域內(nèi)各類房地產(chǎn)（如商業(yè)、住宅和工業(yè)）價(jià)格變動(dòng)及其總體價(jià)格平均變動(dòng)趨勢(shì)和變動(dòng)程度的相對(duì)數(shù)，它是指導(dǎo)業(yè)界活動(dòng)和市場(chǎng)研究的有效工具。房地產(chǎn)業(yè)的健康發(fā)展對(duì)拉動(dòng)經(jīng)濟(jì)增長(zhǎng)，調(diào)整產(chǎn)業(yè)結(jié)構(gòu)，改善人民生活水平起著重要的作用。通過觀察房地產(chǎn)價(jià)格指數(shù)的走勢(shì)，人們既可從宏觀上把握房地產(chǎn)市場(chǎng)的景氣狀況和市場(chǎng)變化，也可從微觀上依據(jù)其走勢(shì)進(jìn)行投資分析。在計(jì)量經(jīng)濟(jì)學(xué)基礎(chǔ)上建立的各種經(jīng)濟(jì)模型，大部分都是線性模型。經(jīng)典的線性模型在很長(zhǎng)的一段時(shí)間內(nèi)發(fā)揮著很大的作用，但隨著研究越來越來深入，線形模型逐漸顯露出它的缺陷，即很難用它擬合非線性經(jīng)濟(jì)系統(tǒng)，因而必然造成經(jīng)濟(jì)預(yù)測(cè)的誤差加大。神經(jīng)網(wǎng)絡(luò)理論上可以逼近任意非線性函數(shù)并可以隨機(jī)調(diào)整，所以能有效地解決非線性預(yù)測(cè)的問題，已經(jīng)得到廣泛應(yīng)用[1-6]，利用神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)我國(guó)房地產(chǎn)價(jià)格指數(shù)具有可行性。

1構(gòu)建改進(jìn)算法的BP神經(jīng)網(wǎng)絡(luò)模型

BP（Back-Propagation）神經(jīng)網(wǎng)絡(luò)模型是由Werbos在1984年提出來的，Rumelhart等在1985年發(fā)展了反傳學(xué)習(xí)算法，實(shí)現(xiàn)了Minsky的多層網(wǎng)絡(luò)設(shè)想。神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。神經(jīng)網(wǎng)絡(luò)具有非線性處理、自組織及自適應(yīng)性、學(xué)習(xí)能力、聯(lián)想能力等特點(diǎn)。BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播中，信息從輸入層經(jīng)隱含層單元逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向反向傳播，將誤差信號(hào)沿原來的通路返回，通過修改各層神經(jīng)元的權(quán)值和閾值，使得誤差信號(hào)最小。研究中的數(shù)據(jù)來源于國(guó)家統(tǒng)計(jì)數(shù)據(jù)庫，時(shí)間范圍為2005年7月-2010年12月。BP神經(jīng)網(wǎng)絡(luò)模型一般以s形函數(shù)作為轉(zhuǎn)換函數(shù)，該函數(shù)的值域?yàn)閇0,1]，因此在網(wǎng)絡(luò)訓(xùn)練時(shí)要將原始數(shù)據(jù)進(jìn)行處理，規(guī)范到[0,1]之間，這里數(shù)據(jù)預(yù)處理方法采用標(biāo)準(zhǔn)化法。權(quán)重系數(shù)的初始值對(duì)BP學(xué)習(xí)算法的收斂速度影響很大，算法中采用了隨機(jī)函數(shù)生成權(quán)重系數(shù)的初始值。以前四個(gè)月的數(shù)據(jù)作為輸入，后一個(gè)月的數(shù)據(jù)作為輸出來訓(xùn)練網(wǎng)絡(luò)。隱含層神經(jīng)元節(jié)點(diǎn)數(shù)的確定是人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中最關(guān)鍵的步驟，它直接影響網(wǎng)絡(luò)對(duì)復(fù)雜問題的映射能力。本文采用“試算法”確定神經(jīng)元個(gè)數(shù)，經(jīng)試算最佳隱含層節(jié)點(diǎn)數(shù)為6個(gè)。標(biāo)準(zhǔn)的BP算法是基于梯度下降法，但它具有學(xué)習(xí)過程易陷入局部極小、易出現(xiàn)震蕩等缺陷，而附加動(dòng)量法使BP 神經(jīng)網(wǎng)絡(luò)不僅考慮在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響，它允許忽略網(wǎng)絡(luò)上的微小變化特性，該方法是在反向傳播法的基礎(chǔ)上，在每一個(gè)權(quán)重和閾值的變化上加上一項(xiàng)正比于前次權(quán)重和閾值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)重和閾值的變化。

2結(jié)果

采用2005年7月-2009年7月的當(dāng)月（同比）數(shù)據(jù)作為訓(xùn)練樣本，然后利用2009年8月-2010年12月的當(dāng)月（同比）數(shù)據(jù)作為測(cè)試樣本，并對(duì)2012年1月的我國(guó)房屋銷售價(jià)格指數(shù)進(jìn)行預(yù)測(cè)。結(jié)果表明訓(xùn)練樣本擬合值和真實(shí)值的平均相對(duì)誤差為0.28%，測(cè)試樣本模擬值和真實(shí)值的平均相對(duì)誤差為1.15%，2012年1月我國(guó)房屋銷售價(jià)格指數(shù)預(yù)測(cè)值為107.4。預(yù)測(cè)結(jié)果表明，我國(guó)房屋銷售價(jià)格指數(shù)保持上升的趨勢(shì)。

3結(jié)論

人工神經(jīng)網(wǎng)絡(luò)具有人腦的思維特征，應(yīng)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行我國(guó)房屋銷售價(jià)格指數(shù)預(yù)測(cè)，只需將歷史數(shù)據(jù)作為訓(xùn)練樣本來進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，當(dāng)訓(xùn)練達(dá)到誤差要求后，獲得有關(guān)該問題知識(shí)的網(wǎng)絡(luò)權(quán)值和閾值，就可以用來進(jìn)行我國(guó)房屋銷售價(jià)格指數(shù)預(yù)測(cè)。傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)本身存在一些缺陷，比如收斂速度慢，容易陷入局部最小值等，所以傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)實(shí)用性不是很強(qiáng)，必須改進(jìn)BP算法的缺陷，才能使之有效的應(yīng)用到現(xiàn)實(shí)中來。研究中發(fā)現(xiàn)改進(jìn)后的BP神經(jīng)網(wǎng)絡(luò)計(jì)算速度快、方法簡(jiǎn)單、建模方便、預(yù)測(cè)結(jié)果客觀準(zhǔn)確，具有推廣應(yīng)用前景。

參考文獻(xiàn)：

[1]劉占軍，張星輝.基于遺傳神經(jīng)網(wǎng)絡(luò)的機(jī)械故障診斷[J].價(jià)值工程，2010，29（25）：152-153.

[2]李斯娜.數(shù)字圖像融合綜述[J].價(jià)值工程，2010，29（20）：99.

[3]王曉東，薛宏智.基于bp神經(jīng)網(wǎng)絡(luò)的股票漲跌預(yù)測(cè)模型[J].價(jià)值工程，2010，29（31）：47-49.

[4]朱劉陽.一種雷達(dá)信號(hào)自適應(yīng)盲分離算法[J].價(jià)值工程，2010，29（30）：211-212.

第7篇：神經(jīng)網(wǎng)絡(luò)綜述范文

關(guān)鍵詞： 網(wǎng)絡(luò)安全態(tài)勢(shì)； 層次分析法； 預(yù)測(cè)研究； BP神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TN915.08?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）01?0074?03

Abstract： Proceeding from the safe operation of the network system， the data which can reflect the network safe operation is extracted in the intrusion detection system， antivirus software and other security methods. A set network security situation eva?luation system was established in the aspects of threat， vulnerability， risk and basic running of the network safe operation. The analytic hierarchy process is used to calculate the evaluation system to obtain the comprehensive safety indicator used to character the network security running state. The BP neural network is used to forecast the network security status on the basis of the system. The experimental results show that the BP neural network can predict the network security situation accurately， and has a certain reference value in the related research fields.

Keywords： network security situation； analytic hierarchy process； prediction research； BP neural network

0 引 言

S著互聯(lián)網(wǎng)的高速發(fā)展，各種網(wǎng)絡(luò)應(yīng)用越來越多地影響著人們的工作、學(xué)習(xí)和生活方式。為了及時(shí)掌握網(wǎng)絡(luò)的安全態(tài)勢(shì)，以便網(wǎng)絡(luò)的管理者采取及時(shí)的防范措施，對(duì)網(wǎng)絡(luò)安全狀態(tài)的預(yù)測(cè)技術(shù)正在成為當(dāng)下網(wǎng)絡(luò)安全研究中的一個(gè)重要課題[1?2]。

本文受相關(guān)文獻(xiàn)研究的啟發(fā)，構(gòu)建了由威脅指數(shù)、脆弱指數(shù)、風(fēng)險(xiǎn)指數(shù)和基礎(chǔ)運(yùn)行指數(shù)四個(gè)指數(shù)為一級(jí)評(píng)價(jià)指標(biāo)的評(píng)估模型，利用防火墻和殺毒軟件等安全手段提取數(shù)據(jù)，采用層次分析法計(jì)算網(wǎng)絡(luò)安全綜述指數(shù)，基于該指數(shù)采用BP神經(jīng)網(wǎng)絡(luò)對(duì)未來時(shí)刻的網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行預(yù)測(cè)[3]。

1 網(wǎng)絡(luò)態(tài)勢(shì)安全指標(biāo)體系的構(gòu)建

1.1 評(píng)價(jià)體系的構(gòu)建

為了全面反映網(wǎng)絡(luò)的安全態(tài)勢(shì)，本文采用定量描述的方法對(duì)威脅指數(shù)、脆弱指數(shù)、風(fēng)險(xiǎn)指數(shù)和基礎(chǔ)運(yùn)行指數(shù)進(jìn)行計(jì)算，這四個(gè)指數(shù)代表網(wǎng)絡(luò)安全運(yùn)行所需要的幾個(gè)必要條件，而綜合安全指數(shù)則是指在一定時(shí)間段內(nèi)反映當(dāng)下網(wǎng)絡(luò)整體安全態(tài)勢(shì)的數(shù)值，它由威脅指數(shù)、脆弱指數(shù)、風(fēng)險(xiǎn)指數(shù)和基礎(chǔ)運(yùn)行指數(shù)通過加權(quán)法獲得。

為了進(jìn)一步豐富評(píng)估模型，將這四個(gè)指數(shù)作為一級(jí)評(píng)價(jià)指標(biāo)，對(duì)其進(jìn)行分解細(xì)化，提煉出這四個(gè)指標(biāo)的下一級(jí)具體影響因素，如表1所示。

1.2 實(shí)例計(jì)算

本文采用層次分析法對(duì)構(gòu)建的評(píng)價(jià)指標(biāo)體系進(jìn)行分析。本文構(gòu)建的安全狀態(tài)評(píng)價(jià)指標(biāo)體系共分為一級(jí)指標(biāo)4個(gè)和二級(jí)指標(biāo)17個(gè)，通過對(duì)這些指標(biāo)的分析求出網(wǎng)絡(luò)的綜合安全指數(shù)。網(wǎng)絡(luò)安全狀態(tài)評(píng)價(jià)采用李克特量的評(píng)分分級(jí)標(biāo)準(zhǔn)，分五個(gè)等級(jí)進(jìn)行評(píng)判，分別為優(yōu)秀、良好、中等、差和危險(xiǎn)，為了方便計(jì)算，對(duì)其進(jìn)行量化處理，為其賦值為5，4，3，2，1，具體評(píng)價(jià)等級(jí)對(duì)應(yīng)的數(shù)字標(biāo)準(zhǔn)，如表2所示。

為了進(jìn)一步說明層次分析法在網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估中的具體應(yīng)用，本文以威脅指數(shù)的計(jì)算為例，計(jì)算某日中某單位內(nèi)網(wǎng)在該指標(biāo)體系下的威脅指數(shù)。

首先根據(jù)在該網(wǎng)絡(luò)中各個(gè)監(jiān)視節(jié)點(diǎn)采集到的信息，經(jīng)過統(tǒng)計(jì)計(jì)算后，對(duì)各個(gè)二級(jí)指標(biāo)進(jìn)行初步賦值，如表3所示。

2 基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)價(jià)

實(shí)驗(yàn)選擇某單位內(nèi)網(wǎng)30天內(nèi)的網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)該網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行預(yù)測(cè)。采用本文第1節(jié)的方法對(duì)這30天的網(wǎng)絡(luò)綜合安全指數(shù)進(jìn)行計(jì)算，一共獲得了如表4所示的30個(gè)狀態(tài)值。

為了使BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)取得較好的效果，同時(shí)為了避免局部數(shù)值偏移造成的誤差，本文采用編組的方式提高模型預(yù)測(cè)精度，對(duì)于序號(hào)為1～30的綜合安全指數(shù)值，選擇前三日的狀態(tài)作為網(wǎng)絡(luò)的輸入樣本，下一日的數(shù)據(jù)作為網(wǎng)絡(luò)的預(yù)測(cè)輸出樣本，選擇第28，29，30日的狀態(tài)值作為網(wǎng)絡(luò)的檢測(cè)樣本，如表5所示。

考慮到模型的輸入輸出均為簡(jiǎn)單的數(shù)值，本文的預(yù)測(cè)檢測(cè)模型用三層BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的輸入層包含3個(gè)神經(jīng)元（即前3日的網(wǎng)絡(luò)綜合安全指數(shù)），輸出層用1個(gè)神經(jīng)元（后一日的網(wǎng)絡(luò)安全指數(shù)），隱層神經(jīng)元個(gè)數(shù)通過經(jīng)驗(yàn)公式選擇為12。

將訓(xùn)練樣本1～24的數(shù)值輸入到Matlab 7.0軟件中，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，定義期望誤差為10-6，訓(xùn)練過程中，BP神經(jīng)網(wǎng)絡(luò)誤差的變化情形如圖1所示。

由圖1可知，該BP神經(jīng)網(wǎng)絡(luò)通過26步運(yùn)算后收斂到預(yù)定精度要求。

BP網(wǎng)絡(luò)訓(xùn)練完畢后，首先將所有樣本輸入到網(wǎng)絡(luò)，然后定義檢驗(yàn)向量，并將檢驗(yàn)向量輸入網(wǎng)絡(luò)，檢查輸入值和輸出誤差，如圖2所示。

其中加“+”的曲線對(duì)應(yīng)為實(shí)際數(shù)據(jù)，“”曲線對(duì)應(yīng)為預(yù)測(cè)數(shù)據(jù)，可以看到全局的誤差大小保持在0.1以內(nèi)，說明該BP神經(jīng)網(wǎng)絡(luò)具有較低的誤差，因此采用該BP神經(jīng)網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行預(yù)測(cè)有較高的精度。

3 結(jié) 論

本文構(gòu)建了以網(wǎng)絡(luò)的威脅性、脆弱性、風(fēng)險(xiǎn)性和基礎(chǔ)運(yùn)行性為基礎(chǔ)的評(píng)價(jià)指標(biāo)體系，采用層次分析法計(jì)算網(wǎng)絡(luò)的綜合安全指數(shù)，并以此為基礎(chǔ)，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)某單位內(nèi)網(wǎng)的網(wǎng)絡(luò)安全狀態(tài)進(jìn)行預(yù)測(cè)，獲得了較高精度的預(yù)測(cè)結(jié)果，表明本文構(gòu)建的評(píng)價(jià)體系和網(wǎng)絡(luò)安全態(tài)勢(shì)的預(yù)測(cè)方式有一定的實(shí)用價(jià)值。

參考文獻(xiàn)

[1] 張淑英.網(wǎng)絡(luò)安全事件關(guān)聯(lián)分析與態(tài)勢(shì)評(píng)測(cè)技術(shù)研究[D].長(zhǎng)春：吉林大學(xué)，2012.

[2] 王志平.基于指標(biāo)體系的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2010.

[3] 苗科.基于指標(biāo)提取的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)研究[D].北京：北京郵電大學(xué)，2015.

[4] 毛志勇.BP 神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)網(wǎng)絡(luò)安全評(píng)價(jià)中的應(yīng)用[J].信息技術(shù)，2008（6）：45?47.

第8篇：神經(jīng)網(wǎng)絡(luò)綜述范文

關(guān)鍵詞： 時(shí)間序列； BP神經(jīng)網(wǎng)絡(luò)； EMD； 本征模函數(shù)； 預(yù)測(cè)模型

中圖分類號(hào)：TP311.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2014）02-01-04

0 引言

時(shí)間序列是將某種現(xiàn)象某一個(gè)統(tǒng)計(jì)指標(biāo)在不同時(shí)間上的各個(gè)數(shù)值，按時(shí)間先后順序排列而形成的序列。時(shí)間序列分析是一種動(dòng)態(tài)的數(shù)列分析[1]，出發(fā)點(diǎn)是承認(rèn)數(shù)據(jù)的有序性和相關(guān)性，通過數(shù)據(jù)內(nèi)部的相互關(guān)系來辨識(shí)系統(tǒng)的變化規(guī)律。常用的時(shí)間序列分析法主要是建立在回歸――移動(dòng)平均模型（ARMA）[2-3]之上，被用來對(duì)股價(jià)（最高價(jià)、最低價(jià)、開盤價(jià)、收盤價(jià)）及綜合指數(shù)進(jìn)行預(yù)測(cè)[4-5]。然而，這些經(jīng)典回歸分析暗含著一個(gè)重要假設(shè)：數(shù)據(jù)是平穩(wěn)的。如果數(shù)據(jù)非平穩(wěn)，往往導(dǎo)致出現(xiàn)“虛假回歸”，嚴(yán)重影響預(yù)測(cè)效果。股票等金融數(shù)據(jù)是典型的非平穩(wěn)時(shí)間序列，一般地說，股票價(jià)格的變化主要包括經(jīng)濟(jì)性因素、政治性因素、人為操縱因素、有關(guān)行業(yè)及投資者心理等多種因素的影響，各因素的影響程度、時(shí)間范圍和方式也不盡相同；且股市各因素間相互關(guān)系錯(cuò)綜復(fù)雜，主次關(guān)系變化不定，數(shù)量關(guān)系難以提取及定量分析[6]。因此，需要尋找一種好的方法來避免或減弱這些因素的影響，于是學(xué)者研究小波分析[6]和神經(jīng)網(wǎng)絡(luò)[7-8]用于時(shí)間序列分析預(yù)測(cè)。小波變換可以使非平穩(wěn)數(shù)據(jù)中的有效成分和噪聲呈現(xiàn)出各自不同的特征，但小波變換中小波基的選取會(huì)對(duì)數(shù)據(jù)去噪的效果產(chǎn)生很大的影響，因此利用小波變換對(duì)非平穩(wěn)數(shù)據(jù)分析的方法缺乏自適應(yīng)性。Zhaohua Wu[11]等人通過大量的實(shí)驗(yàn)，證實(shí)經(jīng)驗(yàn)?zāi)B(tài)分解（EMD，Empirical mode decomposition）具有類似小波變換中的二進(jìn)濾波器特性，通過分解、數(shù)據(jù)重組后實(shí)現(xiàn)了數(shù)據(jù)的去噪，汲取了小波變換優(yōu)勢(shì)，同時(shí)又克服了小波變換中的小波基選擇難的問題。

本文將經(jīng)驗(yàn)?zāi)B(tài)分解和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，構(gòu)建了一種基于EMD-BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型，通過對(duì)中國(guó)石化股票進(jìn)行預(yù)測(cè)模擬仿真，實(shí)驗(yàn)結(jié)果得出結(jié)論，將EMD用于時(shí)間序列的預(yù)測(cè)分析，大大降低了擾動(dòng)因素的影響，提高了預(yù)測(cè)精度。

1 時(shí)間序列的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的學(xué)習(xí)能力和適應(yīng)能力，在非線性系統(tǒng)中的預(yù)測(cè)方面得到了廣泛的應(yīng)用。考慮到金融數(shù)據(jù)是一類非線性較強(qiáng)的時(shí)間序列，本文選用BP神經(jīng)網(wǎng)絡(luò)作為預(yù)測(cè)工具。BP網(wǎng)絡(luò)[9-10]是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)采用的傳遞函數(shù)一般都是Sigmoid（S形彎曲）型可微函數(shù)，是嚴(yán)格的遞增函數(shù)，在線性和非線性之間顯現(xiàn)出較好的平衡，所以可實(shí)現(xiàn)輸入和輸出間的任意非線性映射，適用于中長(zhǎng)期的預(yù)測(cè)；逼近效果好，計(jì)算速度快，不需要建立數(shù)學(xué)模型，精度高；理論依據(jù)堅(jiān)實(shí)，推導(dǎo)過程嚴(yán)謹(jǐn)，所得公式對(duì)稱優(yōu)美，具有強(qiáng)非線性擬合能力。目前，已經(jīng)有一些比較成熟的神經(jīng)網(wǎng)絡(luò)軟件包，其中MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱應(yīng)用最為廣泛。

在網(wǎng)絡(luò)訓(xùn)練中，最重要的三個(gè)參數(shù)是權(quán)值、學(xué)習(xí)率和單元數(shù)。權(quán)值可能變得很大，這會(huì)使神經(jīng)元的輸入變得很大，從而使得其激活函數(shù)的導(dǎo)函數(shù)在輸入點(diǎn)的取值很小，這樣訓(xùn)練的步長(zhǎng)就會(huì)變得非常小，進(jìn)而導(dǎo)致訓(xùn)練的速度下降到很小的程度，最終可能使得網(wǎng)絡(luò)停止收斂，即網(wǎng)絡(luò)癱瘓。因此在對(duì)網(wǎng)絡(luò)的連接權(quán)矩陣進(jìn)行初始化時(shí)，隨機(jī)給定各層之間的權(quán)值與閾值的初始值比單純地隨機(jī)給定某一部分層的收斂速度更快。學(xué)習(xí)率的選擇，其合理與否是網(wǎng)絡(luò)是否穩(wěn)定的關(guān)鍵：太高的學(xué)習(xí)率，可以減少網(wǎng)絡(luò)訓(xùn)練的時(shí)間，但是容易導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定與訓(xùn)練誤差的增加；太低的學(xué)習(xí)率，需要較長(zhǎng)的訓(xùn)練時(shí)間。在一定的條件下，較少的單元數(shù)目往往能夠提高網(wǎng)絡(luò)的收斂速度，而較多的單元數(shù)目有可能在規(guī)定的訓(xùn)練長(zhǎng)度里不能滿足要求。因此，對(duì)于參數(shù)數(shù)目的選擇，并沒有一個(gè)固定的模型，往往根據(jù)更多的經(jīng)驗(yàn)成分。

2.1 經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）

經(jīng)驗(yàn)?zāi)B(tài)分解法EMD[11]是由美國(guó)NASA的黃鍔博士提出的一種信號(hào)分析方法。它適合于分析非線性、非平穩(wěn)信號(hào)序列，具有很高的信噪比。該方法的關(guān)鍵是經(jīng)驗(yàn)?zāi)Ｊ椒纸猓苁箯?fù)雜信號(hào)分解為有限個(gè)本征模函數(shù)（Intrinsic Mode Function，簡(jiǎn)稱IMF），所分解出來的各IMF分量包含了原信號(hào)的不同時(shí)間尺度的局部特征信號(hào)。

EMD是基于以下假設(shè)條件：①數(shù)據(jù)至少有一個(gè)最大值和一個(gè)最小值兩個(gè)極值點(diǎn)；②數(shù)據(jù)極值點(diǎn)間的時(shí)間尺度惟一確定局部時(shí)域特性；③如果數(shù)據(jù)沒有極值點(diǎn)但必須有拐點(diǎn)，通過對(duì)數(shù)據(jù)微分一次或多次求得極值，再通過積分來獲得分解結(jié)果。

2.2 數(shù)據(jù)重構(gòu)

對(duì)原始數(shù)據(jù)進(jìn)行EMD分解后，得到有限個(gè)IMF分量。為了降低原始數(shù)據(jù)中的非平穩(wěn)性，需要對(duì)得到的各分量進(jìn)行相關(guān)系數(shù)分析，篩選出有用的IMF分量，對(duì)其進(jìn)行重構(gòu)，以得到一個(gè)與原始數(shù)據(jù)近似的新數(shù)據(jù)進(jìn)行預(yù)測(cè)實(shí)驗(yàn)。

數(shù)據(jù)重組的方法有多種，本文采用相關(guān)系數(shù)分析法進(jìn)行數(shù)據(jù)的篩選。由于篇幅有限，關(guān)于EMD分解與重構(gòu)的代碼不在本文提供。

2.3 應(yīng)用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)合成數(shù)據(jù)預(yù)測(cè)

對(duì)于非線性系統(tǒng)，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)有著明顯的優(yōu)勢(shì)。但是在復(fù)雜的非線性系統(tǒng)中，非平穩(wěn)因素給預(yù)測(cè)帶來了一定的困難。正是因?yàn)镋MD分解降低了各個(gè)分量的平穩(wěn)性[12]，才得到了廣泛應(yīng)用[13-15]。金融數(shù)據(jù)等時(shí)間序列隨著時(shí)間，以及在多種因素的影響下會(huì)隨之改變，所以數(shù)據(jù)本質(zhì)上是非平穩(wěn)的，因此利用神經(jīng)網(wǎng)絡(luò)對(duì)該數(shù)據(jù)進(jìn)行預(yù)測(cè)，數(shù)據(jù)的平穩(wěn)性使得其預(yù)測(cè)結(jié)果不是很理想，為了提高預(yù)測(cè)精度，我們用EMD方法對(duì)數(shù)據(jù)進(jìn)行分解，以降低其非平穩(wěn)性對(duì)預(yù)測(cè)精度的影響。然后對(duì)分解后的各分量進(jìn)行相關(guān)系數(shù)分析比較，選取有用的IMF分量，進(jìn)行數(shù)據(jù)的合成，從而得到一個(gè)與原始數(shù)據(jù)近似的新數(shù)據(jù)。將重組后的擬合數(shù)據(jù)輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。預(yù)測(cè)過程如圖1所示。

3 應(yīng)用實(shí)例和分析

3.1 股票數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

將中國(guó)石化股票從2011年6月至2011年12月共130天的股票價(jià)格數(shù)據(jù)進(jìn)行樣本劃分。用前60天的數(shù)據(jù)來預(yù)測(cè)后5天的數(shù)據(jù)，作為網(wǎng)絡(luò)訓(xùn)練集。選取剩下的60天數(shù)據(jù)預(yù)測(cè)最后的5天，作為測(cè)試集。

3.3 數(shù)據(jù)合成及預(yù)測(cè)

本文對(duì)中國(guó)石化股票數(shù)據(jù)（圖3）進(jìn)行EMD分解后得到4個(gè)IMF分量和1個(gè)剩余分量。對(duì)4個(gè)分量分別進(jìn)行與剩余分量的相關(guān)系數(shù)分析。分析結(jié)果表明，IMF3和IMF4相關(guān)性較大，并與剩余分量的相關(guān)性也較大（相關(guān)門限值選取0.3）。所以選取IMF3和IMF4兩個(gè)分量與剩余分量進(jìn)行重構(gòu)，得到與原始數(shù)據(jù)近似的較平滑的新數(shù)據(jù)如圖9所示。

經(jīng)過比較可知，對(duì)于具有非平穩(wěn)強(qiáng)烈的股票時(shí)間序列的預(yù)測(cè)，基于EMD的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)要比直接BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)更為準(zhǔn)確。

對(duì)于非平穩(wěn)的時(shí)間序列，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)有著明顯的優(yōu)勢(shì)，但是對(duì)于影響因素復(fù)雜的非平穩(wěn)數(shù)據(jù)，多種因素的干擾給預(yù)測(cè)帶來了一定的困難。EMD分解分離了各個(gè)不同因素的相互干擾，通過對(duì)各分量單獨(dú)預(yù)測(cè)再合成的處理，從而提高了預(yù)測(cè)精度。從表1可以看出最終的預(yù)測(cè)誤差經(jīng)過EMD分解的信號(hào)要精確于直接神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)。從圖4中可以看出影響信號(hào)平穩(wěn)性程度最大的是IMF1，如果再對(duì)其進(jìn)行分解處理，整個(gè)系統(tǒng)的預(yù)測(cè)精度會(huì)得到更大的改善。

4 結(jié)束語

對(duì)于非平穩(wěn)的時(shí)間序列，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)有著明顯的優(yōu)勢(shì)，但是對(duì)于影響因素復(fù)雜的非平穩(wěn)數(shù)據(jù)，多種因素的干擾給預(yù)測(cè)帶來了一定的困難。EMD分解分離了各個(gè)不同因素的相互干擾，通過對(duì)各分量分析再合成的處理，提高了預(yù)測(cè)精度。目前EMD方法主要用于模擬信號(hào)和大氣數(shù)據(jù)分析[13-15]，用于金融數(shù)據(jù)預(yù)測(cè)還較為少見。本文將其與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，構(gòu)建了EMD-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。從本文的預(yù)測(cè)過程和仿真結(jié)果可以看到，利用EMD分解的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)優(yōu)于直接BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)，相比其精確度有了明顯的提高。

參考文獻(xiàn)：

[1] 劉瑛慧，曹家璉.時(shí)間序列分析理論與發(fā)展趨勢(shì)[J].電腦知識(shí)與技術(shù)，2010.2：257-258

[2] 劉佳，趙文慧，劉光榮.基于SAS的非平穩(wěn)時(shí)間序列分析及實(shí)證研究[J].汕頭大學(xué)學(xué)報(bào).2010.2（1）：48-53.

[3] 李海林，郭崇慧，時(shí)間序列數(shù)據(jù)挖掘征表示與相似性度量研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2013.5（30）：1285-1290

[4] 魏宇.中國(guó)股票市場(chǎng)的最優(yōu)波動(dòng)率預(yù)測(cè)模型研究[J].管理學(xué)報(bào)，2010.6（6）：936-942

[5] 方啟東，溫鑫，蔣佳靜等.基于時(shí)間序列的股價(jià)預(yù)測(cè)[J].宿州學(xué)院學(xué)報(bào)，2010.8（8）：71-74

[6] 杜建衛(wèi)，王超峰.小波分析方法在金融股票數(shù)據(jù)中的應(yīng)用[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2008.7（38-7）：68-75

[7] 劉海，白艷萍.時(shí)間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測(cè)中的分析[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2011.2（4）：14-19

[8] 張媛，劉紅忠.基于行為金融的神經(jīng)網(wǎng)絡(luò)模型在股票價(jià)格預(yù)測(cè)中的有效性研究[J].世界經(jīng)濟(jì)情況，2011.2（2）：62-67

[9] 焦淑華，夏冰，徐海靜，劉瑩.BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的MATLAB實(shí)現(xiàn)[J].哈爾濱金融高等?？茖W(xué)校學(xué)報(bào)，2009.3（97）：55-56

[10] 李萍，曾令可，稅安澤，金雪莉，劉艷春，王慧.基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)系統(tǒng)的設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用與軟件，2008.4（25-4）：149-151

[11] Zhaohua Wu， Norden E. Huang. A study of the characteristics of white noise using the empirical mode decomposition method[J].The Royal Society，2004.3（10）：1597-1611

[12] 劉慧婷，倪志偉，李建洋.經(jīng)驗(yàn)?zāi)B(tài)分解方法及其應(yīng)用[J].計(jì)算機(jī)工程及應(yīng)用，2006.1（32）：44-47

[13] 徐世艷.經(jīng)驗(yàn)?zāi)B(tài)分解的時(shí)頻分析方法及其應(yīng)用[J].吉林大學(xué)學(xué)報(bào)，2009.9（27-5）：487-492

第9篇：神經(jīng)網(wǎng)絡(luò)綜述范文

（江蘇科技大學(xué)電子信息學(xué)院，江蘇鎮(zhèn)江212003）

摘要：在實(shí)際交通環(huán)境中，由于運(yùn)動(dòng)模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標(biāo)志的圖像質(zhì)量往往不高，這就對(duì)交通標(biāo)志自動(dòng)識(shí)別的準(zhǔn)確性、魯棒性和實(shí)時(shí)性提出了很高的要求。針對(duì)這一情況，提出一種基于深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法。該方法采用深層卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)模型，直接將采集的交通標(biāo)志圖像經(jīng)二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號(hào)的層次結(jié)構(gòu)，自動(dòng)地提取交通標(biāo)志圖像的特征，最后再利用一個(gè)全連接的網(wǎng)絡(luò)實(shí)現(xiàn)交通標(biāo)志的識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力，自動(dòng)地提取交通標(biāo)志的特征，避免了傳統(tǒng)的人工特征提取，有效地提高了交通標(biāo)志識(shí)別的效率，具有良好的泛化能力和適應(yīng)范圍。

關(guān)鍵詞 ：交通標(biāo)志；識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

中圖分類號(hào)：TN911.73?34；TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目（61371114）

0 引言

隨著智能汽車的發(fā)展，道路交通標(biāo)志的自動(dòng)識(shí)別[1?3]作為智能汽車的基本技術(shù)之一，受到人們的高度關(guān)注。道路交通標(biāo)志識(shí)別主要包括兩個(gè)基本環(huán)節(jié)：首先是交通標(biāo)志的檢測(cè)，包括交通標(biāo)志的定位、提取及必要的預(yù)處理；其次是交通標(biāo)志的識(shí)別，包括交通標(biāo)志的特征提取和分類。

如今，交通標(biāo)志的識(shí)別方法大多數(shù)都采用人工智能技術(shù)，主要有下述兩類形式[4]。一種是采用“人工特征+機(jī)器學(xué)習(xí)”的識(shí)別方法，如基于淺層神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的特征識(shí)別等。在這種方法中，主要依靠先驗(yàn)知識(shí)，人工設(shè)計(jì)特征，機(jī)器學(xué)習(xí)模型僅負(fù)責(zé)特征的分類或識(shí)別，因此特征設(shè)計(jì)的好壞直接影響到整個(gè)系統(tǒng)性能的性能，而要發(fā)現(xiàn)一個(gè)好的特征，則依賴于研究人員對(duì)待解決的問題的深入理解。另一種形式是近幾年發(fā)展起來的深度學(xué)習(xí)模型[5]，如基于限制波爾茲曼機(jī)和基于自編碼器的深度學(xué)習(xí)模型以及卷積神經(jīng)網(wǎng)絡(luò)等。在這種方法中，無需構(gòu)造任何的人工特征，而是直接將圖像的像素作為輸入，通過構(gòu)建含有多個(gè)隱層的機(jī)器學(xué)習(xí)模型，模擬人腦認(rèn)知的多層結(jié)構(gòu)，逐層地進(jìn)行信息特征抽取，最終形成更具推廣性和表達(dá)力的特征，從而提升識(shí)別的準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一，是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它利用一系列的卷積層、池化層以及一個(gè)全連接輸出層構(gòu)建一個(gè)多層的網(wǎng)絡(luò)，來模仿人腦感知視覺信號(hào)的逐層處理機(jī)制，以實(shí)現(xiàn)視覺特征信號(hào)的自動(dòng)提取與識(shí)別。本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識(shí)別，通過構(gòu)建一個(gè)由二維卷積和池化處理交替組成的6層網(wǎng)絡(luò)來逐層地提取交通標(biāo)志圖像的特征，所形成的特征矢量由一個(gè)全連接輸出層來實(shí)現(xiàn)特征的分類和識(shí)別。實(shí)驗(yàn)中將加入高斯噪聲、經(jīng)過位移、縮放和旋轉(zhuǎn)處理的交通標(biāo)志圖像以及實(shí)際道路采集交通標(biāo)志圖像分別構(gòu)成訓(xùn)練集和測(cè)試集，實(shí)驗(yàn)結(jié)果表明，本文所采用的方法具有良好的識(shí)別率和魯棒性。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

1.1 深度學(xué)習(xí)

神經(jīng)科學(xué)研究表明，哺乳動(dòng)物大腦皮層對(duì)信號(hào)的處理沒有一個(gè)顯示的過程[5]，而是通過信號(hào)在大腦皮層復(fù)雜的層次結(jié)構(gòu)中的遞進(jìn)傳播，逐層地對(duì)信號(hào)進(jìn)行提取和表述，最終達(dá)到感知世界的目的。這些研究成果促進(jìn)了深度學(xué)習(xí)這一新興研究領(lǐng)域的迅速發(fā)展。

深度學(xué)習(xí)[4，6?7]的目的就是試圖模仿人腦感知視覺信號(hào)的機(jī)制，通過構(gòu)建含有多個(gè)隱層的多層網(wǎng)絡(luò)來逐層地對(duì)信號(hào)特征進(jìn)行新的提取和空間變換，以自動(dòng)學(xué)習(xí)到更加有效的特征表述，最終實(shí)現(xiàn)視覺功能。目前深度學(xué)習(xí)已成功地應(yīng)用到語音識(shí)別、圖像識(shí)別和語言處理等領(lǐng)域。在不同學(xué)習(xí)框架下構(gòu)建的深度學(xué)習(xí)結(jié)構(gòu)是不同的，如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生，第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算模型是在Fukushima 的神經(jīng)認(rèn)知機(jī)中提出的[8]，基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來，LeCun 等人在該思想的基礎(chǔ)上，用誤差梯度設(shè)計(jì)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[9?10]，在一些模式識(shí)別任務(wù)上得到優(yōu)越的性能。

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種有監(jiān)督的深度學(xué)習(xí)算法，無需事先知道輸入與輸出之間精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對(duì)卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以學(xué)習(xí)到輸入與輸出之間的一種多層的非線性關(guān)系，這是非深度學(xué)習(xí)算法不能做到的。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由一系列的卷積和池化層以及一個(gè)全連接的輸出層組成，可以采用梯度下降法極小化誤差函數(shù)對(duì)網(wǎng)絡(luò)中的權(quán)值和閾值參數(shù)逐層反向調(diào)節(jié)，以得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)解，并可以通過增加迭代次數(shù)來提高網(wǎng)絡(luò)訓(xùn)練的精度。

1.2.1 前向傳播

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中，輸入的原始圖像經(jīng)過逐層的卷積和池化處理后，提取出若干特征子圖并轉(zhuǎn)換成一維特征矢量，最后由全連接的輸出層進(jìn)行分類識(shí)別。

在卷積層中，每個(gè)卷積層都可以表示為對(duì)前一層輸入圖像的二維卷積和非線性激勵(lì)函數(shù)，其表達(dá)式可用式（1）表示：

式中：Yj 表示輸出層中第j 個(gè)輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長(zhǎng)度；Wij 表示輸出層的權(quán)值，連接輸入i 和輸出j ；bj表示輸出層第j 個(gè)輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過程中，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法采用類似于BP神經(jīng)網(wǎng)絡(luò)的梯度最速下降法，即按極小化誤差的方法反向傳播調(diào)整權(quán)值和閾值。網(wǎng)絡(luò)反向傳播回來的誤差是每個(gè)神經(jīng)元的基的靈敏度[12]，也就是誤差對(duì)基的變化率，即導(dǎo)數(shù)。下面將分別求出輸出層、池采樣層和卷積層的神經(jīng)元的靈敏度。

（1）輸出層的靈敏度

對(duì)于誤差函數(shù)式（6）來說，輸出層神經(jīng)元的靈敏度可表示為：

在前向傳播過程中，得到網(wǎng)絡(luò)的實(shí)際輸出，進(jìn)而求出實(shí)際輸出與目標(biāo)輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個(gè)過程反復(fù)交替，直到達(dá)到收斂的要求為止。

2 深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法

2.1 應(yīng)用原理

交通標(biāo)志是一種人為設(shè)計(jì)的具有特殊顏色（如紅、黃、白、藍(lán)、黑等）和特殊形狀或圖形的公共標(biāo)志。我國(guó)的交通標(biāo)志主要有警告、禁令、指示和指路等類型，一般采用顏色來區(qū)分不同的類型，用形狀或圖形來標(biāo)示具體的信息。從交通標(biāo)志設(shè)計(jì)的角度來看，屬于不同類型（不同顏色）的交通標(biāo)志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標(biāo)志中同類的指示信息標(biāo)志在形狀或圖形上比較接近，如警告標(biāo)志中的平面交叉路口標(biāo)志等。因此，從機(jī)器視覺的角度來分析，同類型中同類指示信息的標(biāo)志之間會(huì)比不同類型的標(biāo)志之間更易引起識(shí)別錯(cuò)誤。換句話說，相比于顏色，形狀或圖形是正確識(shí)別交通標(biāo)志的關(guān)鍵因素。

因此，在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志時(shí)，從提高算法效率和降低錯(cuò)誤率綜合考慮，將交通標(biāo)志轉(zhuǎn)換為灰度圖像并作二值化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像信息。圖2給出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志的原理圖。該網(wǎng)絡(luò)采用了6層交替的卷積層和池采樣層來逐層提取交通標(biāo)志的特征，形成的特征矢量由一個(gè)全連接的輸出層進(jìn)行識(shí)別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標(biāo)志圖像；

Pool表示每個(gè)池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標(biāo)志識(shí)別的判別準(zhǔn)則為：對(duì)于輸入交通標(biāo)志圖像Input，網(wǎng)絡(luò)的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標(biāo)志圖像Input為第j 類交通標(biāo)志。

2.2 交通標(biāo)志識(shí)別的基本步驟

深層神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志主要包括交通標(biāo)志的訓(xùn)練與識(shí)別，所以將交通標(biāo)志識(shí)別歸納為以下4個(gè)步驟：（1） 圖像預(yù)處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標(biāo)志圖像轉(zhuǎn)換為灰度圖像，再利用鄰近插值法將交通標(biāo)志圖像規(guī)格化，最后利用最大類間方差將交通標(biāo)志圖像二值化。

（2）網(wǎng)絡(luò)權(quán)值和閾值的初始化：利用隨機(jī)分布函數(shù)將權(quán)值W 初始化為-1~1之間的隨機(jī)數(shù)；而將閾值b 初始化為0。

（3）網(wǎng)絡(luò)的訓(xùn)練：利用經(jīng)過預(yù)處理的交通標(biāo)志圖像構(gòu)成訓(xùn)練集，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過網(wǎng)絡(luò)前向傳播和反向傳播的反復(fù)交替處理，直到滿足識(shí)別收斂條件或達(dá)到要求的訓(xùn)練次數(shù)為止。

（4）交通標(biāo)志的識(shí)別：將實(shí)際采集的交通標(biāo)志圖像經(jīng)過預(yù)處理后，送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行交通標(biāo)志特征的提取，然后通過一個(gè)全連接的網(wǎng)絡(luò)進(jìn)行特征分類與識(shí)別，得到識(shí)別結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)主要選取了我國(guó)道路交通標(biāo)志的警告標(biāo)志、指示標(biāo)志和禁令標(biāo)志三類中較常見的50幅圖像?？紤]到在實(shí)際道路中采集到的交通標(biāo)志圖像會(huì)含有噪聲和出現(xiàn)幾何失真以及背景干擾等現(xiàn)象，因此在構(gòu)造網(wǎng)絡(luò)訓(xùn)練集時(shí)，除了理想的交通標(biāo)志以外，還增加了加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和縮放處理和實(shí)際采集到的交通標(biāo)志圖像，因此最終的訓(xùn)練樣本為72個(gè)。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉(zhuǎn)、縮放的參數(shù)分別隨機(jī)的分布在±10，±5°，0.9~1.1的范圍內(nèi)。圖3給出了訓(xùn)練集中的交通標(biāo)志圖像的示例。圖4是在實(shí)際道路中采集的交通標(biāo)志圖像構(gòu)成的測(cè)試集的示例。

在實(shí)驗(yàn)中構(gòu)造了一個(gè)輸入為48×48個(gè)神經(jīng)元、輸出為50 個(gè)神經(jīng)元的9 層網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是像素為48 × 48 的規(guī)格化的交通標(biāo)志圖像，輸出對(duì)應(yīng)于上述的50種交通標(biāo)志的判別結(jié)果。網(wǎng)絡(luò)的激活函數(shù)采用S型函數(shù)，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標(biāo)志的訓(xùn)練總誤差EN 曲線。在訓(xùn)練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個(gè)平穩(wěn)的收斂過程，當(dāng)?shù)?0萬次時(shí)，總誤差EN可以達(dá)到0.188 2。

在交通標(biāo)志的測(cè)試實(shí)驗(yàn)中，為了全面檢驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能，分別針對(duì)理想的交通標(biāo)志，加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和比例縮放以及采集的交通標(biāo)志圖像進(jìn)行實(shí)驗(yàn)，將以上測(cè)試樣本分別送入到網(wǎng)絡(luò)中識(shí)別，表2給出了測(cè)試實(shí)驗(yàn)結(jié)果。

綜合分析上述實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論：（1）在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程中，整個(gè)網(wǎng)絡(luò)的誤差曲線快速平穩(wěn)的下降，體現(xiàn)出卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)具有良好的收斂性。

（2）經(jīng)逐層卷積和池采樣所提取的特征具有比例縮放和旋轉(zhuǎn)不變性，因此對(duì)于旋轉(zhuǎn)和比例縮放后的交通標(biāo)志能達(dá)到100%的識(shí)別率。

（3）與傳統(tǒng)的BP網(wǎng)絡(luò)識(shí)別方法[11]相比較，卷積神經(jīng)網(wǎng)絡(luò)能夠達(dá)到更深的學(xué)習(xí)深度，即在交通標(biāo)志識(shí)別時(shí)能夠得到更高的所屬類別概率（更接近于1），識(shí)別效果更好。

（4）卷積神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)際采集的交通標(biāo)志圖像的識(shí)別率尚不能達(dá)到令人滿意的結(jié)果，主要原因是實(shí)際道路中采集的交通標(biāo)志圖像中存在著較嚴(yán)重的背景干擾，解決的辦法是增加實(shí)際采集的交通標(biāo)志訓(xùn)練樣本數(shù)，通過網(wǎng)絡(luò)的深度學(xué)習(xí)，提高網(wǎng)絡(luò)的識(shí)別率和魯棒性。

4 結(jié)論

本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識(shí)別，利用卷積神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)來模仿人腦感知視覺信號(hào)的機(jī)制，自動(dòng)地提取交通標(biāo)志圖像的視覺特征并進(jìn)行分類識(shí)別。實(shí)驗(yàn)表明，應(yīng)用深層卷積神經(jīng)網(wǎng)絡(luò)識(shí)別交通標(biāo)志取得了良好的識(shí)別效果。

在具體實(shí)現(xiàn)中，從我國(guó)交通標(biāo)志的設(shè)計(jì)特點(diǎn)考慮，本文將經(jīng)過預(yù)處理二值化的圖像作為網(wǎng)絡(luò)的輸入，主要是利用了交通標(biāo)志的形狀信息，而基本略去了顏色信息，其優(yōu)點(diǎn)是在保證識(shí)別率的基礎(chǔ)上，可以簡(jiǎn)化網(wǎng)絡(luò)的結(jié)構(gòu)，降低網(wǎng)絡(luò)的計(jì)算量。在實(shí)際道路交通標(biāo)志識(shí)別中，將形狀信息和顏色信息相結(jié)合，以進(jìn)一步提高識(shí)別率和對(duì)道路環(huán)境的魯棒性，是值得進(jìn)一步研究的內(nèi)容。

此外，本文的研究沒有涉及到道路交通標(biāo)志的動(dòng)態(tài)檢測(cè)，這也是今后可以進(jìn)一步研究的內(nèi)容。

參考文獻(xiàn)

[1] 劉平華，李建民，胡曉林，等.動(dòng)態(tài)場(chǎng)景下的交通標(biāo)識(shí)檢測(cè)與識(shí)別研究進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國(guó)計(jì)算機(jī)學(xué)會(huì).深度學(xué)習(xí)：推進(jìn)人工智能夢(mèng)想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識(shí)別交通標(biāo)志[J].計(jì)算機(jī)工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其Matlab 仿真設(shè)計(jì)[M].北京：清華大學(xué)出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2014（7）：1921?1930.