神經(jīng)網(wǎng)絡(luò)特征重要性精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)特征重要性主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 入侵檢測(cè)；自動(dòng)變速率；隨機(jī)優(yōu)化算子

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）03-0614-03

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，更現(xiàn)顯了網(wǎng)絡(luò)安全的重要性。入侵檢測(cè)技術(shù)在安全防護(hù)中是一種主動(dòng)防護(hù)技術(shù)，能及時(shí)地檢測(cè)各種惡意入侵，并在網(wǎng)絡(luò)系統(tǒng)受到危害時(shí)進(jìn)行響應(yīng)，因此在為安全防御體系中入侵檢測(cè)系統(tǒng)占有重要的地位。但是在現(xiàn)實(shí)的應(yīng)用中，入侵檢測(cè)系統(tǒng)沒(méi)有充分發(fā)揮其作用。這是因?yàn)椋粩嘧兓娜肭址绞揭笕肭謾z測(cè)模型必須具有分析大量數(shù)據(jù)的能力。無(wú)論這些數(shù)據(jù)是不完全的，是非結(jié)構(gòu)化的，或者是含有噪音的。而且，有些攻擊是由處于不同網(wǎng)絡(luò)位置上的多個(gè)攻擊者協(xié)作進(jìn)行的，這就要求入侵檢測(cè)模型又必須具備處理來(lái)自非線性數(shù)據(jù)源的大量數(shù)據(jù)的能力。神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶能力、自學(xué)習(xí)能力和模糊運(yùn)算的能力。因此將神經(jīng)網(wǎng)絡(luò)應(yīng)用入侵檢測(cè)中，它不僅可以識(shí)別出曾見(jiàn)過(guò)的入侵，還可以識(shí)別出未曾見(jiàn)過(guò)的入侵。該文首先介紹了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法，然后分析了該算法在入侵檢測(cè)中的應(yīng)用，并給出試驗(yàn)仿真結(jié)果。

1 BP神經(jīng)網(wǎng)絡(luò)與入侵檢測(cè)

1.1 BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)與不足

BP神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)模型中應(yīng)用最廣泛一種。它基于成熟的BP算法，主要有以下幾個(gè)特點(diǎn)：1）它能夠?qū)崿F(xiàn)自組織、自學(xué)習(xí)，根據(jù)給定的輸入輸出樣本自動(dòng)調(diào)整它的網(wǎng)絡(luò)參數(shù)來(lái)模擬輸入輸出之間的非線性關(guān)系。2）在存儲(chǔ)上采用分布式存儲(chǔ)，所有的信息分布存儲(chǔ)在每一個(gè)神經(jīng)元中。3）它還可以實(shí)現(xiàn)并行處理，下一層的每個(gè)神經(jīng)元可以根據(jù)接收到的上一層信息同時(shí)獨(dú)立地計(jì)算。這些特點(diǎn)使其很適合應(yīng)用于入侵檢測(cè)技術(shù)，滿足入侵檢測(cè)的適應(yīng)性、可靠性、安全性和高效性的要求。

但是傳統(tǒng)的BP算法也存在著以下幾個(gè)方面的不足：1）局部極小；2）學(xué)習(xí)算法收斂速度慢；3）隱含層節(jié)點(diǎn)選取缺乏理論；4）加入新的樣本會(huì)影響已經(jīng)學(xué)完的樣本；5）每次輸入樣本特征的數(shù)目必須確定且相同。

1.2 入侵檢測(cè)技術(shù)

通過(guò)對(duì)系統(tǒng)數(shù)據(jù)的分析，當(dāng)發(fā)現(xiàn)有非授權(quán)的網(wǎng)絡(luò)訪問(wèn)和攻擊行為時(shí)，采取報(bào)警、切斷入侵線路等措施來(lái)維護(hù)網(wǎng)絡(luò)安全，這被就是入侵檢測(cè)技術(shù)。采用此技術(shù)設(shè)計(jì)的系統(tǒng)稱為入侵檢測(cè)系統(tǒng)。根據(jù)采用的技術(shù)來(lái)說(shuō)入侵檢測(cè)系統(tǒng)應(yīng)具有以下幾個(gè)特性：1）監(jiān)視用戶及系統(tǒng)活動(dòng)；2） 分析用戶及系統(tǒng)活動(dòng)；3） 異常行為模式分析；4） 識(shí)別已知的進(jìn)攻活動(dòng)模式并反映報(bào)警；5） 系統(tǒng)構(gòu)造和弱點(diǎn)的審計(jì)，操作系統(tǒng)的審計(jì)跟蹤管理；6） 評(píng)估重要的系統(tǒng)和數(shù)據(jù)文件的完整性，并識(shí)別用戶違反安全策略的行為。

目前最常用的攻擊手段有：拒絕服務(wù)、探測(cè)、非授權(quán)訪問(wèn)和非授權(quán)獲得超級(jí)用戶權(quán)限攻擊。而且這些攻擊手段在實(shí)際中還有很大的變異，因此給入侵檢測(cè)帶來(lái)了一定的難度。BP神經(jīng)網(wǎng)絡(luò)的自組織自學(xué)習(xí)能力，使得經(jīng)過(guò)訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)對(duì)以前觀察到的入侵檢測(cè)行為模式進(jìn)行歸納總結(jié)，除了可以識(shí)別出已經(jīng)觀察到的攻擊，還可以識(shí)別出由已知攻擊變異出的新的攻擊，甚至是全新的攻擊。

2.3 改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、非線性處理、信號(hào)檢測(cè)等領(lǐng)域應(yīng)用非常多，這是由于人工神經(jīng)網(wǎng)絡(luò)具有的良好的自適應(yīng)和自組織性，高度的非線性特性以及大規(guī)模并行處理和分布式信息存儲(chǔ)能力的特性。BP神經(jīng)網(wǎng)絡(luò)算法實(shí)質(zhì)上是非線性優(yōu)化問(wèn)題的梯度算法，該算法在收斂性問(wèn)題上存在限制與不足。即該算法學(xué)習(xí)的結(jié)果不能保證一定收斂到均方誤差的全局最小點(diǎn)，也有可能落入局部極小點(diǎn)，使算法不收斂，導(dǎo)致陷入錯(cuò)誤的工作模式。因此本文選擇了改進(jìn)的神經(jīng)網(wǎng)絡(luò)，改進(jìn)主要有以下幾點(diǎn)：

2）自動(dòng)變速率學(xué)習(xí)法

傳統(tǒng)的BP算法是以梯度為基礎(chǔ)，采用LMS學(xué)習(xí)問(wèn)題的最陡下降法，學(xué)習(xí)步長(zhǎng)是一個(gè)固定不變的較小值，不利于網(wǎng)絡(luò)的收斂。因此，選擇了基于梯度方向來(lái)自動(dòng)調(diào)節(jié)學(xué)習(xí)速率的方法。利用梯度確定學(xué)習(xí)的方向，由速率決定在梯度方向上學(xué)習(xí)的步長(zhǎng)。因此，如果相鄰兩次的梯度方向相同則說(shuō)明在該方向是有利收斂的方向，如果相鄰兩次的梯度方向相反則說(shuō)明此處存在不穩(wěn)定。因此，可以利用兩次相對(duì)梯度變化來(lái)確定學(xué)習(xí)步長(zhǎng)，當(dāng)兩次梯度方向相同時(shí)則增大學(xué)習(xí)步長(zhǎng)，加快在該方向上的學(xué)習(xí)速度；而如果兩次梯度方向相反那么減小學(xué)習(xí)步長(zhǎng)，加快整個(gè)網(wǎng)絡(luò)的收斂速度。這種方法的自適應(yīng)速率調(diào)節(jié)公式如下：

2）引入遺忘因子

本文所采用的自適應(yīng)變速率學(xué)習(xí)法是依據(jù)相鄰兩次梯度變化來(lái)確定學(xué)習(xí)步長(zhǎng)的算法，但單純的學(xué)習(xí)速率的變化還不能即完全地既保證收斂速度，又不至于引起振蕩。因此考慮變相的學(xué)習(xí)速率的學(xué)習(xí)。即在權(quán)值的調(diào)節(jié)量上再加一項(xiàng)正比于前幾次加權(quán)的量。權(quán)值調(diào)節(jié)量為：

我們將[τ]稱為遺忘因子。遺忘因子項(xiàng)的引入就是對(duì)學(xué)習(xí)過(guò)程中等效的對(duì)學(xué)習(xí)速率進(jìn)行微調(diào)的效果。遺忘因子起到了緩沖平滑的作用，使得調(diào)節(jié)向著底部的平均方向變化。

3）隨機(jī)優(yōu)化算子

雖然采用自動(dòng)變速率學(xué)習(xí)法，并引入遺忘因子的神經(jīng)網(wǎng)絡(luò)算法可以對(duì)學(xué)習(xí)速率進(jìn)行微調(diào)，但是仍存在著B(niǎo)P神經(jīng)網(wǎng)絡(luò)的限制與不足因此引入隨機(jī)優(yōu)化算子。也就是當(dāng)網(wǎng)絡(luò)的權(quán)值誤差迭代一定的次數(shù)后，仍沒(méi)有明顯的收斂，或者系統(tǒng)誤差函數(shù)的梯度連續(xù)幾次發(fā)生改變，這說(shuō)明網(wǎng)絡(luò)進(jìn)入了一個(gè)比較疲乏的狀態(tài)，需要借助外界的推動(dòng)力來(lái)激活網(wǎng)絡(luò)。當(dāng)發(fā)現(xiàn)上述的兩種情況時(shí)，就產(chǎn)生與權(quán)值維數(shù)相同的隨機(jī)數(shù)，并將隨機(jī)數(shù)與權(quán)值直接相加，然后判斷系統(tǒng)誤差的變化。如果誤差沒(méi)有降低，那么就再繼續(xù)產(chǎn)生隨機(jī)數(shù)來(lái)修改權(quán)值，直到誤差減少，再?gòu)男碌臋?quán)值開(kāi)始繼續(xù)BP算法。隨機(jī)優(yōu)化算子可以令搜索方向隨機(jī)變化，從而擺脫局部極小點(diǎn)。

4）改進(jìn)算法與傳統(tǒng)算法比較

以200個(gè)訓(xùn)練樣本為例，分別采用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)和經(jīng)典BP神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行學(xué)習(xí)、訓(xùn)練。兩種算法的誤差收斂對(duì)比曲線如圖1所示。

3 采用改進(jìn)算法的入侵檢測(cè)仿真實(shí)驗(yàn)

入侵檢測(cè)系統(tǒng)進(jìn)行測(cè)試和評(píng)估需要標(biāo)準(zhǔn)的、可重現(xiàn)的并包含入侵的大量數(shù)據(jù)。本仿真實(shí)驗(yàn)選取DARPA數(shù)據(jù)集網(wǎng)絡(luò)連接數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)。然后，對(duì)這些數(shù)據(jù)選三組特征值進(jìn)行實(shí)驗(yàn)，并給出實(shí)驗(yàn)結(jié)果。

3.1 數(shù)據(jù)源的選取

該實(shí)驗(yàn)的數(shù)據(jù)采用DARPA 1988入侵檢測(cè)評(píng)估數(shù)據(jù)庫(kù)的數(shù)據(jù)。該數(shù)據(jù)有大量的連接數(shù)據(jù)記錄。每個(gè)一記錄代表一次網(wǎng)絡(luò)連接，且每個(gè)記錄均有41個(gè)特征值，其中各個(gè)特征的含義不同，大致可分為三類：1）表示網(wǎng)絡(luò)連接內(nèi)容特征；2）表示網(wǎng)絡(luò)連接基本特征；3）表示網(wǎng)絡(luò)連接流量特征。

模擬的入侵主要有以下四種類型：DOS 、 R2L、U2R、Probing，考慮到設(shè)計(jì)的實(shí)用性分別對(duì)三類特征值用神經(jīng)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練和識(shí)別。實(shí)驗(yàn)選取了13000組數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)，其中3000組用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，10000組用于系統(tǒng)測(cè)試。

3.2 仿真實(shí)驗(yàn)結(jié)果

對(duì)三類特征組的訓(xùn)練集數(shù)據(jù)應(yīng)用改進(jìn)神經(jīng)網(wǎng)絡(luò)分別訓(xùn)練出三個(gè)神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接內(nèi)容特征的神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接基本特征的神經(jīng)網(wǎng)絡(luò)以及表示網(wǎng)絡(luò)連接流量的特征的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練成功時(shí)的迭代步數(shù)分別為7056，386，3030。然后再對(duì)測(cè)試集數(shù)據(jù)進(jìn)行測(cè)試，結(jié)果如下：

1）表示網(wǎng)絡(luò)連接內(nèi)容特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)識(shí)別，結(jié)果如表1所示。

2）表示網(wǎng)絡(luò)連接基本特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)識(shí)別，結(jié)果如表2所示。

3）網(wǎng)絡(luò)連接流量特征組，利用改進(jìn)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)識(shí)別，結(jié)果如表3所示：

從表中數(shù)據(jù)可以看出對(duì)常見(jiàn)的四種攻擊，不同的特征分組在改進(jìn)神經(jīng)網(wǎng)絡(luò)的作用下檢測(cè)各有優(yōu)勢(shì)。

4 結(jié)論

論文采用自動(dòng)變速率學(xué)習(xí)法，利用遺忘因子進(jìn)行微調(diào)，同時(shí)引入隨機(jī)優(yōu)化算子對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了改進(jìn)。改進(jìn)神經(jīng)網(wǎng)絡(luò)的收斂速度比經(jīng)典BP神經(jīng)網(wǎng)絡(luò)更快，同時(shí)穩(wěn)定性也較好。并將該算法應(yīng)用于入侵檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示改進(jìn)后的算法具有較好的識(shí)別攻擊的能力。

參考文獻(xiàn)：

[1] 肖道舉，毛輝.BP神經(jīng)網(wǎng)絡(luò)在入侵檢測(cè)中的應(yīng)用[J].華中科技大學(xué)學(xué)報(bào)，2003（5）.

[2] 汪潔.基于神經(jīng)網(wǎng)路的入侵檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2013（5）.

第2篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞 經(jīng)濟(jì)活動(dòng) 預(yù)測(cè)模型 人工神經(jīng)網(wǎng)絡(luò)

經(jīng)濟(jì)活動(dòng)諸如商品價(jià)格走勢(shì)、生產(chǎn)活動(dòng)的產(chǎn)量預(yù)測(cè)、加工的投入產(chǎn)出分析、工廠的成本控制等方面都是重要的技術(shù)經(jīng)濟(jì)層面。定量化的經(jīng)濟(jì)活動(dòng)分析是經(jīng)濟(jì)學(xué)研究的必由之路，而建模是量化分析的基礎(chǔ)，這是因?yàn)槟Ｐ蜑榭茖W(xué)分析和質(zhì)量、成本等控制提供了理論依據(jù)。本文針對(duì)經(jīng)濟(jì)活動(dòng)中大多數(shù)研究對(duì)象都具有的非線性特點(diǎn)，給出了用人工神經(jīng)網(wǎng)絡(luò)（Artificial Nerve Network）模型建立經(jīng)濟(jì)活動(dòng)的預(yù)測(cè)模型的原理和方法，并描述了神經(jīng)網(wǎng)絡(luò)與各種先進(jìn)的建模方法相結(jié)合的模型化方法，為經(jīng)濟(jì)活動(dòng)的分析、預(yù)測(cè)與控制提供了理論基礎(chǔ)。

1 神經(jīng)網(wǎng)絡(luò)模型方法

現(xiàn)實(shí)的經(jīng)濟(jì)系統(tǒng)是一個(gè)極其復(fù)雜的非線性系統(tǒng)，客觀上要求建立非線性模型。傳統(tǒng)上使用回歸與自回歸模型刻畫的都是線性關(guān)系，難于精確反映因變量的變化規(guī)律，也終將影響模型的擬合及預(yù)報(bào)效果。為揭示隱含于歷史記錄中的復(fù)雜非線性關(guān)系必須借助更先進(jìn)的方法———人工神經(jīng)網(wǎng)絡(luò)(ANN)方法。

人工神經(jīng)網(wǎng)絡(luò)具有并行處理、自適應(yīng)、自組織、聯(lián)想記憶及源于神經(jīng)元激活函數(shù)的壓扁特性的容錯(cuò)和魯棒性等特點(diǎn)。數(shù)學(xué)上已經(jīng)證明，神經(jīng)網(wǎng)絡(luò)可以逼近所有函數(shù)，這意味著神經(jīng)網(wǎng)絡(luò)能逼近那些刻畫了樣本數(shù)據(jù)規(guī)律的函數(shù)，且所考慮的系統(tǒng)表現(xiàn)的函數(shù)形式越復(fù)雜，神經(jīng)網(wǎng)絡(luò)這種特性的作用就越明顯。

在各類神經(jīng)網(wǎng)絡(luò)模型中，BP（Back－Propagation誤差后向傳播）神經(jīng)網(wǎng)絡(luò)模型是最常用的也是最成熟的模型之一。本質(zhì)上，BP模型是對(duì)樣本集進(jìn)行建模，即建立對(duì)應(yīng)關(guān)系RmRn,xk∈Rm,ykRn。數(shù)學(xué)上，就是一個(gè)通過(guò)函數(shù)逼近擬合曲線/曲面的方法，并將之轉(zhuǎn)化為一個(gè)非線性優(yōu)化問(wèn)題來(lái)求解。

對(duì)BP神經(jīng)網(wǎng)絡(luò)模型，一般選用三層非循環(huán)網(wǎng)絡(luò)。假設(shè)每層有N個(gè)處理單元，通常選取連續(xù)可微的非線性作用函數(shù)如Sigmoid函數(shù)f(x)=1/(1+e-x)，訓(xùn)練集包括M個(gè)樣本模式{(xk,yk)}。對(duì)第P個(gè)訓(xùn)練樣本（P＝1，2，…，M），單元j的輸入總和記為apj，輸出記為Opj，則:

apj=WQ

Opj=f(apj)=1/(1+e-apj)

（1）

對(duì)每個(gè)輸入模式P，網(wǎng)絡(luò)輸出與期望輸出（dpj）間誤差為：

E=Ep=((dpj-Opj)2)

（2）

取BP網(wǎng)絡(luò)的權(quán)值修正式：

Wji(t+1)=Wji(t)+?濁?啄pj+?琢(Wji(t)-Wji(t-1))

（3）

其中，對(duì)應(yīng)輸出單元?啄pj=f’,(apj)(dpj-Opj)；對(duì)應(yīng)輸入單元?啄pj=f’,(apj)?啄pkWkj；

?濁是為加快網(wǎng)絡(luò)收斂速度而取值足夠大又不致產(chǎn)生振蕩的常數(shù)；?琢為一常數(shù)項(xiàng)，稱為趨勢(shì)因子，它決定上一次學(xué)習(xí)權(quán)值對(duì)本次權(quán)值的影響。

BP學(xué)習(xí)算法的步驟：初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；提供訓(xùn)練模式并訓(xùn)練網(wǎng)絡(luò)直到滿足學(xué)習(xí)要求；前向傳播過(guò)程, 對(duì)給定訓(xùn)練模式輸入，計(jì)算網(wǎng)絡(luò)的輸出模式，并與期望比較，如有誤差，則執(zhí)行下一步，否則返回第二步；后向傳播過(guò)程,計(jì)算同一層單元的誤差?啄pj, 按權(quán)值公式（3）修正權(quán)值; 返回權(quán)值計(jì)算公式（3）。BP網(wǎng)絡(luò)的學(xué)習(xí)一般均需多周期迭代，直至網(wǎng)絡(luò)輸出與期望輸出間總體的均方根誤差ERMS達(dá)到一定要求方結(jié)束。

實(shí)踐中，BP網(wǎng)絡(luò)可能遇到如下問(wèn)題：局部極小點(diǎn)問(wèn)題；迭代收斂性及收斂速度引起低效率問(wèn)題。此外還有，模型的逼近性質(zhì)差；模型的學(xué)習(xí)誤差大，記憶能力不強(qiáng)；與線性時(shí)序模型一樣，模型網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點(diǎn)作用函數(shù)不易確定；難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模與網(wǎng)絡(luò)規(guī)模之間的矛盾等。為克服這樣的一些問(wèn)題，同時(shí)為了更好地面向?qū)嶋H問(wèn)題的特殊性，出現(xiàn)了各種基于神經(jīng)網(wǎng)絡(luò)模型或與之結(jié)合的模型創(chuàng)新方法。

2 灰色神經(jīng)網(wǎng)絡(luò)模型

灰色預(yù)測(cè)和神經(jīng)網(wǎng)絡(luò)一樣是近年來(lái)用于非線性時(shí)間序列預(yù)測(cè)的引人注目的方法，兩種方法在建模時(shí)都不需計(jì)算統(tǒng)計(jì)特征，且理論上可以適用于任何非線性時(shí)間序列的建模。灰色預(yù)測(cè)由于其模型特點(diǎn)，更合用于經(jīng)濟(jì)活動(dòng)中具有指數(shù)增長(zhǎng)趨勢(shì)的問(wèn)題，而對(duì)于其他變化趨勢(shì)，則可能擬合灰度較大，導(dǎo)致精度難于提高。

對(duì)于既有隨時(shí)間推移的增長(zhǎng)趨勢(shì)，又有同一季節(jié)的相似波動(dòng)性趨勢(shì)，且增長(zhǎng)趨勢(shì)和波動(dòng)性趨勢(shì)都呈現(xiàn)為一種復(fù)雜的非線性函數(shù)特性的一類現(xiàn)實(shí)問(wèn)題，根據(jù)人工神經(jīng)網(wǎng)絡(luò)具有較好的描述復(fù)雜非線性函數(shù)能力特點(diǎn)，用其對(duì)季節(jié)性建模；最后根據(jù)最優(yōu)組合預(yù)測(cè)理論，建立了兼有GM（1，1）和ANN優(yōu)點(diǎn)的最優(yōu)組合預(yù)測(cè)模型。該模型能夠同時(shí)反映季節(jié)性時(shí)間序列的增長(zhǎng)趨勢(shì)性和同季波動(dòng)性的雙重特性，適用于一般具有季節(jié)性特點(diǎn)的經(jīng)濟(jì)預(yù)測(cè)。

首先，建立GM（1，1）模型，設(shè)時(shí)間序列x(0)=(x(0)(1),x(0)(2),?撰,x(0)(n))，作一階累加生成：

x(1)=(x(1)(1),x(1)(2),?撰,x(1)(n))　 （4）

其中x(1)(k)=(x(0)(i),k=1,2,?撰,n

構(gòu)造一階線性灰色微分方程并得到該方程的白化微分方程：

+ax=u

用最小二乘法求解參數(shù)a，u，得到x(1)的灰色預(yù)測(cè)模型：

(1)(k+1)=(X(0)(1)-u/a)e-ak+u/a,(k=0,1,2,?撰)

（5）

其次，根據(jù)上節(jié)方法建立BP人工神經(jīng)網(wǎng)絡(luò)模型。

第三，將兩模型優(yōu)化組合。設(shè)f1是灰色預(yù)測(cè)值，f2是神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值，fc是最優(yōu)組合預(yù)測(cè)值，預(yù)測(cè)誤差分別為:e1,e2,ec，取w1和w2是相應(yīng)的權(quán)系數(shù)，且w1+w2=1,有fc=w1f1+w2f2，則誤差及方差分別為ec=w1e1+w2e2,Var(ec)=w21Var(e1)+w22Var(e2)+2w1w2cov(e1,e2)

對(duì)方差公式求關(guān)于w1的極小值，并取cov(e1,e2)=0，即可得到組合預(yù)測(cè)權(quán)系數(shù)的值。

2 基于粗糙集理論的神經(jīng)網(wǎng)絡(luò)模型

粗糙集理論與模糊集理論一樣是研究系統(tǒng)中知識(shí)不完全和不確定問(wèn)題的方法。模糊集理論在利用隸屬函數(shù)表達(dá)不確定性時(shí)，為定義一個(gè)合適的隸屬函數(shù)，需要人工干預(yù)，因而有主觀性。而粗糙集理論由粗糙度表示知識(shí)的不完全程度，是通過(guò)表達(dá)知識(shí)不精確性的概念計(jì)算得到的，是客觀的，并不需要先驗(yàn)知識(shí)。粗糙集通過(guò)定義信息熵并進(jìn)而規(guī)定重要性判據(jù)以判斷某屬性的必要性、重要性或冗余性。

一般來(lái)說(shuō)，BP神經(jīng)網(wǎng)絡(luò)模型對(duì)模型輸入變量的選擇和網(wǎng)絡(luò)結(jié)構(gòu)確定等都基本憑經(jīng)驗(yàn)或通過(guò)反復(fù)試驗(yàn)確定，這種方法的盲目性會(huì)導(dǎo)致模型質(zhì)量變差。用粗糙集理論指導(dǎo)，先對(duì)各種影響預(yù)測(cè)的因素變量進(jìn)行識(shí)別，以此確定預(yù)測(cè)模型的輸入變量；再通過(guò)屬性約簡(jiǎn)和屬性值約簡(jiǎn)獲得推理規(guī)則集；然后以這些推理規(guī)則構(gòu)造神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，并采用加動(dòng)量項(xiàng)的BP的學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。有效改善了模型特性，提高了模型質(zhì)量。其建模步驟為：由歷史數(shù)據(jù)及其相關(guān)信息歷史數(shù)據(jù)構(gòu)造決策表； 初始化； 對(duì)決策表的決策屬性變量按劃分值域?yàn)閚個(gè)區(qū)域的方式離散化；采用基于斷點(diǎn)重要性的粗糙集離散化算法選擇條件屬性變量和斷點(diǎn)（分點(diǎn)），同時(shí)計(jì)算決策表相容度，當(dāng)決策表相容度為1或不再增加時(shí)，則選擇條件屬性變量和分點(diǎn)過(guò)程結(jié)束；由選擇的條件屬性變量及其樣本離散化值構(gòu)造新的決策表，并對(duì)其約簡(jiǎn)，得到推理規(guī)則集；由推理規(guī)則集建立神經(jīng)網(wǎng)絡(luò)模型； 對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 若神經(jīng)網(wǎng)絡(luò)擬合誤差滿足要求，則結(jié)束， 否則，增加n。必須指出，區(qū)間分劃n太小，會(huì)使得擬合不夠，n太大，即輸出空間分得太細(xì)，會(huì)導(dǎo)致過(guò)多的區(qū)域?qū)?yīng)，使網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，影響泛化（預(yù)測(cè)）能力。

3 小波神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)模型存在的網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點(diǎn)函數(shù)不易確定問(wèn)題，結(jié)合小波分析優(yōu)良的數(shù)據(jù)擬合能力和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自適應(yīng)特性建模，即用非線性小波基取代通常的非線性S型函數(shù)。

設(shè)非線性時(shí)間序列變化函數(shù)f(t)∈L2(R)，定義其小波變換為：

Wf(a,b)==f(t)?漬()dt

（6）

式中，?漬ab(t)稱為由母小波?漬t（定義為滿足一定條件的平方可積函數(shù)?漬(t)∈L2(R)如Haar小波、Morlet小波、樣條小波等）生成的依賴于參數(shù)a、b的連續(xù)小波，也稱小波基。參數(shù)a的變化不僅改變小波基的頻譜結(jié)構(gòu)，還改變其窗口的大小和形狀。對(duì)于函數(shù)f(t)，其局部結(jié)構(gòu)的分辯可以通過(guò)調(diào)節(jié)參數(shù)a、b，即調(diào)節(jié)小波基窗口的大小和位置來(lái)實(shí)現(xiàn)。

用小波級(jí)數(shù)的有限項(xiàng)來(lái)逼近時(shí)序函數(shù)，即：

(t)=wk?漬()

（7）

式中(t)，為時(shí)間序列y(t)的預(yù)測(cè)值序列；wk,bk,ak分別為權(quán)重系數(shù)，小波基的平移因子和伸縮因子；L為小波基的個(gè)數(shù)。參數(shù)wk,bk,ak采用最小均方誤差能量函數(shù)優(yōu)化得到，L通過(guò)試算得到。

4 模糊神經(jīng)網(wǎng)絡(luò)模型

模糊集合和模糊邏輯以人腦處理不精確信息的方法為基礎(chǔ)，而人工神經(jīng)網(wǎng)絡(luò)是以大量簡(jiǎn)單神經(jīng)元的排列模擬人腦的生理結(jié)構(gòu)。二者的融合既具有神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算能力、容錯(cuò)性和學(xué)習(xí)能力，又有對(duì)于不確定、不精確信息的處理能力，即同時(shí)具有底層的數(shù)據(jù)處理、學(xué)習(xí)能力和高層的推理、思考能力。

一種應(yīng)用模糊理論的方法是把模糊聚類用來(lái)確定模糊系統(tǒng)的最優(yōu)規(guī)則數(shù)，從而確定模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。這樣確定的網(wǎng)絡(luò)結(jié)構(gòu)成為四層：第一層為直接輸入層；第二層為模糊化層，對(duì)輸入做模糊化處理；第三層為模糊推理層，對(duì)前層模糊結(jié)果做模糊推理；第四層為非模糊化層，可以采用重心非模糊化法，產(chǎn)生網(wǎng)絡(luò)輸出。該網(wǎng)絡(luò)采用動(dòng)態(tài)處理法，增強(qiáng)了其處理能力，且適用性強(qiáng)、精度高。

5 結(jié)語(yǔ)

除上述幾種結(jié)合式神經(jīng)網(wǎng)絡(luò)方法之外，人工神經(jīng)網(wǎng)絡(luò)模型在算法設(shè)計(jì)方面一直在取得巨大的進(jìn)步。神經(jīng)網(wǎng)絡(luò)模型方法是一種先進(jìn)的具有智能的非線性建模方法，其在自然科學(xué)、經(jīng)濟(jì)現(xiàn)象、社會(huì)活動(dòng)等方面的應(yīng)用正在不斷深化，把神經(jīng)網(wǎng)絡(luò)方法引入經(jīng)濟(jì)活動(dòng)的分析和預(yù)測(cè)中，并緊密聯(lián)系諸多先進(jìn)的建模方法，是使工業(yè)經(jīng)濟(jì)、商業(yè)經(jīng)濟(jì)及其對(duì)經(jīng)濟(jì)本質(zhì)規(guī)律的研究等各項(xiàng)工作推向前進(jìn)的重要理論武器。

參考文獻(xiàn)

第3篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞： 金融風(fēng)險(xiǎn)；預(yù)警；模糊聚類；神經(jīng)網(wǎng)絡(luò)

一、引言

2014年中央經(jīng)濟(jì)工作會(huì)議明確提出要“高度重視財(cái)政金融領(lǐng)域存在的風(fēng)險(xiǎn)隱患，堅(jiān)決守住不發(fā)生系統(tǒng)性和區(qū)域性金融風(fēng)險(xiǎn)的底線”。2008年國(guó)際金融危機(jī)爆發(fā)以來(lái)，世界各國(guó)應(yīng)對(duì)金融危機(jī)的經(jīng)驗(yàn)表明，構(gòu)建金融體系風(fēng)險(xiǎn)預(yù)警機(jī)制是必要且可行的。相對(duì)于整體金融風(fēng)險(xiǎn)而言，區(qū)域性金融風(fēng)險(xiǎn)具有更強(qiáng)的外部傳導(dǎo)性和可控性，且一般早于整體金融風(fēng)險(xiǎn)爆發(fā)，在某種程度上可被視為整體金融風(fēng)險(xiǎn)的預(yù)警信號(hào)，因此，作為金融監(jiān)管的有效補(bǔ)充，研究區(qū)域性金融風(fēng)險(xiǎn)早期預(yù)警體系并進(jìn)行預(yù)警分析將對(duì)金融風(fēng)險(xiǎn)管控具有重要意義。

國(guó)外學(xué)者對(duì)于早期風(fēng)險(xiǎn)預(yù)警體系的研究較為系統(tǒng)和成熟，且已有一些金融監(jiān)管部門建立了早期預(yù)警模型，如美聯(lián)儲(chǔ)的SEER評(píng)級(jí)模型、美國(guó)聯(lián)邦存款保險(xiǎn)公司的SCOR模型、法國(guó)銀行業(yè)委員會(huì)的預(yù)期損失模型、國(guó)際貨幣基金組織的宏觀審慎評(píng)估模型等。受國(guó)際金融危機(jī)的影響，近年來(lái)國(guó)內(nèi)學(xué)者在早期金融風(fēng)險(xiǎn)預(yù)警和管理方面的研究也越來(lái)越多，但由于預(yù)警指標(biāo)選擇、風(fēng)險(xiǎn)狀態(tài)劃分及臨界值選擇等均不盡相同，因此建立的預(yù)警模型也有所差異。本文通過(guò)借鑒國(guó)內(nèi)外對(duì)金融風(fēng)險(xiǎn)預(yù)警指標(biāo)體系的既有研究成果，綜合運(yùn)用模糊聚類分析、BP神經(jīng)網(wǎng)絡(luò)建模等計(jì)量分析方法，構(gòu)建區(qū)域金融風(fēng)險(xiǎn)預(yù)警體系，以期對(duì)區(qū)域性金融風(fēng)險(xiǎn)的評(píng)估和防范提供客觀性依據(jù)。

二、總體分析框架及模型構(gòu)建

本文構(gòu)建的區(qū)域金融風(fēng)險(xiǎn)早期預(yù)警體系由三部分組成：首先結(jié)合安徽區(qū)域特點(diǎn)，構(gòu)建包括經(jīng)濟(jì)因素、財(cái)政因素、金融因素、房地產(chǎn)發(fā)展、企業(yè)經(jīng)營(yíng)狀況等的區(qū)域性金融風(fēng)險(xiǎn)指標(biāo)體系；其次利用模糊聚類分析對(duì)研究樣本進(jìn)行分類，確定BP神經(jīng)網(wǎng)絡(luò)預(yù)警模型的分割點(diǎn)，為區(qū)域性金融風(fēng)險(xiǎn)水平的劃分提供一種新思路；最后采用人工神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)未來(lái)金融危機(jī)發(fā)生的可能性。

（一）區(qū)域性金融風(fēng)險(xiǎn)指標(biāo)體系

區(qū)域性金融風(fēng)險(xiǎn)指標(biāo)選擇既要考慮金融風(fēng)險(xiǎn)因素的普遍性，更要體現(xiàn)區(qū)域經(jīng)濟(jì)金融發(fā)展特點(diǎn)。指標(biāo)選取原則：一是全面性，所選指標(biāo)盡可能全面反映區(qū)域金融風(fēng)險(xiǎn)；二是可得性，所選數(shù)據(jù)要容易獲得，且期間口徑未作調(diào)整；三是匹配性，數(shù)據(jù)收集成本與模型預(yù)測(cè)的經(jīng)濟(jì)實(shí)用性相匹配。

（二）風(fēng)險(xiǎn)評(píng)估的模糊聚類分析

在分析一個(gè)時(shí)間序列的區(qū)域金融風(fēng)險(xiǎn)時(shí)，我們可以把指標(biāo)相似程度高的樣本聚集在一起，作為一個(gè)整體進(jìn)行分析，以達(dá)到簡(jiǎn)化的效果。傳統(tǒng)的聚類分析是一種“硬劃分”，即把每個(gè)待識(shí)別的對(duì)象嚴(yán)格劃分到某類中，具有“非此即彼”的性質(zhì)，這種分類的類別界限也是分明的。然而，在大多數(shù)情況下，風(fēng)險(xiǎn)類別可能并沒(méi)有嚴(yán)格的界定，其類屬性方面存在中介性，適合進(jìn)行“軟劃分”。模糊集理論為這種劃分提供了強(qiáng)有力且有效的分析工具，采用相應(yīng)的模糊聚類模型，可以取得較好的分類效果?！澳：垲悺备拍钭钤缬蒖uspini提出，之后人們利用這一概念提出了多種模糊聚類算法。本文運(yùn)用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行模糊聚類，其優(yōu)勢(shì)在于神經(jīng)網(wǎng)絡(luò)的并行處理結(jié)構(gòu)。

（三）基于人工神經(jīng)網(wǎng)絡(luò)的早期預(yù)警體系

人工神經(jīng)網(wǎng)絡(luò)ANN）是一種在生物神經(jīng)網(wǎng)絡(luò)啟示下建立的數(shù)據(jù)處理模型，其具有強(qiáng)大的模式識(shí)別和數(shù)據(jù)擬合能力，最為可貴的是神經(jīng)網(wǎng)絡(luò)還有自學(xué)習(xí)和自適應(yīng)性。自適應(yīng)性是指一個(gè)系統(tǒng)能夠改變自身的性能以適應(yīng)環(huán)境變化的能力，當(dāng)環(huán)境發(fā)生變化時(shí)，相當(dāng)于給神經(jīng)網(wǎng)絡(luò)輸入新的訓(xùn)練樣本，網(wǎng)絡(luò)能夠自動(dòng)調(diào)整結(jié)構(gòu)參數(shù)，改變映射關(guān)系，從而對(duì)特定的輸入產(chǎn)生相應(yīng)的期望輸出。人工神經(jīng)網(wǎng)絡(luò)包括很多種，不同類型的神經(jīng)網(wǎng)絡(luò)適用于解決不同的問(wèn)題，其中最為常用的一種就是BP神經(jīng)網(wǎng)絡(luò)，它是一種多層前向神經(jīng)網(wǎng)絡(luò)，其權(quán)值調(diào)整采用反向傳播學(xué)習(xí)算法。而自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)則使用了與前向神經(jīng)網(wǎng)絡(luò)完全不同的思路，采取競(jìng)爭(zhēng)學(xué)習(xí)的思想，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競(jìng)爭(zhēng)，同一時(shí)刻只有一個(gè)輸出神經(jīng)元獲勝，因此自組織神經(jīng)網(wǎng)絡(luò)主要用于解決分類、聚類問(wèn)題。鑒于此，本文在進(jìn)行區(qū)域金融風(fēng)險(xiǎn)評(píng)估時(shí)，運(yùn)用自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)進(jìn)行模糊聚類分析，得出各樣本的風(fēng)險(xiǎn)類別；而在構(gòu)建區(qū)域風(fēng)險(xiǎn)早期預(yù)警體系時(shí)，采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分析和預(yù)測(cè)。

三、區(qū)域性金融風(fēng)險(xiǎn)早期預(yù)警的實(shí)證分析

（一）區(qū)域性金融風(fēng)險(xiǎn)監(jiān)測(cè)指標(biāo)的選取與標(biāo)準(zhǔn)化

金融風(fēng)險(xiǎn)是一個(gè)綜合性、系統(tǒng)性的概念，單純選用個(gè)別指標(biāo)不足以反映其真實(shí)水平。因此，根據(jù)客觀性、完備性、科學(xué)性、實(shí)用性、重要性原則，同時(shí)借鑒國(guó)內(nèi)外研究成果，本文選取了經(jīng)濟(jì)、財(cái)政、金融、房地產(chǎn)、企業(yè)經(jīng)營(yíng)等方面的17個(gè)金融風(fēng)險(xiǎn)評(píng)價(jià)指標(biāo)，樣本區(qū)間為2009年至2014年一季度的安徽省季度數(shù)據(jù)，并根據(jù)指標(biāo)與金融風(fēng)險(xiǎn)的正負(fù)相關(guān)性對(duì)其進(jìn)行標(biāo)準(zhǔn)化。

第4篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

摘要：目前世界超過(guò)5億人患有不同的腎臟疾病，但全社會(huì)對(duì)慢性腎臟病的知曉率尚不足10% ，腎病患者甚至一些非腎臟科的大夫?qū)β阅I臟病的危害缺乏足夠的了解，由于慢性腎臟病早期多沒(méi)有明顯癥狀，很容易被忽略，很多患者直到腎功能完全惡化導(dǎo)致尿毒癥時(shí)才去就醫(yī)。同時(shí)，針對(duì)不同慢性腎病的等級(jí)又有對(duì)應(yīng)的不同治療方向。因此，對(duì)慢性腎病進(jìn)行分級(jí)預(yù)警是一個(gè)影響非常深遠(yuǎn)的課題。在進(jìn)行慢性腎病分級(jí)的過(guò)程中，腎小球?yàn)V過(guò)率對(duì)慢性腎病分級(jí)起著基礎(chǔ)與指導(dǎo)的作用，因此我們必須著重解決一個(gè)重要的問(wèn)題：腎小球?yàn)V過(guò)率的評(píng)估。

本文主要針對(duì)腎小球?yàn)V過(guò)率的預(yù)測(cè)進(jìn)行設(shè)計(jì)。為了達(dá)到人工智能對(duì)慢性腎病進(jìn)行分級(jí)的最終目的，本文將通過(guò)MATLAB軟件平臺(tái)對(duì)腎小球?yàn)V過(guò)率的評(píng)估進(jìn)行仿真。接著對(duì)于在醫(yī)院收集好的數(shù)據(jù)進(jìn)行篩選，最終選出一組具有較高參考意義的數(shù)據(jù)，對(duì)其使用適當(dāng)?shù)奶幚矸椒?，并運(yùn)用了BP神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建合適的預(yù)測(cè)模型，對(duì)腎小球?yàn)V過(guò)率進(jìn)行預(yù)測(cè)評(píng)估。在經(jīng)過(guò)反復(fù)的網(wǎng)絡(luò)學(xué)習(xí)，測(cè)試后，最終確定一個(gè)誤差最少，精度最高，穩(wěn)定性最好的BP神經(jīng)網(wǎng)絡(luò)評(píng)估模型。最后，根據(jù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行分級(jí)，從而最終構(gòu)建出一個(gè)實(shí)用性良好的慢性腎病分級(jí)預(yù)警模型。

關(guān)鍵詞：慢性腎??；腎小球?yàn)V過(guò)率；BP神經(jīng)網(wǎng)絡(luò)

一、前言

在眾多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，多層前饋神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛也是最成熟的一種網(wǎng)絡(luò)結(jié)構(gòu)。Rumelhart，McClelland和他們的同事洞察到神經(jīng)網(wǎng)絡(luò)信息處理的重要性，于1982年成立了一個(gè)PDP小組，在研究并行分布信息處理方法，探索人類認(rèn)知的微結(jié)構(gòu)的過(guò)程中，于1986年提出了BP網(wǎng)絡(luò)(Back．PropagationNetwork，簡(jiǎn)稱BP網(wǎng)絡(luò))模型，實(shí)現(xiàn)了Minsky的多層網(wǎng)絡(luò)設(shè)想[1]。在多層前饋神經(jīng)網(wǎng)絡(luò)MFNN中，網(wǎng)絡(luò)權(quán)值的調(diào)整是通過(guò)著名的誤差反向傳播學(xué)習(xí)算法——BP算法來(lái)進(jìn)行的。BP網(wǎng)絡(luò)具有非線性映射能力、泛化能力和容錯(cuò)能力，同時(shí)BP網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，是在自動(dòng)控制中是最有用的學(xué)習(xí)算法之一，也是慢性疾病分析的首選神經(jīng)網(wǎng)絡(luò)[2-5]。因此，本文選取這種網(wǎng)絡(luò)結(jié)構(gòu)作為慢性腎病分級(jí)預(yù)測(cè)的基礎(chǔ)，在后面將對(duì)它進(jìn)行詳細(xì)論述。

二、基于BP神經(jīng)網(wǎng)絡(luò)的慢性腎病分級(jí)預(yù)警模型設(shè)計(jì)框架

要設(shè)計(jì)出慢性腎病的分級(jí)預(yù)警模型，關(guān)鍵在于如何把慢性腎病進(jìn)行分級(jí)[6-9]。我所采用的設(shè)計(jì)框架是基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)，把從醫(yī)院獲得的臨床數(shù)據(jù)進(jìn)行篩選，并對(duì)網(wǎng)絡(luò)進(jìn)行初始化設(shè)置，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行學(xué)習(xí)，根據(jù)不斷的誤差修正以及數(shù)據(jù)的測(cè)試，構(gòu)建起腎小球?yàn)V過(guò)率的預(yù)測(cè)模型，根據(jù)腎小球?yàn)V過(guò)率的指標(biāo)最終建立起符合實(shí)際的慢性腎病分級(jí)預(yù)警模型，如圖1所示。

圖1 慢性腎病預(yù)警模型設(shè)計(jì)框架

因此，本文的整個(gè)設(shè)計(jì)重點(diǎn)分為兩部分：第一部分為建立腎小球?yàn)V過(guò)率的預(yù)測(cè)模型，第二部分為建立基于人工智能的慢性腎病分級(jí)預(yù)警模型。

（一）BP神經(jīng)網(wǎng)絡(luò)進(jìn)行腎小球?yàn)V過(guò)率預(yù)測(cè)的原理

BP神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)以往歷史數(shù)據(jù)的學(xué)習(xí)，找出不同測(cè)量指標(biāo)對(duì)腎小球?yàn)V過(guò)率的相應(yīng)的非線性的變化關(guān)系，并將具體的資料存儲(chǔ)于相應(yīng)的權(quán)值與閾值之中，從而對(duì)腎小球?yàn)V過(guò)率進(jìn)行預(yù)測(cè)。

（二）基于BP神經(jīng)網(wǎng)絡(luò)的腎小球?yàn)V過(guò)率預(yù)測(cè)模型

利用BP神經(jīng)網(wǎng)絡(luò)對(duì)腎小球?yàn)V過(guò)率進(jìn)行預(yù)測(cè)時(shí)，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì)、隱層節(jié)點(diǎn)個(gè)數(shù)的確定、樣本數(shù)據(jù)的選取以及對(duì)原始數(shù)據(jù)、輸出數(shù)據(jù)的預(yù)處理的確定等問(wèn)題，都直接影響著我們所建立的腎小球?yàn)V過(guò)率預(yù)測(cè)模型的各項(xiàng)性能[10-12]。

1.網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì)。

由于網(wǎng)絡(luò)訓(xùn)練樣本是有限的，因此把推廣能力作為主要的要求來(lái)操作的話，則強(qiáng)調(diào)選擇能達(dá)到要求的最小網(wǎng)絡(luò)[13]。許多理論都表明，一個(gè)三層網(wǎng)絡(luò)可以任意逼近一個(gè)非線性連續(xù)函數(shù)。由于這種三層網(wǎng)絡(luò)簡(jiǎn)單、易于實(shí)現(xiàn)、計(jì)算量小、并行性強(qiáng)得眾多特點(diǎn)，目前仍然是多層式網(wǎng)絡(luò)訓(xùn)練的首選網(wǎng)絡(luò)結(jié)構(gòu)之一，并且已經(jīng)被人們廣泛應(yīng)用于解決實(shí)際的問(wèn)題。因此，鑒于上述提及的論點(diǎn)，本文采取三層網(wǎng)絡(luò)建模進(jìn)行對(duì)腎小球?yàn)V過(guò)率的預(yù)測(cè)。

相比起輸入輸出層節(jié)點(diǎn)的選擇，隱層節(jié)點(diǎn)數(shù)目的選擇可謂是一個(gè)較為復(fù)雜的問(wèn)題，因?yàn)闆](méi)有很好的表達(dá)式來(lái)表示。隱層節(jié)點(diǎn)的數(shù)目與我所需要的輸入、輸出節(jié)點(diǎn)數(shù)目密切相關(guān)。隱層節(jié)點(diǎn)數(shù)目太小，則會(huì)導(dǎo)致學(xué)習(xí)過(guò)程不能收斂，或者導(dǎo)致網(wǎng)絡(luò)實(shí)用性不強(qiáng)，不能識(shí)別以前所沒(méi)有遇到過(guò)的樣本；但是如果隱層節(jié)點(diǎn)數(shù)目過(guò)多，雖然網(wǎng)絡(luò)映射能力會(huì)增強(qiáng)，局部極小點(diǎn)會(huì)越少，且越容易收斂到全局最小點(diǎn)，但會(huì)使學(xué)習(xí)時(shí)間加長(zhǎng)，同時(shí)使得網(wǎng)絡(luò)訓(xùn)練過(guò)度，這時(shí)網(wǎng)絡(luò)不但記住了訓(xùn)練樣本的一般特征，而且記住了訓(xùn)練樣本中的一些個(gè)別特征，包括隨機(jī)噪聲，這樣將會(huì)導(dǎo)致網(wǎng)絡(luò)的容錯(cuò)性降低[14]。

確定一個(gè)最佳的隱層節(jié)點(diǎn)數(shù)的一個(gè)常用方法稱為試湊法，可先設(shè)置較少的隱層節(jié)點(diǎn)用以訓(xùn)練網(wǎng)絡(luò)，隨后逐漸增加隱層節(jié)點(diǎn)數(shù)，用同一樣本進(jìn)行訓(xùn)練，從中確定出網(wǎng)絡(luò)誤差最少的時(shí)候?qū)?yīng)的隱層節(jié)點(diǎn)數(shù)[15]。在使用試湊法的時(shí)候，可以用一些確定隱層節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式。這些公式計(jì)算出來(lái)的隱層節(jié)點(diǎn)數(shù)雖然只是一些粗略的估計(jì)值，但是可作為大致隱層節(jié)點(diǎn)數(shù)目的參考：

（3-1）

（3-2）

（3-3）

以上各式中m為隱層節(jié)點(diǎn)數(shù)，n為輸入層節(jié)點(diǎn)數(shù)，l為輸出層節(jié)點(diǎn)數(shù)，a為1-10之間的常數(shù)[16]。在本文中采取了式（3-1）來(lái)確定隱層節(jié)點(diǎn)數(shù)的大概范圍，然后將根據(jù)實(shí)驗(yàn)結(jié)果反復(fù)修正具體的隱層結(jié)點(diǎn)個(gè)數(shù)。

對(duì)于BP網(wǎng)絡(luò)來(lái)說(shuō)，為了節(jié)約訓(xùn)練網(wǎng)絡(luò)的時(shí)間，可以采用部分連接的方式，使得在合理的時(shí)間內(nèi)獲得比較好的精度。而本文將采用相鄰兩層節(jié)點(diǎn)全連接，而同一層的節(jié)點(diǎn)互不相連的連接方式構(gòu)造BP神經(jīng)網(wǎng)絡(luò)。

（三）腎小球?yàn)V過(guò)率預(yù)測(cè)模型的MATLAB實(shí)現(xiàn)。

在建立了腎小球?yàn)V過(guò)率的預(yù)測(cè)模型之后，就要開(kāi)始使用MATLAB仿真軟件構(gòu)件BP神經(jīng)網(wǎng)絡(luò)，同時(shí)通過(guò)對(duì)網(wǎng)絡(luò)的不斷訓(xùn)練，以求達(dá)到最好的腎小球?yàn)V過(guò)率的預(yù)測(cè)效果。

1.BP網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)。

MATLAB是一套功能強(qiáng)大的工程計(jì)算及數(shù)學(xué)分析的可視化軟件。1984年，Mathwork公司將MATLAB推向市場(chǎng)。90年代又逐步拓展起數(shù)值計(jì)算、符號(hào)解析運(yùn)算、文字處理、圖形顯示等功能，至今，MATLAB已經(jīng)成為線性代數(shù)、自動(dòng)控制理論、概率論及數(shù)理統(tǒng)計(jì)、數(shù)字信號(hào)處理、時(shí)間序列分析、動(dòng)態(tài)系統(tǒng)仿真等方面重要的數(shù)學(xué)計(jì)算工具[19]。它具有程序可讀性強(qiáng)、程序簡(jiǎn)單等優(yōu)點(diǎn)，尤其是在編寫含矩陣運(yùn)算的復(fù)雜程序時(shí)，能給用戶提供極大方便。

現(xiàn)在，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了解決一些問(wèn)題的手段以及方法，但利用神經(jīng)網(wǎng)絡(luò)來(lái)解決問(wèn)題的時(shí)候，必定會(huì)設(shè)計(jì)到大規(guī)模的運(yùn)算量，其中包括了矩陣計(jì)算的問(wèn)題等，考慮到MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱的特殊功能，以及效率與準(zhǔn)確性的問(wèn)題，本文選擇了專門用于了MATLAB軟件進(jìn)行仿真模擬。

（1）BP神經(jīng)網(wǎng)絡(luò)的生成及初始化。

在MATLAB軟件中，我們采用newff函數(shù)來(lái)生成BP網(wǎng)絡(luò)，而newff函數(shù)的調(diào)用格式為：

（3-4）

其中PR為 維的矩陣，表示R維輸入矢量中每維輸入的最小值和最大值之間的范圍；因此，通常我們會(huì)設(shè)定 ，即設(shè)定PR為P的最小值和最大值之間的范圍； 中n表示BP神經(jīng)網(wǎng)絡(luò)所具有的層數(shù)，而Sn則表示具體第幾層具有多少個(gè)神經(jīng)元； 中各元素表示各層神經(jīng)元采用的傳遞函數(shù)；BTF則表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)所用的訓(xùn)練函數(shù)；net為生成的BP網(wǎng)絡(luò)對(duì)象。對(duì)于newff生成的BP神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)本身對(duì)各層的權(quán)值和閾值會(huì)自動(dòng)進(jìn)行初始化，如果用戶需要，則可以對(duì)各層網(wǎng)絡(luò)的權(quán)值和閾值的初始化函數(shù)重新定義。

（2）BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在BP神經(jīng)網(wǎng)絡(luò)生成及初始化后，就可以開(kāi)始對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練了。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通常采用train函數(shù)來(lái)完成，在訓(xùn)練之前需要對(duì)網(wǎng)絡(luò)的訓(xùn)練參數(shù)net.trainparam進(jìn)行適當(dāng)?shù)脑O(shè)置。當(dāng)設(shè)置完訓(xùn)練參數(shù)之后，就可以開(kāi)始調(diào)用train函數(shù)對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練了。該函數(shù)采用自適應(yīng)學(xué)習(xí)速率法，返回誤差參數(shù)。其調(diào)用格式如下：

（3-5）

其中P是輸入樣本；T是對(duì)應(yīng)的輸出樣本；等號(hào)的左右兩側(cè)的net分別用于表示訓(xùn)練得到的和訓(xùn)練之前的神經(jīng)網(wǎng)絡(luò)對(duì)象；tr存儲(chǔ)了訓(xùn)練過(guò)程中的步數(shù)信息以及誤差信息，并給出了網(wǎng)絡(luò)誤差的實(shí)時(shí)變化曲線。

（3）BP神經(jīng)網(wǎng)絡(luò)的仿真。

在MATLAB的應(yīng)用中，我們選用sim函數(shù)對(duì)訓(xùn)練之后所得到的網(wǎng)絡(luò)進(jìn)行仿真，sim函數(shù)的調(diào)用格式如下：

（3-6）

其中，net為神經(jīng)網(wǎng)絡(luò)對(duì)象，P為輸入樣本，Pi為輸入延遲的初始狀態(tài)，Ai為層延遲的初始狀態(tài)，T為輸出樣本，Y為網(wǎng)絡(luò)的實(shí)際輸出，Pf為訓(xùn)練終止時(shí)的輸入延遲狀態(tài)，Af為訓(xùn)練終止時(shí)的層延遲狀態(tài)，E為輸出樣本和實(shí)際輸出之間的誤差，pref為網(wǎng)絡(luò)性能值。

對(duì)于本文的sim函數(shù)調(diào)用，采取了如下調(diào)用格式進(jìn)行簡(jiǎn)化：

（3-7）

（4）BP神經(jīng)網(wǎng)絡(luò)的保存。

在完成網(wǎng)絡(luò)的訓(xùn)練后，必須要對(duì)訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行保存，這樣才能在下次進(jìn)行預(yù)測(cè)的時(shí)候沿用訓(xùn)練過(guò)的網(wǎng)絡(luò)，在MATLAB中，保存網(wǎng)絡(luò)的調(diào)用格式如下：

（3-8）

以上即為腎小球?yàn)V過(guò)率預(yù)測(cè)模型的設(shè)計(jì)流程。

2.BP神經(jīng)網(wǎng)絡(luò)進(jìn)行腎小球?yàn)V過(guò)率預(yù)測(cè)的實(shí)現(xiàn)。

（1）數(shù)據(jù)樣本的選取。

為實(shí)現(xiàn)腎小球?yàn)V過(guò)率的預(yù)測(cè)模型，本文選取了廣州珠江醫(yī)院的327例慢性腎病病歷作為研究對(duì)象。

初始權(quán)值采取的是隨機(jī)數(shù)，輸入層到單隱層采用的傳遞函數(shù)為tansig函數(shù)，單隱層到輸出層采用的傳遞函數(shù)為logsig函數(shù)，訓(xùn)練函數(shù)采用trainlm函數(shù)。同時(shí)，設(shè)置300個(gè)訓(xùn)練網(wǎng)絡(luò)的樣本數(shù)據(jù)，誤差精度設(shè)置為E

BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是網(wǎng)絡(luò)是否成功的一個(gè)非常重要的環(huán)節(jié)，網(wǎng)絡(luò)訓(xùn)練的好壞直接影響到預(yù)測(cè)的準(zhǔn)確性與穩(wěn)定性。因此，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試的時(shí)候，必須要反復(fù)修改設(shè)置參數(shù)，方能達(dá)到最佳效果。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成之后，需要用另外的測(cè)試數(shù)據(jù)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行檢驗(yàn)，而這些測(cè)試的數(shù)據(jù)應(yīng)該要是獨(dú)立的數(shù)據(jù)。因此，學(xué)習(xí)與測(cè)試過(guò)程需要獨(dú)立開(kāi)來(lái)，一旦BP網(wǎng)絡(luò)學(xué)習(xí)完成了，就必須要將權(quán)值保存下來(lái)，以供下次預(yù)測(cè)使用。

（四）仿真實(shí)驗(yàn)及結(jié)果分析。

1.應(yīng)用腎小球?yàn)V過(guò)率預(yù)測(cè)模型建立慢性腎病分級(jí)預(yù)警模型。

上述建立腎小球?yàn)V過(guò)率預(yù)測(cè)模型的目的，正是為了建立起慢性腎病的分級(jí)預(yù)警模型。在預(yù)測(cè)到腎小球?yàn)V過(guò)率的基礎(chǔ)上，運(yùn)用數(shù)據(jù)，建立起對(duì)應(yīng)的慢性腎病的分級(jí)模型。在表1中，根據(jù)歸納方法，列出了以上20組預(yù)測(cè)數(shù)據(jù)的預(yù)測(cè)分級(jí)情況與這20組數(shù)據(jù)實(shí)際的分級(jí)情況的對(duì)比。

表1 20組數(shù)據(jù)的預(yù)測(cè)分級(jí)與實(shí)際分級(jí)情況對(duì)比

序號(hào) 1 2 3 4 5 6

預(yù)測(cè)分級(jí) 5 3 2 4 5 1

實(shí)際分級(jí) 5 4 1 5 5 1

序號(hào) 7 8 9 10 11 12

預(yù)測(cè)分級(jí) 4 1 3 5 5 3

實(shí)際分級(jí) 3 1 3 5 4 3

序號(hào) 13 14 15 16 17 18

預(yù)測(cè)分級(jí) 1 3 3 2 4 3

實(shí)際分級(jí) 1 3 4 1 5 2

序號(hào) 19 20

預(yù)測(cè)分級(jí) 4 2

實(shí)際分級(jí) 5 2

從上表1可以看出，基于MATLAB的神經(jīng)網(wǎng)絡(luò)對(duì)慢性腎病的分級(jí)有較好的準(zhǔn)確性，能較好地對(duì)慢性腎病進(jìn)行分級(jí)預(yù)警，因此，具有良好的推廣性以及實(shí)用性。

三、結(jié)論

本文的工作只是一種基礎(chǔ)性的、初步的工作，涉及到BP神經(jīng)網(wǎng)絡(luò)的一些重要應(yīng)用顯得還比較淺，因此，在今后的研究里面，還需要對(duì)其中的許多性能參數(shù)進(jìn)行有效的修改，方能得到理想的結(jié)果。

在今后的研究中，對(duì)BP網(wǎng)絡(luò)的算法修改是一個(gè)非常大的課題，為了能使網(wǎng)絡(luò)的預(yù)測(cè)能力最大限度地根據(jù)實(shí)際情況達(dá)到目的，必須針對(duì)現(xiàn)有的數(shù)據(jù)資料，對(duì)使用的算法進(jìn)行改良。同時(shí)，為了更有效，更準(zhǔn)確地得到預(yù)測(cè)結(jié)果，需要對(duì)樣本的數(shù)量繼續(xù)加以增加，方能達(dá)到理想的目標(biāo)。

因此，以BP神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)各個(gè)方向的預(yù)測(cè)是今后研究許多醫(yī)學(xué)問(wèn)題的主要趨勢(shì)，是一個(gè)值得深入探討的重要課題。

參考文獻(xiàn)：

[1]程曉霞. 慢性腎病的幕后推手.疾病與營(yíng)養(yǎng)。

[2]張春,鄧安國(guó). 慢性腎臟病心血管并發(fā)癥的危險(xiǎn)因素與防治.臨床內(nèi)科雜志，2008 25（7）。

[3]陸漢魁.中華檢驗(yàn)醫(yī)學(xué)雜志. 2007 3（11） P.1211-1212。

[4]葉解明.簡(jiǎn)化估算腎小球?yàn)V過(guò)率模型算法的參考限及臨床特性.2010,25(4)。

[5]M．Kastra．Forecasting Combining with Neural Networks．Forecast，1996，15(1)：49—61。

[6]韓力群．人工神經(jīng)網(wǎng)絡(luò)教程．北京：北京郵電大學(xué)出版社，2006。

[7]王萬(wàn)森．人工智能原理及其應(yīng)用．北京：電子工業(yè)出版社，2006．27-51。

[8]T．Kohonen．The selforganizing map．Proc IEEE，1990，(78)：1464～1480。

[9]D．E．Rumelhart,GE．Hinton，R．J．Williams．Learning Representations by Back．propagating Errors．Nature，1 986，323(9)：533-536。

[10]鐘義信．智能理論與技術(shù)——人工智能與神經(jīng)網(wǎng)絡(luò)．北京：人民郵電出版社．1992：45--46。

[11]吳凌云．BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)及其應(yīng)用．信息技術(shù)，2003，27(7)：42—44。

[12]吳耿鋒等．股票短期預(yù)測(cè)的一種非線性方法．上海投資，1999：35、37。

[13]徐麗娜．神經(jīng)網(wǎng)絡(luò)控制．哈爾濱：哈爾濱哈爾濱工業(yè)大學(xué)出版社，2006：241～256。

[14]師智斌，陳立潮，靳雁霞．基于神經(jīng)網(wǎng)絡(luò)的股票交易數(shù)據(jù)的預(yù)測(cè)研究．華北工學(xué)院學(xué)報(bào)，2003，34(6)：12～16。

[15]尹念東．BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計(jì)．信息技術(shù)，2003，27(6)：18～20。

[16]韓力群．人工神經(jīng)網(wǎng)絡(luò)教程．北京：北京郵電大學(xué)出版社，2006：74～75。

[17]吳佑壽，趙明生．激活函數(shù)可調(diào)的神經(jīng)元模型及其監(jiān)督學(xué)習(xí)與應(yīng)用．中國(guó)科學(xué)E輯，2001，3l(3)：263。

第5篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

【關(guān)鍵詞】計(jì)算機(jī)科學(xué)與技術(shù) 經(jīng)濟(jì)管理 應(yīng)用分析

1 計(jì)算機(jī)科學(xué)與技術(shù)在經(jīng)濟(jì)管理中所體現(xiàn)的作用

在進(jìn)行經(jīng)濟(jì)管理工作的時(shí)候，需要對(duì)工作產(chǎn)生的巨大信息進(jìn)行分析與處理，這些數(shù)據(jù)都是企業(yè)及事業(yè)單位的重要性資源，需要這些資源來(lái)做到對(duì)決策的分析。但是，對(duì)于經(jīng)濟(jì)管理人員來(lái)說(shuō)，如何對(duì)這些信息進(jìn)行處理，使得這些資源能夠更好的對(duì)決策進(jìn)行服務(wù)，是經(jīng)濟(jì)管理人員需要不斷探討的問(wèn)題，并且很多的研究人員在研究過(guò)程中提出了很多的方法來(lái)對(duì)數(shù)據(jù)進(jìn)行處理，但是得到真正的應(yīng)用的并不是很多，人們對(duì)于決策還是憑著自己感覺(jué)來(lái)進(jìn)行。但還因?yàn)橛?jì)算機(jī)技術(shù)的發(fā)展，使得人們?cè)趯?duì)這些數(shù)據(jù)進(jìn)行處理的過(guò)程時(shí)，有著極大的便利，因?yàn)橛?jì)算機(jī)可以有效的對(duì)大量的數(shù)據(jù)進(jìn)行處理、分析，因此，計(jì)算機(jī)科學(xué)與技術(shù)為經(jīng)濟(jì)管理人員在工作的過(guò)程中提供了很大的便利。

2 計(jì)算機(jī)科學(xué)與技術(shù)在經(jīng)濟(jì)管理過(guò)程中的應(yīng)用形式

2.1 運(yùn)用人工神經(jīng)網(wǎng)絡(luò)的形式來(lái)對(duì)信息進(jìn)行分析

在動(dòng)物界的神經(jīng)傳遞過(guò)程中，兩個(gè)神經(jīng)元之間會(huì)有一個(gè)突觸，來(lái)起到對(duì)信息之間的傳遞作用。在傳遞的過(guò)程中，會(huì)使用到一些神經(jīng)遞質(zhì)來(lái)進(jìn)行傳播，這些神經(jīng)遞質(zhì)具有不同的種類，在對(duì)這些神經(jīng)元進(jìn)行接收的時(shí)候，在軸突上，會(huì)存在著許多的分支。神經(jīng)遞質(zhì)傳遞到受體細(xì)胞，然后再次的在神經(jīng)元內(nèi)對(duì)信息進(jìn)行傳遞。這種信息的傳遞形式具有很多優(yōu)點(diǎn)，科研人員在受到這些啟示之后，就發(fā)明了具有自組織特征的映射算法來(lái)對(duì)信息做到有效的傳遞。

因?yàn)閷?duì)于計(jì)算機(jī)技術(shù)的發(fā)展過(guò)程來(lái)說(shuō)，其在對(duì)外界進(jìn)行表達(dá)的時(shí)候，都是以數(shù)字向量的方式來(lái)進(jìn)行的，而對(duì)于神經(jīng)系統(tǒng)來(lái)說(shuō)，其在信息的傳播過(guò)程中也是將信號(hào)進(jìn)行轉(zhuǎn)變。所以使用計(jì)算機(jī)技術(shù)來(lái)對(duì)信息進(jìn)行處理的時(shí)候，與神經(jīng)信息傳遞之間有著很相似的地方。

2.2 這種人工神經(jīng)網(wǎng)絡(luò)的信息處理方式具備的功能

對(duì)于這種人工神經(jīng)網(wǎng)絡(luò)的信息處理方式，其是根據(jù)生物學(xué)中神經(jīng)網(wǎng)絡(luò)的形式來(lái)研究出來(lái)的，所在對(duì)于這種人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來(lái)說(shuō)，其有很大一部分特點(diǎn)都是跟生物學(xué)的中神經(jīng)系統(tǒng)是相似的，具備一些智能的功能。首先它所體現(xiàn)出來(lái)的一種特點(diǎn)是在記憶方面，因?yàn)樗歉鶕?jù)生物神經(jīng)模式來(lái)進(jìn)行設(shè)計(jì)的，因此其在對(duì)信息進(jìn)行儲(chǔ)存及分析過(guò)程中，會(huì)第一這些信息進(jìn)行保留，并且還具備聯(lián)想記憶的功能。其次其具備的特點(diǎn)就是可以進(jìn)行非線性映射。因?yàn)樵诤芏嗟膶?shí)現(xiàn)操作過(guò)程中，很多輸出的信息與輸入的信息之間并不能夠建立起一種線性的關(guān)系，使得很多熟悉的模型不能夠在其它信息處理系統(tǒng)中進(jìn)行設(shè)計(jì)出來(lái)。但是使用人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方式，就使得在信息處理的過(guò)程中能夠做到滿足非線性映射，并且還可以在設(shè)計(jì)的過(guò)程中建立起很大的非線性的數(shù)學(xué)模型，并且各個(gè)領(lǐng)域中都可以得到應(yīng)用。另外，在這種人工神經(jīng)網(wǎng)絡(luò)的信息處理模式中，還可以對(duì)輸入的信息進(jìn)行識(shí)別，并做到有效的分類，這對(duì)原來(lái)在信息處理過(guò)程中存在的信息不易分離與辨別的問(wèn)題做到了有效的解決。最后一項(xiàng)具備的功能就是它可以對(duì)輸入與輸出的信息及知識(shí)內(nèi)容進(jìn)行一個(gè)有效的處理，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)模式具備生物學(xué)中神經(jīng)傳遞的特點(diǎn)，所以它可以在信息到達(dá)的時(shí)候，對(duì)其進(jìn)行分析及處理，對(duì)于那些符合條件的信息加以利用，并進(jìn)行儲(chǔ)存。這就使得在信息的處理過(guò)程中，能夠做到對(duì)數(shù)據(jù)根據(jù)其特征來(lái)進(jìn)行分類與分析。

3 人工神經(jīng)網(wǎng)絡(luò)的信息處理技術(shù)在經(jīng)濟(jì)管理中的應(yīng)用

計(jì)算機(jī)科學(xué)與技術(shù)發(fā)展過(guò)程中所帶來(lái)的這種神經(jīng)網(wǎng)絡(luò)的信息處理模式，因?yàn)槠渚邆涞囊恍┨卣髋c功能，因此在眾多的領(lǐng)域中得到了有效的利用，解決了傳統(tǒng)信息處理過(guò)程中那些不能夠進(jìn)行解決的問(wèn)題，并且都取得了很好的效果。所以，目前這種信息的處理方式不僅在經(jīng)濟(jì)管理過(guò)程中得以使用，還在醫(yī)學(xué)、工程技術(shù)及其它經(jīng)濟(jì)領(lǐng)域中都得到廣泛的應(yīng)用。

3.1 在信貸分析過(guò)程中需要對(duì)這種信息處理技術(shù)加以利用

對(duì)于信貸分析工作來(lái)說(shuō)，信用評(píng)估機(jī)構(gòu)是具備自己特征的，因此在信息處理過(guò)程中，因?yàn)檫@些企業(yè)所帶來(lái)的信息形式的不同，使得在對(duì)其信用度進(jìn)行評(píng)判的過(guò)程中，帶來(lái)很大的問(wèn)題，也很難對(duì)其進(jìn)行判斷，使得很多時(shí)候都會(huì)帶來(lái)很多的經(jīng)濟(jì)損失。但是對(duì)這種人工神經(jīng)網(wǎng)絡(luò)信息的處理技術(shù)的使用，就會(huì)對(duì)所出現(xiàn)的問(wèn)題做到有效的解決了。在對(duì)這些貸款企業(yè)進(jìn)行信用評(píng)價(jià)的時(shí)候，只需要將信息轉(zhuǎn)化為編碼來(lái)輸入進(jìn)去，就可以對(duì)數(shù)據(jù)進(jìn)行分析，并且因?yàn)檩斎氲男畔⒘勘容^大，使得在評(píng)價(jià)的過(guò)程中更做到具有更大的準(zhǔn)確性。對(duì)這種技術(shù)的使用，不僅可以做到準(zhǔn)確性，還可以避免操作人員的主觀思維形式。這是這些優(yōu)勢(shì)的存在，使得其在對(duì)企業(yè)風(fēng)險(xiǎn)進(jìn)行分析的過(guò)程中得到很廣泛的應(yīng)用。

3.2 使用這種方法可以對(duì)市場(chǎng)做到更準(zhǔn)確的預(yù)測(cè)

在經(jīng)濟(jì)管理過(guò)程中，需要對(duì)市場(chǎng)中出現(xiàn)的一些因素做到有效的分析，并做到對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行相關(guān)的預(yù)測(cè)，使得在決策的過(guò)程中，能夠起到參考的作用，使得風(fēng)險(xiǎn)得到降低。使用人工神經(jīng)網(wǎng)絡(luò)的信息處理技術(shù)來(lái)對(duì)市場(chǎng)進(jìn)行預(yù)測(cè)，使得對(duì)市場(chǎng)中變動(dòng)的價(jià)格與走勢(shì)進(jìn)行考量與分析，使得一個(gè)可靠的市場(chǎng)模型可以得到建立。例如在期貨市場(chǎng)上運(yùn)用這種技術(shù)，可以對(duì)其未來(lái)價(jià)格進(jìn)行預(yù)測(cè)。并且這種技術(shù)在股票市場(chǎng)中也有所應(yīng)用。

四、結(jié)束語(yǔ)

隨著科學(xué)技術(shù)的發(fā)展以及電子計(jì)算機(jī)技術(shù)的日趨成熟，使得原本很復(fù)雜的工作在其處理之下都得到了很好的解決。在經(jīng)濟(jì)管理過(guò)程中，其產(chǎn)生的大量數(shù)據(jù)，使用傳統(tǒng)的方式難以進(jìn)行解決，但是使用計(jì)算機(jī)科學(xué)與技術(shù)，就可以模仿人對(duì)在神經(jīng)傳遞中對(duì)信息的處理方式來(lái)進(jìn)行處理，為其工作提供了很大的便利。

參考文獻(xiàn)

[1]李苗苗.論我國(guó)企業(yè)的經(jīng)濟(jì)管理[J].現(xiàn)代經(jīng)濟(jì)信息，2009.

[2]張信賓.高校計(jì)算機(jī)基礎(chǔ)教育的教學(xué)思路與方法研究[J].沿海企業(yè)與科技，2005.

第6篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：結(jié)構(gòu)損傷檢測(cè)結(jié)構(gòu)健康診斷/監(jiān)測(cè) 神經(jīng)網(wǎng)絡(luò) Bp網(wǎng)絡(luò) 概率神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TU318 文獻(xiàn)標(biāo)識(shí)碼：A

0引言

隨著土木工程事故的頻繁發(fā)生，工程質(zhì)量的好壞引起了人們的日益重視。工程結(jié)構(gòu)中存在著表面的某種破損或缺陷，這些事肉眼可見(jiàn)的。但建筑材料由于荷載和環(huán)境的作用而使結(jié)構(gòu)內(nèi)部受到不同程度的損傷，這類損傷與缺陷是人們?nèi)庋劭床坏降?。結(jié)構(gòu)的缺陷與損傷嚴(yán)重地降低了結(jié)構(gòu)的安全性、適用性和耐久性，因此迫切需要對(duì)它們進(jìn)行健康診斷進(jìn)而更好地對(duì)它們進(jìn)行維修、加固、管理和使用。

50年來(lái)，我國(guó)土木工程結(jié)構(gòu)的健康監(jiān)測(cè)經(jīng)歷了從無(wú)到有、從單項(xiàng)到全面、從局部構(gòu)件到整體結(jié)構(gòu)的發(fā)展過(guò)程，特別是最近20多年，結(jié)構(gòu)損傷檢測(cè)技術(shù)逐步形成了一門較為完整的新興邊緣綜合工程學(xué)科，并得到快速的發(fā)展，其應(yīng)用對(duì)象已從開(kāi)始階段的單層的破舊民居擴(kuò)展到建設(shè)工程中的各類結(jié)構(gòu)。結(jié)構(gòu)健康診斷技術(shù)是保證結(jié)構(gòu)安全的基本措施之一，它能對(duì)結(jié)構(gòu)損傷的發(fā)展做出早期預(yù)報(bào)，對(duì)出現(xiàn)損傷的原因做出判斷，提出對(duì)策建議，避免或減少事故的發(fā)生。如今，土木工程結(jié)構(gòu)的健康診斷與防治在國(guó)民經(jīng)濟(jì)建設(shè)中所占的比重越來(lái)越高，相應(yīng)的技術(shù)研究和應(yīng)用開(kāi)發(fā)也成為一個(gè)重要方向，各國(guó)土木工程領(lǐng)域的研究開(kāi)發(fā)重點(diǎn)已逐步轉(zhuǎn)向這一領(lǐng)域，我國(guó)的科技工作者與工程領(lǐng)域也開(kāi)始廣泛關(guān)注這方面的研究。結(jié)構(gòu)健康監(jiān)測(cè)的發(fā)展與應(yīng)用對(duì)于提高建設(shè)工程的質(zhì)量起到了積極的作用，在節(jié)省國(guó)家與企業(yè)的資金、保障企業(yè)生產(chǎn)安全和人民生命財(cái)產(chǎn)的安全方面也起到了一定的作用，因此對(duì)結(jié)構(gòu)損傷檢測(cè)方法的研究是有一定的現(xiàn)實(shí)意義的。

1.結(jié)構(gòu)損傷檢測(cè)[1]

土木工程結(jié)構(gòu)的健康監(jiān)測(cè)和損傷檢測(cè)技術(shù)是一門新興的科學(xué)技術(shù)，目前正處于蓬勃的發(fā)展之中。雖然這種技術(shù)已被廣泛應(yīng)用于航空、航天精密機(jī)械等領(lǐng)域之中，但是在土木工程領(lǐng)域的研究還處于起步階段，絕大多數(shù)研究還僅僅局限于實(shí)驗(yàn)階段。雖然國(guó)內(nèi)外已有一些橋梁、建筑已經(jīng)開(kāi)始現(xiàn)場(chǎng)監(jiān)測(cè)工作，但是整個(gè)研究工作和技術(shù)的成熟還有待時(shí)日。

對(duì)結(jié)構(gòu)進(jìn)行損傷（或故障）檢測(cè)、診斷與評(píng)估師一個(gè)運(yùn)用數(shù)學(xué)模型建立并描述物理系統(tǒng)的過(guò)程，對(duì)于遭受不同程度破壞的結(jié)構(gòu)，其本身的某些特性往往發(fā)生變化。為了鑒定這些變化對(duì)結(jié)構(gòu)的影響程度，常進(jìn)行一系列的模擬實(shí)驗(yàn)，測(cè)定相關(guān)的荷載、位移、應(yīng)變及加速度等，從材料性能如強(qiáng)度、剛度和動(dòng)力特征（如振動(dòng)頻率和阻尼比）方面對(duì)結(jié)構(gòu)做出評(píng)估。

理想的結(jié)構(gòu)健康監(jiān)測(cè)與損傷識(shí)別技術(shù)應(yīng)能在結(jié)構(gòu)損傷出現(xiàn)的較早時(shí)期發(fā)現(xiàn)損傷，在傳感器精度允許的情況下確定損傷的位置，估計(jì)損傷的程度，并預(yù)測(cè)出結(jié)構(gòu)的剩余有效壽命。理想的損傷識(shí)別方法應(yīng)該具備的另一重要性能是，能夠分區(qū)分結(jié)構(gòu)建模誤差引起的偏差與結(jié)構(gòu)損傷引起的偏差間的區(qū)別。盡管近幾年出現(xiàn)了一些運(yùn)用較為成功的整體監(jiān)測(cè)/檢測(cè)技術(shù)，但對(duì)于如何從量測(cè)得到的信息來(lái)解釋結(jié)構(gòu)的安全狀態(tài)及損傷情況，卻遠(yuǎn)未建立起完善的科學(xué)理論，對(duì)復(fù)雜結(jié)構(gòu)的整體檢測(cè)仍然是土木工程領(lǐng)域面臨的一大挑戰(zhàn)。

結(jié)構(gòu)健康監(jiān)測(cè)系統(tǒng)應(yīng)包括下列幾部分：傳感系統(tǒng)、數(shù)據(jù)采集和處理系統(tǒng)、通訊系統(tǒng)、監(jiān)控中心和報(bào)警設(shè)備。

2. 結(jié)構(gòu)損傷檢測(cè)方法[2]-【4】

結(jié)構(gòu)損傷檢測(cè)的分類方法有許多，從結(jié)構(gòu)承受的荷載來(lái)分，結(jié)構(gòu)檢測(cè)方法分為靜力檢測(cè)方法和動(dòng)力檢測(cè)方法；從損傷方法對(duì)結(jié)構(gòu)是否產(chǎn)生損壞，結(jié)構(gòu)檢測(cè)方法可以分為有損檢測(cè)和無(wú)損檢測(cè)；從檢測(cè)方法的智能化程度來(lái)分，分為傳統(tǒng)損傷檢測(cè)方法和基于計(jì)算智能損傷檢測(cè)方法。

（1）動(dòng)力損傷檢測(cè)方法分類

由于動(dòng)力損傷檢測(cè)方法對(duì)結(jié)構(gòu)物無(wú)損害，且檢測(cè)經(jīng)濟(jì)、快速而得到了土木工程界的青睞和重視。一般來(lái)說(shuō)，動(dòng)力損傷檢測(cè)方法按照識(shí)別區(qū)域可以分為時(shí)域法和頻域法；從研究和應(yīng)用的角度可以分為模型修正法和指紋分析法。

（2）其他無(wú)損檢測(cè)方法

除動(dòng)力損傷檢測(cè)法之外，還有許多無(wú)損傷檢測(cè)法，如目測(cè)法、光譜法（Optical Radiography）、超聲波法、聲發(fā)射法、雷達(dá)法、激光全息檢測(cè)法、我留法（Eddy Current）、微波法、熱力法等。

（3）智能檢測(cè)方法

九十年代初，隨著微型計(jì)算機(jī)的發(fā)展和廣泛應(yīng)用，計(jì)算智能（在20世紀(jì)90年代中期被提出）在損傷檢測(cè)領(lǐng)域逐漸得到了廣大研究人員的重視。計(jì)算智能在損傷檢測(cè)領(lǐng)域的研究方向主要有專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、模糊理論、遺傳算法等。本文主要介紹神經(jīng)網(wǎng)絡(luò)及其在損傷檢測(cè)中的應(yīng)用。

3. 神經(jīng)網(wǎng)絡(luò)在損傷檢測(cè)中的應(yīng)用[3] [4]

神經(jīng)網(wǎng)絡(luò)應(yīng)用于結(jié)構(gòu)損傷檢測(cè)中去是近些年來(lái)十分活躍的應(yīng)用領(lǐng)域之一。由于神經(jīng)網(wǎng)絡(luò)資深所具有的功能和其信息處理的特點(diǎn)，在滿足結(jié)構(gòu)損傷識(shí)別算法所要求的實(shí)時(shí)性、及時(shí)性和穩(wěn)健性等方面，比基于模型的各種方法、傳統(tǒng)的模式識(shí)別方法和專家系統(tǒng)方法等傳統(tǒng)方法悠著更明顯的優(yōu)勢(shì)，而且，同其它方法相比，在先驗(yàn)信息需求方面更寬松，自適應(yīng)和可學(xué)習(xí)能力更強(qiáng)。目前，神經(jīng)網(wǎng)絡(luò)損傷識(shí)別方法已在結(jié)構(gòu)損傷檢測(cè)方面的研究越來(lái)越深入。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network簡(jiǎn)稱ANN）是在現(xiàn)代神經(jīng)生理學(xué)和心理學(xué)的研究基礎(chǔ)上，模仿人的大腦神經(jīng)元結(jié)構(gòu)特性而建立的一種非線性動(dòng)力學(xué)網(wǎng)絡(luò)系統(tǒng)，它由大量的簡(jiǎn)單的非線性處理單元（類似的神經(jīng)元）高度并聯(lián)、互聯(lián)而成，具有對(duì)人腦某些基本特性的簡(jiǎn)單的數(shù)學(xué)模仿能力。人工神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)是適應(yīng)性，它通過(guò)自身的學(xué)習(xí)機(jī)制自動(dòng)形成所要求的決策區(qū)域。

根據(jù)生物神經(jīng)元的結(jié)果、作用機(jī)制，并作進(jìn)一步的簡(jiǎn)化，構(gòu)成了神經(jīng)元模型，即人工神經(jīng)元。神經(jīng)元模型至今已發(fā)展有很多種，常見(jiàn)的模型有：

BP網(wǎng)絡(luò)模型

反向傳播網(wǎng)絡(luò)（Back-Propagation Network，簡(jiǎn)稱BP網(wǎng)絡(luò)）是將W-H學(xué)習(xí)規(guī)則一般化，對(duì)非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80%~90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。

概率神經(jīng)網(wǎng)絡(luò)（PNN）

PNN就是將貝葉斯估計(jì)放置于一個(gè)前饋神經(jīng)網(wǎng)絡(luò)中，其實(shí)質(zhì)就是一個(gè)分類器，它根據(jù)概率密度函數(shù)的無(wú)參估計(jì)來(lái)進(jìn)行貝葉斯決策而得到分類結(jié)果。

模糊神經(jīng)網(wǎng)絡(luò)（FNN）

模糊邏輯與神經(jīng)網(wǎng)絡(luò)是當(dāng)前備受關(guān)注的兩項(xiàng)信息處理技術(shù)，都是屬于不需要用公式數(shù)學(xué)模型的信息處理方法，都可以從數(shù)據(jù)中提煉系統(tǒng)的輸入輸出之間的規(guī)律。將神經(jīng)網(wǎng)絡(luò)與模糊邏輯技術(shù)有機(jī)地融合在一起來(lái)發(fā)揮互補(bǔ)優(yōu)勢(shì)，模糊神經(jīng)網(wǎng)絡(luò)隨之產(chǎn)生。

以上是幾種常見(jiàn)的網(wǎng)絡(luò)模型，其中最為廣泛應(yīng)用的是BP網(wǎng)絡(luò)，另外還回歸BP網(wǎng)絡(luò)、Boltzmann機(jī)網(wǎng)絡(luò)等網(wǎng)絡(luò)模型。

4. 結(jié)論與展望

結(jié)構(gòu)健康診斷技術(shù)由于其廣泛的應(yīng)用潛力近年來(lái)引起了極大的關(guān)注，它不僅在所有的智能材料與結(jié)構(gòu)的國(guó)際研討會(huì)上提出，并且已經(jīng)成為一個(gè)專門的研究課題。在國(guó)際上開(kāi)展的各個(gè)關(guān)于結(jié)構(gòu)健康監(jiān)測(cè)的專題研討會(huì)上集中討論和總結(jié)了國(guó)際結(jié)構(gòu)損傷檢測(cè)領(lǐng)域的研究成果，提出了需要進(jìn)一步研究和亟待解決的問(wèn)題，極大地推動(dòng)了結(jié)構(gòu)健康監(jiān)測(cè)技術(shù)的發(fā)展。

需要進(jìn)一步研究的問(wèn)題有：（1）新型傳感器和激振器的發(fā)展；（2）損傷識(shí)別和整體特征描述與評(píng)價(jià)；（3）系統(tǒng)整體性的研究；（4）結(jié)構(gòu)損傷檢測(cè)技術(shù)在民用結(jié)構(gòu)、橋梁、高速公路系統(tǒng)、大型高層建筑、電廠結(jié)構(gòu)中的進(jìn)一步應(yīng)用。

李國(guó)強(qiáng),李杰.工程結(jié)構(gòu)動(dòng)力檢測(cè)理論與應(yīng)用[M].北京:科學(xué)出版社,2002.

姜紹飛.基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化與損傷檢測(cè)[M].北京:科學(xué)出版社,2002.

第7篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：網(wǎng)絡(luò)安全；評(píng)價(jià)方式；應(yīng)用；探討

中圖分類號(hào)：TP393文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2012) 03-0000-02

The Study of Comprehensive Evaluation of Network Security

Sui Zhenyou1,Tong Lu2

(1.Institute of Adult Education,Inner Mongolia University for Nationalities,Tongliao028043,China;2. Xingan Vocational and Technical College,Xinganmeng137400,China)

Abstract:Network security is a complex project,this is closely related to computer networks,information security issues more and more people's attention,therefore,to develop an effective and scientific network security policy is to ensure that the network information security protection,which requires network security risk assessment,development of a comprehensive evaluation of effective network security is also particularly important.Start of network security evaluation and comprehensive evaluation of the three types of network security are discussed from two aspects of the evaluation principles and evaluation model for comparison and reference.

Keywords:Network security;Evaluation methods;Application;Explore

一、引言

當(dāng)今計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)迅猛發(fā)展，與此同時(shí)其網(wǎng)絡(luò)安全問(wèn)題也日益凸顯，也成為計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展所需要解決的迫切問(wèn)題[1]。因此需要對(duì)網(wǎng)絡(luò)的安全狀況進(jìn)行合理和有效的評(píng)價(jià)，以幫助用戶全面掌握網(wǎng)絡(luò)安全狀態(tài)，及時(shí)采取必要的防范措施，以確保網(wǎng)絡(luò)的安全。目前在對(duì)網(wǎng)絡(luò)安全的評(píng)價(jià)方法上，主要依靠查找系統(tǒng)的安全漏洞或者薄弱環(huán)節(jié)，進(jìn)而對(duì)系統(tǒng)的安全性能進(jìn)行測(cè)試評(píng)估。然而，計(jì)算機(jī)網(wǎng)絡(luò)安全所涉及的領(lǐng)域太廣，需要運(yùn)用系統(tǒng)工程的思想方法才能對(duì)網(wǎng)絡(luò)的安全狀況做好有效的評(píng)估和得到準(zhǔn)確的評(píng)價(jià)結(jié)果。我國(guó)在計(jì)算機(jī)網(wǎng)絡(luò)安全的評(píng)價(jià)理論和方法研究上，雖有些學(xué)者對(duì)其進(jìn)行了研究，但是研究成果還比較分散，仍未形成系統(tǒng)和科學(xué)的體系。對(duì)此，針對(duì)網(wǎng)絡(luò)安全綜合評(píng)價(jià)方式的研究現(xiàn)狀，有必要對(duì)其進(jìn)行梳理，為促進(jìn)其深入研究提供參考。

二、三種網(wǎng)絡(luò)安全綜合評(píng)價(jià)方式探討

網(wǎng)絡(luò)安全綜合評(píng)價(jià)具體包括了三個(gè)方面的內(nèi)容，一是建立評(píng)價(jià)指標(biāo)體系，二是需對(duì)評(píng)價(jià)指標(biāo)實(shí)施標(biāo)準(zhǔn)化的處理，三是采用合適的評(píng)價(jià)方法。其中，評(píng)價(jià)指標(biāo)選取的合適與否對(duì)綜合評(píng)價(jià)有著基礎(chǔ)性的影響，因此在對(duì)其的選取上務(wù)必要合理和科學(xué)。由于網(wǎng)絡(luò)安全評(píng)價(jià)屬于復(fù)雜工程，采用以往的定性或者定量方式都難以取得理想的評(píng)價(jià)效果，因此必須要尋找更為科學(xué)和有效的網(wǎng)絡(luò)安全綜合評(píng)價(jià)方式。

（一）基于層次分析法的網(wǎng)絡(luò)安全綜合評(píng)價(jià)方式

原理：層次分析法可以在對(duì)網(wǎng)絡(luò)安全綜合評(píng)價(jià)時(shí)把定性分析和定量分析結(jié)合起來(lái)，它的原理是：首先是對(duì)問(wèn)題進(jìn)行層次化分解，在該過(guò)程中對(duì)系統(tǒng)對(duì)象進(jìn)行抽象化，轉(zhuǎn)化為一個(gè)層次化、有序化的結(jié)構(gòu)模型；其次是對(duì)同屬層次中的評(píng)價(jià)指標(biāo)進(jìn)行互相比較，創(chuàng)建判斷矩陣，產(chǎn)生評(píng)價(jià)指標(biāo)相對(duì)權(quán)重；最后是計(jì)算每層指標(biāo)的組合權(quán)重，獲得各個(gè)指標(biāo)相對(duì)于總指標(biāo)的權(quán)重比較值，并進(jìn)行排序，作為決策的依據(jù)。層次分析法可以把專家知識(shí)和人的主觀判斷結(jié)合起來(lái)，用數(shù)量形式進(jìn)行表達(dá)和處理，將研究對(duì)象看作一個(gè)有機(jī)聯(lián)系的整體，因而可以對(duì)系統(tǒng)進(jìn)行有效的分析[2]。并且，采用層次分析法對(duì)網(wǎng)絡(luò)安全進(jìn)行評(píng)價(jià)，對(duì)影響網(wǎng)絡(luò)安全的各種因素都可以充分考慮，有利于準(zhǔn)確評(píng)價(jià)網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)狀況。

模型：在用層次分析法構(gòu)建網(wǎng)絡(luò)安全綜合評(píng)價(jià)模型前，很有必要了解與之相關(guān)的網(wǎng)絡(luò)安全評(píng)價(jià)指標(biāo)體系，以利于保障信息的完整性、可用性和保密性。目前在對(duì)網(wǎng)絡(luò)安全進(jìn)行安全評(píng)價(jià)的過(guò)程當(dāng)中，還沒(méi)有有效的指標(biāo)體系建立方法，現(xiàn)在應(yīng)用比較多的是德?tīng)柗品ǎ蚱浣Y(jié)合了不少專家經(jīng)驗(yàn)和主觀判斷，可在概率上對(duì)很多不能進(jìn)行定量分析的因素做出估算，并把評(píng)估報(bào)告報(bào)給評(píng)估專家，從而可利用信息控制及反饋來(lái)使評(píng)價(jià)意見(jiàn)收斂，最終得到一個(gè)協(xié)調(diào)的結(jié)果。采用層次分析法建立網(wǎng)絡(luò)安全綜合評(píng)價(jià)模型可以分為四個(gè)步驟，首先是要建立起網(wǎng)絡(luò)安全的層次結(jié)構(gòu)模型；其次是要建立起判斷矩陣，再次是要計(jì)算指標(biāo)權(quán)重，最后是要進(jìn)行一次性檢驗(yàn)。通常，可把網(wǎng)絡(luò)安全的綜合評(píng)價(jià)指標(biāo)的層次結(jié)構(gòu)模型分為三層，把網(wǎng)絡(luò)安全定義為目標(biāo)層，將管理安全、數(shù)據(jù)安全、環(huán)境安全及軟硬件安全定義為規(guī)則層，把組織體系、制度管理、入侵檢測(cè)、數(shù)據(jù)加密和數(shù)據(jù)備份等定義為措施層。判斷矩陣是由專家知識(shí)對(duì)各層次的評(píng)價(jià)指標(biāo)與上一層次的功能模型相對(duì)重要性進(jìn)行互相比較，從而形成的一個(gè)數(shù)據(jù)矩陣。在對(duì)指標(biāo)權(quán)重的確定上，需要按照一定的順序進(jìn)行，步驟如下：以專家經(jīng)驗(yàn)為依據(jù)，對(duì)準(zhǔn)則層相對(duì)于安全目標(biāo)層的指標(biāo)權(quán)重進(jìn)行判斷，確定其最大特征值和特征向量，再進(jìn)行歸一化處理，從而取得相應(yīng)的權(quán)重系數(shù)；同理，可以計(jì)算確定措施層相對(duì)于準(zhǔn)則層的每項(xiàng)指標(biāo)權(quán)重系數(shù)；最后把上面兩次計(jì)算出來(lái)的指標(biāo)權(quán)重相乘，得到合成的權(quán)重，以表示措施層相對(duì)于安全目標(biāo)層的合成權(quán)重。由于專家在各指標(biāo)重要性的判斷上存在差異，因此，還很有必要根據(jù)相應(yīng)的判斷矩陣一致性指標(biāo)公式對(duì)判斷矩陣實(shí)施一致性檢驗(yàn)，以檢驗(yàn)其一致性程度。

（二）基于模糊評(píng)價(jià)法的網(wǎng)絡(luò)安全評(píng)價(jià)方式

原理：基于模糊評(píng)價(jià)法的網(wǎng)絡(luò)安全評(píng)價(jià)方式是一種將定性分析和定量分析結(jié)合起來(lái)，綜合化程度高的網(wǎng)絡(luò)安全評(píng)價(jià)方式。所謂模糊綜合評(píng)價(jià)法屬于一種應(yīng)用模糊數(shù)學(xué)的綜合評(píng)價(jià)方法，其依據(jù)模糊數(shù)學(xué)中的隸屬度理論將定性評(píng)價(jià)轉(zhuǎn)變?yōu)槎吭u(píng)價(jià)，由模糊數(shù)學(xué)對(duì)受因素制約的對(duì)象作出總體評(píng)價(jià)，不但結(jié)果清晰和系統(tǒng)性強(qiáng)，而且可以有效解決一些模糊及難數(shù)量化的問(wèn)題，因而在解決多種非確定性問(wèn)題上具有很明顯的優(yōu)勢(shì)[3]。

模型：建立網(wǎng)絡(luò)安全的評(píng)價(jià)模型，需要做到以下幾點(diǎn)：一是注意評(píng)估要素。網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)是由于各種外部的威脅因素通過(guò)其漏洞對(duì)資產(chǎn)價(jià)值造成破壞，其值是資產(chǎn)價(jià)值、網(wǎng)絡(luò)脆弱等級(jí)和網(wǎng)絡(luò)威脅評(píng)估等級(jí)的函數(shù)。二是資產(chǎn)評(píng)估。通過(guò)資產(chǎn)評(píng)估，可以提供重要資產(chǎn)價(jià)值評(píng)估和確定漏洞掃描器分布等。三是威脅評(píng)估，其主要包括評(píng)估各種類型資產(chǎn)薄弱環(huán)節(jié)、可能的威脅類型、各種攻擊代價(jià)等。四是評(píng)估方法。評(píng)估方法是采用模糊數(shù)學(xué)的概念和方法，以便于得到簡(jiǎn)單易用的評(píng)估結(jié)果。采用模糊方法對(duì)網(wǎng)絡(luò)安全進(jìn)行安全評(píng)價(jià)時(shí)，首先要確定好隸屬度函數(shù)，按照某一標(biāo)準(zhǔn)對(duì)包含所有評(píng)判因子在內(nèi)的因素集合進(jìn)行分組，一般把性質(zhì)相近的因素放到一起。其次是建立好關(guān)系模糊矩陣，設(shè)置每個(gè)單項(xiàng)指標(biāo)集合和風(fēng)險(xiǎn)級(jí)別集合，并對(duì)每個(gè)單項(xiàng)指標(biāo)進(jìn)行評(píng)價(jià)，由各自相關(guān)的隸屬度函數(shù)來(lái)求出每個(gè)單項(xiàng)指標(biāo)相對(duì)于風(fēng)險(xiǎn)級(jí)別的隸屬度，從而得到關(guān)系模糊矩陣。同時(shí)，還需要根據(jù)相關(guān)條件來(lái)確定權(quán)重模糊矩陣。最后是根據(jù)權(quán)重模糊矩陣與關(guān)系模糊矩陣來(lái)確定模糊綜合評(píng)價(jià)模型，通過(guò)把兩個(gè)模糊矩陣相乘，所得的矩陣即是模糊綜合評(píng)價(jià)模型。

（三）基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全評(píng)價(jià)方式

原理：BP神經(jīng)網(wǎng)絡(luò)是當(dāng)前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，最早由1986年的一個(gè)科學(xué)家小組提出，屬于一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練而得的多層前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)可以學(xué)習(xí)和貯存大量輸入到輸出模式的映射關(guān)系，不需先揭示描述該映射關(guān)系的數(shù)學(xué)方程。它通過(guò)使用最速下降法作為學(xué)習(xí)規(guī)則，由反向傳播不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閥值，從而可使網(wǎng)絡(luò)的誤差平方和取到最小。

模型：BP神經(jīng)網(wǎng)絡(luò)一般由輸入層、隱含層及輸出層構(gòu)成?？梢杂肂P神經(jīng)網(wǎng)絡(luò)來(lái)逼近在任意區(qū)間內(nèi)的連續(xù)函數(shù)，實(shí)現(xiàn)相關(guān)的從輸入到輸出的映射關(guān)系。BP神經(jīng)網(wǎng)絡(luò)的模型在計(jì)算時(shí)采用梯度搜索技術(shù)，計(jì)算時(shí)，輸入信號(hào)從輸入層進(jìn)入，再經(jīng)隱含層單元的逐層處理，傳到輸出層，上層神經(jīng)元僅影響下層神經(jīng)元的狀態(tài)。若輸出層未能得到期望的輸出，會(huì)轉(zhuǎn)到反向傳播，把輸出信號(hào)誤差按原連接通路返回，修改每層神經(jīng)元的權(quán)重，使誤差最小[4]。

基本評(píng)價(jià)步驟：首先是對(duì)網(wǎng)絡(luò)初始狀態(tài)進(jìn)行初始化，主要是對(duì)相關(guān)的連接權(quán)值和閥值賦予-1到1之間的隨機(jī)數(shù)；接著把第一個(gè)輸入樣本對(duì)輸入；接著計(jì)算中間每層神經(jīng)元的相應(yīng)輸入值和輸出值；接著計(jì)算相關(guān)的連接到輸出層單元和中間層單元的權(quán)限誤差，接著對(duì)相關(guān)連接權(quán)值和閥值進(jìn)行更新；再接著輸入下一學(xué)習(xí)樣本對(duì)，到全部模式對(duì)訓(xùn)練完畢，再開(kāi)始新一輪的學(xué)習(xí)訓(xùn)練，直到滿足相應(yīng)的結(jié)束條件。

在網(wǎng)絡(luò)安全評(píng)價(jià)中的應(yīng)用。由于BP網(wǎng)絡(luò)具有出色的非線性處理能力，可以有效解決在信息模糊、矛盾頻雜等復(fù)雜環(huán)境下的判斷和認(rèn)知問(wèn)題，在網(wǎng)絡(luò)安全的評(píng)價(jià)當(dāng)中也有廣泛的應(yīng)用。例如，有學(xué)者用BP網(wǎng)絡(luò)對(duì)投資風(fēng)險(xiǎn)進(jìn)行了評(píng)估研究，取得了良好的成果；有學(xué)者在電力系統(tǒng)中運(yùn)用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行安全評(píng)估；也有學(xué)者將BP神經(jīng)網(wǎng)絡(luò)對(duì)地震災(zāi)害進(jìn)行了評(píng)估。又如，有國(guó)外學(xué)者將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于橋梁系統(tǒng)的性能評(píng)價(jià)當(dāng)中，證明了其在方案評(píng)價(jià)中的潛力和效率；國(guó)內(nèi)也有學(xué)者把BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于信息管理系統(tǒng)的綜合評(píng)價(jià)和多目標(biāo)綜合評(píng)價(jià)當(dāng)中，取得了不少研究成果。

三、結(jié)語(yǔ)

網(wǎng)絡(luò)安全保障體系的建設(shè)將是一個(gè)長(zhǎng)期和復(fù)雜的系統(tǒng)工程，不僅需要加強(qiáng)技術(shù)支撐和制度管理，還需要運(yùn)用科學(xué)有效的網(wǎng)絡(luò)安全綜合評(píng)價(jià)方式對(duì)安全風(fēng)險(xiǎn)進(jìn)行評(píng)估，根據(jù)安全評(píng)估報(bào)告采取相應(yīng)的安全措施，從而使安全風(fēng)險(xiǎn)在可控的范圍內(nèi)。本文主要從原理和模型方面比較具體地探討和梳理了層次分析法、模糊評(píng)價(jià)法和BP神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全綜合評(píng)價(jià)中的應(yīng)用情況，結(jié)果表明這三種方法在對(duì)網(wǎng)絡(luò)安全綜合評(píng)價(jià)中的應(yīng)用可以使評(píng)價(jià)結(jié)果更加客觀和準(zhǔn)確。

參考文獻(xiàn)：

[1]許福永,神劍,李劍英.網(wǎng)絡(luò)安全綜合評(píng)價(jià)方法的研究及應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2006,27(8):1398-1400

[2]李健宏,李廣振.網(wǎng)絡(luò)安全綜合評(píng)價(jià)方法的應(yīng)用研究[J].計(jì)算機(jī)仿真,2011,28(7):165-168

第8篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

 

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

題目 陣列化的非晶體納米硅神經(jīng)突觸器件制備與數(shù)值模擬        

 

 

姓名與學(xué)號(hào)     鄭浩 315104964    

指導(dǎo)教師        皮孝東          

合作導(dǎo)師                        

年級(jí)與專業(yè)  2015級(jí) 材料科學(xué)工程  

所在學(xué)院        材料科學(xué)工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大學(xué)本科生畢業(yè)論文（設(shè)計(jì)）承諾書

1.本人鄭重地承諾所呈交的畢業(yè)論文（設(shè)計(jì)），是在指導(dǎo)教師的指導(dǎo)下嚴(yán)格按照學(xué)校和學(xué)院有關(guān)規(guī)定完成的。

2.本人在畢業(yè)論文（設(shè)計(jì)）中除了文別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過(guò)的研究成果，也不包含為獲得 浙江大學(xué) 或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過(guò)的材料。

3.與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示謝意。

4. 本人承諾在畢業(yè)論文（設(shè)計(jì)）選題和研究?jī)?nèi)容過(guò)程中沒(méi)有偽造相關(guān)數(shù)據(jù)等行為。

5. 在畢業(yè)論文（設(shè)計(jì)）中對(duì)侵犯任何方面知識(shí)產(chǎn)權(quán)的行為，由本人承擔(dān)相應(yīng)的法律責(zé)任。

6.本人完全了解 浙江大學(xué) 有權(quán)保留并向有關(guān)部門或機(jī)構(gòu)送交本論文（設(shè)計(jì)）的復(fù)印件和磁盤，允許本論文（設(shè)計(jì)）被查閱和借閱。本人授權(quán) 浙江大學(xué) 可以將本論文（設(shè)計(jì)）的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索和傳播，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文（設(shè)計(jì)）。

 

 

作者簽名：                         導(dǎo)師簽名：

 

簽字日期：     年   月   日      簽字日期：      年   月   日

 

 

 

致  謝

致謝內(nèi)容。（仿宋字體或Times New Roman，小四號(hào)，兩端對(duì)齊，首行縮進(jìn)兩個(gè)漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息時(shí)代的來(lái)臨，人類在處理大數(shù)據(jù)與多信息的任務(wù)面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計(jì)算機(jī)思想在處理這些問(wèn)題時(shí)出現(xiàn)了本質(zhì)上的不足，因此神經(jīng)網(wǎng)絡(luò)的應(yīng)用于硬件化變得十分迫切。隨著憶阻器的發(fā)現(xiàn)，類腦計(jì)算的實(shí)際應(yīng)用變得可能。本文從硬件神經(jīng)網(wǎng)絡(luò)的興起出發(fā)，闡述了硬件神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀與實(shí)現(xiàn)途徑，之后引入了生物神經(jīng)元的特征，闡述了以往關(guān)于人類神經(jīng)元建立的數(shù)學(xué)模型。之后本文提出了一種陣列化硅納米晶體神經(jīng)突觸器件的制備方法與過(guò)程，并且在基于這樣的器件上，得到相應(yīng)的LTP與STDP數(shù)據(jù)，將這些數(shù)據(jù)分別用于探究：神經(jīng)元激活函數(shù)數(shù)值模擬，有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)之tempotron算法數(shù)值模擬與STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)數(shù)值模擬，在得到結(jié)果的基礎(chǔ)上，提出了硬件化神經(jīng)網(wǎng)絡(luò)所需要的器件的基本性質(zhì)與要求。為未來(lái)的硬件化目標(biāo)提出了可行性與基本方向。

關(guān)鍵詞：硬件神經(jīng)網(wǎng)絡(luò)；神經(jīng)元；神經(jīng)突觸器件；激活函數(shù)；Tempotron算法；STDP；無(wú)監(jiān)督學(xué)習(xí)

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  畢業(yè)論文（設(shè)計(jì)）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 緒論

1.1.1 硬件神經(jīng)網(wǎng)絡(luò)的興起

1.1.2 硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

1.3.1 生物神經(jīng)元介紹

1.3.2 人工神經(jīng)元介紹

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹

3.1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1.2 神經(jīng)元硬件化結(jié)論

3.2.1 脈沖編碼

3.2.2 權(quán)值更新

3.2.3 數(shù)值模擬結(jié)果

3.2.4 LTP權(quán)值改變法

3.2.5 STDP權(quán)值改變法

3.2.6 結(jié)論

3.3.1 理論背景與基礎(chǔ)

3.3.2 網(wǎng)絡(luò)設(shè)計(jì)

3.3.3 模擬結(jié)果

作者簡(jiǎn)歷

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

畢業(yè)論文（設(shè)計(jì)）

第一章  緒論

11.1  硬件神經(jīng)網(wǎng)絡(luò)1.1.1  硬件神經(jīng)網(wǎng)絡(luò)的興起

21世紀(jì)進(jìn)入信息時(shí)代后，計(jì)算機(jī)的普及率大大上升，計(jì)算機(jī)本身也在計(jì)算力與邏輯處理上遠(yuǎn)遠(yuǎn)超過(guò)了人腦，然而不足的是，在數(shù)據(jù)的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個(gè)神經(jīng)元和10^15神經(jīng)突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識(shí)別它的過(guò)程往往使視覺(jué)神經(jīng)信號(hào)與記憶信號(hào)同時(shí)作用的結(jié)果，功耗在fj量級(jí)。在使得馮-洛伊曼式計(jì)算機(jī)處理復(fù)雜指令與控制上體現(xiàn)出了根本性的缺陷?；谶@一點(diǎn)，神經(jīng)網(wǎng)絡(luò)的研究開(kāi)始興起，在1943年，McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型后, 有關(guān)于神經(jīng)網(wǎng)絡(luò)的討論也逐漸火熱起來(lái)，但其發(fā)展的中途受到很多科學(xué)家對(duì)其的質(zhì)疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經(jīng)網(wǎng)絡(luò)，從數(shù)學(xué)上的形式，證明了這種算法的可行性，BP神經(jīng)網(wǎng)絡(luò)是一種前饋式的誤差逆向傳播網(wǎng)絡(luò)，通過(guò)訓(xùn)練集不斷縮小輸出值與目標(biāo)值的差值從而達(dá)到非線性優(yōu)化的目的。由此，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理得到證明，其實(shí)在1970年神經(jīng)網(wǎng)絡(luò)存在一段低落期，也受到了很多懷疑。但是BP神經(jīng)網(wǎng)絡(luò)的興起與提出，讓科學(xué)們對(duì)于神經(jīng)網(wǎng)絡(luò)的態(tài)度再次火熱起來(lái)。21世紀(jì)隨著深度學(xué)習(xí)的提出，又掀起了一股關(guān)于人工智能的熱潮，Deep learning 是在多層感知機(jī)的基礎(chǔ)上，不斷增加隱含層的層數(shù)，這上面又出現(xiàn)了一些數(shù)學(xué)上的問(wèn)題比如激活函數(shù)的梯度彌散問(wèn)題，但是由于Relu激活函數(shù)替代sigmod函數(shù)的提出，這些問(wèn)題逐步得到了解決，深度學(xué)習(xí)向前發(fā)展了一大步。比如IBM的“深藍(lán)”擊敗世界圍棋選手李智石等，但是實(shí)際上，“深藍(lán)”在擊敗李智石時(shí)消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個(gè)饅頭的熱量戰(zhàn)斗。也就是說(shuō)，這場(chǎng)比賽其實(shí)并不公平。其實(shí)這反應(yīng)的是人工智能的工作效率與真正人腦的學(xué)習(xí)效率仍然有很大的差距。神經(jīng)網(wǎng)絡(luò)本質(zhì)是由多個(gè)簡(jiǎn)單的信號(hào)處理單元組成，這些簡(jiǎn)單的信號(hào)單元之間由一種方式連接形成網(wǎng)絡(luò)，它意在模仿人類大腦處理信息的模式，從而實(shí)現(xiàn)圖像識(shí)別，音像識(shí)別，特征提取和記憶等功能?，F(xiàn)在計(jì)算機(jī)能夠從軟件上對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)現(xiàn)，然而關(guān)于數(shù)據(jù)的存取方式仍然無(wú)法得到突破，數(shù)據(jù)的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識(shí)別圖像，獲得信息是并行的。因此硬件神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)是必要的，硬件神經(jīng)網(wǎng)絡(luò)能夠使用集成電路實(shí)現(xiàn)并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)受到很多的關(guān)注與研究，未來(lái)人工智能和類腦計(jì)算的發(fā)展前景中，硬件神經(jīng)網(wǎng)絡(luò)的研究是必須的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當(dāng)前關(guān)于硬件化神經(jīng)網(wǎng)絡(luò)的突破，現(xiàn)狀與發(fā)展形勢(shì)。

第二章主要從人類的神經(jīng)元開(kāi)始，講述人類生物神經(jīng)元的特點(diǎn)，講述現(xiàn)在人工神經(jīng)元的數(shù)學(xué)模型，以及硬件化神經(jīng)元需要的要求與方式

第三章主要講述制備實(shí)驗(yàn)器件的技術(shù)路線，與制備的過(guò)程和使用的材料

第四章從數(shù)值模擬的角度，探究神經(jīng)元硬件化的條件是怎么樣的，數(shù)值模擬選取MNIST數(shù)據(jù)集作為樣本數(shù)據(jù)集，通過(guò)使用實(shí)驗(yàn)得到的激活函數(shù)替論激活函數(shù)，觀察網(wǎng)絡(luò)的準(zhǔn)確率，得出相關(guān)結(jié)論，探究硬件需要滿足的條件

第五章從數(shù)值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經(jīng)元不同，它是作為神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)權(quán)值，改變權(quán)值的存在，與神經(jīng)元有本質(zhì)上的區(qū)別，數(shù)值模擬采用26個(gè)英文字母的圖片作為數(shù)據(jù)集，進(jìn)行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)值模擬，通過(guò)實(shí)驗(yàn)硬件得到的LTP與LTD圖像進(jìn)行權(quán)值更新。得到預(yù)測(cè)率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經(jīng)網(wǎng)絡(luò)硬件化的一個(gè)器件，為未來(lái)做出相關(guān)硬件網(wǎng)絡(luò)道出了一種可行性。

第六章主要是針對(duì)STDP的學(xué)習(xí)機(jī)制擴(kuò)大網(wǎng)絡(luò)規(guī)模，將數(shù)據(jù)集擴(kuò)展到MNIST手寫數(shù)據(jù)集，使用STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[16]對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，之后再對(duì)訓(xùn)練好的神經(jīng)元進(jìn)行分類。得到我們想要的結(jié)果。

第七章主要是總結(jié)本文的工作得到的結(jié)論，以及對(duì)于未來(lái)硬件神經(jīng)網(wǎng)絡(luò)的發(fā)展的一些展望與看法

 

 

1.1.2  硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

一般硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方式有三種，即采用電子學(xué)方法——依靠微電子技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光電方法——依靠半導(dǎo)體光電集成技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光學(xué)方法實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)[18]。微電子技術(shù)應(yīng)該是通過(guò)各種電路設(shè)計(jì)，例如放大電路，差分電路等集成電路，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的reference部分。依靠光電實(shí)現(xiàn)的硬件神經(jīng)網(wǎng)絡(luò)是本文的重點(diǎn)，利用電學(xué)元器件，憶阻器器件，或者是光電器件，模擬生物神經(jīng)元的膜電位變化曲線，與人類大腦的權(quán)重學(xué)習(xí)規(guī)則，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的硬件化。采用光學(xué)的方法實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算的方法十分有趣，UCLA大學(xué)的研究小組發(fā)明了一種全光的深層神經(jīng)網(wǎng)絡(luò)，通過(guò)光的反射與折射傳遞信號(hào)，利用光入射的相位差記錄權(quán)值變化，實(shí)現(xiàn)了全光的神經(jīng)網(wǎng)絡(luò)，而且由于光的傳播速度是光速，在整個(gè)網(wǎng)絡(luò)的效率與速度上都十分驚人，能耗也十分低[21]。神經(jīng)網(wǎng)絡(luò)的電子學(xué)硬件實(shí)現(xiàn)方法主要有四種，其中分別是數(shù)字實(shí)現(xiàn)、模擬實(shí)現(xiàn)、混合數(shù)/模實(shí)現(xiàn)和脈沖技術(shù)實(shí)現(xiàn)等[18]。通過(guò)數(shù)字實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)一般精度很高[1,2]，權(quán)值易存儲(chǔ)也容易改變，并且能夠通過(guò)電路實(shí)現(xiàn)并行處理，克服傳統(tǒng)計(jì)算機(jī)串行處理數(shù)據(jù)的弊病，但是缺點(diǎn)是電路難以集成，體積很大，很難適用于計(jì)算機(jī)新型芯片這種地方。通過(guò)模擬實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠很好克服上面的缺點(diǎn)[3,4,5]，但是由于突觸和神經(jīng)元器件對(duì)參數(shù)敏感，準(zhǔn)確度下降，更關(guān)鍵是對(duì)于權(quán)值的存儲(chǔ)存在困難。1987年是一個(gè)轉(zhuǎn)機(jī)，即脈沖技術(shù)第一次用于了神經(jīng)網(wǎng)絡(luò)，使用VLSI技術(shù)作為實(shí)現(xiàn)，從這以后，神經(jīng)網(wǎng)絡(luò)的脈沖技術(shù)受到了很多關(guān)注[9,12]。

脈沖技術(shù)，簡(jiǎn)單來(lái)說(shuō)就是將神經(jīng)元的興奮或者抑制狀態(tài)通過(guò)一定的編碼方式轉(zhuǎn)化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號(hào)是離散的，因此一定程度上可以簡(jiǎn)化運(yùn)算電路：例如突觸電路。神經(jīng)元與一般的電路元件不同，它本身的密度很高，正如人類神經(jīng)元的密度很高一樣。這種緊密的排列方式使得脈沖信號(hào)把芯片和外圍設(shè)備的接口變得更容易連接。本文正是利用從脈沖神經(jīng)網(wǎng)絡(luò)出發(fā)，制備出硬件化的元件，通過(guò)數(shù)值模擬硬件的實(shí)際可行性，并且對(duì)于未來(lái)硬件化神經(jīng)網(wǎng)絡(luò)的方向提出一些看法

21.2  硬件神經(jīng)網(wǎng)絡(luò)研究進(jìn)展當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)存在三種模式，第一種是非學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)，即網(wǎng)絡(luò)的前饋過(guò)程與權(quán)值計(jì)算過(guò)程全部由軟件進(jìn)行實(shí)現(xiàn)，權(quán)值是固定不變的，只用神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)完成之后，再與實(shí)際電路結(jié)構(gòu)匹配即可。另外一種是on-chip的模式，即前饋過(guò)程通過(guò)微電子電路進(jìn)行實(shí)現(xiàn)，權(quán)值的更新與計(jì)算通過(guò)計(jì)算機(jī)實(shí)現(xiàn)。還有一種off-chip模式，即是一種全自動(dòng)的自主性芯片，從神經(jīng)網(wǎng)絡(luò)的前饋環(huán)節(jié)到神經(jīng)網(wǎng)絡(luò)的BP算法實(shí)現(xiàn)都一并完成。目前的研究狀況，我們已經(jīng)能夠熟練通過(guò)電路的設(shè)計(jì)實(shí)現(xiàn)非學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。在on-chip式的人工神經(jīng)網(wǎng)絡(luò)上，我們也能通過(guò)一定的模擬方式得到實(shí)現(xiàn)?，F(xiàn)在的當(dāng)務(wù)之急是開(kāi)發(fā)off-chip式的神經(jīng)網(wǎng)絡(luò)，使用硬件對(duì)權(quán)值的存儲(chǔ)與改進(jìn)是必要的。自從20世紀(jì)60年代后期引入憶阻器概念以來(lái)，由于其簡(jiǎn)單性和功能相似性，它們被認(rèn)為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開(kāi)拓了RRAM和憶阻器之間聯(lián)系，做出了一定的應(yīng)用之后以非易失性存儲(chǔ)器件和神經(jīng)突觸晶體管為代表開(kāi)始成為神經(jīng)突觸器件的基礎(chǔ)。但將這些器件用于第二代神經(jīng)網(wǎng)絡(luò)（也就是多層感知機(jī)）上，取得了一定的成就，現(xiàn)在關(guān)于這方法的也在如火如荼的進(jìn)行著，但是由于第二代神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)仍然是基于計(jì)算機(jī)的算力達(dá)到的深度，也就是說(shuō)，加深隱含層的數(shù)目提高準(zhǔn)確度，知識(shí)因?yàn)橛兄鴱?qiáng)大的計(jì)算芯片作為支持。我們需要考慮一種完全類似于人腦思考問(wèn)題的神經(jīng)網(wǎng)絡(luò)與算法，于是脈沖神經(jīng)網(wǎng)絡(luò)開(kāi)始興起，并且被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò)，這是一種完全基于人腦計(jì)算模式的神經(jīng)網(wǎng)絡(luò)，從長(zhǎng)程記憶可塑性LTP，時(shí)間可塑依賴性STDP等研究的深入，這一網(wǎng)絡(luò)的硬件化也成為了可能

31.3  從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)1.3.1 生物神經(jīng)元介紹

人的大腦中有超過(guò) 1011個(gè)神經(jīng)元，這些神經(jīng)元之間的連接的突觸又大約有10^15個(gè)，這些突觸使得神經(jīng)元互相連接，從而構(gòu)成了復(fù)雜多變而又有條不紊的神經(jīng)網(wǎng)絡(luò)[7]。這些神經(jīng)元的單獨(dú)處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經(jīng)元并行處理。即大量神經(jīng)元一起處理一個(gè)任務(wù)，這有些類似于計(jì)算機(jī)里的多線程并行操作算法。人類大腦的神經(jīng)元數(shù)目雖然龐大，但是它的能耗低卻是特點(diǎn)，我們每日攝入的熱量與一些機(jī)器的能源是不能夠比擬的，然而我們的大腦就能夠?qū)崿F(xiàn)很多計(jì)算功能，有數(shù)據(jù)顯示，腦神經(jīng)系統(tǒng)一個(gè)動(dòng)作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個(gè)數(shù)量級(jí)。

人的生物神經(jīng)元有兩個(gè)部分，分別是細(xì)胞體和突起。具有處理并且整合輸入的神經(jīng)信號(hào)，然后傳出這些信息的作用。突起有樹(shù)突和軸突兩種。樹(shù)突相對(duì)較短但分枝很多，其作用是接受其他神經(jīng)元軸突傳來(lái)的沖動(dòng)并傳給細(xì)胞體。軸突長(zhǎng)而分枝少，常常出現(xiàn)在軸丘，一般為粗細(xì)均勻的細(xì)長(zhǎng)突起，其作用是接受外來(lái)刺激，再由細(xì)胞體傳出。神經(jīng)元與神經(jīng)元之間的連接被稱為神經(jīng)突觸，兩個(gè)神經(jīng)元之間連接強(qiáng)度或者關(guān)聯(lián)程度體現(xiàn)在突觸的連接強(qiáng)度。一般而言神經(jīng)元有以下的特點(diǎn)[8]：

1）：可塑性：即神經(jīng)元之間的突觸可以連接，也可以取消，連接可以變強(qiáng)，也可以慢慢變?nèi)?，方便與人類去適應(yīng)不同的環(huán)境。

2）：興奮與抑制：神經(jīng)元受到外界刺激之后，會(huì)產(chǎn)生膜內(nèi)外滲透壓的差別從而導(dǎo)致Na+或者Ca2+的流入或者流出，這些離子的遷移會(huì)產(chǎn)生動(dòng)作電位，導(dǎo)致膜電位的上升或者下降，也就對(duì)應(yīng)了人類神經(jīng)元的興奮和抑制過(guò)程。

3）：學(xué)習(xí)與遺忘：由于可塑性的存在，當(dāng)人類在長(zhǎng)時(shí)間受到同一種刺激的時(shí)候，會(huì)產(chǎn)生我們的所說(shuō)的學(xué)習(xí)功能，而這種功能其實(shí)是神經(jīng)元之間的連接得到了加強(qiáng)，同理，如果我們慢慢遺忘了一些東西，是因?yàn)殚L(zhǎng)期不去使用從而神經(jīng)元之間的連接衰弱了。對(duì)應(yīng)的有LTP,LTD圖像來(lái)進(jìn)行表征。

4）：突觸的延時(shí)和不應(yīng)期。神經(jīng)沖動(dòng)的傳遞在突觸中是需要時(shí)間的，一般這個(gè)時(shí)間是1-150ms。另外，神經(jīng)元也不會(huì)在短時(shí)間內(nèi)接受兩次沖動(dòng)，一般需要間隔一定的時(shí)間，這個(gè)被稱為不應(yīng)期。

從上面可以看到，想要用神經(jīng)元器件模擬人類的生物的神經(jīng)元，一定要從生物本質(zhì)和特征去進(jìn)行模擬。本文后面的數(shù)值模擬會(huì)再把這些特征一一強(qiáng)調(diào)一次，從而達(dá)到一種仿真的目的。

1.3.2 人工神經(jīng)元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型, 神經(jīng)元可用簡(jiǎn)單的zha值函數(shù)表示，并完成邏輯函數(shù)功能[19]。20世紀(jì)初期，美國(guó)心理學(xué)家Willian Jame 提出，一個(gè)神經(jīng)元應(yīng)該是同時(shí)接受來(lái)自不同神經(jīng)元的信號(hào)后，由于不同神經(jīng)元之間的突觸連接強(qiáng)度不同，神經(jīng)元相當(dāng)于是一個(gè)加權(quán)和，并且由于興奮存在一個(gè)閾值電壓，需要一定的電壓值才會(huì)fire，因此神經(jīng)元可以用一個(gè)數(shù)學(xué)模型來(lái)勾畫，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每個(gè)神經(jīng)元的輸入值，表征神經(jīng)元之間的連接強(qiáng)度，b代表閾值電壓。外界的f函數(shù)則是一種神經(jīng)元的處理函數(shù)。

 

圖1-1 MP 神經(jīng)元模型

Fig.1.1 Neurons model

可以看到，對(duì)于神經(jīng)元的硬件實(shí)現(xiàn)實(shí)際上是一個(gè)乘法器的實(shí)現(xiàn)以及加權(quán)和非線性處理，這個(gè)可以通過(guò)放大電路等進(jìn)行實(shí)現(xiàn)。后續(xù)本文也將探究一下神經(jīng)元應(yīng)該具備怎樣的條件，或者怎么樣的器件適合作為神經(jīng)元器件。

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經(jīng)網(wǎng)絡(luò), 引起了神經(jīng)網(wǎng)絡(luò)理論在優(yōu)化學(xué)術(shù)界的轟動(dòng)。然而熱潮還遠(yuǎn)遠(yuǎn)沒(méi)有結(jié)束。1986年，Rumelhart和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)是現(xiàn)在很多網(wǎng)絡(luò)算法的基礎(chǔ)，它是一種依靠逆向傳播輸出值與實(shí)際值誤差修正網(wǎng)絡(luò)權(quán)值的網(wǎng)絡(luò)，利用梯度下降算法或者隨機(jī)梯度下降法降低目標(biāo)值與實(shí)際值的誤差，隨機(jī)梯度下降算法時(shí)為了加速算法收斂速度提出的更好的方式，現(xiàn)在很多網(wǎng)絡(luò)也應(yīng)用這種方法

 

圖 1-2 經(jīng)典的神經(jīng)BP神經(jīng)網(wǎng)絡(luò)模型

從圖中我們可以看到的是，網(wǎng)絡(luò)一般由輸入層，隱含層和輸出層三個(gè)部分構(gòu)成，其中輸入層可以是圖像的像素值，音頻信號(hào)等等，因此神經(jīng)網(wǎng)絡(luò)現(xiàn)在廣泛用于人臉識(shí)別，圖像識(shí)別，聲音識(shí)別等等領(lǐng)域。隱含層的多少是決定一個(gè)網(wǎng)絡(luò)是否是深層網(wǎng)絡(luò)的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語(yǔ)言描述，訓(xùn)練的精度也會(huì)逐步的提升。輸出層是網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)的輸出后往往會(huì)選擇一個(gè)損失函數(shù)，這個(gè)損失函數(shù)是用于衡量目標(biāo)值與實(shí)際值的差值從而進(jìn)行誤差反向傳播計(jì)算。常見(jiàn)的損失函數(shù)有MSE函數(shù),Cross-Entorpy函數(shù)等等。

 

圖1-3 硬件神經(jīng)網(wǎng)絡(luò)的一種實(shí)現(xiàn)[15]

基于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)MLP的硬件實(shí)現(xiàn)如上圖所示，使用電路模擬整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進(jìn)行權(quán)值的存儲(chǔ)與更新。這樣的網(wǎng)絡(luò)往往需要得到的I-V曲線是對(duì)稱的，就是說(shuō)，權(quán)值的變化需要是隨著強(qiáng)度的增加而增加，減少而減少，呈現(xiàn)一種線性的變化，從而保證在進(jìn)行BP算法時(shí)，誤差能夠不斷減小。

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹隨著在21世紀(jì)早期計(jì)算能力的顯現(xiàn)，DNN（多層感知器，深層信念網(wǎng)絡(luò)，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)等等）迅速發(fā)展，DNN的基本特征是有很多隱含層，這些神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)監(jiān)督與非監(jiān)督學(xué)習(xí)，并且能夠優(yōu)秀的完成有大量數(shù)據(jù)的任務(wù)。然而實(shí)際上，現(xiàn)在的DNN的優(yōu)秀來(lái)源于GPU的并行加速機(jī)制，是在計(jì)算機(jī)多核算力上的體現(xiàn)，在其本身的算法上，其效率遠(yuǎn)遠(yuǎn)不如人腦高。SNN（脈沖神經(jīng)網(wǎng)絡(luò)）最近引起了很多關(guān)注，因?yàn)樗鼈兣c生物系統(tǒng)非常相似，在SNN中，輸入信號(hào)是尖峰，而不是傳統(tǒng)神經(jīng)元中的恒定饋送。 人們普遍認(rèn)為能夠處理尖峰是大腦在序列識(shí)別和記憶方面如此壯觀的主要原因之一[9]。序列識(shí)別是計(jì)算中更重要的主題之一，因?yàn)樗苯佑绊懴到y(tǒng)處理強(qiáng)烈時(shí)序依賴的刺激的能力，例如語(yǔ)音識(shí)別和圖像檢測(cè)[10]

 

圖1-4  STDP圖像

對(duì)應(yīng)STDP的最簡(jiǎn)單理解是，如果前突觸神經(jīng)元的信號(hào)在后突觸神經(jīng)元的信號(hào)之前達(dá)到，有理由認(rèn)為前突觸的信號(hào)導(dǎo)致后突觸神經(jīng)元的信號(hào)產(chǎn)生，那么這兩者之間的突觸連接強(qiáng)度應(yīng)該增加，反之就該減少。但如何保證這種訓(xùn)練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發(fā)表的文章[11]指出具有對(duì)稱反饋權(quán)重的網(wǎng)絡(luò)將具有以下特性：“輸出單元”的小擾動(dòng)將向更好的預(yù)測(cè)傳播到內(nèi)部層，使得隱藏單元移動(dòng)到大致遵循預(yù)測(cè)誤差J相對(duì)于隱藏單元的梯度。而STDP規(guī)則大致對(duì)應(yīng)于預(yù)測(cè)誤差的梯度下降，即STDP的規(guī)則其實(shí)和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報(bào)告的實(shí)驗(yàn)已經(jīng)真實(shí)地表明這些近似值可以工作并且能夠訓(xùn)練有監(jiān)督的多層神經(jīng)網(wǎng)絡(luò)[12]。

脈沖神經(jīng)網(wǎng)絡(luò)被稱為新一代神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的神經(jīng)網(wǎng)絡(luò)不同在于它的輸入實(shí)際上不是一個(gè)連續(xù)值而是一系列脈沖，更為重要的是他的神經(jīng)元膜電位，一旦達(dá)到了膜電位的峰值，那么這個(gè)神經(jīng)元就被激活，后面的脈沖會(huì)進(jìn)入一段不應(yīng)期。關(guān)于神經(jīng)元的模型，已經(jīng)提出了HH模型，Izhikevich模型與LIF模型，其中以LIF模型為例，其微分方程的表示如下：

τdVdt=?(V?Vr)+RI

                      （2-2）

 

τ

是膜的時(shí)間常數(shù)，R為膜電阻，V是膜電位，Vr是復(fù)位電位，I是注入電流，當(dāng)膜電壓超過(guò)一個(gè)閾值時(shí)，神經(jīng)元會(huì)發(fā)送一個(gè)脈沖。如果后面沒(méi)有連續(xù)的刺激，這個(gè)產(chǎn)生的脈沖信號(hào)會(huì)不斷衰退，膜電位也會(huì)恢復(fù)到復(fù)位電位后穩(wěn)定。之后再接受電流再刺激。

 

針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，也分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)主要以STDP為主[13,14]，有監(jiān)督學(xué)習(xí)包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個(gè)詳細(xì)的介紹：

在Tempotron算法中，考慮在閾值下，突觸前神經(jīng)元產(chǎn)生的脈沖信號(hào)，對(duì)突觸后膜電位（PSPs）的貢獻(xiàn)是來(lái)自所有脈沖輸入的加權(quán)和：

V(t)=∑iωi∑tiK(t?ti)+Vrest

                  （2-3）

 

ti

表示第i個(gè)神經(jīng)元的脈沖發(fā)送時(shí)間，

K（t?ti）

表示第i個(gè)脈沖對(duì)于膜電位的貢獻(xiàn)，即突觸前神經(jīng)元發(fā)出的脈沖對(duì)于突觸后神經(jīng)元膜電位的影響。其標(biāo)準(zhǔn)形式如下：

 

K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])

          （2-4）

 

τ,τs

是時(shí)間常數(shù)，為了保證K(t)在（0,1）之內(nèi)變動(dòng)，我們需要用V_0進(jìn)行歸一化處理，K(t)圖像繪制如下圖：

 

 

圖1-5 K(t)隨時(shí)間變化圖

由監(jiān)督學(xué)習(xí)的重點(diǎn)是要將權(quán)重更新向著誤差減少的方向進(jìn)行，獲得期望的輸出脈沖，更新規(guī)則如下：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （2-5）

 

即以二分類為例，ti

為突觸前神經(jīng)元峰值的產(chǎn)生時(shí)間，這里的

tmax

設(shè)定為我們?cè)O(shè)置的時(shí)間序列的終點(diǎn)，默認(rèn)為突觸后神經(jīng)元的峰值的產(chǎn)生時(shí)間，但這和一般的STDP不一樣，因?yàn)镾TDP的神經(jīng)網(wǎng)絡(luò)訓(xùn)練規(guī)則實(shí)際是不需要有監(jiān)督的，而這里有一個(gè)參數(shù)

λ

，用于控制輸出值與期望值的誤差方向，如果突觸前神經(jīng)元產(chǎn)生峰值超過(guò)閾值電壓的神經(jīng)脈沖，并且突觸后神經(jīng)元指向分類標(biāo)準(zhǔn)與前神經(jīng)元指向的分類相同，則不需要修改權(quán)值（說(shuō)明這個(gè)連接正確），如果突觸前神經(jīng)元峰值未超過(guò)閾值電壓，那么需要根據(jù)上式指定

λ

>0，并且計(jì)算需要增加的權(quán)值。反之當(dāng)

λ

<0時(shí)，需要進(jìn)行減小權(quán)值?？傮w看來(lái)，這是在借助有監(jiān)督學(xué)習(xí)的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線獲得修正的幅度（可以認(rèn)為是學(xué)習(xí)的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監(jiān)督學(xué)習(xí)的條件下，后突出神經(jīng)元的峰值由標(biāo)簽值決定，并且根據(jù)誤差值指明誤差修正放向（體現(xiàn)為

λ

的正負(fù)性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線用于有監(jiān)督學(xué)習(xí)的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  實(shí)驗(yàn)部分12.1  陣列化基于硅納米晶體雜化結(jié)構(gòu)的神經(jīng)突觸器件制備2.1.1  制備技術(shù)路線在本論文里面，采用了冷等離子方法制備了摻B的Si量子點(diǎn)，相比于其他的摻雜方法，冷等離子法是借助了動(dòng)力學(xué)的原理，從而實(shí)現(xiàn)了對(duì)硅納米晶體的高效摻雜，一定程度上避免了利用熱力學(xué)原理來(lái)?yè)诫s的過(guò)程中出現(xiàn)的“自潔凈”現(xiàn)象。相比之下能夠?qū)崿F(xiàn)比較高濃度的摻雜。

 

圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖

使用冷等離子體法制備摻雜硅納米晶體的裝置設(shè)計(jì)示意如圖2.1所示。先準(zhǔn)備每分鐘流量值12標(biāo)準(zhǔn)公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調(diào)節(jié)系統(tǒng)尾部的真空泵，使腔體內(nèi)的氣壓穩(wěn)定在6 mbar。石英管中間部位套有兩個(gè)銅環(huán)，分別接匹配箱和射頻發(fā)生器的正負(fù)兩級(jí)。在射頻發(fā)生器（功率約為150 w）的激發(fā)下，銅環(huán)之間的石英管內(nèi)將產(chǎn)生等離子體，混合氣體在通過(guò)等離子體區(qū)域時(shí)將會(huì)發(fā)生分解反應(yīng)，這個(gè)反應(yīng)的產(chǎn)生是因?yàn)闅怏w受到了高能粒子和電子的轟擊產(chǎn)生的，具體化學(xué)反應(yīng)式如下：

SiH4?Si+H2B2H6?2B+3H2

 

在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對(duì)載流子具有俘獲的性質(zhì)，首先與鈣鈦礦進(jìn)行雜化形成混合容易。通過(guò)旋涂工藝制備成了太陽(yáng)能電池結(jié)構(gòu)的神經(jīng)器件，器件的結(jié)構(gòu)是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au。在該結(jié)構(gòu)里面，ITO是通過(guò)光學(xué)刻蝕得到。PCBM, 鈣鈦礦與硅量子點(diǎn)雜化層， Spiro是通過(guò)旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子點(diǎn)在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發(fā)工藝得到，厚度大約為100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '這一段是不是應(yīng)該要?jiǎng)h掉？']2.1.1  器件制備路線

在器件制備方面，本文準(zhǔn)備利用硅納米顆粒的光電性能與decay長(zhǎng)的性質(zhì)，與鈣鈦礦進(jìn)行雜化形成自驅(qū)動(dòng)電池，在制備電池的工藝上，選擇旋涂工藝做成太陽(yáng)能電池的結(jié)構(gòu)，器件結(jié)構(gòu)分別是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au，之后使用熱蒸發(fā)工藝將電極Au安裝上，設(shè)置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  數(shù)值模擬13.1 神經(jīng)元硬件化數(shù)值模擬3.1.1  神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于神經(jīng)元的模擬，和突觸的模擬不同，神經(jīng)元的功能由上文中的MP模型已經(jīng)表述很清楚，他承擔(dān)一個(gè)乘法器和加權(quán)和、還有實(shí)現(xiàn)一個(gè)神經(jīng)元函數(shù)的功能，這個(gè)功能也是我們下面模擬要探索的。

 

圖3-1 MINST數(shù)據(jù)集對(duì)于的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

采用常用的MNIST手寫識(shí)別數(shù)據(jù)集作為整個(gè)網(wǎng)絡(luò)的輸入，先將圖像的RGB值轉(zhuǎn)換成一個(gè)單位的灰度值，設(shè)計(jì)輸入層應(yīng)該有784個(gè)節(jié)點(diǎn)，隱含層300個(gè)節(jié)點(diǎn)，輸出層設(shè)置10個(gè)節(jié)點(diǎn)，分別對(duì)應(yīng)0-9個(gè)數(shù)字的pattern。在實(shí)際模擬時(shí)，采用兩種方式處理，第一種是利用STDP非線性函數(shù)直接對(duì)輸入的圖像像素值進(jìn)行處理，意在將灰度值轉(zhuǎn)換為強(qiáng)度值。再用網(wǎng)絡(luò)進(jìn)行訓(xùn)練。第二張利用STDP非線性函數(shù)作為神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，意在探究神經(jīng)元的基本性質(zhì)。

訓(xùn)練模式采用SGD算法，樣本集總共55000個(gè)圖片，每張圖片28×28有784個(gè)輸入值，epoch設(shè)置掃描樣本集10次以上，損失函數(shù)使用交叉熵函數(shù)，激活函數(shù)選擇softmax函數(shù)進(jìn)行激活分類，因?yàn)檫@個(gè)函數(shù)比較適合于多分類問(wèn)題，在優(yōu)化上也得到了理論的證明。首先我們先將實(shí)驗(yàn)中得到的STDP數(shù)據(jù)擬合結(jié)果如下：

 

圖3-2 STDP Positive 擬合圖像

這里故意選擇了一個(gè)與常規(guī)激活函數(shù)相關(guān)性為負(fù)的激活函數(shù)，一般的激活函數(shù)比如sigmod，relu激活函數(shù)，其強(qiáng)度其實(shí)和輸入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']現(xiàn)正相關(guān)的，這里選取的作為負(fù)相關(guān)的原因是想探究是否能夠作為激活函數(shù)使用。其結(jié)果如下：

 

圖 3-3 擬合的Loss與Accuracy隨訓(xùn)練次數(shù)的變化圖

可以看到上述的結(jié)果是可觀的，也就是說(shuō)，激活函數(shù)的選取，與是否與輸入值正相關(guān)沒(méi)有關(guān)系。另外我比較了理論激活函數(shù)，實(shí)驗(yàn)激活函數(shù)，與對(duì)輸入直接非線性處理得到結(jié)果的異同性：

 

圖3-4 三種不同方法得到Loss函數(shù)變化情況

 

圖3-5 三種方法得到的Accuracy變化情況

可以看到，理論激活函數(shù)（紅色）在準(zhǔn)確率上仍然時(shí)最高的，最后的樣本內(nèi)準(zhǔn)確率有98.42%，但在loss的下降速度上，實(shí)驗(yàn)激活函數(shù)體現(xiàn)的更好，但實(shí)驗(yàn)的激活函數(shù)最后準(zhǔn)確率只有96.69%。

3.1.2  神經(jīng)元硬件化結(jié)論根據(jù)上面的模擬結(jié)果我們可以得到結(jié)論，對(duì)于神經(jīng)元的硬件模擬，作為激活函數(shù)，只需完成非線性這個(gè)條件即可，但是在實(shí)現(xiàn)乘法器的過(guò)程中，需要電路由很好的線性度。這個(gè)線性度的要求實(shí)際是從BP算法的推導(dǎo)中獲得的，這里簡(jiǎn)單的推導(dǎo)一下：

Δw=?Loss?w=?Loss?y??y?output??output?w

              （3-1）

 

上式想說(shuō)明的是，我們需要調(diào)節(jié)權(quán)值w使得我們計(jì)算出的loss函數(shù)達(dá)到最小值，因此我們需要求其導(dǎo)數(shù)從而獲得調(diào)整的方向，可以看到等式右邊第一項(xiàng)實(shí)際是損失函數(shù)對(duì)于輸入值的導(dǎo)數(shù)，第二項(xiàng)時(shí)激活函數(shù)對(duì)于輸入值的導(dǎo)數(shù)，這兩項(xiàng)在有輸入值的條件下是可以求出的。而根據(jù)神經(jīng)網(wǎng)絡(luò)的矩陣運(yùn)算：

output=w?x+b

                       （3-2）

 

可以看到，output值與輸入的值時(shí)存在線性關(guān)系的，那么也就是說(shuō)，我們權(quán)值變化量Δw

與輸入的x需要滿足線性關(guān)系。因此神經(jīng)元硬件化需要實(shí)現(xiàn)的線性度不僅僅影響了加權(quán)的效果，還影響到權(quán)值更新的效率性。很多關(guān)于神經(jīng)網(wǎng)絡(luò)硬件化的論文一定會(huì)提到這個(gè)線性度，因?yàn)檫@個(gè)線性度時(shí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法達(dá)到收斂的基本保障。

 

 

圖3-6.a SET與RESET模式下的I-V曲線；b SET模式下的權(quán)值變化隨刺激次數(shù)的變化；c RESET模式下的權(quán)值變化隨刺激次數(shù)的變化[15]

如上圖清華大學(xué)完成的憶阻器神經(jīng)突觸器件，選取電導(dǎo)作為權(quán)值時(shí)，需要I-V曲線在第一二想象有近似的對(duì)稱值，其導(dǎo)數(shù)值(即權(quán)值)隨著固定電壓的刺激次數(shù)線性增加或者減小。一般而言，在硬件神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值跟新的時(shí)候，會(huì)選擇一個(gè)固定更新電壓，在這個(gè)指定的電壓下，我們需要保證權(quán)值的正向更新與負(fù)向更新有近似的值，這個(gè)在圖像上體現(xiàn)為圖像的對(duì)稱。之前也有文章在圖像的對(duì)稱性上做了相關(guān)的材料探究。證明這樣的對(duì)稱性是必要的

23.2 有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.2.1  脈沖編碼脈沖神經(jīng)網(wǎng)絡(luò)與第二代神經(jīng)網(wǎng)絡(luò)最為不同的一點(diǎn)在于，它的輸入并不是一系列連續(xù)的值，不是像圖像像素一樣一個(gè)個(gè)數(shù)據(jù)連續(xù)計(jì)入，也沒(méi)有二值化的操作。而是離散的脈沖值，就圖像識(shí)別而言，簡(jiǎn)單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進(jìn)行標(biāo)準(zhǔn)化后作為網(wǎng)絡(luò)的輸入。而脈沖神經(jīng)網(wǎng)絡(luò)需要對(duì)于輸入進(jìn)行一定的脈沖編碼處理，這個(gè)處理可以自己選擇，但轉(zhuǎn)化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發(fā)出的時(shí)間作為網(wǎng)絡(luò)的輸入。下面介紹本文中tempotron算法的編碼方式。

選取26個(gè)英文字母A-Z作為需要識(shí)別的樣本集。每一個(gè)字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會(huì)編程一個(gè)16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數(shù)組，然后我們對(duì)其進(jìn)行編碼，每次隨機(jī)從256個(gè)數(shù)中隨機(jī)去8個(gè)數(shù)且不放回，組成一個(gè)32×8的新矩陣，對(duì)于每一行數(shù)，得到的是一個(gè)8位的二進(jìn)制數(shù)，因此我們將其轉(zhuǎn)化成十進(jìn)制數(shù)，得到一個(gè)0-255范圍的數(shù)，將原來(lái)的矩陣轉(zhuǎn)化成了32×1的矩陣。且每一行代表一個(gè)脈沖的發(fā)送時(shí)間，即將一張16×16的圖像矩陣轉(zhuǎn)化成了在不同時(shí)間一共發(fā)送32次脈沖的輸入值。

3.2.2  權(quán)值更新按照tempotron算法的權(quán)值更新規(guī)則：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （3-3）

 

我們需要設(shè)置一個(gè)時(shí)間軸，并且對(duì)于這個(gè)時(shí)間軸上進(jìn)行時(shí)間窗口的劃分，等于說(shuō)我們需要將這個(gè)時(shí)間軸切割成一份份來(lái)進(jìn)行一個(gè)個(gè)的循環(huán)。由于之前在輸入編碼的時(shí)候，我們將16×16像素的黑白圖像轉(zhuǎn)換成了發(fā)送32次脈沖的輸入，這些輸入的脈沖的時(shí)間是0-255，也就是說(shuō)，我們建立一個(gè)長(zhǎng)度為256ms的時(shí)間軸，并且以1ms為一個(gè)時(shí)間窗口，每次檢查在當(dāng)前時(shí)間窗口前是否有脈沖輸入，并且每次都選取在當(dāng)前時(shí)間之前能夠發(fā)送脈沖的數(shù)據(jù)，認(rèn)為他們發(fā)送一次脈沖，將這個(gè)脈沖與核函數(shù)相乘，作為我們膜電壓，如果膜電壓超過(guò)了我們?cè)O(shè)置的threshold電壓值，我們則認(rèn)為該神經(jīng)元處于fire狀態(tài)，并且會(huì)進(jìn)入一段不應(yīng)期，即shut down后面在256ms內(nèi)的所有脈沖輸入。我們輸入是5個(gè)神經(jīng)元，這是因?yàn)槲覀冃枰獙?duì)26個(gè)英文字母分類，即用5個(gè)二進(jìn)制數(shù)最大可以表示到0-31的每個(gè)數(shù)，于是我們用5個(gè)二進(jìn)制數(shù)表示我們分類的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類推。當(dāng)神經(jīng)處于fire狀態(tài)時(shí)，它會(huì)表現(xiàn)出1的狀態(tài)，反之如果它沒(méi)有能夠達(dá)到閾值電壓，它會(huì)處于0的狀態(tài)，我們將網(wǎng)絡(luò)的輸入與我們準(zhǔn)備好的標(biāo)簽值進(jìn)行對(duì)比，如果說(shuō)產(chǎn)生了不同，即分類產(chǎn)生了誤差，我們就需要對(duì)其進(jìn)行權(quán)值更新，從而在慢慢的訓(xùn)練過(guò)程中，獲得我們期望得到的脈沖值。

即如果網(wǎng)絡(luò)發(fā)出了脈沖，但是實(shí)際沒(méi)有發(fā)送脈沖，我們降低該脈沖產(chǎn)生的權(quán)值，從而讓其在后面慢慢變得不發(fā)出脈沖。

如果網(wǎng)絡(luò)沒(méi)有發(fā)出脈沖，但是實(shí)際輸入應(yīng)該發(fā)出脈沖，我們應(yīng)該強(qiáng)化該脈沖的產(chǎn)生，即增大其權(quán)值。

 

圖3.7 訓(xùn)練前脈沖與訓(xùn)練后脈沖對(duì)比圖

我們?cè)O(shè)置1.0 v為閾值電壓，可以看到，隨著訓(xùn)練次數(shù)的增大，一開(kāi)始正的脈沖傾向于在后面發(fā)出超過(guò)閾值電壓的脈沖。但是一開(kāi)始負(fù)的脈沖，雖然一開(kāi)始超過(guò)了閾值電壓，但是由于隨著訓(xùn)練次數(shù)的增大，變得不斷被抑制，不再發(fā)出脈沖。我們的網(wǎng)絡(luò)就是基于這樣一種思路去訓(xùn)練與優(yōu)化。

3.2.3  數(shù)值模擬結(jié)果數(shù)值模擬上，本文選取了兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了權(quán)值更新法則函數(shù)的模擬，即使用實(shí)驗(yàn)得到的LTP與STDP數(shù)據(jù)進(jìn)行了數(shù)值模擬，并且對(duì)比了兩者在應(yīng)用于tempotron算法的差異，提出一定看法。

3.2.4  LTP權(quán)值改變法數(shù)值LTP曲線是模擬人類大腦學(xué)習(xí)時(shí)候的長(zhǎng)程可塑性，在圖像上體現(xiàn)為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經(jīng)過(guò)一段時(shí)間再進(jìn)行了衰減。表現(xiàn)的圖像如下：

 

圖3.8 LTP擬合圖像

線是得到實(shí)驗(yàn)的LTP數(shù)據(jù)后，使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行擬合，得到完美擬合的曲線，這樣保證了能夠使用完全的實(shí)驗(yàn)數(shù)據(jù)。另外由于實(shí)驗(yàn)的數(shù)據(jù)僅僅有LTP數(shù)據(jù)，然而對(duì)于我們的模擬也需要LTD數(shù)據(jù)，基于我們對(duì)于這兩個(gè)圖像的了解，他們?cè)谝欢ǔ潭壬鲜侵行膶?duì)稱的。我們通過(guò)對(duì)于LTP數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)擬合，外推LTD的數(shù)據(jù)，將LTD的數(shù)據(jù)應(yīng)用于模型的抑制環(huán)節(jié)，保證權(quán)值的增加與減少對(duì)稱。

將LTP的數(shù)據(jù)帶入，進(jìn)行訓(xùn)練，設(shè)置最大epoch數(shù)為100次，設(shè)置閾值電壓為1 v。訓(xùn)練結(jié)果如下：

 

圖 3.9 準(zhǔn)確率隨訓(xùn)練次數(shù)的變化圖像(LTP)

可以看到，在100 epoch下，準(zhǔn)確率在隨訓(xùn)練次數(shù)的增加而增加，最終穩(wěn)定在89%左右。

3.2.5  STDP權(quán)值改變法人腦的學(xué)習(xí)模式是STDP已經(jīng)被大部分論文和實(shí)驗(yàn)所證實(shí)，因此也許基于STDP的權(quán)值改變方法能夠更加促進(jìn)學(xué)習(xí)的效率。STDP的本質(zhì)定義是說(shuō)：如果突出前神經(jīng)元的峰值脈沖到達(dá)時(shí)間小于突觸后的神經(jīng)元峰值脈沖，那么認(rèn)為突觸前神經(jīng)元脈沖的產(chǎn)生可能是有利于突觸后神經(jīng)元的產(chǎn)生，即這兩者之間是存在一定的聯(lián)動(dòng)關(guān)系的。于是加強(qiáng)這兩個(gè)神經(jīng)元的連接。反之則減弱它們之間的連接。

利用實(shí)驗(yàn)得到對(duì)的STDP Positive數(shù)據(jù)，波張選取375nm的光做刺激。得到光驅(qū)動(dòng)下的STDP。但實(shí)驗(yàn)與理論存在偏差的一點(diǎn)，是光刺激下的STDP圖像實(shí)際上是存在于一、二象限的，這樣意味著，無(wú)論是突出前神經(jīng)元的脈沖先到達(dá)還是后到達(dá)，產(chǎn)生的權(quán)值更新過(guò)程，都是加強(qiáng)該兩個(gè)神經(jīng)元之間的連接。在保證權(quán)值更新雙向?qū)ΨQ性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數(shù)據(jù)作為替代，這個(gè)數(shù)據(jù)是從電突觸元器件得到的。這里也可以得出一個(gè)設(shè)想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因?yàn)?，光學(xué)突觸器件的耗能相比于電學(xué)突觸器件要節(jié)省很多。如果能夠使用光電混合信號(hào)實(shí)現(xiàn)光電STDP，也不失為一種選擇。

擬合后正向STDP函數(shù)表達(dá)式如下：

y=?0.346ln(x)+2.708

 

負(fù)向STDP函數(shù)表達(dá)式如下：       

y=0.302ln(?x)?2.546

 

根據(jù)上面的STDP函數(shù)更新法則，帶入我們的temportron算法進(jìn)行求解。得到準(zhǔn)確率變化情況如下，設(shè)置參數(shù)與LTP更新規(guī)則相同。

 

圖3.10 準(zhǔn)確率隨訓(xùn)練次數(shù)變化情況(STDP)

可以看到，經(jīng)由STDP訓(xùn)練的網(wǎng)絡(luò)，在epoch=60左右的時(shí)候，已經(jīng)達(dá)到了準(zhǔn)確率100%，在訓(xùn)練的準(zhǔn)確度與效率上，高于使用LTP訓(xùn)練的結(jié)果。這也可能是為什么當(dāng)前很多的研究都著眼于STDP權(quán)重更新機(jī)制。這可能也和STDP實(shí)際上與人類大腦的學(xué)習(xí)機(jī)制十分相似，本次模擬也證明了大腦學(xué)習(xí)模式在權(quán)值調(diào)整上的優(yōu)越性，基于LTP的調(diào)制模式，更多是對(duì)于算法當(dāng)中核函數(shù)K(t)的模擬，而并非是對(duì)于本質(zhì)上人類大腦學(xué)習(xí)模式的仿真。

3.2.6  結(jié)論無(wú)論選取LTP，STDP作為權(quán)值更新的方式，神經(jīng)網(wǎng)絡(luò)的權(quán)值更新一定要是對(duì)稱，這樣在梯度下降算法過(guò)程中，才能夠有正和負(fù)梯度，使得最后的結(jié)果收斂于局部最小點(diǎn)。另外，在學(xué)習(xí)機(jī)制上，STDP是存在一定優(yōu)越性的。后面本文將針對(duì)SDTP學(xué)習(xí)機(jī)制，將網(wǎng)絡(luò)擴(kuò)展到更大的規(guī)模，展現(xiàn)STDP學(xué)習(xí)機(jī)制的強(qiáng)大之處。

33.3 無(wú)監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.3.1  理論背景與基礎(chǔ)這SNN的發(fā)展之所以廣受著名，是因?yàn)樗W(wǎng)絡(luò)的元器件要求是有一定硬件基礎(chǔ)的，不論是在神經(jīng)元的設(shè)計(jì)上，如LIF模型，HH模型，還是電導(dǎo)突觸，指數(shù)型的衰減機(jī)制，閾值電壓。都可以通過(guò)我們?cè)O(shè)計(jì)的電學(xué)或者光學(xué)器件進(jìn)行實(shí)現(xiàn)。

本文基于2015年P(guān)eter發(fā)表的關(guān)于STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的代碼基礎(chǔ)上，加上實(shí)驗(yàn)得到的數(shù)據(jù)，進(jìn)行數(shù)值模擬。模擬之前，先了解一下網(wǎng)絡(luò)的具體結(jié)構(gòu)與基本理論。

對(duì)于神經(jīng)元的設(shè)置，應(yīng)用integrated -and-fire model模型：

τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)

            （3-6）

 

這里V是膜電壓，Erest

是神經(jīng)元在沒(méi)有外界刺激下的一種靜息電壓。

τ

是抑制或者興奮神經(jīng)元的時(shí)間時(shí)間常數(shù)，這個(gè)常數(shù)時(shí)間上就是用于控制各種不同的STDP圖像。

galignlink

和

gexc

是抑制性神經(jīng)元和興奮性神經(jīng)元的電導(dǎo)值，這個(gè)值在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為權(quán)重，也是我們需要訓(xùn)練的東西。訓(xùn)練模式與tempotron算法類似，當(dāng)膜電壓到達(dá)閾值電壓的時(shí)候，就會(huì)發(fā)送尖峰脈沖信號(hào)，然后膜電位復(fù)位到靜息電壓。如果有神經(jīng)元的尖峰信號(hào)達(dá)到突觸，那么突觸就會(huì)提升權(quán)值，即電導(dǎo)，如果沒(méi)有，那么權(quán)值就會(huì)指數(shù)型的衰減。權(quán)值更新的模式仍然是取決于突觸前神經(jīng)元與突觸后神經(jīng)元的尖峰達(dá)到時(shí)間差。如圖3.11所示，由于前后神經(jīng)元的脈沖尖峰抵達(dá)時(shí)間差不一樣，產(chǎn)生了興奮和抑制兩種模式

 

 

圖 3.11 STDP權(quán)值更新模式圖[17]

我們需要定義興奮性神經(jīng)元與抑制性神經(jīng)元的權(quán)值改變方式。對(duì)于興奮性神經(jīng)元的電導(dǎo)更新模式如下：

τgedgedt=?ge

                      （3-7）

 

抑制性電導(dǎo)的更新模式其實(shí)只需要更換常數(shù)：

τgidgidt=?gi

                      （3-8）

 

時(shí)間常數(shù)得控制會(huì)影響STDP得學(xué)習(xí)曲線，人腦或者生物的時(shí)間常數(shù)一般是10 ms-20 ms量級(jí)。我們由實(shí)驗(yàn)得到得時(shí)間常數(shù)數(shù)值也靠近這個(gè)值

然后是基于STDP的權(quán)值更新法則：

Δw=η(xpre?xtar)(wmax?w)u

               （3-9）

 

實(shí)際上，STDP的更新規(guī)則很多，還有指數(shù)型的，這里選取一種更新規(guī)則，他們大多大同小異。這里的η

是學(xué)習(xí)的速率，

Xpre

是該脈沖產(chǎn)生時(shí)的上一次脈沖值，每當(dāng)有一次脈沖到達(dá)突觸時(shí)，

Xpre

會(huì)增加1，如果沒(méi)有，它會(huì)按照指數(shù)型進(jìn)行衰減。

Xtar

是前一次的突觸前神經(jīng)元產(chǎn)生的脈沖，其反應(yīng)在突觸后神經(jīng)元的目標(biāo)值。這其實(shí)也是在將突觸前神經(jīng)元和后神經(jīng)元產(chǎn)生的時(shí)間在進(jìn)行比較，從而正確的更新權(quán)值。

 

3.3.2  網(wǎng)絡(luò)設(shè)計(jì)脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與普通的經(jīng)典神經(jīng)網(wǎng)絡(luò)有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數(shù)據(jù)，脈沖的頻率由圖像像素點(diǎn)的灰度值，即成正比關(guān)系，28×28的像素值會(huì)變成一個(gè)784×1的一維序列，每一個(gè)值代表一定頻率的脈沖信號(hào)。

 

圖3.12 SNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[16]

 

之后進(jìn)入激活層，激活層放置激活神經(jīng)元，然后再進(jìn)入抑制層，放置抑制層神經(jīng)元。這里可以看到，非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)是不存在標(biāo)簽值的。更新完全依靠激活層與抑制層之間的關(guān)系。從圖3.12可以看到，輸入層與激活層實(shí)際上時(shí)全連接模式，即每一個(gè)像素點(diǎn)產(chǎn)生的脈沖序列都會(huì)再激活層有一個(gè)對(duì)應(yīng)權(quán)重。激活層與抑制層之間時(shí)一一對(duì)應(yīng)連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經(jīng)與抑制層產(chǎn)生連接的神經(jīng)元。這樣的網(wǎng)絡(luò)設(shè)計(jì)模式實(shí)際上是由理由的。這應(yīng)用的winter take all法則，即當(dāng)某個(gè)激活層的神經(jīng)元產(chǎn)生興奮后，該興奮傳遞到抑制層后，抑制層會(huì)抑制其他所有神經(jīng)元產(chǎn)生脈沖。也就是說(shuō)，不斷的訓(xùn)練后，能夠產(chǎn)生脈沖的神經(jīng)元會(huì)趨向于越來(lái)越容易產(chǎn)生脈沖，而其他神經(jīng)元會(huì)越來(lái)越無(wú)法產(chǎn)生脈沖。從而達(dá)到訓(xùn)練的目的。這和傳統(tǒng)的K-means算法也有異曲同工之妙，但不同的是STDP 非監(jiān)督學(xué)習(xí)存在抑制層，從而避免了某幾個(gè)神經(jīng)元一直占據(jù)某個(gè)pattern。

3.3.3  模擬結(jié)果數(shù)值模擬將MNIST 六萬(wàn)個(gè)訓(xùn)練數(shù)據(jù)編碼后作為脈沖輸入，整個(gè)訓(xùn)練集進(jìn)行了6次迭代，一共是36萬(wàn)張圖片，訓(xùn)練結(jié)束后學(xué)習(xí)慮被置為零，動(dòng)態(tài)閾值被鎖定。之后輸入每一類的數(shù)字圖片，記錄每個(gè)神經(jīng)元對(duì)應(yīng)該類圖片的激活次數(shù)，并且選取其中激活次數(shù)最多的為該神經(jīng)元的標(biāo)簽。之后使用測(cè)試集的一萬(wàn)張圖片作為脈沖輸入，觀察每當(dāng)一張圖片輸入時(shí)，哪個(gè)神經(jīng)元的激活頻率最高，如果該神經(jīng)元的標(biāo)簽與輸入圖片屬于同一pattern，那么認(rèn)為分類正確。統(tǒng)計(jì)10000萬(wàn)張圖片的平均準(zhǔn)確率，得到網(wǎng)絡(luò)的訓(xùn)練的評(píng)價(jià)值即Accuracy。

 

圖3.13 神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣圖

這里訓(xùn)練后激活層的權(quán)值矩陣。之前提到了，當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，我們會(huì)輸入每一個(gè)圖片的pattern，以激活次數(shù)最高的神經(jīng)元作為該pattern的標(biāo)簽，在這樣經(jīng)過(guò)改進(jìn)后，圖5.3是激活層神經(jīng)元重組后的權(quán)值分布，可以看到，不同神經(jīng)元對(duì)于不同pattern的適應(yīng)程度不同，體現(xiàn)在顏色的深淺上。

 

圖3.14 輸入層到激活層權(quán)值矩陣可視化圖

 

圖3.15 激活層到抑制層權(quán)值矩陣可視化圖

從圖3.14我們可以看到，只有很少部分的權(quán)值很高，即呈現(xiàn)黃色小點(diǎn)模式，體現(xiàn)即只有少數(shù)pattern才能夠產(chǎn)生脈沖，其他的脈沖都被抑制，這個(gè)圖像很好體現(xiàn)了我們?cè)趯W(xué)習(xí)過(guò)程中的winer-take-all的模式。圖3.15體現(xiàn)的更加明顯的是，因?yàn)榫W(wǎng)絡(luò)的設(shè)計(jì)是激活層與抑制層一對(duì)一連接，抑制層與激活層反向全連接，但除去了從激活層連接過(guò)來(lái)的神經(jīng)元，因此在權(quán)值的對(duì)角線上都是winer，而其他的神經(jīng)元都被抑制，從而達(dá)到了我們從眾多神經(jīng)元中選取出適合當(dāng)前輸入的正確pattern。

之后我們輸入10000個(gè)MNIST的test集圖片進(jìn)行外推，結(jié)果是：Sum response - accuracy:  91.43  number incorrect:  857。即我們?cè)隍?yàn)證集上達(dá)到了91.43%的準(zhǔn)確度。總的來(lái)說(shuō)還是比較可觀的。

結(jié)  論本文用了三個(gè)數(shù)值模擬的方法，分別對(duì)于神經(jīng)元硬件化條件，神經(jīng)突觸硬件化條件，神經(jīng)元學(xué)習(xí)規(guī)則優(yōu)越性做了探究。在神經(jīng)元硬件化上，通過(guò)使用不同的非線性函數(shù)進(jìn)行數(shù)值模擬，得到了其實(shí)在當(dāng)選取激活函數(shù)時(shí)，函數(shù)與輸入值的正相關(guān)性并不是必要的，非線性才是最為重要的基準(zhǔn)。并且作者使用簡(jiǎn)單的鏈?zhǔn)角髮?dǎo)法則，證明了神經(jīng)元的硬件化需要有加權(quán)乘法器的功能，并且強(qiáng)調(diào)了乘法器的線性程度。也就推出了權(quán)值更新時(shí)，權(quán)值該變量與輸入值的正相關(guān)性的重要性，也可以說(shuō)是正負(fù)變化的對(duì)稱性是對(duì)隨機(jī)梯度下降法達(dá)到收斂的充分條件。在SNN數(shù)值模擬上，本文先嘗試了tempotron有監(jiān)督SNN算法，并且對(duì)其權(quán)值改變的方程做出了LTP與STDP法則的兩種試探，發(fā)現(xiàn)STDP的效果更好，也不愧是貼近人類大腦的學(xué)習(xí)模式。這里也需要指出tempotron算法的缺點(diǎn)在于該算法只能針對(duì)單神經(jīng)元，即脈沖只能判斷單個(gè)神經(jīng)元能不能發(fā)出脈沖，泛用性不是特別強(qiáng)，但是將輸入改成離散的脈沖輸入，在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和理念上是一個(gè)很大的突破。接著文章以STDP學(xué)習(xí)機(jī)制更為優(yōu)秀的基礎(chǔ)上，在基于2015年P(guān)eter教授的無(wú)監(jiān)督STDP學(xué)習(xí)網(wǎng)絡(luò)[16]這篇論文的基礎(chǔ)上，使用實(shí)驗(yàn)相關(guān)的數(shù)據(jù)進(jìn)行了數(shù)值模擬，指出了該網(wǎng)絡(luò)的結(jié)構(gòu)，采用winter-take-all模式與IF神經(jīng)元結(jié)構(gòu)，實(shí)現(xiàn)了在沒(méi)有任何標(biāo)簽和領(lǐng)域知識(shí)的無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的模擬，并且在MNIST的test數(shù)據(jù)集上達(dá)到了91.43%的正確率。從實(shí)驗(yàn)上證實(shí)了STDP學(xué)習(xí)機(jī)制可以用于無(wú)監(jiān)督學(xué)習(xí)，指出了其在未來(lái)發(fā)展的巨大潛力。

最后本文提出一些對(duì)于當(dāng)前硬件神經(jīng)網(wǎng)絡(luò)研究的看法，目前實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)的方法在緒論也有提出，主要有微電子方法、半導(dǎo)體突觸和光學(xué)實(shí)現(xiàn)。作者認(rèn)為想要實(shí)現(xiàn)真正的類腦計(jì)算。我們就需要研究更與人類達(dá)到貼切的器件。盡管在微電子方面，目前的技術(shù)可以實(shí)現(xiàn)精度很高的數(shù)字模擬電路。但是實(shí)際上那也只是靠我們強(qiáng)大的算力與耗費(fèi)了很多資源達(dá)到的結(jié)果。再說(shuō)全光學(xué)的神經(jīng)網(wǎng)絡(luò)，這樣的設(shè)想只能夠用天才來(lái)形容，這樣的網(wǎng)絡(luò)耗能少，效率高，速度快。但這并不能夠算是類腦計(jì)算，只是從物理的角度對(duì)于神經(jīng)網(wǎng)絡(luò)進(jìn)行了實(shí)現(xiàn)。真正的類腦計(jì)算我相信應(yīng)該是基于STDP，LTP, LTD這些與人腦大腦對(duì)于信號(hào)實(shí)際反映做出的模型之上的。近年來(lái)已經(jīng)發(fā)展了很多基于STDP或者類腦計(jì)算的算法，并且在數(shù)值模擬上都證實(shí)了其實(shí)現(xiàn)的可能性。目前的當(dāng)務(wù)之急應(yīng)該是制備出與這些理論符合的突觸器件或者神經(jīng)元元件，然后進(jìn)行集成，實(shí)現(xiàn)一個(gè)結(jié)合微電子設(shè)計(jì)電路與編碼處理，從而實(shí)現(xiàn)一個(gè)從輸入，到reference，再到自動(dòng)Back Propagation修改誤差的自主型芯片，真正達(dá)到off-chip模式的神經(jīng)網(wǎng)絡(luò)計(jì)算與硬件化。

參考文獻(xiàn)[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高麗娜 邱關(guān)源. 一種連續(xù)可調(diào)權(quán)值 CMOS 神經(jīng)網(wǎng)絡(luò). 電子學(xué)報(bào), 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]賀靜, 基于CMOS 模擬技術(shù)的多種前饋人工神經(jīng)網(wǎng)絡(luò)硬件的研究與實(shí)現(xiàn) [D]. 湘潭大學(xué), 2014 

[8]侯媛彬,杜京義,汪梅. 神經(jīng)網(wǎng)絡(luò) [M]. 西安:西安電子科技大學(xué)出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陳瓊. 鄭啟倫.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)硬件實(shí)現(xiàn)的研究進(jìn)展.[J].電路與系統(tǒng)學(xué)報(bào).2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  錄代碼具體說(shuō)明請(qǐng)參考github.com/zhenghaobaby/graduated_design

作者簡(jiǎn)歷姓名：鄭浩  性別：男  民族：漢族  出生年月：1997-04-11  籍貫：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大學(xué)攻讀材料科學(xué)工程學(xué)士學(xué)位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授權(quán)專利：

[1]XXXXXX 

 

 

第9篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞: 特征選擇；入侵檢測(cè)；粗糙集；信息熵

中圖分類號(hào):TN 915.08

文獻(xiàn)標(biāo)志碼:A文章編號(hào):1672-8513(2011)04-0292-04

Study of Intrusion Detection Feature Selection Based on Rough Set and Information Entropy

WU Ping, JIANG Yiting

( School of Information, Yunnan Normal University, Kunming 650092, China )

Abstract: Feature selection is the removing process for the smallest feature subset satisfying the needs from the collection and application of selected characteristics related with great importance. It is important in the intrusion detection. For solving the problem of the existing intrusion detection system with less prior knowledge, the paper describes the intrusion detection feature set with the rough set knowledge representation system and determines the relative importance of each feature by calculating its information entropy. Finally, it gets a streamlined feature set. As a result, it simplifies the intrusion detection training set, reduces the detection time and effectively improves the classification accuracy of the invasion.

Key words: feature selection; intrusion detection; rough set; information entropy

入侵檢測(cè)需要對(duì)大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)流或主機(jī)審計(jì)信息進(jìn)行數(shù)據(jù)分析，判定攻擊類型，而網(wǎng)絡(luò)中的行為一般都可以用一些特征來(lái)描述，如：源地址、目的地址、協(xié)議類型、服務(wù)類型、端口號(hào)及連接時(shí)長(zhǎng)等，一條網(wǎng)絡(luò)記錄是正常行為還是攻擊行為通常是由許多特征組合取不同值來(lái)表征的，但是存在著一些特征對(duì)于最后的判定起的作用很小，即這些特征的變化與否與判定結(jié)果基本無(wú)關(guān)，可以約簡(jiǎn).過(guò)多的特征會(huì)給計(jì)算帶來(lái)困難，占用大量的存儲(chǔ)空間，會(huì)降低整個(gè)網(wǎng)絡(luò)系統(tǒng)的吞吐效率，耗費(fèi)大量的時(shí)間，檢測(cè)的精準(zhǔn)率也會(huì)降低，所以在進(jìn)行數(shù)據(jù)處理之前需要進(jìn)行特征選擇.

特征選擇技術(shù)[1]正是從原有的龐大的數(shù)據(jù)集中選擇出滿足需要的、重要性較高的一個(gè)精簡(jiǎn)數(shù)據(jù)集合的過(guò)程，并且該精簡(jiǎn)數(shù)據(jù)集可以保持原有數(shù)據(jù)集的完整性，且不會(huì)影響最后判定結(jié)果的準(zhǔn)確性.文獻(xiàn)［2］中采用的特征選擇方法，是對(duì)單個(gè)特征進(jìn)行評(píng)價(jià)，以對(duì)評(píng)估數(shù)據(jù)檢測(cè)的正確率和時(shí)間作為度量準(zhǔn)則，這種選擇方法可以挑出前N個(gè)最有效的單個(gè)特征，但是這N個(gè)特征放在一起卻不一定是最佳的組合，所以對(duì)于約簡(jiǎn)后的特征屬性集合的信息完整性缺乏可靠驗(yàn)證[3].

為了解決上述問(wèn)題，本文基于粗糙集的知識(shí)約簡(jiǎn)理論，采用計(jì)算信息熵的方法來(lái)選擇重要特征，在保持知識(shí)庫(kù)的分類或決策能力不變的條件下，刪除不相關(guān)或不重要知識(shí)，得到保持分類正確的最小特征子集.

1 粗糙集中的知識(shí)表達(dá)系統(tǒng)在入侵檢測(cè)特征中的描述

粗糙集(Rough Set)理論是由波蘭學(xué)者Pawlak于1982年提出的[4]，它是一種刻畫具有不完整性和不確定性信息的數(shù)學(xué)工具，其基本思想是：在保持知識(shí)庫(kù)的分類能力不變的前提下，通過(guò)知識(shí)（屬性）約簡(jiǎn)得出問(wèn)題的決策或分類規(guī)則.粗糙集的優(yōu)點(diǎn)是[5]：在處理問(wèn)題時(shí)不需要其他先驗(yàn)知識(shí)，利用定義在數(shù)據(jù)集合U上的等價(jià)關(guān)系R對(duì)U的劃分作為知識(shí).在不丟失信息的前提下，根據(jù)知識(shí)系統(tǒng)的條件屬性與決策屬性的依賴和關(guān)聯(lián)度，通過(guò)知識(shí)約簡(jiǎn)算法得到具有最小決策規(guī)則的分類模型.

11 網(wǎng)絡(luò)攻擊特征數(shù)據(jù)的粗糙集知識(shí)表達(dá)

粗糙集中對(duì)知識(shí)進(jìn)行表達(dá)和處理的基本工具是信息表知識(shí)表達(dá)系統(tǒng)[6]，下面就本文中的研究對(duì)象網(wǎng)絡(luò)攻擊特征數(shù)據(jù)集進(jìn)行粗糙集的知識(shí)表達(dá).

攻擊特征數(shù)據(jù)的知識(shí)表達(dá)：

設(shè)五元組T=＜U,C,D,V,f＞是一個(gè)網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表知識(shí)表達(dá)系統(tǒng)，其中U是攻擊樣本的集合，C為攻擊特征（條件屬性）集合，D為攻擊類型（決策屬性）集合且D≠，V是屬性值的集合，Vr表示屬性r∈C∪D的屬性值范圍，即屬性r的值域， f:U×(C∪U)是一個(gè)信息函數(shù)，它指定U中每一個(gè)對(duì)象x的屬性值.

12 網(wǎng)絡(luò)攻擊特征的選擇

首先選定一個(gè)特征子集A，然后將其他特征屬性加入該特征子集中，如果加入的特征屬性并沒(méi)有使原有的特征的信息熵發(fā)生變化，則該屬性就是非必要特征屬性，可以對(duì)其進(jìn)行約簡(jiǎn).可進(jìn)行如下描述：

在網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞中，選定特征子集{A|AC}，將特征r∈C加入到特征子集A中，形成A′并計(jì)算A′的信息熵，如果A′的信息熵不發(fā)生變化，則說(shuō)明r不能為特征子集A的分類增加信息，則A為相對(duì)于D的特征選擇.即：

H(A|C)=H(A′|C＼{r})

特征選擇的終止條件是在T中，有H(3na737q|A∪{r})=H(ialbhpv|A)，則A為C的相對(duì)于aty6lhv的特征選擇.

13 網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表的核

對(duì)于一個(gè)網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，C中所有對(duì)zh7ecac是必要的特征組成的集合稱為特征集合C相對(duì)于xwfb0h4的核，記作COREgq22csb(C).

2 信息熵的相關(guān)定義和計(jì)算模型

信息熵[7]是測(cè)量不確定性的一種度量方法，任何一個(gè)隨機(jī)變量的不確定性可以通過(guò)它的信息熵來(lái)表示.

信息熵的定義為：A為U上的一個(gè)條件屬性子集合，U/IND(A)={x1,x2,…，xn},d為u上一個(gè)決策屬性子集合,U/INDabh4ekd={y1,y2,…,yn}，則決策屬性ugfzxn5相對(duì)于條件屬性子集合的信息熵為：

Entropy(DA)=－p+lb p+－p－lb p－

如果將屬性集分類進(jìn)行合并[8]，在合并過(guò)程中，當(dāng)一個(gè)分類對(duì)于另一個(gè)分類的概率相等的情況下，不會(huì)導(dǎo)致信息熵發(fā)生變化，就出現(xiàn)了上面介紹過(guò)的增加一個(gè)屬性并不能為原有的屬性子集分類增加任何信息，此時(shí)就可以將之約簡(jiǎn).

根據(jù)以上結(jié)論可以得出，可以將核作為計(jì)算信息熵的起點(diǎn)，則在特征選擇的過(guò)程中，不斷地向特征子集C′中增加屬性r∈C，然后判斷信息熵H(D|C′{r})是否發(fā)生變化.如果該信息熵值是遞減的，則特征屬性r為不可約簡(jiǎn)的特征屬性.

即對(duì)于一個(gè)網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，A為C經(jīng)過(guò)攻擊特征選擇后得到的特征集合，C0是核.如果ri∈A\\C0是任意一個(gè)不能被約簡(jiǎn)的特征屬性，有：

H(qfy5yxc|C0)＞H(D|C0∪{ri})＞…＞H（D|C0∪{r1}∪{r2}∪…∪{ri}∪…）＞…＞H(D|A)

因?yàn)楹丝隙ㄊ窃谔卣鬟x擇的結(jié)果中，所以本文算法以核為起點(diǎn)，逐步向核的集合中增加特征，直到得到最后的特征選擇結(jié)果為止.

3 計(jì)算信息熵進(jìn)行特征選擇的算法

攻擊特征的相對(duì)重要性[9]定義為：對(duì)于一個(gè)網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，特征r∈C在C中對(duì)szk6ho6的重要性定義為：

SGE(r,C,D)=H(D|C\\{r})-H(D|C)

所以可以看出，在C確定的情況下，SGE(r,C,rqjzibh)越大，對(duì)于決策r2asmjh就越重要.當(dāng)且僅當(dāng)SGE(r,C,do5pn10)＞0時(shí)，攻擊特征r是必要的.

網(wǎng)絡(luò)攻擊特征數(shù)據(jù)選擇的具體步驟如下：

1)計(jì)算攻擊數(shù)據(jù)決策表系統(tǒng)中的信息熵H(6srlahx|C)：

H(639r2u2|C)=-∑ni=1p(xi)∑mj=1p(yj|xi)log(p(yj|xi)).

2)求特征集合的核：

COREhypbt27(C)={c∈C|SGF(c,C,q5eb1q6)＞0}；

SGF(c,C,k0uki7v)=H(eltvrit|C＼{c})-H(1esd72r|c).

則可以求出條件屬性特征集的核C0.

3)計(jì)算核的信息熵：H(wbx5yyf|COREauvlb6k(C0)).

4)以核為起點(diǎn)，選擇使信息熵最小的特征加入特征選擇子集中.

令C0為核，A={C-C0}，設(shè)ri∈A，則依次計(jì)算信息熵H(gzxpxzg|C0∪{ri})，使H(7yfrq8t|C0∪{ri})最小的ri加入C0中，C0′={C0+ri}，若H(nyzxuep|C0′)=H(l45mhe1|C)，則算法終止，得到了特征選擇的結(jié)果.

4 特征選擇結(jié)果分析

41 實(shí)驗(yàn)數(shù)據(jù)的選取

本文選用的數(shù)據(jù)集KDDCup99[10]是一個(gè)網(wǎng)絡(luò)連接記錄集，其中包含了大量的有代表性的正常網(wǎng)絡(luò)流量和各種攻擊類型，具有很強(qiáng)的代表性.KDDCup99數(shù)據(jù)集中的每條數(shù)據(jù)有41維屬性特征和一個(gè)為標(biāo)記正常與非正常的特征（即決策屬性）.前41維屬性特征被劃分為4個(gè)特征子集：基于TCP連接的特征屬性、基于內(nèi)容的特征屬性、基于2s時(shí)間窗的流量特征屬性、基于主機(jī)的流量特征屬性.決策屬性分為5類，即正常、DOS攻擊、Probing攻擊、U2R攻擊和R2L攻擊.

本文選取KDDCup99離線測(cè)試數(shù)據(jù)的10%子集作為實(shí)驗(yàn)基本數(shù)據(jù)，其各種攻擊類型所占比例為Normal(19.68%)、DOS(62.54%)、U2R(3.43%)、Probing(6.58%)、R2L(6.92%).

42 實(shí)驗(yàn)結(jié)果分析

經(jīng)過(guò)本文的算法對(duì)數(shù)據(jù)進(jìn)行處理后，共約簡(jiǎn)出21個(gè)攻擊特征，如表1~4所示.

經(jīng)過(guò)粗糙集特征選擇后，各候選特征子集所包含的特征數(shù)相比全部41個(gè)特征而言大為減少，這對(duì)于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練和入侵檢測(cè)系統(tǒng)的實(shí)時(shí)檢測(cè)而言，會(huì)有較好的性能提升.

根據(jù)特征屬性約簡(jiǎn)的結(jié)果，對(duì)于樣本數(shù)據(jù)重新整合形成神經(jīng)網(wǎng)絡(luò)的輸入向量，約簡(jiǎn)后的特征屬性不會(huì)影響數(shù)據(jù)連接之間的內(nèi)在聯(lián)系，且可以減少存儲(chǔ)空間和降低算法復(fù)雜性.在后面通過(guò)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行入侵分類的時(shí)候，根據(jù)選擇出的特征屬性，對(duì)樣本數(shù)據(jù)集進(jìn)行輸入向量的構(gòu)建，并在訓(xùn)練之前須對(duì)數(shù)據(jù)進(jìn)行數(shù)值化和歸一化處理，使它們可以適合于小波神經(jīng)網(wǎng)絡(luò)的處理，使用約簡(jiǎn)前后的數(shù)據(jù)集對(duì)基于小波神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)進(jìn)行檢測(cè)，檢測(cè)率分別為88.1%和90.4%，說(shuō)明特征屬性約簡(jiǎn)并不會(huì)影響網(wǎng)絡(luò)的分類性能，而且可以縮短網(wǎng)絡(luò)的訓(xùn)練時(shí)間.

5 結(jié)語(yǔ)

大量冗余特征的存在會(huì)加重入侵檢測(cè)系統(tǒng)的存儲(chǔ)負(fù)擔(dān)并降低網(wǎng)絡(luò)入侵檢測(cè)分類器的性能.為此本文提出了基于粗糙集和信息熵的入侵檢測(cè)特征選擇處理方法，針對(duì)于KDDCup99標(biāo)準(zhǔn)數(shù)據(jù)集，使用該算法對(duì)網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)特征進(jìn)行信息熵的計(jì)算、重要性的度量，完成了特征的選擇.結(jié)果表明去除冗余特征后，入侵檢測(cè)系統(tǒng)的檢測(cè)率與使用全部特征時(shí)是基本不變的，但是訓(xùn)練和測(cè)試時(shí)間卻降低了，達(dá)到了預(yù)想的效果.

參考文獻(xiàn):

［1］王元龍. 模式識(shí)別在發(fā)動(dòng)機(jī)故障診斷中的應(yīng)用［J］. 科技信息,2011,28(1):32-35.

［2］SUNG A H, MUKKAMALA S. Identifying important features for intrusion detection using support vector machines and neural networks ［C］ //Proceedings of the 2003 International Symposium on Applications and the Internet Technology.IEEE Computer Society Press,2003, 209-216.

［3］PAWLAK Z. Rough set theory and its applications to data analysis ［J］. Cybernetics and Systems 1998, 29(7):661-688.

［4］付磊，王金亮. 基于粗糙集理論的RBF神經(jīng)網(wǎng)絡(luò)在LUCC分類淺析［J］. 云南師范大學(xué)學(xué)報(bào):自然科學(xué)版,2010,30(3): 28-31.

［5］耿德志.基于粗糙集和模糊聚類方法的屬性約簡(jiǎn)算法［J］. 軟件導(dǎo)刊,2010，9（12）：81-83.

［6］蔣桂蓮,徐蔚鴻.改進(jìn)粗糙集屬性約簡(jiǎn)算法和支撐向量機(jī)的特征選擇算法［J］.微計(jì)算機(jī)信息,2010,32 (27): 235-241.

［7］孟洋,趙方.基于信息熵理論的動(dòng)態(tài)規(guī)劃特征選取算法［J］. 計(jì)算機(jī)工程與設(shè)計(jì),2010,39(17): 1542-1548.

［8］鄧林峰,趙榮珍.基于特征選擇和變精度粗集的屬性約簡(jiǎn)算法及其應(yīng)用［J］. 機(jī)械科學(xué)與技術(shù),2010,32(10): 384-389.