神經(jīng)網(wǎng)絡(luò)論文精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)論文主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)論文范文

[關(guān)鍵詞]反射認(rèn)知?jiǎng)?chuàng)造神經(jīng)網(wǎng)絡(luò)人工智能

一、生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)

生物神經(jīng)系統(tǒng)是以神經(jīng)元為基本單位，神經(jīng)元的外部形態(tài)各異，但基本功能相同，在處于靜息狀態(tài)時(shí)（無刺激傳導(dǎo)），神經(jīng)細(xì)胞膜處于極化狀態(tài)，膜內(nèi)的電壓低于膜外電壓，當(dāng)膜的某處受到的刺激足夠強(qiáng)時(shí)，刺激處會(huì)在極短的時(shí)間內(nèi)出現(xiàn)去極化、反極化（膜內(nèi)的電壓高于膜外電壓）、復(fù)極化的過程，當(dāng)刺激部位處于反極化狀態(tài)時(shí)，鄰近未受刺激的部位仍處于極化狀態(tài)，兩著之間就會(huì)形成局部電流，這個(gè)局部電流又會(huì)刺激沒有去極化的細(xì)胞膜使之去極化等等，這樣不斷的重復(fù)這一過程，將動(dòng)作電位傳播開去，一直到神經(jīng)末梢。

神經(jīng)元與神經(jīng)元之間的信息傳遞是通過突觸相聯(lián)系的，前一個(gè)神經(jīng)元的軸突末梢作用于下一個(gè)神經(jīng)元的胞體、樹突或軸突等處組成突觸。不同神經(jīng)元的軸突末梢可以釋放不同的化學(xué)遞質(zhì)，這些遞質(zhì)在與后膜受體結(jié)合時(shí)，有的能引起后膜去極化，當(dāng)去極化足夠大時(shí)就形成了動(dòng)作電位；也有的能引起后膜極化增強(qiáng)，即超極化，阻礙動(dòng)作電位的形成，能釋放這種遞質(zhì)的神經(jīng)元被稱為抑制神經(jīng)元。此外，有的神經(jīng)元之間可以直接通過突觸間隙直接進(jìn)行電位傳遞，稱為電突觸。還有的因樹突膜上電壓門控式鈉通道很少，樹突上的興奮或抑制活動(dòng)是以電緊張性形式擴(kuò)布的，這種擴(kuò)布是具有衰減性的。

圖1

一個(gè)神經(jīng)元可以通過軸突作用于成千上萬的神經(jīng)元，也可以通過樹突從成千上萬的神經(jīng)元接受信息，當(dāng)多個(gè)突觸作用在神經(jīng)元上面時(shí)，有的能引起去極化，有的能引起超極化，神經(jīng)元的沖動(dòng)，即能否產(chǎn)生動(dòng)作電位，取決于全部突觸的去極化與超級(jí)化作用之后，膜的電位的總和以及自身的閾值。

神經(jīng)纖維的電傳導(dǎo)速度因神經(jīng)元的種類、形態(tài)、髓鞘有無等因素的不同而存在很大差異，大致從0.3m/s到100m/s不等。在神經(jīng)元與神經(jīng)元之間的信息交換速度也因突觸種類或神經(jīng)遞質(zhì)的不同而存在著不同的突觸延擱，突觸傳遞信息的功能有快有慢，快突觸傳遞以毫秒為單位計(jì)算，主要控制一些即時(shí)的反應(yīng)；慢突觸傳遞可長達(dá)以秒為單位來進(jìn)行，甚至以小時(shí)，日為單位計(jì)算，它主要和人的學(xué)習(xí)，記憶以及精神病的產(chǎn)生有關(guān)系。2000年諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)授予了瑞典哥德堡大學(xué)77歲的阿維·卡爾松、美國洛克菲勒大學(xué)74歲的保羅·格林加德以及出生于奧地利的美國哥倫比亞大學(xué)70歲的埃里克·坎德爾，以表彰他們發(fā)現(xiàn)了慢突觸傳遞這樣一種“神經(jīng)細(xì)胞間的信號(hào)轉(zhuǎn)導(dǎo)形式”。本次獲獎(jiǎng)?wù)叩闹饕暙I(xiàn)在于揭示“慢突觸傳遞”，在此之前，“快突觸傳遞”已經(jīng)得過諾貝爾獎(jiǎng)。此外，使用頻繁的突觸聯(lián)系會(huì)變得更緊密，即突觸的特點(diǎn)之一是用進(jìn)廢退，高頻刺激突觸前神經(jīng)元后，在突觸后神經(jīng)元上紀(jì)錄到的電位會(huì)增大，而且會(huì)維持相當(dāng)長的時(shí)間。所以可以得出一條由若干不定種類的神經(jīng)元排列構(gòu)成的信息傳導(dǎo)鏈對信息的傳導(dǎo)速度會(huì)存在很大的彈性空間，這一點(diǎn)對神經(jīng)系統(tǒng)認(rèn)知事件有著非常重要的意義。

神經(jīng)系統(tǒng)按功能可大致分為傳入神經(jīng)（感覺神經(jīng)）、中間神經(jīng)（腦：延腦、腦橋、小腦、中腦、間腦、大腦脊髓）與傳出神經(jīng)（運(yùn)動(dòng)神經(jīng)）三類。

生物要適應(yīng)外界環(huán)境的變化，就必須能夠感受到這種變化，才能做出反應(yīng)。生物的感受器多種多樣，有的是單單感覺神經(jīng)元的神經(jīng)末梢；有的是感受器細(xì)胞；還有的感受器除了感受細(xì)胞外還增加了附屬裝置，且附屬裝置還很復(fù)雜，形成特殊的感覺器官。無論感受器的復(fù)雜程度如何，它在整個(gè)神經(jīng)系統(tǒng)中都起著信息采集的作用，它將外界物理的或化學(xué)的動(dòng)態(tài)信號(hào)反應(yīng)在感覺神經(jīng)細(xì)胞膜的電位變化上，膜上的電位變化可形成動(dòng)作電位向遠(yuǎn)端傳導(dǎo)。

中間神經(jīng)在系統(tǒng)中起著計(jì)算及信息傳導(dǎo)的作用，通常感覺神經(jīng)傳來的動(dòng)作電位經(jīng)過若干個(gè)中間神經(jīng)元的計(jì)算響應(yīng)后在傳遞到傳出神經(jīng)形成反射弧，但也有的反射弧僅由傳入神經(jīng)元與傳出神經(jīng)元直接組成，如敲擊股四頭肌引起的膝反射。傳出神經(jīng)可分為軀體神經(jīng)與內(nèi)臟神經(jīng)兩類，它們都最終連接著效應(yīng)器，只是內(nèi)臟神經(jīng)需要通過一個(gè)神經(jīng)節(jié)來連接效應(yīng)器，最后由效應(yīng)器調(diào)空肌體器官做出相應(yīng)的反應(yīng)。

二、生物神經(jīng)網(wǎng)絡(luò)的建立

1994年，一種被稱為Netrin-1、將軸突吸引到分泌它的神經(jīng)細(xì)胞的可擴(kuò)散蛋白被發(fā)現(xiàn),此后人們發(fā)現(xiàn)，同一軸突引導(dǎo)分子既可吸引、也可排斥前來的軸突。其中，環(huán)狀A(yù)MP（也稱cAMP）、環(huán)狀GMP（也稱cGMP）和鈣離子，都可能是從參與將發(fā)育中的神經(jīng)元引導(dǎo)到其目標(biāo)上的受體中轉(zhuǎn)導(dǎo)信號(hào)的第二種信使。新的實(shí)驗(yàn)表明，正是cAMP/cGMP的比例決定著Netrin-1是起一種吸引信號(hào)的作用還是起一種排斥信號(hào)的作用，這些環(huán)狀核苷通過控制軸突生長錐中的L-型鈣通道來起作用。

目前已經(jīng)發(fā)現(xiàn)大量對神經(jīng)軸突生長具有導(dǎo)向作用的分子，這些分子可以分為兩大類：一類分子固著在細(xì)胞膜表面或細(xì)胞外基質(zhì)中，影響局部的神經(jīng)纖維生長，這類因子包括ephrin,MAG(myelin-associatedglycoprotein),Nogo等；另一類是分泌性分子，能擴(kuò)散一定的距離并形成濃度梯度起作用，如netrin,slit,semaphorin家族的大多數(shù)成員,及各種神經(jīng)營養(yǎng)因子等。神經(jīng)軸突的前端有生長錐（growthcone）的結(jié)構(gòu)起到對環(huán)境信號(hào)的探測作用。神經(jīng)生長錐表面存在各種導(dǎo)向因子的受體，它們特異地識(shí)別環(huán)境中各種因子，并向細(xì)胞內(nèi)傳遞吸引（attractive）或是排斥(repulsive)的信號(hào)，從而通過調(diào)節(jié)生長錐內(nèi)的細(xì)胞骨架的重組來引導(dǎo)神經(jīng)纖維沿特定路線生長（我國科學(xué)家袁小兵等研究人員發(fā)現(xiàn)，在脊髓神經(jīng)元上，神經(jīng)細(xì)胞內(nèi)RHOA酶和CDC酶直接傳遞外界方向信號(hào)，引導(dǎo)神經(jīng)生長方向，同時(shí)這兩種酶相互作用，對生長方向進(jìn)行細(xì)致的調(diào)節(jié)）。未成熟神經(jīng)細(xì)胞柔弱的軸突在這些信號(hào)的引導(dǎo)下，試探地穿行于正處于發(fā)育階段、仍是一片紛亂的大腦之中，最終抵達(dá)適當(dāng)?shù)哪康牡?。一旦軸突的末端找到了其正確的棲息地，它就開始與周圍神經(jīng)元建立盡可能廣泛的突觸聯(lián)系，以便傳導(dǎo)信息。

脊椎動(dòng)物出生后早期發(fā)育中的一個(gè)特征是，神經(jīng)鍵（或神經(jīng)連接）的消除。最初，一個(gè)神經(jīng)肌肉連接被多個(gè)軸突支配，然后所有軸突都退出，只剩下一個(gè)，對相互競爭的神經(jīng)元來說，決定勝負(fù)的是它們的相對活性。為了能準(zhǔn)確的連接到目的地，單個(gè)或多個(gè)神經(jīng)元會(huì)沿導(dǎo)向分子所確定的大致方向上生長出若干條神經(jīng)纖維，其中總會(huì)有能正確連接到目的地的神經(jīng)纖維，所建立的若干神經(jīng)鏈路在刺激信號(hào)的作用下，正確的信息傳遞會(huì)使鏈接會(huì)變的更加穩(wěn)固，反之則慢慢萎縮分離。打個(gè)比方講：兩個(gè)城市間原本沒有路，如果要修的話會(huì)先派人去探索出若干條路，最后去修筑被優(yōu)選出來的路，而其他的則會(huì)被遺棄。

三、神經(jīng)網(wǎng)絡(luò)的基本工作原理

1、反射

自然界中，事物的發(fā)展、能量的轉(zhuǎn)化、信息的傳遞等等各種的自然現(xiàn)象都包含著因果關(guān)系，只要時(shí)間沒有停滯，這種關(guān)系將廣泛存在，從“因”到“果”，貫穿著事物的發(fā)展過程，當(dāng)過程長且復(fù)雜時(shí)我們稱之為“事件”，反之則稱之為“觸發(fā)”。

生物個(gè)體在與外界環(huán)境或是個(gè)體自身進(jìn)行物質(zhì)或信息交換時(shí)，也存在著這種現(xiàn)象，在這里我們稱之為“反射”。

反射是最基本的神經(jīng)活動(dòng)，現(xiàn)行的說法是將反射分為兩種，無條件反射和條件反射，其中，無條件反射是動(dòng)物和人生下來就具有的，即遺傳下來的對外部生活條件特有的穩(wěn)定的反應(yīng)方式，在心理發(fā)展的早期階段，這種反應(yīng)方式提供最基本的生存技能，也就是本能，如：食物反射、防御反射、定向反射，還有一些可能是在人類進(jìn)化過程中，曾經(jīng)有一定生物適應(yīng)意義的無條件反射，如：巴賓斯基反射、抓握反射、驚跳反射（又叫摩羅反射）、游泳反射、行走反射等，此外，還有其他一些無條件反射，如眨眼反射、瞳孔反射、吞咽反射、打嗝、噴嚏等等。

條件反射是后天訓(xùn)練出來的，著名科學(xué)家巴甫洛夫就曾對條件反射的形成、消退、自然恢復(fù)、泛化、分化以及各種抑制現(xiàn)象進(jìn)行過相當(dāng)細(xì)致、系統(tǒng)的實(shí)驗(yàn)研究，。

無論是條件反射還是無條件反射，從主觀上都可以看作是一種因果作用關(guān)系，即都存在著觸發(fā)條件，都會(huì)導(dǎo)致某一結(jié)果的產(chǎn)生，所以無條件反射其實(shí)也屬于條件反射范疇。只有在成因上，無條件反射是根據(jù)遺傳信息形成的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而條件反射是后天在先前的網(wǎng)絡(luò)基礎(chǔ)上，依據(jù)外界環(huán)境繼續(xù)發(fā)展完善的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。兩者之間是繼承和發(fā)展的關(guān)系，但從這兩個(gè)階段所形成的神經(jīng)網(wǎng)絡(luò)功能來看，對外界的刺激都具備輸入、傳遞、輸出這一處理過程即反射過程，所以從某種意義上講，也可以把無條件反射歸類到條件反射范疇中去，或者說條件反射等同于反射。

神經(jīng)系統(tǒng)中的條件反射具有三個(gè)要素：輸入、傳遞、輸出。其中的每一個(gè)要素既可以用單個(gè)神經(jīng)元表示，也可以用一個(gè)神經(jīng)群落來表示。當(dāng)用少數(shù)幾個(gè)神經(jīng)元表示時(shí)，對應(yīng)的是生物個(gè)體對局部刺激的反應(yīng)，當(dāng)擴(kuò)展到神經(jīng)群落時(shí)，對應(yīng)的就可能就是對某一激發(fā)事件的處理方法了。

反射中的輸入，最能使我們聯(lián)想到傳入神經(jīng)元（感覺神經(jīng)元），但在這里，它可以指單個(gè)的感覺神經(jīng)元，也可以指一種感官（眼睛中的視神經(jīng)群落、耳中的聽覺神經(jīng)中樞、皮膚中與各類感受器連接的神經(jīng)群落等等），甚至可以是大腦中某一區(qū)域內(nèi)形成某一表象或是概念的神經(jīng)群落。反射中的輸出同樣可以指傳出神經(jīng)元（即脊髓前角或腦干的運(yùn)動(dòng)神經(jīng)元），也可以指大腦中某一區(qū)域內(nèi)形成某一概念或是表象的神經(jīng)群落。反射中的中間傳遞過程是信息的加工處理的過程，可以由單個(gè)神經(jīng)元、神經(jīng)鏈路或是神經(jīng)網(wǎng)絡(luò)來承擔(dān)，甚至可以直接由輸入與輸出的對應(yīng)載體來分擔(dān)。這樣生物神經(jīng)系統(tǒng)中的反射弧只是它的一個(gè)子項(xiàng)罷了，條件反射在主觀上也對應(yīng)著我們常說的“產(chǎn)生、經(jīng)過與結(jié)果”即因果關(guān)系。

2、認(rèn)知

有一個(gè)低等生物海兔的記憶試驗(yàn):海兔本身具有被觸摸(水管部分)后的鰓縮反射,但連續(xù)十幾次的刺激后,鰓縮反應(yīng)就逐漸減慢.經(jīng)過研究發(fā)現(xiàn),海兔的習(xí)慣化是由于神經(jīng)遞質(zhì)發(fā)生變化所致.進(jìn)一步的研究發(fā)現(xiàn)這種變化是突觸中的感覺神經(jīng)元的Ca離子門關(guān)閉,導(dǎo)致遞質(zhì)的釋放量減少所致.上述試驗(yàn)說明簡單的記憶與神經(jīng)遞質(zhì)和突觸有關(guān).又如大鼠的大腦皮質(zhì)切除試驗(yàn):用迷宮訓(xùn)練大鼠,如果大鼠學(xué)會(huì)并記住順利走出迷宮的道路后,切除它的大腦皮質(zhì),記憶就會(huì)消退.不論切除的是大腦皮質(zhì)的哪一部分,總是切除的多,記憶消退的多;切除的少,記憶消退的就少。

首先，認(rèn)知通常強(qiáng)調(diào)的是結(jié)果，是神經(jīng)網(wǎng)絡(luò)定型后的結(jié)果。神經(jīng)網(wǎng)絡(luò)的定型過程就是認(rèn)知的建立過程，也就是生物個(gè)體的學(xué)習(xí)過程，它同時(shí)表現(xiàn)了出生物的記憶過程。定型好的神經(jīng)網(wǎng)絡(luò)對觸發(fā)信息的處理過程即反射過程，就是記憶的提取過程，也正是通過這一過程反映出了認(rèn)知的存在。

生物個(gè)體對客觀事物的認(rèn)知可以解釋為：客觀事物在主觀意識(shí)中形成了表象，并且該表象與一系列的活動(dòng)（生理的或心理的）相聯(lián)系。換句話說，某一客觀事物的信息如果經(jīng)過大腦處理能夠引發(fā)出一系列的動(dòng)作（這是一種反射現(xiàn)象，符合前面對反射的定義），我們就可以說對這一事物已經(jīng)認(rèn)知了。

行為主義與符號(hào)主義中對認(rèn)知建立過程中所顯現(xiàn)出的記憶現(xiàn)象都有很詳細(xì)的類別劃分，其中每一種記憶類別都僅與一種認(rèn)知的建立模式相對應(yīng)。所以，與其用記憶類別來劃分還不如用認(rèn)知類別來劃分更為合理，在這里由于篇幅所限，我僅將認(rèn)知簡單概括為以下三種類別：物體認(rèn)知、事件認(rèn)知以及兩種認(rèn)知的衍生產(chǎn)物抽象事物認(rèn)知。

a、物體認(rèn)知

感受外界客觀環(huán)境最簡單的辦法是通過感官直接去“接觸”物質(zhì)對象，并通過大腦處理，并最終導(dǎo)致一個(gè)或一系列的結(jié)果，這種因果過程就是對客觀物體的認(rèn)知。如：看到一個(gè)蘋果，我們產(chǎn)生了拿的動(dòng)作，同時(shí)也可以產(chǎn)生許多其他的動(dòng)作如激活色彩感覺中樞、激活味覺中樞等等，當(dāng)可以有這些動(dòng)作產(chǎn)生時(shí)，就完成了對蘋果的認(rèn)知。

下面我們將詳細(xì)講解神經(jīng)網(wǎng)絡(luò)對物體認(rèn)知的描述。

一個(gè)輸入集合I（觸覺、視覺等的感應(yīng)細(xì)胞構(gòu)成的集合或是處于某一層次上的神經(jīng)元集合）對之內(nèi)兩個(gè)不同區(qū)域（A、B）的刺激做出相應(yīng)Y與X兩種不同反應(yīng)的神經(jīng)處理過程,如圖2。

圖2的a、b、c為三種AB可能存在的輸入情況。圖2a中A、B分別對應(yīng)Y、X，神經(jīng)鏈路沒有重疊，刺激A時(shí)得到Y(jié)的輸出，刺激B時(shí)得到X的輸出，結(jié)果不會(huì)出現(xiàn)問題，請注意：帶有方向的黑線只是代表邏輯上的鏈路，在實(shí)際中，鏈路與鏈路之間有質(zhì)的區(qū)別，這里只做簡單的等價(jià)說明，用數(shù)量表示質(zhì)量。圖2b中A、B間有了交叉，在處理過程中，當(dāng)A受到刺激會(huì)產(chǎn)生Y的輸出，同時(shí)會(huì)有三條邏輯鏈路去刺激X，但做為X的全部決定因素，這三條相比從B到X余下的空閑聯(lián)絡(luò)，只占很小的一部分，它們還不足以激活X，所以分別刺激A、B仍然會(huì)得到正確的輸出。對于X這種在某一層次上的輸出神經(jīng)元來說，是否能被激活，主要取決于所有處于不同狀態(tài)的輸入鏈路的能量對比，在這里能量被量化為邏輯鏈路的數(shù)量，這樣每個(gè)神經(jīng)元對值的判斷則等價(jià)為判斷處于激活狀態(tài)的邏輯鏈路數(shù)是否過半。此類神經(jīng)鏈路就是興奮類傳導(dǎo)神經(jīng)網(wǎng)絡(luò)，單純采用此類神經(jīng)鏈路的系統(tǒng)只需要根據(jù)相應(yīng)刺激感受區(qū)域是否有刺激發(fā)生，就可以得出正確的輸出結(jié)果，但是在圖2c中，刺激區(qū)域A包含著B的情況下，如果刺激B區(qū)會(huì)有正確輸出X，然而如果刺激A區(qū)則會(huì)出錯(cuò)，Y與X會(huì)同時(shí)有效，這時(shí)我們就需要一種鏈路來阻止這種錯(cuò)誤的發(fā)生，這就是抑制類神經(jīng)鏈路，如圖2c中的虛線箭頭所示，抑制類邏輯鏈路只起到?jīng)_減、抵消興奮類邏輯鏈路數(shù)量的作用，使得X在沖減后的興奮鏈路合計(jì)數(shù)小于閥值，從而達(dá)到唯一正確輸出Y得目的。

在圖2中列舉的神經(jīng)網(wǎng)絡(luò)認(rèn)知模式中，雖然只涉及到了輸入與輸出，但在兩者之間已經(jīng)包含了計(jì)算的成分，或是說承擔(dān)了傳遞計(jì)算的功能，此外不難發(fā)現(xiàn)：能夠?qū)δ骋晃矬w認(rèn)知，必須要首先區(qū)分開其他物體，尤其是符合圖2c中的情況，物體間的差異正好可以滿足這一需求。這樣，即使是從同一個(gè)感官傳來的信息，也能做到很好的區(qū)分。

當(dāng)認(rèn)知的對象較為復(fù)雜時(shí)（如蘋果），對象包含有各種各樣的屬性，其中的每一種屬性的響應(yīng)過程，在局部都遵循著反射的定義。當(dāng)在某一時(shí)刻，與蘋果相關(guān)的各種屬性的神經(jīng)子網(wǎng)絡(luò)被大部分激活時(shí)，蘋果的表象就成了焦點(diǎn)。更確切的講是，感官捕捉的信息在傳遞的過程中，經(jīng)過了代表各種屬性的神經(jīng)子網(wǎng)絡(luò)，一些屬性因條件不滿足而停止傳遞，最后由可以通過的（即被確認(rèn)的屬性）神經(jīng)子網(wǎng)絡(luò)繼續(xù)向后傳遞，最后再引發(fā)一系列的動(dòng)作，其中反射可以指局部的傳遞（單個(gè)屬性的確認(rèn)），也可以指整個(gè)傳遞過程（看到蘋果后，可以去拿可以去想等等）。

蘋果在人腦中形成的表象，其實(shí)就是指感官根據(jù)蘋果實(shí)物產(chǎn)生的電信號(hào)所能經(jīng)過的神經(jīng)鏈路，神經(jīng)鏈路與神經(jīng)網(wǎng)絡(luò)的關(guān)系相當(dāng)于行走路徑與公路網(wǎng)的關(guān)系。此外其他的神經(jīng)區(qū)域輸出的電信號(hào)如果在傳遞過程中也能引發(fā)出與前面提到的“蘋果神經(jīng)鏈路”相同或相似動(dòng)作或是功能的話，也可以說是形成了蘋果的表象，這種現(xiàn)象可以使我們認(rèn)知客觀世界不存在的事物或個(gè)體自身從未接觸過的事物。

b、事件認(rèn)知

任何事物在一段時(shí)間內(nèi)發(fā)生了變動(dòng)，在這里都可以被稱之為事件。因果關(guān)系同樣也具備事件的屬性，如果能深入分析一下各種事件的過程，基本上都能找到因果關(guān)系的影子。在前面對物體的認(rèn)知中，我們知道了神經(jīng)網(wǎng)絡(luò)認(rèn)知物體是以因果關(guān)系的方式建立的網(wǎng)絡(luò)鏈路，為了不引起混淆，下面以因果關(guān)系為認(rèn)知對象的，我們用事件來代替，對事件的認(rèn)知過程，近似于對物體的認(rèn)知過程，相當(dāng)于把事件等同于物體，由于事件具有時(shí)間性，所以神經(jīng)網(wǎng)絡(luò)就必須能夠處理時(shí)間問題。

神經(jīng)元的形狀各異，軸突有長有短，且對信息的加工時(shí)間與傳遞速度也各不相同，這樣對同一起點(diǎn)不同的傳遞路徑，信息的傳遞速度可能不同。還以圖2為例，現(xiàn)在假設(shè)每一個(gè)箭頭除了代表一個(gè)神經(jīng)元連接外，還代表一個(gè)單位傳遞時(shí)間，當(dāng)首先刺激A區(qū)后并在第二個(gè)單位時(shí)間內(nèi)刺激B區(qū)，將兩次觸發(fā)過程當(dāng)作一個(gè)事件，導(dǎo)致一個(gè)輸出Y；同法當(dāng)先刺激B區(qū)，然后在刺激A區(qū)時(shí)會(huì)有另一個(gè)輸出X，如圖3

根據(jù)這種通過神經(jīng)鏈路上神經(jīng)元個(gè)數(shù)進(jìn)行延時(shí)的方法，任何處于時(shí)間片段上的信息都可以被處理。我們再舉個(gè)更加復(fù)雜的例子，單輸入神經(jīng)元網(wǎng)絡(luò)對摩爾斯電碼的識(shí)別與重現(xiàn)。

假設(shè)輸入神經(jīng)元為A，按嚴(yán)格的爾斯電碼規(guī)則來刺激該神經(jīng)元，最后由神經(jīng)網(wǎng)絡(luò)得出字符序列，如圖4

當(dāng)A收到刺激信號(hào)時(shí)，將信號(hào)廣播給不同的識(shí)別群體，圖4中只給出了其中的一個(gè)網(wǎng)絡(luò)群體，給出的這個(gè)群體只能認(rèn)識(shí)字符“b”即電碼“—…”。為了簡化說明，圖4中舍棄了每個(gè)神經(jīng)元的其他輸入輸出鏈路以及相關(guān)的抑制鏈路，所以圖中的每一個(gè)指向神經(jīng)元的箭頭均存在著“與”的邏輯運(yùn)算關(guān)系，在這里它們不表示邏輯數(shù)量。

由圖4可以看出，先收到的信號(hào)經(jīng)過較多的傳遞神經(jīng)元進(jìn)行延時(shí)，再連同后面收到的信號(hào)一起同時(shí)傳遞到結(jié)果輸出上，這樣處于時(shí)間片段上的信息就可以被當(dāng)作是一個(gè)整體來進(jìn)行處理。粗虛線上半部分為輸入識(shí)別部分，下半部分為信息重現(xiàn)部分，仔細(xì)觀察就會(huì)發(fā)現(xiàn)，兩部分的神經(jīng)鏈路并不是互成鏡像，輸入為前端延時(shí)，依次為：1、3、5、7、8、9，輸出為后端延時(shí)，依次為：9、7、5、3、2、1，所以認(rèn)識(shí)事物與應(yīng)用事物是由兩套不同的神經(jīng)網(wǎng)絡(luò)來控制完成的。圖4中的兩條傾斜細(xì)虛線是一個(gè)虛擬的標(biāo)示線，從某種意義上講這里是事物的表象層，中間本應(yīng)該是更加復(fù)雜的表象處理網(wǎng)絡(luò)，在這里只簡單的假設(shè)性的給出了表象輸出與輸入。

c、抽象概括與抽象描述

對事物（事件、物體）的認(rèn)知，使我們得以在大腦中建立出與客觀世界相對應(yīng)的表象，作為記錄事物表象的神經(jīng)鏈路網(wǎng)上的每一個(gè)分支與合并都可能是事物在不同層次上的一種“特征的概括與描述”（參見圖3左圖）。

神經(jīng)網(wǎng)絡(luò)在認(rèn)知新的事物時(shí)，輸入信息總是盡可能的使用已存在的網(wǎng)絡(luò)鏈路進(jìn)行傳遞處理，當(dāng)處理不足以產(chǎn)生正確的結(jié)果時(shí)才在信息的中斷處搭建新的網(wǎng)絡(luò)連接。在局部，如果已存在的網(wǎng)絡(luò)鏈路可以被使用，那么這部分網(wǎng)絡(luò)結(jié)構(gòu)通常是一種共性的表達(dá)，當(dāng)這種表達(dá)隨著同類認(rèn)知的增加而逐漸完善時(shí)，就可以作為一種屬性的表象，這在主觀上是一種抽象概括的過程。

例如，對蘋果的認(rèn)知，“蘋果”本身是一個(gè)概括出來的詞匯，它不具體指哪一個(gè)蘋果，但在認(rèn)知若干個(gè)具體蘋果的過程中，與各個(gè)蘋果相對應(yīng)的神經(jīng)鏈路的共用部分被逐漸加強(qiáng)，這部分神經(jīng)網(wǎng)絡(luò)就可以說是“蘋果”這一概念的表象區(qū)域。此外，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不光能實(shí)現(xiàn)對有形的抽象概括，也可以對無形的加以抽象概括，例如“水果”的表象，這一表象的形成可以說是用若干不同種類的水果培養(yǎng)出來的，也可以說是由“蘋果”、“梨”等等表象的神經(jīng)鏈路的共用部分完善而成的，后一種方式可以理解為抽象概括可以建立在另一種抽象概念之上，即對無形的事物也可以做抽象概括。換個(gè)角度講，這些抽象出來的表象本身就是一種有形的物質(zhì)，它是由若干神經(jīng)元搭建起來的網(wǎng)絡(luò)系統(tǒng)，是客觀存在的東西，這樣的話就與第一種方式相一致了。

語言是生物間交流的工具，是生物為了更好的適應(yīng)周圍的環(huán)境而進(jìn)化產(chǎn)生的，在這里它包含有聲音、文字、動(dòng)作、行為以及低等生物的化學(xué)接觸等等內(nèi)容。就拿我們?nèi)祟悂碚f，每一個(gè)發(fā)音、每一個(gè)文字符號(hào)都可以說是對應(yīng)著一種表象，這個(gè)表象可以是抽象出來的也可以是具體事物產(chǎn)生的。語言是通過觸發(fā)來進(jìn)行工作，當(dāng)然也可以說是一種反射或是因果現(xiàn)象。無論是說還是聽，也不論是寫還是看，對于說或者是寫這種輸出性質(zhì)的處理，可以解釋為某個(gè)表象被激活時(shí)，它又被作為輸入信號(hào)沿著該表象至發(fā)音或是運(yùn)動(dòng)器官間的語言神經(jīng)鏈路傳遞電信號(hào)，直至發(fā)音或是運(yùn)動(dòng)器官做出相應(yīng)的動(dòng)作。聽與看也是如此，感官接收到信息后傳遞直至激活某一個(gè)表象區(qū)域（請參見圖4）。語言與表象之間廣泛存在著對等映射關(guān)系，它可以使我們能夠直接去運(yùn)用語言來進(jìn)行思維，即便是表象與輸入輸出沒有語言神經(jīng)鏈路對應(yīng)關(guān)系的，如果需要我們也會(huì)臨時(shí)的建立起語言神經(jīng)鏈路，如本文中說的圖幾圖幾、這個(gè)那個(gè)等等，或者用相關(guān)的有語言鏈路的表象通過塑造、闡述、刻畫、定位等等方式來體現(xiàn)或是建立該表象，這種建立神經(jīng)鏈路的過程往往體現(xiàn)出不同種類的記憶模式。

生物的記憶過程與機(jī)械的存儲(chǔ)過程原理基本相同，都是通過改變載體的性狀來表達(dá)的，只是生物是通過神經(jīng)網(wǎng)絡(luò)的響應(yīng)過程來表達(dá)或再現(xiàn)記憶的內(nèi)容，就是說該神經(jīng)網(wǎng)絡(luò)的連接結(jié)構(gòu)就反映著記憶的內(nèi)容，所以生物的記憶過程就是建立特定連接方式的神經(jīng)網(wǎng)絡(luò)的過程，而提取過程就是激活這部分神經(jīng)網(wǎng)絡(luò)的過程。一旦載有相關(guān)記憶內(nèi)容的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被確定時(shí)，能量只能體現(xiàn)在信息的提取與再現(xiàn)上，當(dāng)然維持這種結(jié)構(gòu)也需要一點(diǎn)能量，不然神經(jīng)元就餓死了：）注意：這里強(qiáng)調(diào)的是“過程”。

生物的認(rèn)知過程對外表現(xiàn)為學(xué)習(xí)過程，對內(nèi)表現(xiàn)為神經(jīng)網(wǎng)絡(luò)的建立及使用過程，在學(xué)習(xí)過程中往往會(huì)同時(shí)伴隨著反饋過程（內(nèi)反饋或外反饋），生物從外界獲得信息，傳遞處理后再作用給外界，并同時(shí)獲取作用后新的信息，周而復(fù)始的運(yùn)做，這就是外反饋過程。外反饋過程是依靠外界因素幫助或是引導(dǎo)或是促使生物個(gè)體建立起能與環(huán)境相協(xié)調(diào)運(yùn)做的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，主觀上我們稱之為“教育”。內(nèi)反饋主要體現(xiàn)在我們的思維活動(dòng)上，通常外界事物在大腦中存在著對應(yīng)的表象，被外反饋完善了的事物表象之間同樣可以建立起互動(dòng)聯(lián)系，比如講一個(gè)事物的表象被激活（輸入），引發(fā)其他的表象也被激活（輸出），這些被激活的表象同樣也可以作為輸入去激活先前的或是其他的表象，然后周而復(fù)始的運(yùn)做，使得信息得以在腦內(nèi)進(jìn)行反復(fù)的處理。內(nèi)反饋過程實(shí)際上就是一種“自學(xué)”的過程，但它的激發(fā)源頭必定是與外界有關(guān)，并且最終要作用于外界，所以說內(nèi)外反饋往往是兼而有之的。

在認(rèn)知過程中隨著內(nèi)反饋的素材（表象）不斷增多，生物個(gè)體漸漸能夠認(rèn)知自身與外界間的互動(dòng)關(guān)系，自我意識(shí)也就隨之產(chǎn)生，同時(shí)我們用以進(jìn)行思維的素材及其運(yùn)作方式，如概念，詞匯以及由這些材料所帶來的情感因素及組織方式等等，絕大部分都來源于前人或者是借用他人的經(jīng)驗(yàn)，生物個(gè)體對這些經(jīng)驗(yàn)素材的獲取，或是由于接觸的幾率的不同，或是由于認(rèn)同的程度的高低，個(gè)體間總會(huì)存在著差異，這樣就產(chǎn)生了我們不同的個(gè)性特征。

3、創(chuàng)造

生物在與周圍環(huán)境發(fā)生相互作用時(shí)，不可避免的會(huì)對周圍的環(huán)境造成一定的影響，無論是主動(dòng)的還是被動(dòng)的，這些對環(huán)境的影響最終都是為了促使生物以更好的適應(yīng)周圍的環(huán)境。遵循優(yōu)勝劣汰的法則，好的影響將會(huì)被保留繼承下去，如搭窩、建巢、獲取食物等等，而壞的影響會(huì)增加生物生存的風(fēng)險(xiǎn)。

神經(jīng)網(wǎng)絡(luò)在認(rèn)知事物后，事物的表象往往不是特定對應(yīng)著某一個(gè)具體事物，而是對應(yīng)著在一個(gè)模糊的范圍內(nèi)所含闊的一類事物。例如，我們認(rèn)知的蘋果，泛指各種各樣的蘋果，甚至還包括那些嫁接出來的長的象其他水果的蘋果等等。在我們依據(jù)蘋果的表象勾勒出一個(gè)具體的蘋果時(shí)，這個(gè)蘋果將肯定不會(huì)與客觀世界中的任何一個(gè)蘋果相同，因?yàn)闆]有兩樣?xùn)|西是絕對相同的。產(chǎn)生一個(gè)客觀世界不存在的事物，就是創(chuàng)造，其過程就是創(chuàng)造的過程。

生物神經(jīng)網(wǎng)絡(luò)中事物的表象往往穿插交錯(cuò)在一起，它們以鏈路最省的方式構(gòu)成。任何神經(jīng)鏈路上的合并都可以說是事物的某一特征在某一層次上的概括，所以表象可以以不同的內(nèi)涵層次來拆分成各種各樣的屬性單元（元素），而任何神經(jīng)鏈路上的分支都可以說是事物的某一特征在某一層次上的副本，使得這些屬性單元也能夠隸屬于別的表象或是說用于構(gòu)建（表達(dá)）別的表象，當(dāng)若干種屬性單元在某一時(shí)刻都處于激活狀態(tài)時(shí)，就等同于一種表象被激活，無論這個(gè)表象是否對應(yīng)著客觀世界中的事物，如果沒有對應(yīng)關(guān)系那就是一個(gè)較高形式的創(chuàng)造過程。

創(chuàng)造的幾種主要的表達(dá)形式：聯(lián)想、推理、頓悟

a、聯(lián)想

當(dāng)一個(gè)事物的表象被激活時(shí)，也就是說該表象所包含的若干屬性單元（元素）同時(shí)有效時(shí)，我們的注意力焦點(diǎn)就集中在這個(gè)表象上，如果對該表象的處理（內(nèi)或外反饋）使的表象被否決時(shí)，也就是說由于一些屬性單元的失效（或被抑制，或處于高阻），導(dǎo)致該表象無法成立的時(shí)候，剩余的屬性單元或許可以構(gòu)成另一種事物的表象，或許還需要結(jié)合那些被激活了的新的屬性（或是由外界事物具有的新的屬性所激活，或是因降低了對一些屬性的抑制所導(dǎo)致的激活）。

b、推理

聯(lián)想是一種去激活與事物表象相關(guān)聯(lián)的其他表象的過程，主觀上是一種橫向擴(kuò)展的過程，那么縱向過程就是由于一個(gè)或若干個(gè)事物表象被激活，從而導(dǎo)致另一個(gè)表象也被激活的過程，即推理過程，其中的任何一個(gè)表象的確立（激活）都會(huì)通過反饋過程加以驗(yàn)證。推理與聯(lián)想在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上十分的相似，功能上也基本相同，只是在主觀認(rèn)識(shí)上，聯(lián)想更強(qiáng)調(diào)相關(guān)性或是相似性，而推理則強(qiáng)調(diào)的是次序性或?qū)哟涡浴?/p>

c、頓悟

當(dāng)我們思考一件事情時(shí)，或設(shè)計(jì)一件東西的時(shí)候，常常會(huì)遇到百思不得其解的情況發(fā)生，但有時(shí)，在某個(gè)偶然的事件影響下，我們會(huì)突然明白或能夠解決這些問題，這就是頓悟現(xiàn)象。

事物的表象是由若干個(gè)神經(jīng)網(wǎng)絡(luò)屬性單元所構(gòu)成的，我們說的“問題”在大腦中也是一種表象，是一種經(jīng)反饋過程沒有驗(yàn)證通過的特殊的表象，這個(gè)表象的屬性單元可能包括具體的事物表象、抽象的事物表象、邏輯關(guān)系、公理、定律等等內(nèi)容，但這些屬性同時(shí)有效時(shí)，問題的表象并不能通過內(nèi)外反饋的驗(yàn)證。作為一個(gè)急切需要解決的“問題”，“問題”的表象被反復(fù)的激活（深思熟慮反復(fù)思考），在一個(gè)偶然機(jī)會(huì)，一個(gè)別的事件表象被激活，或是因?yàn)榇耸录哪硞€(gè)屬性單元彌補(bǔ)了“問題”表象的一個(gè)重要的空缺；或是因?yàn)榇耸录皢栴}”表象中的某個(gè)關(guān)鍵的屬性單元被抑制失效，“問題”表象得以完善并能夠通過反饋驗(yàn)證，這就是頓悟。

四、神經(jīng)網(wǎng)絡(luò)的相關(guān)問題

人在成長過程中，他的學(xué)習(xí)過程就是構(gòu)建相應(yīng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的過程，隨著認(rèn)知程度的增加，網(wǎng)絡(luò)結(jié)構(gòu)也日趨復(fù)雜，對刺激的反應(yīng)過程也隨之復(fù)雜化，當(dāng)復(fù)雜到無法預(yù)測時(shí)，主觀上就會(huì)認(rèn)為反應(yīng)過程是自發(fā)產(chǎn)生的，這是人的一種錯(cuò)覺。

幼年，人腦神經(jīng)網(wǎng)絡(luò)的建立過程需要大量的空閑神經(jīng)元，基本雛形確定后，剩余的空閑神經(jīng)元會(huì)損失大半，這樣才能夠給網(wǎng)絡(luò)的發(fā)展騰出空間。余留下來的空閑神經(jīng)元或是成為新建神經(jīng)鏈路中的一部分而被確定下來；或是被用于臨時(shí)搭建的某些鏈路；或是作為備用存在于網(wǎng)絡(luò)的空隙當(dāng)中。

青少年，神經(jīng)網(wǎng)絡(luò)屬于高速建立階段，這個(gè)階段的神經(jīng)網(wǎng)絡(luò)可塑性極強(qiáng)，主要是因?yàn)獒槍κ挛锏恼J(rèn)知，即是以機(jī)械性記憶為主，對事物認(rèn)知的量及內(nèi)容是抽象邏輯思維建立的基礎(chǔ)及傾向，隨著量的增加抽象概括的能力會(huì)逐漸增強(qiáng)。

中青年，事物的認(rèn)知量及邏輯思維能力的配比達(dá)到了最佳程度，不光有一套較好的能與外界交互的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，而且神經(jīng)網(wǎng)絡(luò)還保留有發(fā)展的余地，即還保留有一定的可塑性。

中年，無論是抽象事物還是具體事物，認(rèn)知量已基本確定，網(wǎng)絡(luò)的結(jié)構(gòu)已日趨復(fù)雜化，在一些局部，需要修改的或是新建的神經(jīng)鏈路對空閑神經(jīng)元的需求也已日趨緊張，使得我們的認(rèn)知速度逐漸減慢。

老年，在許多的神經(jīng)網(wǎng)絡(luò)區(qū)域，空閑的神經(jīng)元已開始滿足不了認(rèn)知的需求，另外因?yàn)闊o法認(rèn)知新的事物，對外界的反應(yīng)能力也開始下降，連帶的相關(guān)神經(jīng)區(qū)域得不到激活，神經(jīng)鏈路的健壯性開始下降，以至于一些神經(jīng)鏈路解體，伴隨的就是認(rèn)知量的下降，即健忘等等現(xiàn)象，并且成為一種惡性循環(huán)發(fā)展下去……。

五、后記

為了能清楚的闡述它的運(yùn)行機(jī)制，同時(shí)也是為了驗(yàn)證這套理論，根據(jù)前面所提到的神經(jīng)元的結(jié)構(gòu)功能及組網(wǎng)方式，我通過計(jì)算機(jī)軟件設(shè)計(jì)了虛擬的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，2000年軟件完成了調(diào)試，并得到了很好實(shí)驗(yàn)結(jié)果。

參考文獻(xiàn)

1《現(xiàn)代科學(xué)育兒答疑》（0-3歲）人民教育出版社1999年第1版

2陳守良等，《人類生物學(xué)》，北京大學(xué)出版社，2001年12月

3陳閱增等（1997）.《普通生物學(xué)》.北京：高等教育出版社

4蘇珊·格林菲爾德，《人腦之謎》楊雄里等譯

5陳宜張《分子神經(jīng)生物學(xué)》人民軍醫(yī)出版社1997年2月

6伊·普里戈金、伊·斯唐熱著、曾慶宏、沈小峰譯《從混沌到有序》，上海譯文出版社1987年版。

第2篇：神經(jīng)網(wǎng)絡(luò)論文范文

關(guān)鍵詞PID控制；BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；參數(shù)優(yōu)化

1引言

由于常規(guī)PID控制具有魯棒性好，結(jié)構(gòu)簡單等優(yōu)點(diǎn)，在工業(yè)控制中得到了廣泛的應(yīng)用。PID控制的基本思想是將P（偏差的比例），I（偏差的積分）和D（偏差的微分）進(jìn)線性組合構(gòu)成控制器，對被控對象進(jìn)行控制。所以系統(tǒng)控制的優(yōu)劣取決于這三個(gè)參數(shù)。但是常規(guī)PID控制參數(shù)往往不能進(jìn)行在線調(diào)整，難以適應(yīng)對象的變化，另外對高階或者多變量的強(qiáng)耦合過程，由于整定條件的限制，以及對象的動(dòng)態(tài)特性隨著環(huán)境等的變化而變化，PID參數(shù)也很難達(dá)到最優(yōu)的狀態(tài)。

神經(jīng)網(wǎng)絡(luò)具有自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，提出了利用BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，對控制器參數(shù)進(jìn)行在線調(diào)整，以滿足控制要求。由于BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程較慢，可能導(dǎo)致局部極小點(diǎn)[2]。本文提出了改進(jìn)的BP算法，將遺傳算法和BP算法結(jié)合對網(wǎng)絡(luò)閾值和權(quán)值進(jìn)行優(yōu)化，避免權(quán)值和閾值陷入局部極小點(diǎn)。

2加熱爐的PID控制

加熱爐控制系統(tǒng)如圖1所示，控制規(guī)律常采用PID控制規(guī)律。

圖1加熱爐控制系統(tǒng)簡圖

若加熱爐具有的數(shù)學(xué)模型為：

則PID控制過程箭圖可以用圖2表示。

其中，

采用經(jīng)典參數(shù)整定方法——臨界比例度對上述閉環(huán)系統(tǒng)進(jìn)行參數(shù)整定，確定PID控制器中Kp=2.259，Ki=0.869，Kd=0.276。參考輸入為單位階躍信號(hào)，仿真曲線如圖3所示。

圖2PID控制系統(tǒng)

圖3Z—N整定的控制曲線

仿真曲線表明，通過Z—N方法整定的參數(shù)控制效果不佳，加上PID參數(shù)不易實(shí)現(xiàn)在線調(diào)整，所以該方法不宜用于加熱爐的在線控制。

3基于遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)PID控制器參數(shù)優(yōu)化整定

對于加熱爐控制系統(tǒng)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)自整定PID控制，它不依賴對象的模型知識(shí)，在網(wǎng)絡(luò)結(jié)構(gòu)確定之后，其控制功能能否達(dá)到要求完全取決于學(xué)習(xí)算法。

3.1遺傳算法改進(jìn)的BP算法實(shí)現(xiàn)

一般BP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其算法步驟為：

（1）輸入訓(xùn)練樣本，按網(wǎng)絡(luò)結(jié)構(gòu)得到輸出；

（2）將實(shí)際輸出與希望輸出比較，得到誤差，根據(jù)誤差調(diào)節(jié)閾值和權(quán)值。重復(fù)兩個(gè)步驟，直到誤差滿足要求為止；

研究表明，采用上述BP算法逐步調(diào)整權(quán)值和閾值，可能導(dǎo)致學(xué)習(xí)過程收殮速度慢，訓(xùn)練時(shí)間過長，又易陷入局部極小點(diǎn)而得不到最佳的權(quán)值和閾值分布。為了加快學(xué)習(xí)速率，已經(jīng)有了一些優(yōu)化BP算法[3]，采用動(dòng)態(tài)學(xué)習(xí)因子和慣性因子。這些方法在加快網(wǎng)絡(luò)收殮速度方面比較顯著，能較好地避免網(wǎng)絡(luò)陷入局部極小。遺傳算法不要求目標(biāo)函數(shù)具有連續(xù)性，而且可以對復(fù)雜的多峰的，非線性及不可微的函數(shù)實(shí)現(xiàn)全局尋優(yōu)，因此容易得到全局最優(yōu)解或性能很好的次優(yōu)解。將遺傳算法和BP算法相結(jié)合可以具有尋優(yōu)的全局性和精確性。算法過程為：

（1）對權(quán)值和閾值編碼生成初始種群，由于是多參數(shù)優(yōu)化問題，采用多參數(shù)映射編碼；

（2）計(jì)算適應(yīng)度值；

（3）如果不滿足遺傳算法停止條件，則對當(dāng)代種群進(jìn)行交叉、選擇和變異產(chǎn)生新的個(gè)體，轉(zhuǎn)(2)；否則，轉(zhuǎn)（4）；

（4）對遺傳算法找到的較好的解空間，采用BP算法在這些小的解空間中搜索出最優(yōu)解。

3.2PID參數(shù)優(yōu)化

由圖5可知，神經(jīng)網(wǎng)絡(luò)根據(jù)系統(tǒng)的運(yùn)行狀態(tài)，通過在線調(diào)整PID的三個(gè)參數(shù)Kp，Ki，Kd，以達(dá)到某種性能指標(biāo)的最優(yōu)化。

圖5BP網(wǎng)絡(luò)整定PID參數(shù)原理圖

經(jīng)典增量式PID的控制算法：

算法步驟：

(1)確定網(wǎng)絡(luò)結(jié)構(gòu)，采用3—4—3的結(jié)構(gòu)，輸入分別為e(k)，e(k)-e(k-1)，e(k)-2e(k-1)+e(k-2)。輸出為Kp，Ki，Kd。

(2)選擇初始種群N=60，交叉概率Pc=0.08，權(quán)值，閾值的范圍和初始化。選取目標(biāo)函數(shù)為（偏差絕對值積分）：，適應(yīng)度函數(shù)為：

(3)采樣得到rin（k）和yout（k），計(jì)算該時(shí)刻的誤差。

(4)對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，在線調(diào)整權(quán)值，閾值，計(jì)算神經(jīng)網(wǎng)絡(luò)的各層輸入，輸出，得到三個(gè)可調(diào)參數(shù)Kp，Ki，Kd。計(jì)算系統(tǒng)輸出。

(5)計(jì)算適應(yīng)度若不滿足要求，轉(zhuǎn)入第（3）步。

(6)找到最優(yōu)的Kp，Ki，Kd，對系統(tǒng)仿真。

圖6BP網(wǎng)絡(luò)整定的控制曲線

仿真結(jié)果顯示，用BP神經(jīng)網(wǎng)絡(luò)整定的PID控制系統(tǒng)比經(jīng)典的Z—N（臨界比例度）法有更快的響應(yīng)特性，良好的動(dòng)態(tài)特性和比較強(qiáng)的魯棒性。

4結(jié)束語

由于神經(jīng)網(wǎng)絡(luò)具有自組織、自學(xué)習(xí)等優(yōu)點(diǎn)，本文提出的優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法對控制器參數(shù)進(jìn)行尋優(yōu)，可根據(jù)對象的變化情況對控制器參數(shù)的在線調(diào)整，滿足控制對象的動(dòng)態(tài)特性隨著環(huán)境變化而變化的要求。達(dá)到好的控制效果。遺傳算法與BP網(wǎng)絡(luò)的結(jié)合彌補(bǔ)了BP網(wǎng)絡(luò)學(xué)習(xí)過程收斂速度慢，可能陷入局部級(jí)小的不足。

參考文獻(xiàn)

[1]王樹青等編著.工業(yè)過程控制工程[M].北京：化學(xué)工業(yè)出版社，2002

[2]李士勇著.模糊控制、神經(jīng)控制和智能控制論[M].哈爾濱：哈爾并工業(yè)大學(xué)出版社，1996

[3]胡志軍，王建國，王鴻斌.基于優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的PID控制研究與仿真[J].微電子學(xué)與計(jì)算機(jī)2006，23(12)：138—140

[4]張文修著.遺傳算法的數(shù)學(xué)基礎(chǔ)[M].西安：西安交通大學(xué)出版社，2003

第3篇：神經(jīng)網(wǎng)絡(luò)論文范文

人工神經(jīng)網(wǎng)絡(luò)(AartificialNeuralNetwork，下簡稱ANN)是模擬生物神經(jīng)元的結(jié)構(gòu)而提出的一種信息處理方法。早在1943年，已由心理學(xué)家WarrenS.Mcculloch和數(shù)學(xué)家WalthH.Pitts提出神經(jīng)元數(shù)學(xué)模型，后被冷落了一段時(shí)間，80年代又迅猛興起［1］。ANN之所以受到人們的普遍關(guān)注，是由于它具有本質(zhì)的非線形特征、并行處理能力、強(qiáng)魯棒性以及自組織自學(xué)習(xí)的能力。其中研究得最為成熟的是誤差的反傳模型算法(BP算法，BackPropagation)，它的網(wǎng)絡(luò)結(jié)構(gòu)及算法直觀、簡單，在工業(yè)領(lǐng)域中應(yīng)用較多。

經(jīng)訓(xùn)練的ANN適用于利用分析振動(dòng)數(shù)據(jù)對機(jī)器進(jìn)行監(jiān)控和故障檢測，預(yù)測某些部件的疲勞壽命［2］。非線形神經(jīng)網(wǎng)絡(luò)補(bǔ)償和魯棒控制綜合方法的應(yīng)用(其魯棒控制利用了變結(jié)構(gòu)控制或滑動(dòng)?？刂?，在實(shí)時(shí)工業(yè)控制執(zhí)行程序中較為有效［3］。人工神經(jīng)網(wǎng)絡(luò)(ANN)和模糊邏輯(FuzzyLogic)的綜合，實(shí)現(xiàn)了電動(dòng)機(jī)故障檢測的啟發(fā)式推理。對非線形問題，可通過ANN的BP算法學(xué)習(xí)正常運(yùn)行例子調(diào)整內(nèi)部權(quán)值來準(zhǔn)確求解［4］。

因此，對于電力系統(tǒng)這個(gè)存在著大量非線性的復(fù)雜大系統(tǒng)來講，ANN理論在電力系統(tǒng)中的應(yīng)用具有很大的潛力，目前已涉及到如暫態(tài)，動(dòng)穩(wěn)分析，負(fù)荷預(yù)報(bào)，機(jī)組最優(yōu)組合，警報(bào)處理與故障診斷，配電網(wǎng)線損計(jì)算，發(fā)電規(guī)劃，經(jīng)濟(jì)運(yùn)行及電力系統(tǒng)控制等方面［5］。

本文介紹了一種基于人工神經(jīng)網(wǎng)絡(luò)(ANN)理論的保護(hù)原理。

1人工神經(jīng)網(wǎng)絡(luò)理論概述

BP算法是一種監(jiān)控學(xué)習(xí)技巧，它通過比較輸出單元的真實(shí)輸出和希望值之間的差別，調(diào)整網(wǎng)絡(luò)路徑的權(quán)值，以使下一次在相同的輸入下，網(wǎng)絡(luò)的輸出接近于希望值。圖1是人工神經(jīng)Ui的結(jié)構(gòu)模型，圖中Ui為神經(jīng)元內(nèi)部狀態(tài)，Qi為門檻值，Yi為輸出信號(hào)，Xi(i=1,2,…，n)為神經(jīng)元接收信號(hào)。該模型可表示為：

式中Wji——連接權(quán)值。

BP算法的神經(jīng)網(wǎng)絡(luò)圖形如圖2所示，設(shè)網(wǎng)絡(luò)的輸入模塊為p，令其作用下網(wǎng)絡(luò)輸出單元j的輸出為Opj。如果輸出的希望值是Tpj，則其誤差為Dpj=Tpj－Opj。若輸入模塊的第i個(gè)單元輸入為Ipi，則就輸入模塊p而言，輸入接點(diǎn)I與輸出接點(diǎn)j之間的權(quán)值變化量為：

ΔWpji=zDpjIpi

式中，z是某一個(gè)常數(shù)。當(dāng)反復(fù)迭代該式時(shí)，便可使實(shí)際值收斂于目標(biāo)值［6］。其中隱含層既有輸入網(wǎng)線，又有輸出網(wǎng)線，每一個(gè)箭頭都有一定的權(quán)值。

在神經(jīng)網(wǎng)絡(luò)投運(yùn)前，就應(yīng)用大量的數(shù)據(jù)，包括正常運(yùn)行的、不正常運(yùn)行的，作為其訓(xùn)練內(nèi)容，以一定的輸入和期望的輸出通過BP算法去不斷修改網(wǎng)絡(luò)的權(quán)值。在投運(yùn)后，還可根據(jù)現(xiàn)場的特定情況進(jìn)行現(xiàn)場學(xué)習(xí)，以擴(kuò)充ANN內(nèi)存知識(shí)量。從算法原理看，并行處理能力和非線是BP算法的一大優(yōu)點(diǎn)。

2神經(jīng)網(wǎng)絡(luò)型繼電保護(hù)

神經(jīng)網(wǎng)絡(luò)理論的保護(hù)裝置，可判別更復(fù)雜的模式，其因果關(guān)系是更復(fù)雜的、非線性的、模糊的、動(dòng)態(tài)的和非平穩(wěn)隨機(jī)的。它是神經(jīng)網(wǎng)絡(luò)(ANN)與專家系統(tǒng)(ES)融為一體的神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)，其中，ANN是數(shù)值的、聯(lián)想的、自組織的、仿生的方式，ES是認(rèn)知的和啟發(fā)式的。

如圖3所示，裝置可直接取線路及其周邊的模擬量、數(shù)字量，經(jīng)模式特征變換輸入給神經(jīng)網(wǎng)絡(luò)，根據(jù)以前學(xué)習(xí)過的訓(xùn)練材料，對數(shù)據(jù)進(jìn)行推理、分析評(píng)價(jià)、輸出。專家系統(tǒng)對運(yùn)行過程控制和訓(xùn)練，按最優(yōu)方式收集數(shù)據(jù)或由分析過程再收集控制，對輸出結(jié)果進(jìn)行評(píng)估，判別其正確性、一致性，作出最終判決，經(jīng)變換輸出，去執(zhí)行機(jī)構(gòu)。即使是新型保護(hù)，也會(huì)存在著某些功能模塊不正確動(dòng)作的可能，這時(shí)可以過后人為干預(yù)擴(kuò)展專家系統(tǒng)數(shù)據(jù)庫或由專家系統(tǒng)作出判別，作為訓(xùn)練樣本訓(xùn)練ANN的這部分功能模塊，改變其某些網(wǎng)線的權(quán)值，以使下次相同情況下減少不正確動(dòng)作的可能。

下面是一個(gè)簡單的ANN線路保護(hù)例子。當(dāng)電力系統(tǒng)故障時(shí)，輸電線路各相、各序電壓、電流也隨之發(fā)生變化，特別是故障后故障相的相電壓和相電流，以及接地系統(tǒng)在接地故障的零序電流的變化有明顯的代表性。比如選輸入層神經(jīng)元個(gè)數(shù)為14個(gè)，分別是Uar，Uai，Ubr，Ubi，UcrUci，Iai，Ibr，Ibi，Icr，Ici，Ior，Ioi(下標(biāo)r和i分別代表實(shí)部與虛部)，選定輸出層神經(jīng)元個(gè)數(shù)為5個(gè)：YA(A相)，YB(B相)，YC(C相)，YO(接地)，YF(方向)，各輸出值為1，代表選中；輸出值為0，代表沒選中(YF為0代表反向)。這5個(gè)輸出完全滿足線路方向保護(hù)的需求(沒考慮正向超越)，隱含層神經(jīng)元數(shù)目為2N+1(N為輸入層神經(jīng)元數(shù)目)。訓(xùn)練樣本集包含14個(gè)輸入變量和5個(gè)輸出變量，而測試樣本集中的樣本則只有14個(gè)輸入變量。選圖4的雙側(cè)電源系統(tǒng)作研究對象，輸電線路、系統(tǒng)的等值正、零序參數(shù)如圖4所示。

考慮的故障類型包括單相接地(K1)，兩相短路(K2)，兩相接地(K1—1)，三相短路(K3)。

對圖4所示的500kV雙側(cè)電源系統(tǒng)的各種運(yùn)行方式和故障情況建立訓(xùn)練樣本。

在正常狀態(tài)下，令h∠δ=(EM)/(EN)，h=1，δ

隨負(fù)荷變化，取為－60°，－50°，－40°，－30°，－20°，－10°，0°，10°，20°，30°，40°，50°，60°，有13個(gè)樣本。故障情況下，δ取值為－60°，－30°，0°，30°，60°，故障點(diǎn)選反向出口(－0km)，正向出口(+0km)，線路中部(150km)，線末(300km)。接地電阻Rg取值0Ω，50Ω，100Ω，150Ω，200Ω，相間電阻Rp取值0Ω，25Ω，50Ω，則共有5×4×(5+3+5×3+3)=520個(gè)樣本。每個(gè)樣本的5個(gè)輸出都有一組期望的輸出值，以此作為訓(xùn)練樣本。而實(shí)際運(yùn)行、故障時(shí)，保護(hù)所測到的電流、電壓極少直接與樣本相同，此時(shí)就需要用到模糊理論，規(guī)定某個(gè)輸出節(jié)點(diǎn)。如YA(A相)在某一取值范圍時(shí)，則被選中。

文獻(xiàn)［1］認(rèn)為全波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)在準(zhǔn)確性方面優(yōu)于利用半波數(shù)據(jù)窗建立的神經(jīng)網(wǎng)絡(luò)，因此保護(hù)應(yīng)選用全波數(shù)據(jù)窗。

ANN保護(hù)裝置出廠后，還可以在投運(yùn)單位如網(wǎng)調(diào)、省調(diào)實(shí)驗(yàn)室內(nèi)進(jìn)行學(xué)習(xí)，學(xué)習(xí)內(nèi)容針對該省的保護(hù)的特別要求進(jìn)行(如反措)。到現(xiàn)場，還可根據(jù)該站的干擾情況進(jìn)行反誤動(dòng)、反拒動(dòng)學(xué)習(xí)，特別是一些常出現(xiàn)波形間斷的變電站內(nèi)的高頻保護(hù)。

3結(jié)論

本文基于現(xiàn)代控制技術(shù)提出了人工神經(jīng)網(wǎng)絡(luò)理論的保護(hù)構(gòu)想。神經(jīng)網(wǎng)絡(luò)軟件的反應(yīng)速度比純數(shù)字計(jì)算軟件快幾十倍以上，這樣，在相同的動(dòng)作時(shí)間下，可以大大提高保護(hù)運(yùn)算次數(shù)，以實(shí)現(xiàn)在時(shí)間上即次數(shù)上提高冗余度。

一套完整的ANN保護(hù)是需要有很多輸入量的，如果對某套保護(hù)來說，區(qū)內(nèi)、區(qū)外故障時(shí)其輸入信號(hào)幾乎相同，則很難以此作為訓(xùn)練樣本訓(xùn)練保護(hù)，而每套保護(hù)都增多輸入量，必然會(huì)使保護(hù)、二次接線復(fù)雜化。變電站綜合自動(dòng)化也許是解決該問題的一個(gè)較好方法，各套保護(hù)通過總線聯(lián)網(wǎng)，交換信息，充分利用ANN的并行處理功能，每套保護(hù)均對其它線路信息進(jìn)行加工，以此綜合得出動(dòng)作判據(jù)。每套保護(hù)可把每次錄得的數(shù)據(jù)文件，加上對其動(dòng)作正確性與否的判斷，作為本身的訓(xùn)練內(nèi)容，因?yàn)榧词褂袝r(shí)人工分析也不能區(qū)分哪些數(shù)據(jù)特征能使保護(hù)不正確動(dòng)作，特別是高頻模擬量。

神經(jīng)網(wǎng)絡(luò)的硬件芯片現(xiàn)在仍很昂貴，但技術(shù)成熟時(shí)，應(yīng)利用硬件實(shí)現(xiàn)現(xiàn)在的軟件功能。另外，神經(jīng)網(wǎng)絡(luò)的并行處理和信息分布存儲(chǔ)機(jī)制還不十分清楚，如何選擇的網(wǎng)絡(luò)結(jié)構(gòu)還沒有充分的理論依據(jù)。所有這些都有待于對神經(jīng)網(wǎng)絡(luò)基本理論進(jìn)行深入的研究，以形成完善的理論體系，創(chuàng)造出更適合于實(shí)際應(yīng)用的新型網(wǎng)絡(luò)及學(xué)習(xí)算法［5］。

參考文獻(xiàn)

1陳炳華．采用模式識(shí)別(智能型)的保護(hù)裝置的設(shè)想．中國電機(jī)工程學(xué)會(huì)第五屆全國繼電保護(hù)學(xué)術(shù)會(huì)議，［會(huì)址不詳］，1993

2RobertE.Uhrig．ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans,1994,10(3)．(1):371～377

3LeeTH,WangQC,TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans,1993，3(2)．(3)：190～197

4ChowMo-Yuen.TheAdvantageofMachineFaultDetectionUsingArtificialNeuralNetworksandFuzzyLogicTechnology.IEEETrans,1992,5(6).(2)：1078～1085

第4篇：神經(jīng)網(wǎng)絡(luò)論文范文

1．1采用計(jì)算機(jī)模擬技術(shù)建立模擬模型

對BP神經(jīng)網(wǎng)絡(luò)模擬模型建立的基礎(chǔ)，人們是這樣認(rèn)為的，因?yàn)橛绊懝こ淘靸r(jià)的因素，大多數(shù)人們都是沒辦法確定的，所以我們不需要把這個(gè)值具體是多少確定下來，而是從另一個(gè)方面考慮，根據(jù)這個(gè)項(xiàng)目的基本情況，估計(jì)實(shí)際的造價(jià)落在某個(gè)范圍的機(jī)會(huì)會(huì)大一些，這個(gè)思想就是計(jì)算機(jī)模擬技術(shù)建立模擬模型的理論基礎(chǔ)。

1．2人工智能模型

工程造價(jià)估算專家系統(tǒng)，是通過人工智能，加上知識(shí)庫技術(shù)而建立起來的，可是這種人工智能模型主要靠專家的知識(shí)，來對工程造價(jià)進(jìn)行估計(jì)計(jì)算的，但是估算的結(jié)果是被估算人員的主觀意識(shí)所影響的，不同專家的性格，知識(shí)面的寬窄，經(jīng)驗(yàn)豐富與否、都是不確定因素，幾乎可以會(huì)所不一樣的估算專家所得出的結(jié)果都不會(huì)一樣。這種方法很容易帶有個(gè)人偏見和片面性。受專家的主觀偏見性較強(qiáng)。

2BP神經(jīng)網(wǎng)絡(luò)模型構(gòu)造與算法

2．1人工神經(jīng)網(wǎng)絡(luò)的基本原理

1985，D•E•Rumelhart等人組成的PDP小組提出的一種神經(jīng)網(wǎng)絡(luò)模型，這就是我們今天所說的BP神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是利用誤差反向傳播來消除誤差的，它有三個(gè)層次，有一個(gè)輸入層，第二個(gè)是隱層，最后一個(gè)當(dāng)然就是輸出層。在訓(xùn)練估算中，我們可以通過計(jì)算輸出值和我們預(yù)期的期望值，他們之間所產(chǎn)生的誤差，逆向思維，去求解輸出層單元的一般化誤差，然后再把誤差進(jìn)行反向傳播，把隱含層單元的一般化誤差求解出來，并最終調(diào)整輸出層和隱含層，包括輸入層之間的連接權(quán)，還有連接權(quán)與隱含層和輸出層的閾值，最終目的就是讓系統(tǒng)誤差達(dá)到我們可以接受為止。當(dāng)先前的系統(tǒng)誤差達(dá)到我們所需求的時(shí)候，權(quán)值和閾值就變成了固定不變的了，這樣我們再通過反向逆推，就可以測出我們這個(gè)項(xiàng)目的未知信息。這就是人工神經(jīng)網(wǎng)絡(luò)的基本原理。

2．2BP神經(jīng)網(wǎng)絡(luò)模型建立的步驟

(1)我們首先確定模型輸入層，隱含層還有輸出層的神經(jīng)元個(gè)數(shù)。并且以此為依據(jù)，確定BP神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù);(2)神經(jīng)網(wǎng)絡(luò)只能處理－l～l之間的數(shù)據(jù)，所以在輸入網(wǎng)絡(luò)時(shí)，我們不僅需要對原始數(shù)據(jù)進(jìn)行規(guī)范化處理，還要對隱含單元和各個(gè)單元輸入信息進(jìn)行求和;通過反向逆推之后得到本單元的輸入信息。所以對原始數(shù)據(jù)，隱含單元輸入模塊規(guī)范化細(xì)致化是非常重要的;(3)隱含單元的輸出值可以根據(jù)神經(jīng)網(wǎng)絡(luò)操作模型得出，只要我們把net信號(hào)經(jīng)過一次激發(fā)函數(shù)的處理，可以得到這個(gè)隱含單元的輸出值;(4)對于輸出單元節(jié)點(diǎn)，我們只要對前一層的隱含層單元輸入信息，并且加權(quán)求和后，就能得到該單元的輸入信息。操作起來非常方便快捷;(5)對權(quán)矩陣的調(diào)整，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)可以近似實(shí)現(xiàn)任意空間的數(shù)學(xué)映射。所以我們假設(shè)，如果神經(jīng)網(wǎng)絡(luò)輸入單元數(shù)為M，輸出單元為N，則在m維歐式空間尺中會(huì)有一個(gè)有界子集A，存在著一個(gè)到n維歐式空間，那么R中一個(gè)有界子集F(A)的映射。

3基于BP神經(jīng)網(wǎng)絡(luò)的工程造價(jià)估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神經(jīng)網(wǎng)絡(luò)中所說工程特征，就是指不但能表示工程特點(diǎn)，而且還能反映工程的主要成本構(gòu)成的重要因素。，我們可以通過參照歷史工程資料的統(tǒng)計(jì)和分析，進(jìn)行工程特征的選取工作。選取完成之后，再根據(jù)專家的經(jīng)驗(yàn)來確定，這樣就可以萬無一失了。首先我們可以通過典型住宅工程的造價(jià)組成進(jìn)行分析，然后對建筑結(jié)構(gòu)參數(shù)的變化和別的工程做一下對比，通過以上兩點(diǎn)得出的結(jié)果，分析這些因素對造價(jià)的影響，依照以上的理論方法，我們進(jìn)行了實(shí)踐性的研究，最終把礎(chǔ)類型，結(jié)構(gòu)形式，建筑層數(shù)，門窗類型，外墻裝飾還有墻體材料以及平面組合等，這7種因素作為工程的主要特征。不同的建筑工程有著不同的類型，比如說結(jié)構(gòu)，可以是磚混結(jié)構(gòu)和框架結(jié)構(gòu)等;磚條基和鋼筋砼條基礎(chǔ)等都可以作為基礎(chǔ)特征，對于這樣的特征選取的多樣性我們稱之為特征類目，通過工程特征不同類目的列舉，再跟據(jù)定額水平，工程特征對造價(jià)影響的相關(guān)性，這些對平方米造價(jià)的改變，對工程定量化的描述可以主觀的給出對應(yīng)的量化數(shù)據(jù)。

3．2建立估價(jià)模型

工程造價(jià)估算的指標(biāo)體系到該項(xiàng)目的單位造價(jià)的非線性映射，就可以統(tǒng)稱為是建設(shè)項(xiàng)目工程造價(jià)的估算問題。BP網(wǎng)絡(luò)可以根據(jù)人們的需求以任意的精度去逼近任意映射關(guān)系，究其原因就是上文說的BP網(wǎng)絡(luò)采用的是三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不同于其他的電腦估算網(wǎng)絡(luò)。不僅是因?yàn)樵撃Ｐ偷妮斎雴卧獮?個(gè)，還有他們的項(xiàng)目樣本特征也不盡相同。神經(jīng)網(wǎng)絡(luò)可以根據(jù)已經(jīng)經(jīng)過我們優(yōu)選的模型特征，做為參考估算要素，然后再通過項(xiàng)目工程造價(jià)估算中，我們所提供的一定數(shù)量的已知樣本，采取對樣本的神經(jīng)網(wǎng)絡(luò)訓(xùn)練，最后根據(jù)以往的大的數(shù)據(jù)庫，提取類似的項(xiàng)目估算值，然后才能對其它特征的項(xiàng)目進(jìn)行估算。這樣我們只需要輸入指標(biāo)體系的各指標(biāo)值，BP神經(jīng)網(wǎng)絡(luò)就可以在該項(xiàng)目的單位造價(jià)的非線性映射中給出該項(xiàng)目的單位造價(jià)。

3．3檢測結(jié)果的分析

上面我們通過大量的實(shí)際實(shí)驗(yàn)得知了這兩個(gè)固定不變的數(shù)字，然后我們可以用程序值被收斂后的網(wǎng)絡(luò)，對現(xiàn)在要進(jìn)行求解的數(shù)據(jù)進(jìn)行檢測，在測試后，如果發(fā)現(xiàn)總體誤差比率較小，那么就滿足我們初步設(shè)計(jì)的概算需求了，同時(shí)對工程可行性研究的投資估算需求也已經(jīng)基本符合了，這些結(jié)果能有好的保證，全是依賴我們所選擇的模型的寬度夠用，模型在所有的因素中具有廣泛的代表性。所以估價(jià)模型的計(jì)算才較為成功。幾個(gè)工程估算的好壞也不能代表所有的項(xiàng)目都是完美的，也有個(gè)別工程造價(jià)估算誤差大，因?yàn)殡娔X畢竟是人在給其輸入程序，電腦的經(jīng)驗(yàn)，還有就是對一些特征的學(xué)習(xí)不夠用，本身的知識(shí)儲(chǔ)備還是有局限性的。因?yàn)閷颖緮?shù)量的學(xué)習(xí)始終是有限，不可能面面俱到，而且挑選的樣本也不可能針對這個(gè)工程而言都是符合這個(gè)項(xiàng)目的特性。雖然說BP神經(jīng)網(wǎng)絡(luò)模型有這樣無法控制的缺點(diǎn)，但是和其他的造價(jià)估算模型相比，BP神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)還是可圈可點(diǎn)的，其優(yōu)點(diǎn)和其他的造價(jià)模型相比較優(yōu)點(diǎn)還是非常明顯的。在以后的估算中，隨著樣本的不斷充實(shí)，數(shù)據(jù)的不斷積累，經(jīng)驗(yàn)的不但豐富，其估算的誤差也將不斷縮小，這些方面的補(bǔ)充，在以后的估算中，必定會(huì)取得非常完美的成績。

4總結(jié)

第5篇：神經(jīng)網(wǎng)絡(luò)論文范文

在本研究中，其中一個(gè)目標(biāo)（或者說是非合作型的度量指標(biāo)）就是非連續(xù)度量，其非連續(xù)性在那些具有較少模式的數(shù)據(jù)集中尤為明顯。由于該度量使神經(jīng)網(wǎng)絡(luò)優(yōu)化過程難以聚斂，因此本文采用交叉熵方法得到一個(gè)連續(xù)函數(shù)并以此作為第一個(gè)目標(biāo)。在本文算法中，初始種群為任意一個(gè)由N個(gè)神經(jīng)網(wǎng)絡(luò)個(gè)體構(gòu)成的群體。該種群中個(gè)體間的連接權(quán)重是隨機(jī)建立的某一確定間隔（輸入層和隱藏層之間的權(quán)重為[-2，2]，隱藏層與輸出層之間的權(quán)重為[-10，10]，這些間隔范圍值都是經(jīng)過實(shí)驗(yàn)而確定的）。初始種群產(chǎn)生后，使用上面提到的兩個(gè)目標(biāo)函數(shù)對其進(jìn)行評(píng)估。經(jīng)過評(píng)估后，可按照帕累托最優(yōu)原則對群體中的個(gè)體進(jìn)行分類，每個(gè)個(gè)體都被賦予了與其非支配水平相同的適應(yīng)度。那些非支配個(gè)體被選為父代個(gè)體進(jìn)行遺傳操作，然后再對他們進(jìn)行二進(jìn)制淘汰（兩兩對比后選擇較優(yōu)個(gè)體）。

為了產(chǎn)生新的子代個(gè)體，需要對選擇的父代個(gè)體進(jìn)行變異運(yùn)算。這里共有五種變異算子可供選擇，其中，四種是結(jié)構(gòu)變異，一種是參數(shù)變異，選擇任何一種變異算子并對個(gè)體進(jìn)行變異的概率均為1/5。參數(shù)變異在父代連接權(quán)重中加入高斯噪音；結(jié)構(gòu)變異使用種群多樣性來增加搜索空間的多樣性。具體來講，變異算子實(shí)際上就是“增加/刪除神經(jīng)元”和“增加/刪除連接”。將新產(chǎn)生的子代個(gè)體加入到下一代群體中，重復(fù)以上過程直至后代種群數(shù)量達(dá)到N；接著，對后代種群進(jìn)行兩項(xiàng)指標(biāo)評(píng)估并將其與父代種群合并；然后再對新產(chǎn)生的種群按照帕累托原則進(jìn)行分類，其中最優(yōu)的N個(gè)個(gè)體被選為下一代的父代，重復(fù)以上的生產(chǎn)過程。本文算法使用局部搜索來對父代群體和后代群體進(jìn)行合并，只有那些來自第一次帕累托前沿的（即通過非支配分類得到的）個(gè)體才能進(jìn)行優(yōu)化，這大大地減少了運(yùn)算成本，因?yàn)闆]有對整個(gè)變異的后代個(gè)體進(jìn)行局部搜索。經(jīng)過優(yōu)化，每個(gè)個(gè)體的適應(yīng)度在近似誤差方面都得到了更新。整個(gè)演算過程只在開始、中間和結(jié)束部分使用優(yōu)化算法，也即整個(gè)演化過程只使用了三次局部搜索。

2實(shí)驗(yàn)結(jié)果

本節(jié)將以電子行業(yè)高新企業(yè)的投資決策方案評(píng)估實(shí)例來驗(yàn)證方法的可行性。在電子元器件的生產(chǎn)過程中，其裝配系統(tǒng)的投資決策方案有三種，本章所使用的裝配系統(tǒng)每年能夠生產(chǎn)的產(chǎn)品數(shù)是不斷增加的。在投資決策方案A中，整個(gè)裝配過程包含以下幾個(gè)有序操作：產(chǎn)品自動(dòng)預(yù)裝配、兩級(jí)人工裝配、試驗(yàn)臺(tái)測試、焊臺(tái)焊接、二級(jí)試驗(yàn)臺(tái)測試、三級(jí)裝配、自動(dòng)貼標(biāo)以及包裝。與投資決策方案A相比，B方案的區(qū)別在于其三級(jí)裝配為自動(dòng)裝配，C方案在B方案的基礎(chǔ)上又將包裝升級(jí)為自動(dòng)包裝。表1概括總結(jié)了三種投資決策方案的主要信息。從表1可見，A方案的裝配系統(tǒng)初始投資是最低的，產(chǎn)量也是最低的。對于A方案而言，三級(jí)裝配是第一個(gè)產(chǎn)能限制的操作，第二個(gè)就是包裝。若要將A方案的產(chǎn)能提升至C方案的產(chǎn)能，三級(jí)自動(dòng)裝配站的改造成本為10萬元，自動(dòng)包裝站的改造成本為12萬元。每一種系統(tǒng)配置的運(yùn)營成本可根據(jù)每個(gè)生產(chǎn)單元的非固定成本以及雇員數(shù)決定的固定成本（每人每年4萬）來計(jì)算。對于每種投資決策方案而言，每個(gè)生產(chǎn)單元的可調(diào)節(jié)價(jià)格為3元。由于產(chǎn)能彈性是裝配系統(tǒng)所需的彈性要求，故對三種不同產(chǎn)品需求場景進(jìn)行了描述對比（如表2所示），它們之間的主要區(qū)別在于年需求增長百分比和出現(xiàn)的可能性。

場景I的增長百分比最小，但是它出現(xiàn)增長的可能性最大，因此場景I是未來的基本場景，場景II和III是未來可能出現(xiàn)的場景。根據(jù)以上信息，假設(shè)現(xiàn)在年需求利率為9%，可獲得不同投資方案的資產(chǎn)收益率（ROA）。結(jié)果顯示，所有方案都能滿足未來基本場景的需求，因此投資決策方案沒有必要改造。表3對比了不同投資決策方案的評(píng)估結(jié)果，可見B方案具有最高的資產(chǎn)收益率（5.04%），因此它也是實(shí)現(xiàn)未來基本場景的較為經(jīng)濟(jì)的配置；C方案的資產(chǎn)收益率很低，主要是因?yàn)樗某跏纪顿Y以及每個(gè)生產(chǎn)單元的變動(dòng)成本都很高。在本案例中，系統(tǒng)的產(chǎn)品需求以及產(chǎn)能之間的對比可顯示該種裝配系統(tǒng)是否需要改造。在場景II中，A方案需要在第四年進(jìn)行改造，因?yàn)樗璧漠a(chǎn)品量已經(jīng)超過系統(tǒng)的生產(chǎn)能力，改造成本為10萬元。在場景III中，A方案需要兩次改造（第二年和第四年），B方案在第四年需要改造。

不同系統(tǒng)配置的預(yù)期ROF指標(biāo)如表3所示。由于A方案在所有場景中都需要改造，它的預(yù)期ROF為1.7%。C方案的產(chǎn)能彈性最高，因此其預(yù)期ROF也最高，為2.9%。計(jì)算結(jié)果顯示，B方案在所有場景中都是較為經(jīng)濟(jì)的系統(tǒng)配置，其資產(chǎn)收益率為5%，資產(chǎn)收益率和預(yù)期ROF之和高達(dá)7.4%，所以B方案是平衡初始投資和產(chǎn)能彈性之間的最佳配置。

3結(jié)束語

高新企業(yè)投資范圍極廣，很多復(fù)雜因素都需要考慮。社會(huì)因素、城鎮(zhèn)化、環(huán)境條件、能源供應(yīng)及政治平衡等多種因素共存于高新企業(yè)投資之中，影響著高新企業(yè)投資問題的任一決策。根據(jù)筆者掌握的資料，對于涉及范圍廣、影響不易控制的高新企業(yè)投資決策方案評(píng)估來說，那些常見的評(píng)估方法很難得到令人滿意的結(jié)果。鑒于此，本文基于多目標(biāo)神經(jīng)網(wǎng)絡(luò)提出并構(gòu)建了一種高新企業(yè)投資決策方案評(píng)估方法。在本文方法中，筆者首先定義了兩個(gè)評(píng)估指標(biāo)：非連續(xù)度量指標(biāo)和最低靈敏度指標(biāo)。初始種群為任意一個(gè)由多個(gè)神經(jīng)網(wǎng)絡(luò)個(gè)體構(gòu)成的群體。初始種群產(chǎn)生后，使用上面提到的兩個(gè)目標(biāo)函數(shù)對其進(jìn)行評(píng)估。經(jīng)過評(píng)估后，可按照帕累托最優(yōu)原則對群體中的個(gè)體進(jìn)行分類，每個(gè)個(gè)體都被賦予了與其非支配水平相同的適應(yīng)度。那些非支配個(gè)體被選為父代個(gè)體進(jìn)行遺傳操作，然后再對他們進(jìn)行二進(jìn)制淘汰。本算法使用局部搜索來對父代群體和后代群體進(jìn)行合并，只有那些來自第一次帕累托前沿的個(gè)體才能進(jìn)行優(yōu)化。經(jīng)過優(yōu)化，每個(gè)個(gè)體的適應(yīng)度在近似誤差方面都得到了更新。

第6篇：神經(jīng)網(wǎng)絡(luò)論文范文

關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò)系統(tǒng)入侵檢測系統(tǒng)網(wǎng)絡(luò)安全

入侵檢測作為一種主動(dòng)防御技術(shù),彌補(bǔ)了傳統(tǒng)安全技術(shù)的不足。其主要通過監(jiān)控網(wǎng)絡(luò)與系統(tǒng)的狀態(tài)、用戶行為以及系統(tǒng)的使用情況,來檢測系統(tǒng)用戶的越權(quán)使用以及入侵者利用安全缺陷對系統(tǒng)進(jìn)行入侵的企圖,并對入侵采取相應(yīng)的措施。

一、入侵檢測系統(tǒng)概述

入侵檢測系統(tǒng)(IntrusionDetectionSystem,簡稱IDS)可以認(rèn)為是進(jìn)行入侵檢測過程時(shí)所需要配置的各種軟件和硬件的組合。對一個(gè)成功的入侵檢測系統(tǒng)來講,它不但可使系統(tǒng)管理員時(shí)刻了解計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)(包括程序、文件和硬件設(shè)備等)的任何變更,還能給網(wǎng)絡(luò)安全策略的制訂提供指南。更為重要的一點(diǎn)是,對它的管理和配置應(yīng)該更簡單,從而使非專業(yè)人員能非常容易地進(jìn)行操作。而且,入侵檢測的規(guī)模還應(yīng)根據(jù)網(wǎng)絡(luò)威脅、系統(tǒng)構(gòu)造和安全需求的改變而改變。入侵檢測系統(tǒng)在發(fā)現(xiàn)入侵后,會(huì)及時(shí)做出響應(yīng),包括切斷網(wǎng)絡(luò)連接、記錄事件和報(bào)警等。

二、入侵檢測系統(tǒng)的功能

1.檢測入侵。檢測入侵行為是入侵檢測系統(tǒng)的核心功能,主要包括兩個(gè)方面:一方面是對進(jìn)出主機(jī)或者網(wǎng)絡(luò)的數(shù)據(jù)進(jìn)行監(jiān)控,檢查是否存在對系統(tǒng)的異常行為;另一方面是檢查系統(tǒng)關(guān)鍵數(shù)據(jù)和文件的完整性,看系統(tǒng)是否己經(jīng)遭到入侵行為。前者的作用是在入侵行為發(fā)生時(shí)及時(shí)發(fā)現(xiàn),使系統(tǒng)免受攻擊;后者一般是在系統(tǒng)遭到入侵時(shí)沒能及時(shí)發(fā)現(xiàn)和阻止,攻擊的行為已經(jīng)發(fā)生,但可以通過攻擊行為留下的痕跡了解攻擊行為的一些情況,從而避免再次遭受攻擊。對系統(tǒng)資源完整性的檢查也有利于我們對攻擊者進(jìn)行追蹤,對攻擊行為進(jìn)行取證。

2.抗欺騙。入侵檢測系統(tǒng)要識(shí)別入侵者,入侵者就會(huì)想方設(shè)法逃避檢測。逃避檢測的方法很多,總結(jié)起來可分為誤報(bào)和漏報(bào)兩大類。一種使入侵檢測系統(tǒng)誤報(bào)的實(shí)現(xiàn)形式,是快速告普信息的產(chǎn)生讓系統(tǒng)無法反應(yīng)以致死機(jī),這其實(shí)是通用的網(wǎng)絡(luò)攻擊方式一拒絕服務(wù)攻擊在入侵檢測系統(tǒng)上的體現(xiàn)。與誤報(bào)相比,漏報(bào)更具危險(xiǎn)性,即躲過系統(tǒng)的檢測,使系統(tǒng)對某些攻擊方式失效。入侵檢測系統(tǒng)無法統(tǒng)一漏報(bào)和誤報(bào)的矛盾,目前的入侵檢測產(chǎn)品一般會(huì)在兩者間進(jìn)行折衷,并且進(jìn)行調(diào)整以適應(yīng)不同的應(yīng)用環(huán)境。

3.記錄、報(bào)警和響應(yīng)。入侵檢測系統(tǒng)在檢測到攻擊后,應(yīng)該采取相應(yīng)的措施來阻止攻擊或者響應(yīng)攻擊。作為一種主動(dòng)防御策略,它必然應(yīng)該具備此功能。入侵檢測系統(tǒng)首先應(yīng)該記錄攻擊的基本情況,其次應(yīng)該能夠及時(shí)發(fā)出報(bào)警。好的入侵檢測系統(tǒng),不僅應(yīng)該把相關(guān)數(shù)據(jù)記錄在文件或數(shù)據(jù)庫中,還應(yīng)該提供好的報(bào)表打印功能。必要時(shí),系統(tǒng)還應(yīng)該采取必要的響應(yīng)行為,如拒絕接受所有來自某臺(tái)計(jì)算機(jī)的數(shù)據(jù)、追蹤入侵行為等。

三、神經(jīng)系統(tǒng)網(wǎng)絡(luò)在入侵檢測系統(tǒng)中的應(yīng)用

目前計(jì)算機(jī)入侵的現(xiàn)狀是入侵的數(shù)量日益增長、入侵個(gè)體的入侵手段和目標(biāo)系統(tǒng)多種多樣,因此要確切的描述入侵特征非常困難,入侵規(guī)則庫和模式庫的更新要求難以得到滿足,這就要求入侵檢測應(yīng)該具有相當(dāng)大的智能性和靈活性,這是多項(xiàng)人工智能技術(shù)被相繼應(yīng)用到入侵檢測中的原因。

1.傳統(tǒng)入侵檢測中存在的問題。我們先來分析一下傳統(tǒng)IDS存在的問題。傳統(tǒng)IDS產(chǎn)品大多都是基于規(guī)則的,而這一傳統(tǒng)的檢測技術(shù)有一些難以逾越的障礙:

(1)在基于規(guī)則的入侵檢測系統(tǒng)中,所有的規(guī)則可理解為“IF一THEN”形式,也就是說,這一規(guī)則表述的是一種嚴(yán)格的線性關(guān)系,缺乏靈活性和適應(yīng)性,當(dāng)網(wǎng)絡(luò)數(shù)據(jù)出現(xiàn)信息不完整、變形失真或攻擊方法變化時(shí),這種檢測方法將失效,因此引起較高的誤警率和漏報(bào)率。

(2)隨著攻擊類型的多樣化,必然導(dǎo)致規(guī)則庫中的規(guī)則不斷增多,當(dāng)這些規(guī)則增加到一定程度,會(huì)引起系統(tǒng)檢測效率的顯著降低,在流量較高時(shí),可造成丟包等現(xiàn)象。此外,攻擊方法的不斷發(fā)展,使得傳統(tǒng)的入侵檢測系統(tǒng)無法有效地預(yù)測和識(shí)別新的攻擊方法,使系統(tǒng)的適應(yīng)性受到限制。

(3)傳統(tǒng)的用來描述用戶行為特征的度量一般是憑感覺和經(jīng)驗(yàn)的,這些度量是否能有效地描述用戶行為很難估計(jì)。有些度量當(dāng)考慮所有用戶可能是無效的,但當(dāng)考慮某些特別的用戶時(shí),可能又非常有用。

2.神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用

作為人工智能(AD)的一個(gè)重要分支,神經(jīng)網(wǎng)絡(luò)在入侵檢測領(lǐng)域得到了很好的應(yīng)用。神經(jīng)網(wǎng)絡(luò)技術(shù)在入侵檢測系統(tǒng)中用來構(gòu)造分類器,主要用于資料特征的分析,以發(fā)現(xiàn)是否為一種入侵行為。如果是一種入侵行為,系統(tǒng)將與已知入侵行為的特征進(jìn)行比較,判斷是否為一種新的攻擊行為,從而決定是進(jìn)行丟棄還是進(jìn)行存盤、報(bào)警、發(fā)送資料特征等工作。神經(jīng)網(wǎng)絡(luò)在入侵檢測中的具體實(shí)現(xiàn)方法一般有兩種:

(1)系統(tǒng)或模式匹配系統(tǒng)合并在一起

這種方法不是像以前一樣在異常檢測中用神經(jīng)網(wǎng)絡(luò)代替現(xiàn)有的統(tǒng)計(jì)分析部分,而是用神經(jīng)網(wǎng)絡(luò)來過濾出數(shù)據(jù)當(dāng)中的可疑事件,并把這些事件轉(zhuǎn)交給專家系統(tǒng)處理。這種結(jié)構(gòu)可以通過減少專家系統(tǒng)的誤報(bào)來提高檢測系統(tǒng)的效用。因?yàn)樯窠?jīng)網(wǎng)絡(luò)將確定某一特別事件具有攻擊跡象的概率,我們就可以確定一個(gè)閩值來決定事件是否轉(zhuǎn)交給專家系統(tǒng)作進(jìn)一步分析,這樣一來,由于專家系統(tǒng)只接收可疑事件的數(shù)據(jù),它的靈敏度就會(huì)大大增加(通常,專家系統(tǒng)以犧牲靈敏度來減少誤報(bào)率)。這種結(jié)構(gòu)對那些投資專家系統(tǒng)技術(shù)的機(jī)構(gòu)大有好處,因?yàn)樗岣吡讼到y(tǒng)的效用,同時(shí)還保護(hù)了在現(xiàn)有IDS上的投資。

(2)網(wǎng)絡(luò)作為一個(gè)獨(dú)立的特征檢測系統(tǒng)

在這個(gè)結(jié)構(gòu)中,神經(jīng)網(wǎng)絡(luò)從網(wǎng)絡(luò)流中接受數(shù)據(jù),并對數(shù)據(jù)進(jìn)行分析。任何被識(shí)別為帶有攻擊跡象的事件都將被轉(zhuǎn)交給安全管理員或自動(dòng)入侵應(yīng)答系統(tǒng)來處理。這種方法在速度方面超過了以前的方法,因?yàn)樗挥幸粋€(gè)單獨(dú)的分析層。另外,隨著神經(jīng)網(wǎng)絡(luò)對攻擊特征的學(xué)習(xí),這種結(jié)構(gòu)的效用也會(huì)不斷提高,它不同于第一種方法,不會(huì)受專家系統(tǒng)分析能力的限制,而最終將超越專家系統(tǒng)基于規(guī)則的種種限制。

參考文獻(xiàn):

第7篇：神經(jīng)網(wǎng)絡(luò)論文范文

 

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

題目 陣列化的非晶體納米硅神經(jīng)突觸器件制備與數(shù)值模擬        

 

 

姓名與學(xué)號(hào)     鄭浩 315104964    

指導(dǎo)教師        皮孝東          

合作導(dǎo)師                        

年級(jí)與專業(yè)  2015級(jí) 材料科學(xué)工程  

所在學(xué)院        材料科學(xué)工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大學(xué)本科生畢業(yè)論文（設(shè)計(jì)）承諾書

1.本人鄭重地承諾所呈交的畢業(yè)論文（設(shè)計(jì)），是在指導(dǎo)教師的指導(dǎo)下嚴(yán)格按照學(xué)校和學(xué)院有關(guān)規(guī)定完成的。

2.本人在畢業(yè)論文（設(shè)計(jì)）中除了文別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得 浙江大學(xué) 或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。

3.與我一同工作的同志對本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示謝意。

4. 本人承諾在畢業(yè)論文（設(shè)計(jì)）選題和研究內(nèi)容過程中沒有偽造相關(guān)數(shù)據(jù)等行為。

5. 在畢業(yè)論文（設(shè)計(jì)）中對侵犯任何方面知識(shí)產(chǎn)權(quán)的行為，由本人承擔(dān)相應(yīng)的法律責(zé)任。

6.本人完全了解 浙江大學(xué) 有權(quán)保留并向有關(guān)部門或機(jī)構(gòu)送交本論文（設(shè)計(jì)）的復(fù)印件和磁盤，允許本論文（設(shè)計(jì)）被查閱和借閱。本人授權(quán) 浙江大學(xué) 可以將本論文（設(shè)計(jì)）的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索和傳播，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文（設(shè)計(jì)）。

 

 

作者簽名：                         導(dǎo)師簽名：

 

簽字日期：     年   月   日      簽字日期：      年   月   日

 

 

 

致  謝

致謝內(nèi)容。（仿宋字體或Times New Roman，小四號(hào)，兩端對齊，首行縮進(jìn)兩個(gè)漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息時(shí)代的來臨，人類在處理大數(shù)據(jù)與多信息的任務(wù)面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計(jì)算機(jī)思想在處理這些問題時(shí)出現(xiàn)了本質(zhì)上的不足，因此神經(jīng)網(wǎng)絡(luò)的應(yīng)用于硬件化變得十分迫切。隨著憶阻器的發(fā)現(xiàn)，類腦計(jì)算的實(shí)際應(yīng)用變得可能。本文從硬件神經(jīng)網(wǎng)絡(luò)的興起出發(fā)，闡述了硬件神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀與實(shí)現(xiàn)途徑，之后引入了生物神經(jīng)元的特征，闡述了以往關(guān)于人類神經(jīng)元建立的數(shù)學(xué)模型。之后本文提出了一種陣列化硅納米晶體神經(jīng)突觸器件的制備方法與過程，并且在基于這樣的器件上，得到相應(yīng)的LTP與STDP數(shù)據(jù)，將這些數(shù)據(jù)分別用于探究：神經(jīng)元激活函數(shù)數(shù)值模擬，有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)之tempotron算法數(shù)值模擬與STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)數(shù)值模擬，在得到結(jié)果的基礎(chǔ)上，提出了硬件化神經(jīng)網(wǎng)絡(luò)所需要的器件的基本性質(zhì)與要求。為未來的硬件化目標(biāo)提出了可行性與基本方向。

關(guān)鍵詞：硬件神經(jīng)網(wǎng)絡(luò)；神經(jīng)元；神經(jīng)突觸器件；激活函數(shù)；Tempotron算法；STDP；無監(jiān)督學(xué)習(xí)

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  畢業(yè)論文（設(shè)計(jì)）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 緒論

1.1.1 硬件神經(jīng)網(wǎng)絡(luò)的興起

1.1.2 硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

1.3.1 生物神經(jīng)元介紹

1.3.2 人工神經(jīng)元介紹

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹

3.1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1.2 神經(jīng)元硬件化結(jié)論

3.2.1 脈沖編碼

3.2.2 權(quán)值更新

3.2.3 數(shù)值模擬結(jié)果

3.2.4 LTP權(quán)值改變法

3.2.5 STDP權(quán)值改變法

3.2.6 結(jié)論

3.3.1 理論背景與基礎(chǔ)

3.3.2 網(wǎng)絡(luò)設(shè)計(jì)

3.3.3 模擬結(jié)果

作者簡歷

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

畢業(yè)論文（設(shè)計(jì)）

第一章  緒論

11.1  硬件神經(jīng)網(wǎng)絡(luò)1.1.1  硬件神經(jīng)網(wǎng)絡(luò)的興起

21世紀(jì)進(jìn)入信息時(shí)代后，計(jì)算機(jī)的普及率大大上升，計(jì)算機(jī)本身也在計(jì)算力與邏輯處理上遠(yuǎn)遠(yuǎn)超過了人腦，然而不足的是，在數(shù)據(jù)的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個(gè)神經(jīng)元和10^15神經(jīng)突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識(shí)別它的過程往往使視覺神經(jīng)信號(hào)與記憶信號(hào)同時(shí)作用的結(jié)果，功耗在fj量級(jí)。在使得馮-洛伊曼式計(jì)算機(jī)處理復(fù)雜指令與控制上體現(xiàn)出了根本性的缺陷?；谶@一點(diǎn)，神經(jīng)網(wǎng)絡(luò)的研究開始興起，在1943年，McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型后, 有關(guān)于神經(jīng)網(wǎng)絡(luò)的討論也逐漸火熱起來，但其發(fā)展的中途受到很多科學(xué)家對其的質(zhì)疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經(jīng)網(wǎng)絡(luò)，從數(shù)學(xué)上的形式，證明了這種算法的可行性，BP神經(jīng)網(wǎng)絡(luò)是一種前饋式的誤差逆向傳播網(wǎng)絡(luò)，通過訓(xùn)練集不斷縮小輸出值與目標(biāo)值的差值從而達(dá)到非線性優(yōu)化的目的。由此，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理得到證明，其實(shí)在1970年神經(jīng)網(wǎng)絡(luò)存在一段低落期，也受到了很多懷疑。但是BP神經(jīng)網(wǎng)絡(luò)的興起與提出，讓科學(xué)們對于神經(jīng)網(wǎng)絡(luò)的態(tài)度再次火熱起來。21世紀(jì)隨著深度學(xué)習(xí)的提出，又掀起了一股關(guān)于人工智能的熱潮，Deep learning 是在多層感知機(jī)的基礎(chǔ)上，不斷增加隱含層的層數(shù)，這上面又出現(xiàn)了一些數(shù)學(xué)上的問題比如激活函數(shù)的梯度彌散問題，但是由于Relu激活函數(shù)替代sigmod函數(shù)的提出，這些問題逐步得到了解決，深度學(xué)習(xí)向前發(fā)展了一大步。比如IBM的“深藍(lán)”擊敗世界圍棋選手李智石等，但是實(shí)際上，“深藍(lán)”在擊敗李智石時(shí)消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個(gè)饅頭的熱量戰(zhàn)斗。也就是說，這場比賽其實(shí)并不公平。其實(shí)這反應(yīng)的是人工智能的工作效率與真正人腦的學(xué)習(xí)效率仍然有很大的差距。神經(jīng)網(wǎng)絡(luò)本質(zhì)是由多個(gè)簡單的信號(hào)處理單元組成，這些簡單的信號(hào)單元之間由一種方式連接形成網(wǎng)絡(luò)，它意在模仿人類大腦處理信息的模式，從而實(shí)現(xiàn)圖像識(shí)別，音像識(shí)別，特征提取和記憶等功能?，F(xiàn)在計(jì)算機(jī)能夠從軟件上對神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)現(xiàn)，然而關(guān)于數(shù)據(jù)的存取方式仍然無法得到突破，數(shù)據(jù)的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識(shí)別圖像，獲得信息是并行的。因此硬件神經(jīng)網(wǎng)絡(luò)的開發(fā)是必要的，硬件神經(jīng)網(wǎng)絡(luò)能夠使用集成電路實(shí)現(xiàn)并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經(jīng)網(wǎng)絡(luò)的開發(fā)受到很多的關(guān)注與研究，未來人工智能和類腦計(jì)算的發(fā)展前景中，硬件神經(jīng)網(wǎng)絡(luò)的研究是必須的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當(dāng)前關(guān)于硬件化神經(jīng)網(wǎng)絡(luò)的突破，現(xiàn)狀與發(fā)展形勢。

第二章主要從人類的神經(jīng)元開始，講述人類生物神經(jīng)元的特點(diǎn)，講述現(xiàn)在人工神經(jīng)元的數(shù)學(xué)模型，以及硬件化神經(jīng)元需要的要求與方式

第三章主要講述制備實(shí)驗(yàn)器件的技術(shù)路線，與制備的過程和使用的材料

第四章從數(shù)值模擬的角度，探究神經(jīng)元硬件化的條件是怎么樣的，數(shù)值模擬選取MNIST數(shù)據(jù)集作為樣本數(shù)據(jù)集，通過使用實(shí)驗(yàn)得到的激活函數(shù)替論激活函數(shù)，觀察網(wǎng)絡(luò)的準(zhǔn)確率，得出相關(guān)結(jié)論，探究硬件需要滿足的條件

第五章從數(shù)值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經(jīng)元不同，它是作為神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)權(quán)值，改變權(quán)值的存在，與神經(jīng)元有本質(zhì)上的區(qū)別，數(shù)值模擬采用26個(gè)英文字母的圖片作為數(shù)據(jù)集，進(jìn)行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)值模擬，通過實(shí)驗(yàn)硬件得到的LTP與LTD圖像進(jìn)行權(quán)值更新。得到預(yù)測率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經(jīng)網(wǎng)絡(luò)硬件化的一個(gè)器件，為未來做出相關(guān)硬件網(wǎng)絡(luò)道出了一種可行性。

第六章主要是針對STDP的學(xué)習(xí)機(jī)制擴(kuò)大網(wǎng)絡(luò)規(guī)模，將數(shù)據(jù)集擴(kuò)展到MNIST手寫數(shù)據(jù)集，使用STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[16]對數(shù)據(jù)進(jìn)行訓(xùn)練，之后再對訓(xùn)練好的神經(jīng)元進(jìn)行分類。得到我們想要的結(jié)果。

第七章主要是總結(jié)本文的工作得到的結(jié)論，以及對于未來硬件神經(jīng)網(wǎng)絡(luò)的發(fā)展的一些展望與看法

 

 

1.1.2  硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

一般硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方式有三種，即采用電子學(xué)方法——依靠微電子技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光電方法——依靠半導(dǎo)體光電集成技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光學(xué)方法實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)[18]。微電子技術(shù)應(yīng)該是通過各種電路設(shè)計(jì)，例如放大電路，差分電路等集成電路，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的reference部分。依靠光電實(shí)現(xiàn)的硬件神經(jīng)網(wǎng)絡(luò)是本文的重點(diǎn)，利用電學(xué)元器件，憶阻器器件，或者是光電器件，模擬生物神經(jīng)元的膜電位變化曲線，與人類大腦的權(quán)重學(xué)習(xí)規(guī)則，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的硬件化。采用光學(xué)的方法實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算的方法十分有趣，UCLA大學(xué)的研究小組發(fā)明了一種全光的深層神經(jīng)網(wǎng)絡(luò)，通過光的反射與折射傳遞信號(hào)，利用光入射的相位差記錄權(quán)值變化，實(shí)現(xiàn)了全光的神經(jīng)網(wǎng)絡(luò)，而且由于光的傳播速度是光速，在整個(gè)網(wǎng)絡(luò)的效率與速度上都十分驚人，能耗也十分低[21]。神經(jīng)網(wǎng)絡(luò)的電子學(xué)硬件實(shí)現(xiàn)方法主要有四種，其中分別是數(shù)字實(shí)現(xiàn)、模擬實(shí)現(xiàn)、混合數(shù)/模實(shí)現(xiàn)和脈沖技術(shù)實(shí)現(xiàn)等[18]。通過數(shù)字實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)一般精度很高[1,2]，權(quán)值易存儲(chǔ)也容易改變，并且能夠通過電路實(shí)現(xiàn)并行處理，克服傳統(tǒng)計(jì)算機(jī)串行處理數(shù)據(jù)的弊病，但是缺點(diǎn)是電路難以集成，體積很大，很難適用于計(jì)算機(jī)新型芯片這種地方。通過模擬實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠很好克服上面的缺點(diǎn)[3,4,5]，但是由于突觸和神經(jīng)元器件對參數(shù)敏感，準(zhǔn)確度下降，更關(guān)鍵是對于權(quán)值的存儲(chǔ)存在困難。1987年是一個(gè)轉(zhuǎn)機(jī)，即脈沖技術(shù)第一次用于了神經(jīng)網(wǎng)絡(luò)，使用VLSI技術(shù)作為實(shí)現(xiàn)，從這以后，神經(jīng)網(wǎng)絡(luò)的脈沖技術(shù)受到了很多關(guān)注[9,12]。

脈沖技術(shù)，簡單來說就是將神經(jīng)元的興奮或者抑制狀態(tài)通過一定的編碼方式轉(zhuǎn)化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號(hào)是離散的，因此一定程度上可以簡化運(yùn)算電路：例如突觸電路。神經(jīng)元與一般的電路元件不同，它本身的密度很高，正如人類神經(jīng)元的密度很高一樣。這種緊密的排列方式使得脈沖信號(hào)把芯片和外圍設(shè)備的接口變得更容易連接。本文正是利用從脈沖神經(jīng)網(wǎng)絡(luò)出發(fā)，制備出硬件化的元件，通過數(shù)值模擬硬件的實(shí)際可行性，并且對于未來硬件化神經(jīng)網(wǎng)絡(luò)的方向提出一些看法

21.2  硬件神經(jīng)網(wǎng)絡(luò)研究進(jìn)展當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)存在三種模式，第一種是非學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)，即網(wǎng)絡(luò)的前饋過程與權(quán)值計(jì)算過程全部由軟件進(jìn)行實(shí)現(xiàn)，權(quán)值是固定不變的，只用神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)完成之后，再與實(shí)際電路結(jié)構(gòu)匹配即可。另外一種是on-chip的模式，即前饋過程通過微電子電路進(jìn)行實(shí)現(xiàn)，權(quán)值的更新與計(jì)算通過計(jì)算機(jī)實(shí)現(xiàn)。還有一種off-chip模式，即是一種全自動(dòng)的自主性芯片，從神經(jīng)網(wǎng)絡(luò)的前饋環(huán)節(jié)到神經(jīng)網(wǎng)絡(luò)的BP算法實(shí)現(xiàn)都一并完成。目前的研究狀況，我們已經(jīng)能夠熟練通過電路的設(shè)計(jì)實(shí)現(xiàn)非學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。在on-chip式的人工神經(jīng)網(wǎng)絡(luò)上，我們也能通過一定的模擬方式得到實(shí)現(xiàn)。現(xiàn)在的當(dāng)務(wù)之急是開發(fā)off-chip式的神經(jīng)網(wǎng)絡(luò)，使用硬件對權(quán)值的存儲(chǔ)與改進(jìn)是必要的。自從20世紀(jì)60年代后期引入憶阻器概念以來，由于其簡單性和功能相似性，它們被認(rèn)為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開拓了RRAM和憶阻器之間聯(lián)系，做出了一定的應(yīng)用之后以非易失性存儲(chǔ)器件和神經(jīng)突觸晶體管為代表開始成為神經(jīng)突觸器件的基礎(chǔ)。但將這些器件用于第二代神經(jīng)網(wǎng)絡(luò)（也就是多層感知機(jī)）上，取得了一定的成就，現(xiàn)在關(guān)于這方法的也在如火如荼的進(jìn)行著，但是由于第二代神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)仍然是基于計(jì)算機(jī)的算力達(dá)到的深度，也就是說，加深隱含層的數(shù)目提高準(zhǔn)確度，知識(shí)因?yàn)橛兄鴱?qiáng)大的計(jì)算芯片作為支持。我們需要考慮一種完全類似于人腦思考問題的神經(jīng)網(wǎng)絡(luò)與算法，于是脈沖神經(jīng)網(wǎng)絡(luò)開始興起，并且被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò)，這是一種完全基于人腦計(jì)算模式的神經(jīng)網(wǎng)絡(luò)，從長程記憶可塑性LTP，時(shí)間可塑依賴性STDP等研究的深入，這一網(wǎng)絡(luò)的硬件化也成為了可能

31.3  從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)1.3.1 生物神經(jīng)元介紹

人的大腦中有超過 1011個(gè)神經(jīng)元，這些神經(jīng)元之間的連接的突觸又大約有10^15個(gè)，這些突觸使得神經(jīng)元互相連接，從而構(gòu)成了復(fù)雜多變而又有條不紊的神經(jīng)網(wǎng)絡(luò)[7]。這些神經(jīng)元的單獨(dú)處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經(jīng)元并行處理。即大量神經(jīng)元一起處理一個(gè)任務(wù)，這有些類似于計(jì)算機(jī)里的多線程并行操作算法。人類大腦的神經(jīng)元數(shù)目雖然龐大，但是它的能耗低卻是特點(diǎn)，我們每日攝入的熱量與一些機(jī)器的能源是不能夠比擬的，然而我們的大腦就能夠?qū)崿F(xiàn)很多計(jì)算功能，有數(shù)據(jù)顯示，腦神經(jīng)系統(tǒng)一個(gè)動(dòng)作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個(gè)數(shù)量級(jí)。

人的生物神經(jīng)元有兩個(gè)部分，分別是細(xì)胞體和突起。具有處理并且整合輸入的神經(jīng)信號(hào)，然后傳出這些信息的作用。突起有樹突和軸突兩種。樹突相對較短但分枝很多，其作用是接受其他神經(jīng)元軸突傳來的沖動(dòng)并傳給細(xì)胞體。軸突長而分枝少，常常出現(xiàn)在軸丘，一般為粗細(xì)均勻的細(xì)長突起，其作用是接受外來刺激，再由細(xì)胞體傳出。神經(jīng)元與神經(jīng)元之間的連接被稱為神經(jīng)突觸，兩個(gè)神經(jīng)元之間連接強(qiáng)度或者關(guān)聯(lián)程度體現(xiàn)在突觸的連接強(qiáng)度。一般而言神經(jīng)元有以下的特點(diǎn)[8]：

1）：可塑性：即神經(jīng)元之間的突觸可以連接，也可以取消，連接可以變強(qiáng)，也可以慢慢變?nèi)?，方便與人類去適應(yīng)不同的環(huán)境。

2）：興奮與抑制：神經(jīng)元受到外界刺激之后，會(huì)產(chǎn)生膜內(nèi)外滲透壓的差別從而導(dǎo)致Na+或者Ca2+的流入或者流出，這些離子的遷移會(huì)產(chǎn)生動(dòng)作電位，導(dǎo)致膜電位的上升或者下降，也就對應(yīng)了人類神經(jīng)元的興奮和抑制過程。

3）：學(xué)習(xí)與遺忘：由于可塑性的存在，當(dāng)人類在長時(shí)間受到同一種刺激的時(shí)候，會(huì)產(chǎn)生我們的所說的學(xué)習(xí)功能，而這種功能其實(shí)是神經(jīng)元之間的連接得到了加強(qiáng)，同理，如果我們慢慢遺忘了一些東西，是因?yàn)殚L期不去使用從而神經(jīng)元之間的連接衰弱了。對應(yīng)的有LTP,LTD圖像來進(jìn)行表征。

4）：突觸的延時(shí)和不應(yīng)期。神經(jīng)沖動(dòng)的傳遞在突觸中是需要時(shí)間的，一般這個(gè)時(shí)間是1-150ms。另外，神經(jīng)元也不會(huì)在短時(shí)間內(nèi)接受兩次沖動(dòng)，一般需要間隔一定的時(shí)間，這個(gè)被稱為不應(yīng)期。

從上面可以看到，想要用神經(jīng)元器件模擬人類的生物的神經(jīng)元，一定要從生物本質(zhì)和特征去進(jìn)行模擬。本文后面的數(shù)值模擬會(huì)再把這些特征一一強(qiáng)調(diào)一次，從而達(dá)到一種仿真的目的。

1.3.2 人工神經(jīng)元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型, 神經(jīng)元可用簡單的zha值函數(shù)表示，并完成邏輯函數(shù)功能[19]。20世紀(jì)初期，美國心理學(xué)家Willian Jame 提出，一個(gè)神經(jīng)元應(yīng)該是同時(shí)接受來自不同神經(jīng)元的信號(hào)后，由于不同神經(jīng)元之間的突觸連接強(qiáng)度不同，神經(jīng)元相當(dāng)于是一個(gè)加權(quán)和，并且由于興奮存在一個(gè)閾值電壓，需要一定的電壓值才會(huì)fire，因此神經(jīng)元可以用一個(gè)數(shù)學(xué)模型來勾畫，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每個(gè)神經(jīng)元的輸入值，表征神經(jīng)元之間的連接強(qiáng)度，b代表閾值電壓。外界的f函數(shù)則是一種神經(jīng)元的處理函數(shù)。

 

圖1-1 MP 神經(jīng)元模型

Fig.1.1 Neurons model

可以看到，對于神經(jīng)元的硬件實(shí)現(xiàn)實(shí)際上是一個(gè)乘法器的實(shí)現(xiàn)以及加權(quán)和非線性處理，這個(gè)可以通過放大電路等進(jìn)行實(shí)現(xiàn)。后續(xù)本文也將探究一下神經(jīng)元應(yīng)該具備怎樣的條件，或者怎么樣的器件適合作為神經(jīng)元器件。

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經(jīng)網(wǎng)絡(luò), 引起了神經(jīng)網(wǎng)絡(luò)理論在優(yōu)化學(xué)術(shù)界的轟動(dòng)。然而熱潮還遠(yuǎn)遠(yuǎn)沒有結(jié)束。1986年，Rumelhart和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)是現(xiàn)在很多網(wǎng)絡(luò)算法的基礎(chǔ)，它是一種依靠逆向傳播輸出值與實(shí)際值誤差修正網(wǎng)絡(luò)權(quán)值的網(wǎng)絡(luò)，利用梯度下降算法或者隨機(jī)梯度下降法降低目標(biāo)值與實(shí)際值的誤差，隨機(jī)梯度下降算法時(shí)為了加速算法收斂速度提出的更好的方式，現(xiàn)在很多網(wǎng)絡(luò)也應(yīng)用這種方法

 

圖 1-2 經(jīng)典的神經(jīng)BP神經(jīng)網(wǎng)絡(luò)模型

從圖中我們可以看到的是，網(wǎng)絡(luò)一般由輸入層，隱含層和輸出層三個(gè)部分構(gòu)成，其中輸入層可以是圖像的像素值，音頻信號(hào)等等，因此神經(jīng)網(wǎng)絡(luò)現(xiàn)在廣泛用于人臉識(shí)別，圖像識(shí)別，聲音識(shí)別等等領(lǐng)域。隱含層的多少是決定一個(gè)網(wǎng)絡(luò)是否是深層網(wǎng)絡(luò)的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語言描述，訓(xùn)練的精度也會(huì)逐步的提升。輸出層是網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)的輸出后往往會(huì)選擇一個(gè)損失函數(shù)，這個(gè)損失函數(shù)是用于衡量目標(biāo)值與實(shí)際值的差值從而進(jìn)行誤差反向傳播計(jì)算。常見的損失函數(shù)有MSE函數(shù),Cross-Entorpy函數(shù)等等。

 

圖1-3 硬件神經(jīng)網(wǎng)絡(luò)的一種實(shí)現(xiàn)[15]

基于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)MLP的硬件實(shí)現(xiàn)如上圖所示，使用電路模擬整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進(jìn)行權(quán)值的存儲(chǔ)與更新。這樣的網(wǎng)絡(luò)往往需要得到的I-V曲線是對稱的，就是說，權(quán)值的變化需要是隨著強(qiáng)度的增加而增加，減少而減少，呈現(xiàn)一種線性的變化，從而保證在進(jìn)行BP算法時(shí)，誤差能夠不斷減小。

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹隨著在21世紀(jì)早期計(jì)算能力的顯現(xiàn)，DNN（多層感知器，深層信念網(wǎng)絡(luò)，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)等等）迅速發(fā)展，DNN的基本特征是有很多隱含層，這些神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)監(jiān)督與非監(jiān)督學(xué)習(xí)，并且能夠優(yōu)秀的完成有大量數(shù)據(jù)的任務(wù)。然而實(shí)際上，現(xiàn)在的DNN的優(yōu)秀來源于GPU的并行加速機(jī)制，是在計(jì)算機(jī)多核算力上的體現(xiàn)，在其本身的算法上，其效率遠(yuǎn)遠(yuǎn)不如人腦高。SNN（脈沖神經(jīng)網(wǎng)絡(luò)）最近引起了很多關(guān)注，因?yàn)樗鼈兣c生物系統(tǒng)非常相似，在SNN中，輸入信號(hào)是尖峰，而不是傳統(tǒng)神經(jīng)元中的恒定饋送。 人們普遍認(rèn)為能夠處理尖峰是大腦在序列識(shí)別和記憶方面如此壯觀的主要原因之一[9]。序列識(shí)別是計(jì)算中更重要的主題之一，因?yàn)樗苯佑绊懴到y(tǒng)處理強(qiáng)烈時(shí)序依賴的刺激的能力，例如語音識(shí)別和圖像檢測[10]

 

圖1-4  STDP圖像

對應(yīng)STDP的最簡單理解是，如果前突觸神經(jīng)元的信號(hào)在后突觸神經(jīng)元的信號(hào)之前達(dá)到，有理由認(rèn)為前突觸的信號(hào)導(dǎo)致后突觸神經(jīng)元的信號(hào)產(chǎn)生，那么這兩者之間的突觸連接強(qiáng)度應(yīng)該增加，反之就該減少。但如何保證這種訓(xùn)練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發(fā)表的文章[11]指出具有對稱反饋權(quán)重的網(wǎng)絡(luò)將具有以下特性：“輸出單元”的小擾動(dòng)將向更好的預(yù)測傳播到內(nèi)部層，使得隱藏單元移動(dòng)到大致遵循預(yù)測誤差J相對于隱藏單元的梯度。而STDP規(guī)則大致對應(yīng)于預(yù)測誤差的梯度下降，即STDP的規(guī)則其實(shí)和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報(bào)告的實(shí)驗(yàn)已經(jīng)真實(shí)地表明這些近似值可以工作并且能夠訓(xùn)練有監(jiān)督的多層神經(jīng)網(wǎng)絡(luò)[12]。

脈沖神經(jīng)網(wǎng)絡(luò)被稱為新一代神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的神經(jīng)網(wǎng)絡(luò)不同在于它的輸入實(shí)際上不是一個(gè)連續(xù)值而是一系列脈沖，更為重要的是他的神經(jīng)元膜電位，一旦達(dá)到了膜電位的峰值，那么這個(gè)神經(jīng)元就被激活，后面的脈沖會(huì)進(jìn)入一段不應(yīng)期。關(guān)于神經(jīng)元的模型，已經(jīng)提出了HH模型，Izhikevich模型與LIF模型，其中以LIF模型為例，其微分方程的表示如下：

τdVdt=?(V?Vr)+RI

                      （2-2）

 

τ

是膜的時(shí)間常數(shù)，R為膜電阻，V是膜電位，Vr是復(fù)位電位，I是注入電流，當(dāng)膜電壓超過一個(gè)閾值時(shí)，神經(jīng)元會(huì)發(fā)送一個(gè)脈沖。如果后面沒有連續(xù)的刺激，這個(gè)產(chǎn)生的脈沖信號(hào)會(huì)不斷衰退，膜電位也會(huì)恢復(fù)到復(fù)位電位后穩(wěn)定。之后再接受電流再刺激。

 

針對脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，也分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)主要以STDP為主[13,14]，有監(jiān)督學(xué)習(xí)包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個(gè)詳細(xì)的介紹：

在Tempotron算法中，考慮在閾值下，突觸前神經(jīng)元產(chǎn)生的脈沖信號(hào)，對突觸后膜電位（PSPs）的貢獻(xiàn)是來自所有脈沖輸入的加權(quán)和：

V(t)=∑iωi∑tiK(t?ti)+Vrest

                  （2-3）

 

ti

表示第i個(gè)神經(jīng)元的脈沖發(fā)送時(shí)間，

K（t?ti）

表示第i個(gè)脈沖對于膜電位的貢獻(xiàn)，即突觸前神經(jīng)元發(fā)出的脈沖對于突觸后神經(jīng)元膜電位的影響。其標(biāo)準(zhǔn)形式如下：

 

K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])

          （2-4）

 

τ,τs

是時(shí)間常數(shù)，為了保證K(t)在（0,1）之內(nèi)變動(dòng)，我們需要用V_0進(jìn)行歸一化處理，K(t)圖像繪制如下圖：

 

 

圖1-5 K(t)隨時(shí)間變化圖

由監(jiān)督學(xué)習(xí)的重點(diǎn)是要將權(quán)重更新向著誤差減少的方向進(jìn)行，獲得期望的輸出脈沖，更新規(guī)則如下：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （2-5）

 

即以二分類為例，ti

為突觸前神經(jīng)元峰值的產(chǎn)生時(shí)間，這里的

tmax

設(shè)定為我們設(shè)置的時(shí)間序列的終點(diǎn)，默認(rèn)為突觸后神經(jīng)元的峰值的產(chǎn)生時(shí)間，但這和一般的STDP不一樣，因?yàn)镾TDP的神經(jīng)網(wǎng)絡(luò)訓(xùn)練規(guī)則實(shí)際是不需要有監(jiān)督的，而這里有一個(gè)參數(shù)

λ

，用于控制輸出值與期望值的誤差方向，如果突觸前神經(jīng)元產(chǎn)生峰值超過閾值電壓的神經(jīng)脈沖，并且突觸后神經(jīng)元指向分類標(biāo)準(zhǔn)與前神經(jīng)元指向的分類相同，則不需要修改權(quán)值（說明這個(gè)連接正確），如果突觸前神經(jīng)元峰值未超過閾值電壓，那么需要根據(jù)上式指定

λ

>0，并且計(jì)算需要增加的權(quán)值。反之當(dāng)

λ

<0時(shí)，需要進(jìn)行減小權(quán)值?？傮w看來，這是在借助有監(jiān)督學(xué)習(xí)的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線獲得修正的幅度（可以認(rèn)為是學(xué)習(xí)的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監(jiān)督學(xué)習(xí)的條件下，后突出神經(jīng)元的峰值由標(biāo)簽值決定，并且根據(jù)誤差值指明誤差修正放向（體現(xiàn)為

λ

的正負(fù)性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線用于有監(jiān)督學(xué)習(xí)的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  實(shí)驗(yàn)部分12.1  陣列化基于硅納米晶體雜化結(jié)構(gòu)的神經(jīng)突觸器件制備2.1.1  制備技術(shù)路線在本論文里面，采用了冷等離子方法制備了摻B的Si量子點(diǎn)，相比于其他的摻雜方法，冷等離子法是借助了動(dòng)力學(xué)的原理，從而實(shí)現(xiàn)了對硅納米晶體的高效摻雜，一定程度上避免了利用熱力學(xué)原理來摻雜的過程中出現(xiàn)的“自潔凈”現(xiàn)象。相比之下能夠?qū)崿F(xiàn)比較高濃度的摻雜。

 

圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖

使用冷等離子體法制備摻雜硅納米晶體的裝置設(shè)計(jì)示意如圖2.1所示。先準(zhǔn)備每分鐘流量值12標(biāo)準(zhǔn)公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調(diào)節(jié)系統(tǒng)尾部的真空泵，使腔體內(nèi)的氣壓穩(wěn)定在6 mbar。石英管中間部位套有兩個(gè)銅環(huán)，分別接匹配箱和射頻發(fā)生器的正負(fù)兩級(jí)。在射頻發(fā)生器（功率約為150 w）的激發(fā)下，銅環(huán)之間的石英管內(nèi)將產(chǎn)生等離子體，混合氣體在通過等離子體區(qū)域時(shí)將會(huì)發(fā)生分解反應(yīng)，這個(gè)反應(yīng)的產(chǎn)生是因?yàn)闅怏w受到了高能粒子和電子的轟擊產(chǎn)生的，具體化學(xué)反應(yīng)式如下：

SiH4?Si+H2B2H6?2B+3H2

 

在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對載流子具有俘獲的性質(zhì)，首先與鈣鈦礦進(jìn)行雜化形成混合容易。通過旋涂工藝制備成了太陽能電池結(jié)構(gòu)的神經(jīng)器件，器件的結(jié)構(gòu)是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au。在該結(jié)構(gòu)里面，ITO是通過光學(xué)刻蝕得到。PCBM, 鈣鈦礦與硅量子點(diǎn)雜化層， Spiro是通過旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子點(diǎn)在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發(fā)工藝得到，厚度大約為100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '這一段是不是應(yīng)該要?jiǎng)h掉？']2.1.1  器件制備路線

在器件制備方面，本文準(zhǔn)備利用硅納米顆粒的光電性能與decay長的性質(zhì)，與鈣鈦礦進(jìn)行雜化形成自驅(qū)動(dòng)電池，在制備電池的工藝上，選擇旋涂工藝做成太陽能電池的結(jié)構(gòu)，器件結(jié)構(gòu)分別是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au，之后使用熱蒸發(fā)工藝將電極Au安裝上，設(shè)置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  數(shù)值模擬13.1 神經(jīng)元硬件化數(shù)值模擬3.1.1  神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于神經(jīng)元的模擬，和突觸的模擬不同，神經(jīng)元的功能由上文中的MP模型已經(jīng)表述很清楚，他承擔(dān)一個(gè)乘法器和加權(quán)和、還有實(shí)現(xiàn)一個(gè)神經(jīng)元函數(shù)的功能，這個(gè)功能也是我們下面模擬要探索的。

 

圖3-1 MINST數(shù)據(jù)集對于的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

采用常用的MNIST手寫識(shí)別數(shù)據(jù)集作為整個(gè)網(wǎng)絡(luò)的輸入，先將圖像的RGB值轉(zhuǎn)換成一個(gè)單位的灰度值，設(shè)計(jì)輸入層應(yīng)該有784個(gè)節(jié)點(diǎn)，隱含層300個(gè)節(jié)點(diǎn)，輸出層設(shè)置10個(gè)節(jié)點(diǎn)，分別對應(yīng)0-9個(gè)數(shù)字的pattern。在實(shí)際模擬時(shí)，采用兩種方式處理，第一種是利用STDP非線性函數(shù)直接對輸入的圖像像素值進(jìn)行處理，意在將灰度值轉(zhuǎn)換為強(qiáng)度值。再用網(wǎng)絡(luò)進(jìn)行訓(xùn)練。第二張利用STDP非線性函數(shù)作為神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，意在探究神經(jīng)元的基本性質(zhì)。

訓(xùn)練模式采用SGD算法，樣本集總共55000個(gè)圖片，每張圖片28×28有784個(gè)輸入值，epoch設(shè)置掃描樣本集10次以上，損失函數(shù)使用交叉熵函數(shù)，激活函數(shù)選擇softmax函數(shù)進(jìn)行激活分類，因?yàn)檫@個(gè)函數(shù)比較適合于多分類問題，在優(yōu)化上也得到了理論的證明。首先我們先將實(shí)驗(yàn)中得到的STDP數(shù)據(jù)擬合結(jié)果如下：

 

圖3-2 STDP Positive 擬合圖像

這里故意選擇了一個(gè)與常規(guī)激活函數(shù)相關(guān)性為負(fù)的激活函數(shù)，一般的激活函數(shù)比如sigmod，relu激活函數(shù)，其強(qiáng)度其實(shí)和輸入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']現(xiàn)正相關(guān)的，這里選取的作為負(fù)相關(guān)的原因是想探究是否能夠作為激活函數(shù)使用。其結(jié)果如下：

 

圖 3-3 擬合的Loss與Accuracy隨訓(xùn)練次數(shù)的變化圖

可以看到上述的結(jié)果是可觀的，也就是說，激活函數(shù)的選取，與是否與輸入值正相關(guān)沒有關(guān)系。另外我比較了理論激活函數(shù)，實(shí)驗(yàn)激活函數(shù)，與對輸入直接非線性處理得到結(jié)果的異同性：

 

圖3-4 三種不同方法得到Loss函數(shù)變化情況

 

圖3-5 三種方法得到的Accuracy變化情況

可以看到，理論激活函數(shù)（紅色）在準(zhǔn)確率上仍然時(shí)最高的，最后的樣本內(nèi)準(zhǔn)確率有98.42%，但在loss的下降速度上，實(shí)驗(yàn)激活函數(shù)體現(xiàn)的更好，但實(shí)驗(yàn)的激活函數(shù)最后準(zhǔn)確率只有96.69%。

3.1.2  神經(jīng)元硬件化結(jié)論根據(jù)上面的模擬結(jié)果我們可以得到結(jié)論，對于神經(jīng)元的硬件模擬，作為激活函數(shù)，只需完成非線性這個(gè)條件即可，但是在實(shí)現(xiàn)乘法器的過程中，需要電路由很好的線性度。這個(gè)線性度的要求實(shí)際是從BP算法的推導(dǎo)中獲得的，這里簡單的推導(dǎo)一下：

Δw=?Loss?w=?Loss?y??y?output??output?w

              （3-1）

 

上式想說明的是，我們需要調(diào)節(jié)權(quán)值w使得我們計(jì)算出的loss函數(shù)達(dá)到最小值，因此我們需要求其導(dǎo)數(shù)從而獲得調(diào)整的方向，可以看到等式右邊第一項(xiàng)實(shí)際是損失函數(shù)對于輸入值的導(dǎo)數(shù)，第二項(xiàng)時(shí)激活函數(shù)對于輸入值的導(dǎo)數(shù)，這兩項(xiàng)在有輸入值的條件下是可以求出的。而根據(jù)神經(jīng)網(wǎng)絡(luò)的矩陣運(yùn)算：

output=w?x+b

                       （3-2）

 

可以看到，output值與輸入的值時(shí)存在線性關(guān)系的，那么也就是說，我們權(quán)值變化量Δw

與輸入的x需要滿足線性關(guān)系。因此神經(jīng)元硬件化需要實(shí)現(xiàn)的線性度不僅僅影響了加權(quán)的效果，還影響到權(quán)值更新的效率性。很多關(guān)于神經(jīng)網(wǎng)絡(luò)硬件化的論文一定會(huì)提到這個(gè)線性度，因?yàn)檫@個(gè)線性度時(shí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法達(dá)到收斂的基本保障。

 

 

圖3-6.a SET與RESET模式下的I-V曲線；b SET模式下的權(quán)值變化隨刺激次數(shù)的變化；c RESET模式下的權(quán)值變化隨刺激次數(shù)的變化[15]

如上圖清華大學(xué)完成的憶阻器神經(jīng)突觸器件，選取電導(dǎo)作為權(quán)值時(shí)，需要I-V曲線在第一二想象有近似的對稱值，其導(dǎo)數(shù)值(即權(quán)值)隨著固定電壓的刺激次數(shù)線性增加或者減小。一般而言，在硬件神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值跟新的時(shí)候，會(huì)選擇一個(gè)固定更新電壓，在這個(gè)指定的電壓下，我們需要保證權(quán)值的正向更新與負(fù)向更新有近似的值，這個(gè)在圖像上體現(xiàn)為圖像的對稱。之前也有文章在圖像的對稱性上做了相關(guān)的材料探究。證明這樣的對稱性是必要的

23.2 有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.2.1  脈沖編碼脈沖神經(jīng)網(wǎng)絡(luò)與第二代神經(jīng)網(wǎng)絡(luò)最為不同的一點(diǎn)在于，它的輸入并不是一系列連續(xù)的值，不是像圖像像素一樣一個(gè)個(gè)數(shù)據(jù)連續(xù)計(jì)入，也沒有二值化的操作。而是離散的脈沖值，就圖像識(shí)別而言，簡單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進(jìn)行標(biāo)準(zhǔn)化后作為網(wǎng)絡(luò)的輸入。而脈沖神經(jīng)網(wǎng)絡(luò)需要對于輸入進(jìn)行一定的脈沖編碼處理，這個(gè)處理可以自己選擇，但轉(zhuǎn)化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發(fā)出的時(shí)間作為網(wǎng)絡(luò)的輸入。下面介紹本文中tempotron算法的編碼方式。

選取26個(gè)英文字母A-Z作為需要識(shí)別的樣本集。每一個(gè)字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會(huì)編程一個(gè)16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數(shù)組，然后我們對其進(jìn)行編碼，每次隨機(jī)從256個(gè)數(shù)中隨機(jī)去8個(gè)數(shù)且不放回，組成一個(gè)32×8的新矩陣，對于每一行數(shù)，得到的是一個(gè)8位的二進(jìn)制數(shù)，因此我們將其轉(zhuǎn)化成十進(jìn)制數(shù)，得到一個(gè)0-255范圍的數(shù)，將原來的矩陣轉(zhuǎn)化成了32×1的矩陣。且每一行代表一個(gè)脈沖的發(fā)送時(shí)間，即將一張16×16的圖像矩陣轉(zhuǎn)化成了在不同時(shí)間一共發(fā)送32次脈沖的輸入值。

3.2.2  權(quán)值更新按照tempotron算法的權(quán)值更新規(guī)則：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （3-3）

 

我們需要設(shè)置一個(gè)時(shí)間軸，并且對于這個(gè)時(shí)間軸上進(jìn)行時(shí)間窗口的劃分，等于說我們需要將這個(gè)時(shí)間軸切割成一份份來進(jìn)行一個(gè)個(gè)的循環(huán)。由于之前在輸入編碼的時(shí)候，我們將16×16像素的黑白圖像轉(zhuǎn)換成了發(fā)送32次脈沖的輸入，這些輸入的脈沖的時(shí)間是0-255，也就是說，我們建立一個(gè)長度為256ms的時(shí)間軸，并且以1ms為一個(gè)時(shí)間窗口，每次檢查在當(dāng)前時(shí)間窗口前是否有脈沖輸入，并且每次都選取在當(dāng)前時(shí)間之前能夠發(fā)送脈沖的數(shù)據(jù)，認(rèn)為他們發(fā)送一次脈沖，將這個(gè)脈沖與核函數(shù)相乘，作為我們膜電壓，如果膜電壓超過了我們設(shè)置的threshold電壓值，我們則認(rèn)為該神經(jīng)元處于fire狀態(tài)，并且會(huì)進(jìn)入一段不應(yīng)期，即shut down后面在256ms內(nèi)的所有脈沖輸入。我們輸入是5個(gè)神經(jīng)元，這是因?yàn)槲覀冃枰獙?6個(gè)英文字母分類，即用5個(gè)二進(jìn)制數(shù)最大可以表示到0-31的每個(gè)數(shù)，于是我們用5個(gè)二進(jìn)制數(shù)表示我們分類的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類推。當(dāng)神經(jīng)處于fire狀態(tài)時(shí)，它會(huì)表現(xiàn)出1的狀態(tài)，反之如果它沒有能夠達(dá)到閾值電壓，它會(huì)處于0的狀態(tài)，我們將網(wǎng)絡(luò)的輸入與我們準(zhǔn)備好的標(biāo)簽值進(jìn)行對比，如果說產(chǎn)生了不同，即分類產(chǎn)生了誤差，我們就需要對其進(jìn)行權(quán)值更新，從而在慢慢的訓(xùn)練過程中，獲得我們期望得到的脈沖值。

即如果網(wǎng)絡(luò)發(fā)出了脈沖，但是實(shí)際沒有發(fā)送脈沖，我們降低該脈沖產(chǎn)生的權(quán)值，從而讓其在后面慢慢變得不發(fā)出脈沖。

如果網(wǎng)絡(luò)沒有發(fā)出脈沖，但是實(shí)際輸入應(yīng)該發(fā)出脈沖，我們應(yīng)該強(qiáng)化該脈沖的產(chǎn)生，即增大其權(quán)值。

 

圖3.7 訓(xùn)練前脈沖與訓(xùn)練后脈沖對比圖

我們設(shè)置1.0 v為閾值電壓，可以看到，隨著訓(xùn)練次數(shù)的增大，一開始正的脈沖傾向于在后面發(fā)出超過閾值電壓的脈沖。但是一開始負(fù)的脈沖，雖然一開始超過了閾值電壓，但是由于隨著訓(xùn)練次數(shù)的增大，變得不斷被抑制，不再發(fā)出脈沖。我們的網(wǎng)絡(luò)就是基于這樣一種思路去訓(xùn)練與優(yōu)化。

3.2.3  數(shù)值模擬結(jié)果數(shù)值模擬上，本文選取了兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了權(quán)值更新法則函數(shù)的模擬，即使用實(shí)驗(yàn)得到的LTP與STDP數(shù)據(jù)進(jìn)行了數(shù)值模擬，并且對比了兩者在應(yīng)用于tempotron算法的差異，提出一定看法。

3.2.4  LTP權(quán)值改變法數(shù)值LTP曲線是模擬人類大腦學(xué)習(xí)時(shí)候的長程可塑性，在圖像上體現(xiàn)為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經(jīng)過一段時(shí)間再進(jìn)行了衰減。表現(xiàn)的圖像如下：

 

圖3.8 LTP擬合圖像

線是得到實(shí)驗(yàn)的LTP數(shù)據(jù)后，使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行擬合，得到完美擬合的曲線，這樣保證了能夠使用完全的實(shí)驗(yàn)數(shù)據(jù)。另外由于實(shí)驗(yàn)的數(shù)據(jù)僅僅有LTP數(shù)據(jù)，然而對于我們的模擬也需要LTD數(shù)據(jù)，基于我們對于這兩個(gè)圖像的了解，他們在一定程度上是中心對稱的。我們通過對于LTP數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)擬合，外推LTD的數(shù)據(jù)，將LTD的數(shù)據(jù)應(yīng)用于模型的抑制環(huán)節(jié)，保證權(quán)值的增加與減少對稱。

將LTP的數(shù)據(jù)帶入，進(jìn)行訓(xùn)練，設(shè)置最大epoch數(shù)為100次，設(shè)置閾值電壓為1 v。訓(xùn)練結(jié)果如下：

 

圖 3.9 準(zhǔn)確率隨訓(xùn)練次數(shù)的變化圖像(LTP)

可以看到，在100 epoch下，準(zhǔn)確率在隨訓(xùn)練次數(shù)的增加而增加，最終穩(wěn)定在89%左右。

3.2.5  STDP權(quán)值改變法人腦的學(xué)習(xí)模式是STDP已經(jīng)被大部分論文和實(shí)驗(yàn)所證實(shí)，因此也許基于STDP的權(quán)值改變方法能夠更加促進(jìn)學(xué)習(xí)的效率。STDP的本質(zhì)定義是說：如果突出前神經(jīng)元的峰值脈沖到達(dá)時(shí)間小于突觸后的神經(jīng)元峰值脈沖，那么認(rèn)為突觸前神經(jīng)元脈沖的產(chǎn)生可能是有利于突觸后神經(jīng)元的產(chǎn)生，即這兩者之間是存在一定的聯(lián)動(dòng)關(guān)系的。于是加強(qiáng)這兩個(gè)神經(jīng)元的連接。反之則減弱它們之間的連接。

利用實(shí)驗(yàn)得到對的STDP Positive數(shù)據(jù)，波張選取375nm的光做刺激。得到光驅(qū)動(dòng)下的STDP。但實(shí)驗(yàn)與理論存在偏差的一點(diǎn)，是光刺激下的STDP圖像實(shí)際上是存在于一、二象限的，這樣意味著，無論是突出前神經(jīng)元的脈沖先到達(dá)還是后到達(dá)，產(chǎn)生的權(quán)值更新過程，都是加強(qiáng)該兩個(gè)神經(jīng)元之間的連接。在保證權(quán)值更新雙向?qū)ΨQ性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數(shù)據(jù)作為替代，這個(gè)數(shù)據(jù)是從電突觸元器件得到的。這里也可以得出一個(gè)設(shè)想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因?yàn)?，光學(xué)突觸器件的耗能相比于電學(xué)突觸器件要節(jié)省很多。如果能夠使用光電混合信號(hào)實(shí)現(xiàn)光電STDP，也不失為一種選擇。

擬合后正向STDP函數(shù)表達(dá)式如下：

y=?0.346ln(x)+2.708

 

負(fù)向STDP函數(shù)表達(dá)式如下：       

y=0.302ln(?x)?2.546

 

根據(jù)上面的STDP函數(shù)更新法則，帶入我們的temportron算法進(jìn)行求解。得到準(zhǔn)確率變化情況如下，設(shè)置參數(shù)與LTP更新規(guī)則相同。

 

圖3.10 準(zhǔn)確率隨訓(xùn)練次數(shù)變化情況(STDP)

可以看到，經(jīng)由STDP訓(xùn)練的網(wǎng)絡(luò)，在epoch=60左右的時(shí)候，已經(jīng)達(dá)到了準(zhǔn)確率100%，在訓(xùn)練的準(zhǔn)確度與效率上，高于使用LTP訓(xùn)練的結(jié)果。這也可能是為什么當(dāng)前很多的研究都著眼于STDP權(quán)重更新機(jī)制。這可能也和STDP實(shí)際上與人類大腦的學(xué)習(xí)機(jī)制十分相似，本次模擬也證明了大腦學(xué)習(xí)模式在權(quán)值調(diào)整上的優(yōu)越性，基于LTP的調(diào)制模式，更多是對于算法當(dāng)中核函數(shù)K(t)的模擬，而并非是對于本質(zhì)上人類大腦學(xué)習(xí)模式的仿真。

3.2.6  結(jié)論無論選取LTP，STDP作為權(quán)值更新的方式，神經(jīng)網(wǎng)絡(luò)的權(quán)值更新一定要是對稱，這樣在梯度下降算法過程中，才能夠有正和負(fù)梯度，使得最后的結(jié)果收斂于局部最小點(diǎn)。另外，在學(xué)習(xí)機(jī)制上，STDP是存在一定優(yōu)越性的。后面本文將針對SDTP學(xué)習(xí)機(jī)制，將網(wǎng)絡(luò)擴(kuò)展到更大的規(guī)模，展現(xiàn)STDP學(xué)習(xí)機(jī)制的強(qiáng)大之處。

33.3 無監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.3.1  理論背景與基礎(chǔ)這SNN的發(fā)展之所以廣受著名，是因?yàn)樗W(wǎng)絡(luò)的元器件要求是有一定硬件基礎(chǔ)的，不論是在神經(jīng)元的設(shè)計(jì)上，如LIF模型，HH模型，還是電導(dǎo)突觸，指數(shù)型的衰減機(jī)制，閾值電壓。都可以通過我們設(shè)計(jì)的電學(xué)或者光學(xué)器件進(jìn)行實(shí)現(xiàn)。

本文基于2015年P(guān)eter發(fā)表的關(guān)于STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的代碼基礎(chǔ)上，加上實(shí)驗(yàn)得到的數(shù)據(jù)，進(jìn)行數(shù)值模擬。模擬之前，先了解一下網(wǎng)絡(luò)的具體結(jié)構(gòu)與基本理論。

對于神經(jīng)元的設(shè)置，應(yīng)用integrated -and-fire model模型：

τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)

            （3-6）

 

這里V是膜電壓，Erest

是神經(jīng)元在沒有外界刺激下的一種靜息電壓。

τ

是抑制或者興奮神經(jīng)元的時(shí)間時(shí)間常數(shù)，這個(gè)常數(shù)時(shí)間上就是用于控制各種不同的STDP圖像。

galignlink

和

gexc

是抑制性神經(jīng)元和興奮性神經(jīng)元的電導(dǎo)值，這個(gè)值在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為權(quán)重，也是我們需要訓(xùn)練的東西。訓(xùn)練模式與tempotron算法類似，當(dāng)膜電壓到達(dá)閾值電壓的時(shí)候，就會(huì)發(fā)送尖峰脈沖信號(hào)，然后膜電位復(fù)位到靜息電壓。如果有神經(jīng)元的尖峰信號(hào)達(dá)到突觸，那么突觸就會(huì)提升權(quán)值，即電導(dǎo)，如果沒有，那么權(quán)值就會(huì)指數(shù)型的衰減。權(quán)值更新的模式仍然是取決于突觸前神經(jīng)元與突觸后神經(jīng)元的尖峰達(dá)到時(shí)間差。如圖3.11所示，由于前后神經(jīng)元的脈沖尖峰抵達(dá)時(shí)間差不一樣，產(chǎn)生了興奮和抑制兩種模式

 

 

圖 3.11 STDP權(quán)值更新模式圖[17]

我們需要定義興奮性神經(jīng)元與抑制性神經(jīng)元的權(quán)值改變方式。對于興奮性神經(jīng)元的電導(dǎo)更新模式如下：

τgedgedt=?ge

                      （3-7）

 

抑制性電導(dǎo)的更新模式其實(shí)只需要更換常數(shù)：

τgidgidt=?gi

                      （3-8）

 

時(shí)間常數(shù)得控制會(huì)影響STDP得學(xué)習(xí)曲線，人腦或者生物的時(shí)間常數(shù)一般是10 ms-20 ms量級(jí)。我們由實(shí)驗(yàn)得到得時(shí)間常數(shù)數(shù)值也靠近這個(gè)值

然后是基于STDP的權(quán)值更新法則：

Δw=η(xpre?xtar)(wmax?w)u

               （3-9）

 

實(shí)際上，STDP的更新規(guī)則很多，還有指數(shù)型的，這里選取一種更新規(guī)則，他們大多大同小異。這里的η

是學(xué)習(xí)的速率，

Xpre

是該脈沖產(chǎn)生時(shí)的上一次脈沖值，每當(dāng)有一次脈沖到達(dá)突觸時(shí)，

Xpre

會(huì)增加1，如果沒有，它會(huì)按照指數(shù)型進(jìn)行衰減。

Xtar

是前一次的突觸前神經(jīng)元產(chǎn)生的脈沖，其反應(yīng)在突觸后神經(jīng)元的目標(biāo)值。這其實(shí)也是在將突觸前神經(jīng)元和后神經(jīng)元產(chǎn)生的時(shí)間在進(jìn)行比較，從而正確的更新權(quán)值。

 

3.3.2  網(wǎng)絡(luò)設(shè)計(jì)脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與普通的經(jīng)典神經(jīng)網(wǎng)絡(luò)有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數(shù)據(jù)，脈沖的頻率由圖像像素點(diǎn)的灰度值，即成正比關(guān)系，28×28的像素值會(huì)變成一個(gè)784×1的一維序列，每一個(gè)值代表一定頻率的脈沖信號(hào)。

 

圖3.12 SNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[16]

 

之后進(jìn)入激活層，激活層放置激活神經(jīng)元，然后再進(jìn)入抑制層，放置抑制層神經(jīng)元。這里可以看到，非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)是不存在標(biāo)簽值的。更新完全依靠激活層與抑制層之間的關(guān)系。從圖3.12可以看到，輸入層與激活層實(shí)際上時(shí)全連接模式，即每一個(gè)像素點(diǎn)產(chǎn)生的脈沖序列都會(huì)再激活層有一個(gè)對應(yīng)權(quán)重。激活層與抑制層之間時(shí)一一對應(yīng)連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經(jīng)與抑制層產(chǎn)生連接的神經(jīng)元。這樣的網(wǎng)絡(luò)設(shè)計(jì)模式實(shí)際上是由理由的。這應(yīng)用的winter take all法則，即當(dāng)某個(gè)激活層的神經(jīng)元產(chǎn)生興奮后，該興奮傳遞到抑制層后，抑制層會(huì)抑制其他所有神經(jīng)元產(chǎn)生脈沖。也就是說，不斷的訓(xùn)練后，能夠產(chǎn)生脈沖的神經(jīng)元會(huì)趨向于越來越容易產(chǎn)生脈沖，而其他神經(jīng)元會(huì)越來越無法產(chǎn)生脈沖。從而達(dá)到訓(xùn)練的目的。這和傳統(tǒng)的K-means算法也有異曲同工之妙，但不同的是STDP 非監(jiān)督學(xué)習(xí)存在抑制層，從而避免了某幾個(gè)神經(jīng)元一直占據(jù)某個(gè)pattern。

3.3.3  模擬結(jié)果數(shù)值模擬將MNIST 六萬個(gè)訓(xùn)練數(shù)據(jù)編碼后作為脈沖輸入，整個(gè)訓(xùn)練集進(jìn)行了6次迭代，一共是36萬張圖片，訓(xùn)練結(jié)束后學(xué)習(xí)慮被置為零，動(dòng)態(tài)閾值被鎖定。之后輸入每一類的數(shù)字圖片，記錄每個(gè)神經(jīng)元對應(yīng)該類圖片的激活次數(shù)，并且選取其中激活次數(shù)最多的為該神經(jīng)元的標(biāo)簽。之后使用測試集的一萬張圖片作為脈沖輸入，觀察每當(dāng)一張圖片輸入時(shí)，哪個(gè)神經(jīng)元的激活頻率最高，如果該神經(jīng)元的標(biāo)簽與輸入圖片屬于同一pattern，那么認(rèn)為分類正確。統(tǒng)計(jì)10000萬張圖片的平均準(zhǔn)確率，得到網(wǎng)絡(luò)的訓(xùn)練的評(píng)價(jià)值即Accuracy。

 

圖3.13 神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣圖

這里訓(xùn)練后激活層的權(quán)值矩陣。之前提到了，當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，我們會(huì)輸入每一個(gè)圖片的pattern，以激活次數(shù)最高的神經(jīng)元作為該pattern的標(biāo)簽，在這樣經(jīng)過改進(jìn)后，圖5.3是激活層神經(jīng)元重組后的權(quán)值分布，可以看到，不同神經(jīng)元對于不同pattern的適應(yīng)程度不同，體現(xiàn)在顏色的深淺上。

 

圖3.14 輸入層到激活層權(quán)值矩陣可視化圖

 

圖3.15 激活層到抑制層權(quán)值矩陣可視化圖

從圖3.14我們可以看到，只有很少部分的權(quán)值很高，即呈現(xiàn)黃色小點(diǎn)模式，體現(xiàn)即只有少數(shù)pattern才能夠產(chǎn)生脈沖，其他的脈沖都被抑制，這個(gè)圖像很好體現(xiàn)了我們在學(xué)習(xí)過程中的winer-take-all的模式。圖3.15體現(xiàn)的更加明顯的是，因?yàn)榫W(wǎng)絡(luò)的設(shè)計(jì)是激活層與抑制層一對一連接，抑制層與激活層反向全連接，但除去了從激活層連接過來的神經(jīng)元，因此在權(quán)值的對角線上都是winer，而其他的神經(jīng)元都被抑制，從而達(dá)到了我們從眾多神經(jīng)元中選取出適合當(dāng)前輸入的正確pattern。

之后我們輸入10000個(gè)MNIST的test集圖片進(jìn)行外推，結(jié)果是：Sum response - accuracy:  91.43  number incorrect:  857。即我們在驗(yàn)證集上達(dá)到了91.43%的準(zhǔn)確度?？偟膩碚f還是比較可觀的。

結(jié)  論本文用了三個(gè)數(shù)值模擬的方法，分別對于神經(jīng)元硬件化條件，神經(jīng)突觸硬件化條件，神經(jīng)元學(xué)習(xí)規(guī)則優(yōu)越性做了探究。在神經(jīng)元硬件化上，通過使用不同的非線性函數(shù)進(jìn)行數(shù)值模擬，得到了其實(shí)在當(dāng)選取激活函數(shù)時(shí)，函數(shù)與輸入值的正相關(guān)性并不是必要的，非線性才是最為重要的基準(zhǔn)。并且作者使用簡單的鏈?zhǔn)角髮?dǎo)法則，證明了神經(jīng)元的硬件化需要有加權(quán)乘法器的功能，并且強(qiáng)調(diào)了乘法器的線性程度。也就推出了權(quán)值更新時(shí)，權(quán)值該變量與輸入值的正相關(guān)性的重要性，也可以說是正負(fù)變化的對稱性是對隨機(jī)梯度下降法達(dá)到收斂的充分條件。在SNN數(shù)值模擬上，本文先嘗試了tempotron有監(jiān)督SNN算法，并且對其權(quán)值改變的方程做出了LTP與STDP法則的兩種試探，發(fā)現(xiàn)STDP的效果更好，也不愧是貼近人類大腦的學(xué)習(xí)模式。這里也需要指出tempotron算法的缺點(diǎn)在于該算法只能針對單神經(jīng)元，即脈沖只能判斷單個(gè)神經(jīng)元能不能發(fā)出脈沖，泛用性不是特別強(qiáng)，但是將輸入改成離散的脈沖輸入，在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和理念上是一個(gè)很大的突破。接著文章以STDP學(xué)習(xí)機(jī)制更為優(yōu)秀的基礎(chǔ)上，在基于2015年P(guān)eter教授的無監(jiān)督STDP學(xué)習(xí)網(wǎng)絡(luò)[16]這篇論文的基礎(chǔ)上，使用實(shí)驗(yàn)相關(guān)的數(shù)據(jù)進(jìn)行了數(shù)值模擬，指出了該網(wǎng)絡(luò)的結(jié)構(gòu)，采用winter-take-all模式與IF神經(jīng)元結(jié)構(gòu)，實(shí)現(xiàn)了在沒有任何標(biāo)簽和領(lǐng)域知識(shí)的無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的模擬，并且在MNIST的test數(shù)據(jù)集上達(dá)到了91.43%的正確率。從實(shí)驗(yàn)上證實(shí)了STDP學(xué)習(xí)機(jī)制可以用于無監(jiān)督學(xué)習(xí)，指出了其在未來發(fā)展的巨大潛力。

最后本文提出一些對于當(dāng)前硬件神經(jīng)網(wǎng)絡(luò)研究的看法，目前實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)的方法在緒論也有提出，主要有微電子方法、半導(dǎo)體突觸和光學(xué)實(shí)現(xiàn)。作者認(rèn)為想要實(shí)現(xiàn)真正的類腦計(jì)算。我們就需要研究更與人類達(dá)到貼切的器件。盡管在微電子方面，目前的技術(shù)可以實(shí)現(xiàn)精度很高的數(shù)字模擬電路。但是實(shí)際上那也只是靠我們強(qiáng)大的算力與耗費(fèi)了很多資源達(dá)到的結(jié)果。再說全光學(xué)的神經(jīng)網(wǎng)絡(luò)，這樣的設(shè)想只能夠用天才來形容，這樣的網(wǎng)絡(luò)耗能少，效率高，速度快。但這并不能夠算是類腦計(jì)算，只是從物理的角度對于神經(jīng)網(wǎng)絡(luò)進(jìn)行了實(shí)現(xiàn)。真正的類腦計(jì)算我相信應(yīng)該是基于STDP，LTP, LTD這些與人腦大腦對于信號(hào)實(shí)際反映做出的模型之上的。近年來已經(jīng)發(fā)展了很多基于STDP或者類腦計(jì)算的算法，并且在數(shù)值模擬上都證實(shí)了其實(shí)現(xiàn)的可能性。目前的當(dāng)務(wù)之急應(yīng)該是制備出與這些理論符合的突觸器件或者神經(jīng)元元件，然后進(jìn)行集成，實(shí)現(xiàn)一個(gè)結(jié)合微電子設(shè)計(jì)電路與編碼處理，從而實(shí)現(xiàn)一個(gè)從輸入，到reference，再到自動(dòng)Back Propagation修改誤差的自主型芯片，真正達(dá)到off-chip模式的神經(jīng)網(wǎng)絡(luò)計(jì)算與硬件化。

參考文獻(xiàn)[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高麗娜 邱關(guān)源. 一種連續(xù)可調(diào)權(quán)值 CMOS 神經(jīng)網(wǎng)絡(luò). 電子學(xué)報(bào), 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]賀靜, 基于CMOS 模擬技術(shù)的多種前饋人工神經(jīng)網(wǎng)絡(luò)硬件的研究與實(shí)現(xiàn) [D]. 湘潭大學(xué), 2014 

[8]侯媛彬,杜京義,汪梅. 神經(jīng)網(wǎng)絡(luò) [M]. 西安:西安電子科技大學(xué)出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陳瓊. 鄭啟倫.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)硬件實(shí)現(xiàn)的研究進(jìn)展.[J].電路與系統(tǒng)學(xué)報(bào).2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  錄代碼具體說明請參考github.com/zhenghaobaby/graduated_design

作者簡歷姓名：鄭浩  性別：男  民族：漢族  出生年月：1997-04-11  籍貫：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大學(xué)攻讀材料科學(xué)工程學(xué)士學(xué)位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授權(quán)專利：

[1]XXXXXX 

 

 

第8篇：神經(jīng)網(wǎng)絡(luò)論文范文

論文名稱：基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測與評(píng)估模型及其應(yīng)用研究

課題來源：單位自擬課題或省政府下達(dá)的研究課題

選題依據(jù)：

技術(shù)創(chuàng)新預(yù)測和評(píng)估是企業(yè)技術(shù)創(chuàng)新決策的前提和依據(jù)。通過技術(shù)創(chuàng)新預(yù)測和評(píng)估,可以使企業(yè)對未來的技術(shù)發(fā)展水平及其變化趨勢有正確的把握,從而為企業(yè)的技術(shù)創(chuàng)新決策提供科學(xué)的依據(jù),以減少技術(shù)創(chuàng)新決策過程中的主觀性和盲目性。只有在正確把握技術(shù)創(chuàng)新發(fā)展方向的前提下,企業(yè)的技術(shù)創(chuàng)新工作才能沿著正確方向開展,企業(yè)產(chǎn)品的市場競爭力才能得到不斷加強(qiáng)。在市場競爭日趨激烈的現(xiàn)代商業(yè)中,企業(yè)的技術(shù)創(chuàng)新決定著企業(yè)生存和發(fā)展、前途與命運(yùn),為了確保技術(shù)創(chuàng)新工作的正確性,企業(yè)對技術(shù)創(chuàng)新的預(yù)測和評(píng)估提出了更高的要求。

二、本課題國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢

現(xiàn)有的技術(shù)創(chuàng)新預(yù)測方法可分為趨勢外推法、相關(guān)分析法和專家預(yù)測法三大類。

(1)趨勢外推法。指利用過去和現(xiàn)在的技術(shù)、經(jīng)濟(jì)信息,分析技術(shù)發(fā)展趨勢和規(guī)律,在分析判斷這些趨勢和規(guī)律將繼續(xù)的前提下,將過去和現(xiàn)在的趨勢向未來推演。生長曲線法是趨勢外推法中的一種應(yīng)用較為廣泛的技術(shù)創(chuàng)新預(yù)測方法,美國生物學(xué)家和人口統(tǒng)計(jì)學(xué)家RaymondPearl提出的Pearl曲線(數(shù)學(xué)模型為:Y=L∕[1+A?exp(-B·t)])及英國數(shù)學(xué)家和統(tǒng)計(jì)學(xué)家Gompertz提出的Gompertz曲線(數(shù)學(xué)模型為:Y=L·exp(-B·t))皆屬于生長曲線,其預(yù)測值Y為技術(shù)性能指標(biāo),t為時(shí)間自變量,L、A、B皆為常數(shù)。Ridenour模型也屬于生長曲線預(yù)測法,但它假定新技術(shù)的成長速度與熟悉該項(xiàng)技術(shù)的人數(shù)成正比,主要適用于新技術(shù)、新產(chǎn)品的擴(kuò)散預(yù)測。

(2)相關(guān)分析法。利用一系列條件、參數(shù)、因果關(guān)系數(shù)據(jù)和其他信息,建立預(yù)測對象與影響因素的因果關(guān)系模型,預(yù)測技術(shù)的發(fā)展變化。相關(guān)分析法認(rèn)為,一種技術(shù)性能的改進(jìn)或其應(yīng)用的擴(kuò)展是和其他一些已知因素高度相關(guān)的,這樣,通過已知因素的分析就可以對該項(xiàng)技術(shù)進(jìn)行預(yù)測。相關(guān)分析法主要有以下幾種:導(dǎo)前-滯后相關(guān)分析、技術(shù)進(jìn)步與經(jīng)驗(yàn)積累的相關(guān)分析、技術(shù)信息與人員數(shù)等因素的相關(guān)分析及目標(biāo)與手段的相關(guān)分析等方法。

(3)專家預(yù)測法。以專家意見作為信息來源,通過系統(tǒng)的調(diào)查、征詢專家的意見,分析和整理出預(yù)測結(jié)果。專家預(yù)測法主要有:專家個(gè)人判斷法、專家會(huì)議法、頭腦風(fēng)暴法及德爾菲法等,其中,德爾菲法吸收了前幾種專家預(yù)測法的長處,避免了其缺點(diǎn),被認(rèn)為是技術(shù)預(yù)測中最有效的專家預(yù)測法。

趨勢外推法的預(yù)測數(shù)據(jù)只能為縱向數(shù)據(jù),在進(jìn)行產(chǎn)品技術(shù)創(chuàng)新預(yù)測時(shí),只能利用過去的產(chǎn)品技術(shù)性能這一個(gè)指標(biāo)來預(yù)測它的隨時(shí)間的發(fā)展趨勢,并不涉及影響產(chǎn)品技術(shù)創(chuàng)新的科技、經(jīng)濟(jì)、產(chǎn)業(yè)、市場、社會(huì)及政策等多方面因素。在現(xiàn)代商業(yè)經(jīng)濟(jì)中,對于產(chǎn)品技術(shù)發(fā)展的預(yù)測不能簡單地歸結(jié)為產(chǎn)品過去技術(shù)性能指標(biāo)按時(shí)間的進(jìn)展來類推,而應(yīng)系統(tǒng)綜合地考慮現(xiàn)代商業(yè)中其他因素對企業(yè)產(chǎn)品技術(shù)創(chuàng)新的深刻影響。相關(guān)分析法盡管可同時(shí)按橫向數(shù)據(jù)和縱向數(shù)據(jù)來進(jìn)行預(yù)測,但由于它是利用過去的歷史數(shù)據(jù)中的某些影響產(chǎn)品技術(shù)創(chuàng)新的因素求出的具體的回歸預(yù)測式,而所得到的回歸預(yù)測模型往往只能考慮少數(shù)幾種主要影響因素,略去了許多未考慮的因素,所以,所建模型對實(shí)際問題的表達(dá)能力也不夠準(zhǔn)確,預(yù)測結(jié)果與實(shí)際的符合程度也有較大偏差。專家預(yù)測法是一種定性預(yù)測方法,依靠的是預(yù)測者的知識(shí)和經(jīng)驗(yàn),往往帶有主觀性,難以滿足企業(yè)對技術(shù)創(chuàng)新預(yù)測準(zhǔn)確度的要求。以上這些技術(shù)創(chuàng)新預(yù)測技術(shù)和方法為企業(yè)技術(shù)創(chuàng)新工作的開展做出了很大的貢獻(xiàn),為企業(yè)技術(shù)創(chuàng)新的預(yù)測提供了科學(xué)的方法論,但在新的經(jīng)濟(jì)和市場環(huán)境下,技術(shù)創(chuàng)新預(yù)測的方法和技術(shù)應(yīng)有新的豐富和發(fā)展,以克服自身的不足,更進(jìn)一步適應(yīng)時(shí)展的需要,為企業(yè)的技術(shù)創(chuàng)新工作的開展和企業(yè)的生存與發(fā)展提供先進(jìn)的基礎(chǔ)理論和技術(shù)方法。

目前,在我國企業(yè)技術(shù)創(chuàng)新評(píng)估中,一般只考慮如下四個(gè)方面的因素:(1)技術(shù)的先進(jìn)性、可行性、連續(xù)性;(2)經(jīng)濟(jì)效果;(3)社會(huì)效果;(4)風(fēng)險(xiǎn)性,在對此四方面內(nèi)容逐個(gè)分析后,再作綜合評(píng)估。在綜合評(píng)估中所用的方法主要有:Delphi法(專家法)、AHP法(層次分析法)、模糊評(píng)估法、決策樹法、戰(zhàn)略方法及各種圖例法等,但技術(shù)創(chuàng)新的評(píng)估是一個(gè)非常復(fù)雜的系統(tǒng),其中存在著廣泛的非線性、時(shí)變性和不確定性,同時(shí),還涉及技術(shù)、經(jīng)濟(jì)、管理、社會(huì)等諸多復(fù)雜因素,目前所使用的原理和方法,難以滿足企業(yè)對技術(shù)創(chuàng)新評(píng)估科學(xué)性的要求。關(guān)于技術(shù)創(chuàng)新評(píng)估的研究,在我國的歷史還不長,無論是指標(biāo)體系還是評(píng)估方法,均處于研究之中,我們認(rèn)為目前在企業(yè)技術(shù)創(chuàng)新評(píng)估方面應(yīng)做的工作是:(1)建立一套符合我國實(shí)際情況的技術(shù)創(chuàng)新評(píng)估指標(biāo)體系;(2)建立一種適應(yīng)于多因素、非線性和不確定性的綜合評(píng)估方法。

這種情況下,神經(jīng)網(wǎng)絡(luò)技術(shù)就有其特有的優(yōu)勢,以其并行分布、自組織、自適應(yīng)、自學(xué)習(xí)和容錯(cuò)性等優(yōu)良性能,可以較好地適應(yīng)技術(shù)創(chuàng)新預(yù)測和評(píng)估這類多因素、不確定性和非線性問題,它能克服上述各方法的不足。本項(xiàng)目以BP神經(jīng)網(wǎng)絡(luò)作為基于多因素的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型構(gòu)建的基礎(chǔ),BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層構(gòu)成,各層的神經(jīng)元數(shù)目不同,由正向傳播和反向傳播組成,在進(jìn)行產(chǎn)品技術(shù)創(chuàng)新預(yù)測和評(píng)估時(shí),從輸入層輸入影響產(chǎn)品技術(shù)創(chuàng)新預(yù)測值和評(píng)估值的n個(gè)因素信息,經(jīng)隱含層處理后傳入輸出層,其輸出值Y即為產(chǎn)品技術(shù)創(chuàng)新技術(shù)性能指標(biāo)的預(yù)測值或產(chǎn)品技術(shù)創(chuàng)新的評(píng)估值。這種n個(gè)因素指標(biāo)的設(shè)置,考慮了概括性和動(dòng)態(tài)性,力求全面、客觀地反映影響產(chǎn)品技術(shù)創(chuàng)新發(fā)展的主要因素和導(dǎo)致產(chǎn)品個(gè)體差異的主要因素,盡管是黑匣子式的預(yù)測和評(píng)估,但事實(shí)證明它自身的強(qiáng)大學(xué)習(xí)能力可將需考慮的多種因素的數(shù)據(jù)進(jìn)行融合,輸出一個(gè)經(jīng)非線性變換后較為精確的預(yù)測值和評(píng)估值。

據(jù)文獻(xiàn)查閱,雖然在技術(shù)創(chuàng)新預(yù)測和評(píng)估的現(xiàn)有原理和方法的改進(jìn)和完善方面有一定的研究,如文獻(xiàn)[08]、[09]、[11]等,但尚未發(fā)現(xiàn)將神經(jīng)網(wǎng)絡(luò)應(yīng)用于技術(shù)創(chuàng)新預(yù)測與評(píng)估方面的研究,在當(dāng)前產(chǎn)品的市場壽命周期不斷縮短、要求企業(yè)不斷推出新產(chǎn)品的經(jīng)濟(jì)條件下,以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)來建立產(chǎn)品技術(shù)創(chuàng)新預(yù)測與評(píng)估模型,是對技術(shù)創(chuàng)新定量預(yù)測和評(píng)估方法的有益補(bǔ)充和完善。

三、論文預(yù)期成果的理論意義和應(yīng)用價(jià)值

本項(xiàng)目研究的理論意義表現(xiàn)在:(1)探索新的技術(shù)創(chuàng)新預(yù)測和評(píng)估技術(shù),豐富和完善技術(shù)創(chuàng)新預(yù)測和評(píng)估方法體系;(2)將神經(jīng)網(wǎng)絡(luò)技術(shù)引入技術(shù)創(chuàng)新的預(yù)測和評(píng)估,有利于推動(dòng)技術(shù)創(chuàng)新預(yù)測和評(píng)估方法的發(fā)展。

本項(xiàng)目研究的應(yīng)用價(jià)值體現(xiàn)在:(1)提供一種基于多因素的技術(shù)創(chuàng)新定量預(yù)測技術(shù),有利于提高預(yù)測的正確性;(2)提供一種基于BP神經(jīng)網(wǎng)絡(luò)的綜合評(píng)估方法,有利于提高評(píng)估的科學(xué)性;(3)為企業(yè)的技術(shù)創(chuàng)新預(yù)測和評(píng)估工作提供新的方法論和實(shí)用技術(shù)。

四、課題研究的主要內(nèi)容

研究目標(biāo)：

以BP神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ)研究基于多因素的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型,并建立科學(xué)的預(yù)測和評(píng)估指標(biāo)體系及設(shè)計(jì)相應(yīng)的模型計(jì)算方法,結(jié)合企業(yè)的具體實(shí)際,對指標(biāo)和模型體系進(jìn)行實(shí)證分析,使研究具有一定的理論水平和實(shí)用價(jià)值。

研究內(nèi)容：

1、影響企業(yè)技術(shù)創(chuàng)新預(yù)測和評(píng)佑的相關(guān)指標(biāo)體系確定及其量化和規(guī)范化。從企業(yè)的宏觀環(huán)境和微觀環(huán)境兩個(gè)方面入手,密切結(jié)合電子商務(wù)和知識(shí)經(jīng)濟(jì)對企業(yè)技術(shù)創(chuàng)新的影響,系統(tǒng)綜合地分析影響產(chǎn)品技術(shù)創(chuàng)新的各相關(guān)因素,建立科學(xué)的企業(yè)技術(shù)創(chuàng)新預(yù)測和評(píng)估指標(biāo)體系,并研究其量化和規(guī)范化的原則及方法。

2、影響技術(shù)創(chuàng)新預(yù)測和評(píng)估各相關(guān)指標(biāo)的相對權(quán)重確定。影響技術(shù)創(chuàng)新發(fā)展和變化各相關(guān)因素在輸入預(yù)測和評(píng)估模型時(shí),需要一組決定其相對重要性的初始權(quán)重,權(quán)重的確定需要基本的原則作支持。

3、基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型研究。根據(jù)技術(shù)創(chuàng)新預(yù)測的特點(diǎn),以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),構(gòu)建基于多因素的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型。

4、基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型計(jì)算方法設(shè)計(jì)。根據(jù)基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型的基本特點(diǎn),設(shè)計(jì)其相應(yīng)的計(jì)算方法。

5、基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型學(xué)習(xí)樣本設(shè)計(jì)。根據(jù)相關(guān)的歷史資料,構(gòu)建基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型的學(xué)習(xí)樣本,對預(yù)測和評(píng)估模型進(jìn)行自學(xué)習(xí)和訓(xùn)練,使模型適合實(shí)際情況。

6、基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估技術(shù)的實(shí)證研究。以一般企業(yè)的技術(shù)創(chuàng)新預(yù)測與評(píng)估工作為背景,對基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估技術(shù)進(jìn)行實(shí)證研究。

創(chuàng)新點(diǎn)：

1、建立一套基于電子商務(wù)和知識(shí)經(jīng)濟(jì)的技術(shù)創(chuàng)新預(yù)測和評(píng)估指標(biāo)體系。目前,在技術(shù)創(chuàng)新的預(yù)測和評(píng)估指標(biāo)體系方面,一種是采用傳統(tǒng)的指標(biāo)體系,另一種是采用國外先進(jìn)國家的指標(biāo)體系,如何結(jié)合我國實(shí)際當(dāng)前經(jīng)濟(jì)形勢,參考國外先進(jìn)發(fā)達(dá)國家的研究工作,建立一套適合于我國企業(yè)技術(shù)創(chuàng)新預(yù)測和評(píng)估指標(biāo)體系,此為本研究要做的首要工作,這是一項(xiàng)創(chuàng)新。

2、研究基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型及其計(jì)算方法。神經(jīng)網(wǎng)絡(luò)技術(shù)具有并行分布處理、自學(xué)習(xí)、自組織、自適應(yīng)和容錯(cuò)性等優(yōu)良性能,能較好地處理基于多因素、非線性和不確定性預(yù)測和評(píng)估的現(xiàn)實(shí)問題,本項(xiàng)目首次將神經(jīng)網(wǎng)絡(luò)技術(shù)引入企業(yè)的技術(shù)創(chuàng)新預(yù)測和評(píng)估,這也是一項(xiàng)創(chuàng)新。

五、課題研究的基本方法、技術(shù)路線的可行性論證

1、重視系統(tǒng)分析。以系統(tǒng)科學(xué)的思想為指導(dǎo)來分析影響企業(yè)技術(shù)創(chuàng)新發(fā)展和變化的宏觀因素和微觀因素,并研究影響因素間的內(nèi)在聯(lián)系,確定其相互之間的重要度,探討其量化和規(guī)范化的方法,將國外先進(jìn)國家的研究成果與我國具體實(shí)際相結(jié)合,建立我國企業(yè)技術(shù)創(chuàng)新預(yù)測和評(píng)估的指標(biāo)體系。

2、重視案例研究。從國內(nèi)外技術(shù)創(chuàng)新預(yù)測與決策成功和失敗的案例中,發(fā)現(xiàn)問題、分析問題,歸納和總結(jié)出具有共性的東西,探索技術(shù)創(chuàng)新預(yù)測與宏觀因素與微觀因素之間的內(nèi)在關(guān)系。

3、采用先簡單后復(fù)雜的研究方法。對基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型的研究,先從某一行業(yè)出發(fā),定義模型的基本輸入因素,然后,逐步擴(kuò)展,逐步增加模型的復(fù)雜度。

4、理論和實(shí)踐相結(jié)合。將研究工作與具體企業(yè)的技術(shù)創(chuàng)新實(shí)際相結(jié)合,進(jìn)行實(shí)證研究,在實(shí)踐中豐富和完善,研究出具有科學(xué)性和實(shí)用性的成果。

六、開展研究已具備的條件、可能遇到的困難與問題及解決措施

本人長期從事市場營銷和技術(shù)創(chuàng)新方面的研究工作,編寫出版了《現(xiàn)代市場營銷學(xué)》和《現(xiàn)代企業(yè)管理學(xué)》等有關(guān)著作,發(fā)表了“企業(yè)技術(shù)創(chuàng)新與營銷管理創(chuàng)新”、“企業(yè)技術(shù)創(chuàng)新與營銷組織創(chuàng)新”及“企業(yè)技術(shù)創(chuàng)新與營銷觀念創(chuàng)新”等與技術(shù)創(chuàng)新相關(guān)的學(xué)術(shù)研究論文,對企業(yè)技術(shù)創(chuàng)新的預(yù)測和評(píng)估有一定的理論基礎(chǔ),也從事過企業(yè)產(chǎn)品技術(shù)創(chuàng)新方面的策劃和研究工作,具有一定的實(shí)踐經(jīng)驗(yàn),與許多企業(yè)有密切的合作關(guān)系,同時(shí),對神經(jīng)網(wǎng)絡(luò)技術(shù)也進(jìn)行過專門的學(xué)習(xí)和研究,所以,本項(xiàng)目研究的理論基礎(chǔ)、技術(shù)基礎(chǔ)及實(shí)驗(yàn)場所已基本具備,能順利完成本課題的研究,取得預(yù)期的研究成果。

七、論文研究的進(jìn)展計(jì)劃

2003.07-2003.09：完成論文開題。

2003.09-2003.11：影響企業(yè)技術(shù)創(chuàng)新發(fā)展的指標(biāo)體系研究及其量化和規(guī)范化。

2003.11-2004.01：基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型的構(gòu)建。

2004.01-2004.03：基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型計(jì)算方法研究。

2004.03-2004.04：基于BP神經(jīng)網(wǎng)絡(luò)的技術(shù)創(chuàng)新預(yù)測和評(píng)估模型體系的實(shí)證研究。

2004.04-2004.06：完成論文寫作、修改定稿，準(zhǔn)備答辯。

主要參考文獻(xiàn)：

[01]傅家驥、仝允桓等.技術(shù)創(chuàng)新學(xué).北京:清華大學(xué)出版社1998

[02]吳貴生.技術(shù)創(chuàng)新管理.北京:清華大學(xué)出版社2000

[03]柳卸林.企業(yè)技術(shù)創(chuàng)新管理.北京:科學(xué)技術(shù)出版社1997

[04]趙志、陳邦設(shè)等.產(chǎn)品創(chuàng)新過程管理模式的基本問題研究.管理科學(xué)學(xué)報(bào).2000/2.

[05]王亞民、朱榮林.風(fēng)險(xiǎn)投資項(xiàng)目ECV評(píng)估指標(biāo)與決策模型研究.風(fēng)險(xiǎn)投資.2002/6

[06]趙中奇、王浣塵、潘德惠.隨機(jī)控制的極大值原理及其在投資決策中的應(yīng)用.控制與決策.2002/6

[07]夏清泉、凌婕.風(fēng)險(xiǎn)投資理論和政策研究.國際商務(wù)研究.2002/5

[08]陳勁、龔焱等.技術(shù)創(chuàng)新信息源新探.中國軟科學(xué).2001/1.pp86-88

[09]嚴(yán)太華、張龍.風(fēng)險(xiǎn)投資評(píng)估決策方法初探.經(jīng)濟(jì)問題.2002/1

[10]蘇永江、李湛.風(fēng)險(xiǎn)投資決策問題的系統(tǒng)分析.學(xué)術(shù)研究.2001/4

<11>孫冰.企業(yè)產(chǎn)品開發(fā)的評(píng)價(jià)模型及方法研究.中國管理科學(xué).2002/4

[12]諸克軍、楊久西、匡益軍.基于人工神經(jīng)網(wǎng)絡(luò)的石油勘探有利性綜合評(píng)價(jià).系統(tǒng)工程理論與實(shí)踐.2002/4

[13]楊力.基干BP神經(jīng)網(wǎng)絡(luò)的城市房屋租賃估價(jià)系統(tǒng)設(shè)計(jì).中國管理科學(xué).2002/4

[14]楊國棟、賈成前.高速公路復(fù)墾土地適宜性評(píng)價(jià)的BP神經(jīng)網(wǎng)絡(luò)模型.統(tǒng)工程理論與實(shí)踐.2002/4

[15]樓文高.基于人工神經(jīng)網(wǎng)絡(luò)的三江平原土壤質(zhì)量綜合評(píng)價(jià)與預(yù)測模型.中國管理科學(xué).2002/1

[16]胥悅紅、顧培亮.基于BP神經(jīng)網(wǎng)絡(luò)的產(chǎn)品成本預(yù)測.管理工程學(xué)報(bào).2000/4

[17]陳新輝、喬忠.基于TSA-BP神經(jīng)網(wǎng)絡(luò)的企業(yè)產(chǎn)品市場占有率預(yù)測模型.中國農(nóng)業(yè)大學(xué)學(xué)報(bào).2000/5

[18]劉育新.技術(shù)預(yù)測的過程與常用方法.中國軟科學(xué).1998/3

[19]溫小霓、趙瑋.市場需求與統(tǒng)計(jì)預(yù)測.西安電子科技大學(xué)學(xué)報(bào).2000/5

[20]朱振中.模糊理論在新產(chǎn)品開發(fā)中的應(yīng)用.科學(xué)管理研究.2000/6

[21]KimB.Clark&TakahiroFujimoto.ProductDevelopmentPerformance–Strategy、OrganizationandManagementinIndustry.HarvardBusinessSchoolPress.Boson1993

[22]GobeliDH,BrownDJ.Improvingtheprocessofproductinnovation.Research,TechnologyManagement,1993.36(2):46-49

[23]SimonJ.Towner.Fourwaystoacceleratenewproductdevelopment.LongRangPlanning1994.27(2):57-65

[24]AbdulAli,etal.Productinnovationandentrystrategy.JournalofProductInnovationManagement1995.12(12):54-69

[25]EricVinHippel.ThesourcesofInnovation.OxfordUniversityPress.1988

[26]ShtubA,ZimermanY.Aneural-network-basedapproachforestimatingthecostofassembly.InternationalJournalofProductionEconomics,1993.32:189-207

[27]Wee-LiangTan,DattarreyaG.Allampalli,InvestmentCriteriaofSingaporeCapitalists,1997InternationalCouncilforSmallBusiness,SanFrancisco,California,June1997

[28]MichaelHenos,TheRoadtoVentureFinancing:GuidelinesforEntrepreneuts,R&DStraregistMagazine,Summer1991

[29]ChowGC,TheLargrangeMethodofoptimizationwithapplicationstoportfoliandinvestmentdecisions.JofEconomicDymamicsandControl1996

[30]Jensen,R..InformationCostandInnovationAdoptionPolicies,ManagementScience.Vol.34,No.2,Feb,1988

[31]R.K.Zutshi,T.W.Liang,D.G.Allampulli,SingaporeVentureCapitalistsInvestmentEvaluationCriteria:AReexamination.SmallBusinessEconomics13:9-26(1999)

第9篇：神經(jīng)網(wǎng)絡(luò)論文范文

[關(guān)鍵詞]軟件項(xiàng)目風(fēng)險(xiǎn)管理神經(jīng)網(wǎng)絡(luò)粗集

本篇論文的中心是基于粗集的人工神經(jīng)網(wǎng)絡(luò)(ANN)技術(shù)的高風(fēng)險(xiǎn)識(shí)別，這樣在制定開發(fā)計(jì)劃中，最大的減少風(fēng)險(xiǎn)發(fā)生的概率，形成對高風(fēng)險(xiǎn)的管理。

一、模型結(jié)構(gòu)的建立

本文基于粗集的BP神經(jīng)網(wǎng)絡(luò)的風(fēng)險(xiǎn)分析模型,對項(xiàng)目的風(fēng)險(xiǎn)進(jìn)行評(píng)估,為項(xiàng)目進(jìn)行中的風(fēng)險(xiǎn)管理提供決策支持。在這個(gè)模型中主要是粗糙集預(yù)處理神經(jīng)網(wǎng)絡(luò)系統(tǒng)，即用RS理論對ANN輸入端的樣本約簡，尋找屬性間關(guān)系，約簡掉與決策無關(guān)的屬性。簡化輸入信息的表達(dá)空間維數(shù)，簡化ANN結(jié)構(gòu)。本論文在此理論基礎(chǔ)上，建立一種風(fēng)險(xiǎn)評(píng)估的模型結(jié)構(gòu)。這個(gè)模型由三部分組成即：風(fēng)險(xiǎn)辨識(shí)單元庫、神經(jīng)網(wǎng)絡(luò)單元、風(fēng)險(xiǎn)預(yù)警單元。

1.風(fēng)險(xiǎn)辨識(shí)單元庫。由三個(gè)部分功能組成：歷史數(shù)據(jù)的輸入，屬性約簡和初始化數(shù)據(jù).這里用戶需提供歷史的項(xiàng)目風(fēng)險(xiǎn)系數(shù)。所謂項(xiàng)目風(fēng)險(xiǎn)系數(shù),是在項(xiàng)目評(píng)價(jià)中根據(jù)各種客觀定量指標(biāo)加權(quán)推算出的一種評(píng)價(jià)項(xiàng)目風(fēng)險(xiǎn)程度的客觀指標(biāo)。計(jì)算的方法:根據(jù)項(xiàng)目完成時(shí)間、項(xiàng)目費(fèi)用和效益投入比三個(gè)客觀指標(biāo),結(jié)合項(xiàng)目對各種資源的要求,確定三個(gè)指標(biāo)的權(quán)值。項(xiàng)目風(fēng)險(xiǎn)系數(shù)可以表述成:r=f(w1,w2,w3,T,T/T0,S/S0,U/U0),R<1；式中:r為風(fēng)險(xiǎn)系數(shù);T、T0分別為實(shí)際時(shí)間和計(jì)劃時(shí)間;S、S0分別為實(shí)際費(fèi)用和計(jì)劃費(fèi)用;U、U0分別為實(shí)際效能和預(yù)計(jì)效能;w1、w2、w3分別是時(shí)間、費(fèi)用和效能的加權(quán)系數(shù),而且應(yīng)滿足w1+w2+w3=1的條件。

2.神經(jīng)網(wǎng)絡(luò)單元。完成風(fēng)險(xiǎn)辨識(shí)單元的輸入后,神經(jīng)網(wǎng)絡(luò)單元需要先載入經(jīng)初始化的核心風(fēng)險(xiǎn)因素的歷史數(shù)據(jù),進(jìn)行網(wǎng)絡(luò)中權(quán)值的訓(xùn)練,可以得到輸入層與隱含層、隱含層與輸出層之間的權(quán)值和閥值。

(1)選取核心特征數(shù)據(jù)作為輸入，模式對xp=[xp1,xp2,.,xpn]T,dp(網(wǎng)絡(luò)期望輸出)提供給網(wǎng)絡(luò)。用輸入模式xp,連接權(quán)系數(shù)wij及閾值hj計(jì)算各隱含單元的輸出。

m

Ypj=1/{1+exp[-(∑wijxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

(2)用隱含層輸出ypj,連接權(quán)系數(shù)wij及閾值h計(jì)算輸出單元的輸出

m

Yp=1/{1+exp[-(∑wjxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

Yp=[y1,y2,……,yn]T

(3)比較已知輸出與計(jì)算輸出,計(jì)算下一次的隱含各層和輸出層之間新的連接權(quán)值及輸出神經(jīng)元閾值。

wj(k+1)=wj(k)+η(k)σpσpj+α[wj(k)-wj(k-1)]

h(k+1)=h(k)+η(k)σp+α[h(k)-h(k-1)]

η(k)=η0(1-t/(T+M))

η0是初始步長;t是學(xué)習(xí)次數(shù);T是總的迭代次數(shù);M是一個(gè)正數(shù),α∈(0,1)是動(dòng)量系數(shù)。σp是一個(gè)與偏差有關(guān)的值,對輸出結(jié)點(diǎn)來說；σp=yp(1-yp)(dp-yp)；對隱結(jié)點(diǎn)來說,因其輸出無法比較,所以經(jīng)過反向推算；σpj=ypj(1-ypj)(ypwj)(4)用σpj、xpj、wij和h計(jì)算下一次的輸入層和隱含層之間新的連接權(quán)值及隱含神經(jīng)元閾值。wij(k+1)=wij(k)+η(t)σpjxpi+α[wij(k)-wij(k-1)]

3.風(fēng)險(xiǎn)預(yù)警單元

根據(jù)風(fēng)險(xiǎn)評(píng)價(jià)系數(shù)的取值,可以將項(xiàng)目的風(fēng)險(xiǎn)狀況分為若干個(gè)區(qū)間。本文提出的劃分方法是按照5個(gè)區(qū)間來劃分的:

r<0.2項(xiàng)目的風(fēng)險(xiǎn)很低,損失發(fā)生的概率或者額度很小;

0.2≤r<0.4項(xiàng)目的風(fēng)險(xiǎn)較低,但仍存在一定風(fēng)險(xiǎn);

0.4≤r<0.6項(xiàng)目的風(fēng)險(xiǎn)處于中等水平,有出現(xiàn)重大損失的可能;

0.6≤r<0.8項(xiàng)目的風(fēng)險(xiǎn)較大,必須加強(qiáng)風(fēng)險(xiǎn)管理,采取避險(xiǎn)措施;

0.8≤r<1項(xiàng)目的風(fēng)險(xiǎn)極大,重大損失出現(xiàn)的概率很高,建議重新考慮對于項(xiàng)目的投資決策。

總之，有許多因素影響著項(xiàng)目風(fēng)險(xiǎn)的各個(gè)對象，我們使用了用戶評(píng)級(jí)的方式，從風(fēng)險(xiǎn)評(píng)估單元中獲得評(píng)價(jià)系數(shù)五個(gè)等級(jí)。給出各風(fēng)險(xiǎn)指標(biāo)的評(píng)價(jià)系數(shù)，衡量相關(guān)風(fēng)險(xiǎn)的大小。系數(shù)越低，項(xiàng)目風(fēng)險(xiǎn)越低；反之，系數(shù)越高，項(xiàng)目風(fēng)險(xiǎn)越高。

二、實(shí)證：以軟件開發(fā)風(fēng)險(xiǎn)因素為主要依據(jù)

這里我們從影響項(xiàng)目風(fēng)險(xiǎn)諸多因素中，經(jīng)項(xiàng)目風(fēng)險(xiǎn)系數(shù)計(jì)算，作出決策表，利用粗集約簡，抽取出最核心的特征屬性(中間大量復(fù)雜的計(jì)算過程省略)?？偣渤槿〕隽鶄€(gè)主要的指標(biāo)(PersonnelManagement/Training，Schedule，ProductControl，Safety，ProjectOrganization，Communication)確定了6個(gè)輸入神經(jīng)元，根據(jù)需求網(wǎng)絡(luò)隱含層神經(jīng)元選為13個(gè)，一個(gè)取值在0到1的輸出三層神經(jīng)元的BP網(wǎng)絡(luò)結(jié)構(gòu)。將前十個(gè)季度的指標(biāo)數(shù)據(jù)作為訓(xùn)練樣本數(shù)據(jù)，對這些訓(xùn)練樣本進(jìn)行數(shù)值化和歸一化處理，給定學(xué)習(xí)率η=0.0001，動(dòng)量因子α=0.01，非線性函數(shù)參數(shù)β=1.05，誤差閉值ε=0.01，經(jīng)過多次迭代學(xué)習(xí)后訓(xùn)練次數(shù)N＝1800網(wǎng)絡(luò)趨于收斂，以確定神經(jīng)網(wǎng)絡(luò)的權(quán)值。最后將后二個(gè)季度的指標(biāo)數(shù)據(jù)作為測試數(shù)據(jù)，輸入到訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中，利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)進(jìn)行識(shí)別和分類，以判斷軟件是否會(huì)發(fā)生危機(jī)。實(shí)驗(yàn)結(jié)果表明，使用神經(jīng)網(wǎng)絡(luò)方法進(jìn)行風(fēng)險(xiǎn)預(yù)警工作是有效的，運(yùn)用神經(jīng)網(wǎng)絡(luò)方法對后二個(gè)季度的指標(biāo)數(shù)據(jù)進(jìn)行處理和計(jì)算，最后神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出值為r=0.57和r=0.77，該軟件開發(fā)風(fēng)險(xiǎn)處于中等和較大狀態(tài)，與用專家效績評(píng)價(jià)方法評(píng)價(jià)出的結(jié)果基本吻合。

參考文獻(xiàn)：

[1]王國胤“Rough:集理論與知識(shí)獲取”[M].西安交通大學(xué)出版社，2001