如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)；模擬電路；故障智能診斷

Applications of Neural network in analog circuit fault intelligent diagnosis

Huang Qian1 ，Lu Li2

Nanchang institute of technology JiangXi NanChang 330029

Abstract： The article mainly describe development course of neural network simulation circuit and the common method of fault diagnosis of simulation power based on neural network at this stage， the focus analysised BP neural network fault dictionary method and the SOM neural network fault dictionary method and respective of calculation method， and basic thought， and technology difficulties analysis， discussed application problem of neural network method in in analog circuit fault intelligent diagnosis， last talk about development trend of simulation circuit neural network diagnosis method.

Keyword： Neural network；Analog circuits；Intelligent fault diagnosis

引 言

隨著神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)的發(fā)展， 模擬電路故障診斷的研究又開辟了一條新路， 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法已經(jīng)成為新的研究熱點。20世紀(jì)80年代末期起有學(xué)者研究將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到模擬電路的故障診斷中，現(xiàn)階段已經(jīng)提出多種基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法，有些方法如BP（ Error Back Propagation Network）神經(jīng)網(wǎng)絡(luò)故障字典法已經(jīng)能有效應(yīng)用于濾波電路、模擬放大電路等非線性容差電路的故障診斷， 效果優(yōu)于傳統(tǒng)的故障字典法。

1神經(jīng)網(wǎng)絡(luò)故障字典法

神經(jīng)網(wǎng)絡(luò)故障字典法把模擬電路的故障診斷看成是一個分類問題， 利用神經(jīng)網(wǎng)絡(luò)的分類功能來診斷故障。在測前把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成一部故障字典， 字典的信息蘊含在網(wǎng)絡(luò)的連接權(quán)值中， 只要輸入電路的測量特征， 就可以從其輸出查出故障。

1.1 BP 神經(jīng)網(wǎng)絡(luò)故障字典法

BP 是一種多層網(wǎng)絡(luò)誤差反傳學(xué)習(xí)算法。

1）初始化，隨機(jī)給定各連接權(quán)[w]，[v]及閥值θi，rt。

（2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出

式中：bj為隱層第j個神經(jīng)元實際輸出；ct為輸出層第t個神經(jīng)元的實際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。

式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。

（3）計算新的連接權(quán)及閥值，計算公式如下：

（4）選取下一個輸入模式對返回第2步反復(fù)訓(xùn)練直到網(wǎng)絡(luò)設(shè)輸出誤差達(dá)到要求結(jié)束訓(xùn)練。

應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)故障字典法進(jìn)行模擬電路故障診斷步驟如下：

（1）確定待測電路的故障集和狀態(tài)特征參量， 采用電路仿真或?qū)嶒灥姆椒ǐ@取電路每一故障狀態(tài)下的狀態(tài)特征數(shù)據(jù)， 經(jīng)篩選和歸一化處理后構(gòu)造訓(xùn)練樣本集。設(shè)計BP 神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練。

（2）用訓(xùn)練樣本集中的樣本訓(xùn)練好網(wǎng)絡(luò)， 即完成學(xué)習(xí)的過程。一般采用3 層BP 神經(jīng)網(wǎng)絡(luò)， 輸入層節(jié)點數(shù)與電路狀態(tài)特征參量的維數(shù)相同， 輸出層節(jié)點數(shù)可與電路待測故障類別數(shù)相同，也可小于待測故障類別數(shù)， 隱層節(jié)點數(shù)則需按經(jīng)驗公式試湊。實際診斷時給被測電路加相同的測試激勵， 將測得的實際狀態(tài)特征參量輸入到訓(xùn)練好的BP 神經(jīng)網(wǎng)絡(luò)， 則其輸出即可指示相應(yīng)的故障狀態(tài)。

1.2 SOM神經(jīng)網(wǎng)絡(luò)故障字典法

SOM （Self - organizing Feature Map）神經(jīng)網(wǎng)絡(luò)是芬蘭教授Kohonen于1981 年提出的一種自組織特征映射神經(jīng)網(wǎng)絡(luò)。這種自組織特征映射神經(jīng)網(wǎng)絡(luò)通過對輸入模式的反復(fù)學(xué)習(xí)，使連接權(quán)矢量空間分布密度與輸入模式的概率分布趨于一致， 即連接權(quán)矢量的空間分布密度能反映輸入模式的統(tǒng)計特性。

SOM二維網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

SOM 網(wǎng)絡(luò)能對輸入模式自動分類，通過輸入模式的自組織學(xué)習(xí)， 在競爭層將分類結(jié)果表示出來。應(yīng)用SOM 神經(jīng)網(wǎng)絡(luò)建立模擬電路故障診斷字典的具體步驟如下：

（1）確定電路的故障集和激勵信號。通過仿真獲取電路在每一故障狀態(tài)下的狀態(tài)特征向量， 并進(jìn)行預(yù)處理得到訓(xùn)練樣本數(shù)據(jù)。

（2） 確定SOM 網(wǎng)絡(luò)結(jié)構(gòu)。 SOM 網(wǎng)絡(luò)只有輸入層和輸出層兩層， 沒有隱層，輸入層的形式與BP 網(wǎng)絡(luò)相同， 其結(jié)點數(shù)應(yīng)與電路狀態(tài)特征向量的維數(shù)相同。輸出層即競爭層的神經(jīng)元一般采用二維平面陣結(jié)構(gòu)排列， 也可采用一維線陣或三維柵格陣的結(jié)構(gòu)排列。采用一維線陣時， 輸出層結(jié)點數(shù)可與電路的故障類別數(shù)相同。

（3）經(jīng)過SOM 訓(xùn)練形成具有容差的故障字典。SOM 網(wǎng)絡(luò)的學(xué)習(xí)算法可采用標(biāo)準(zhǔn)的Kohonen 算法?？梢钥闯?， SOM 網(wǎng)絡(luò)法與BP 網(wǎng)絡(luò)法構(gòu)建故障字典的方法步驟完全相似，SOM 網(wǎng)絡(luò)法一般適用于交流電路， 以電路響應(yīng)的頻域參量為狀態(tài)特征，它能更有效地克服容差因素對故障定位的影響，SOM 網(wǎng)絡(luò)法實際診斷時容易出現(xiàn)模糊故障集， 診斷過程要比BP網(wǎng)絡(luò)法復(fù)雜。

1.2神經(jīng)網(wǎng)絡(luò)故障字典法難點

同經(jīng)典的故障字典法相比， 神經(jīng)網(wǎng)絡(luò)故障字典法突出的優(yōu)點是測后診斷速度快，實時性強，其原因是該方法利用了神經(jīng)網(wǎng)絡(luò)高度并行的信息處理能力。經(jīng)典的故障字典法需要進(jìn)行繁瑣的模糊集分割處理， 且一般只能診斷硬故障。而神經(jīng)網(wǎng)絡(luò)故障字典法由于神經(jīng)網(wǎng)絡(luò)的泛化能力，可以診斷容差模擬電路， 而且對軟故障情況也有很好的應(yīng)用前景。應(yīng)用該方法難點包括以下幾個方面：

（1）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)等只能依據(jù)經(jīng)驗反復(fù)調(diào)試， 難以確定所設(shè)計的神經(jīng)網(wǎng)絡(luò)是最優(yōu)的。

（2）數(shù)據(jù)預(yù)處理技術(shù)和訓(xùn)練樣本集的篩選至關(guān)重要，神經(jīng)網(wǎng)絡(luò)故障字典法的診斷效果主要依賴于此。如何根據(jù)實際電路對原始數(shù)據(jù)進(jìn)行預(yù)處理以突出故障特征信息及如何優(yōu)選訓(xùn)練樣本。

2 神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法

傳統(tǒng)的優(yōu)化診斷法依據(jù)被測電路的解析關(guān)系， 按照一定的判據(jù)（目標(biāo)函數(shù)） ， 估計出最有可能出現(xiàn)故障的元件。優(yōu)化診斷法是一種測后模擬的逼近法， 可在較少的測量數(shù)據(jù)下診斷故障，避免元件的容差問題， 可以診斷軟故障和多故障但傳統(tǒng)優(yōu)化診斷法存在一個復(fù)雜的重復(fù)過程， 需要多個優(yōu)化過程和多次電路模擬， 測后計算量很大。

神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法對傳統(tǒng)方法進(jìn)行改進(jìn)， 利用Hopfield 神經(jīng)網(wǎng)絡(luò)的優(yōu)化計算功能尋優(yōu)， 克服了傳統(tǒng)的優(yōu)化診斷方法測后計算量大、實時性差的缺點。由于該方法最終是通過求解元件參數(shù)或參數(shù)增量來判定故障元件的。

神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法的基本思想是將模擬電路的故障診斷方程轉(zhuǎn)換為帶約束條件的優(yōu)化問題， 然后利用Hopfield 神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化問題的求解。將優(yōu)化問題映射到一種神經(jīng)網(wǎng)絡(luò)的特定組態(tài)上， 此組態(tài)相應(yīng)于優(yōu)化問題的可能解， 然后再構(gòu)造一個適合于待優(yōu)化問題的能量函數(shù)（對應(yīng)于目標(biāo)函數(shù)）， 當(dāng)Hopfield 神經(jīng)網(wǎng)絡(luò)從某一初始狀態(tài)沿著能量函數(shù)減小的方向運動， 其穩(wěn)定平衡解即對應(yīng)于優(yōu)化問題的解。對于線性電阻電路， 可以以元件參數(shù)增量和可測節(jié)點電壓變化量建立故障診斷方程， 該診斷方程通常為一組欠定方程。

應(yīng)用Hopfield 神經(jīng)網(wǎng)絡(luò)求解此類帶約束條件的優(yōu)化問題的步驟如下：

（1）分析問題： 分析網(wǎng)絡(luò)輸出與問題的解相對應(yīng)。

（2）構(gòu)造網(wǎng)絡(luò)能量函數(shù)： 將實際待解決優(yōu)化問題的目標(biāo)函數(shù)表達(dá)成能量函數(shù)的相應(yīng)形式， 能量函數(shù)最小值對應(yīng)問題最佳解。

（3）設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)： 將能量函數(shù)與目標(biāo)函數(shù)相比較， 求出能量函數(shù)中的權(quán)值和偏流。

（4）運行網(wǎng)絡(luò)求出穩(wěn)定平衡態(tài)： 由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路， 運行該電子線路直至穩(wěn)定， 所得穩(wěn)態(tài)解即為優(yōu)化問題所希望的解。

3 其它神經(jīng)網(wǎng)絡(luò)故障診斷法

ART （Adaptive Resonance Theory）神經(jīng)網(wǎng)絡(luò)故障診斷法。ART 神經(jīng)網(wǎng)絡(luò)是一種基于自適應(yīng)共振理論ART的學(xué)習(xí)算法， 包括ART1 型、ART2 型和ART3 型三種結(jié)構(gòu)形式。文獻(xiàn)三中的作者探討了一種采用ART1 型神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬電路故障診斷的方法，將電路的各種故障分出層次，并按一定特征給故障類型進(jìn)行編碼形成故障數(shù)據(jù)樣本，將故障數(shù)據(jù)樣本輸入ART1型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練， 訓(xùn)練完成后該ART 網(wǎng)絡(luò)即可用于診斷。ART最大的特點是既能識別已有的故障模式， 又能較好地診斷新發(fā)故障?；谏窠?jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)撕裂法。網(wǎng)絡(luò)撕裂法是一種大規(guī)模模擬電路分層診斷的方法， 將網(wǎng)絡(luò)撕裂法與神經(jīng)網(wǎng)絡(luò)故障字典法相結(jié)合就形成基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)撕裂法。

ART的基本思路是， 當(dāng)電路網(wǎng)絡(luò)分解到一定程度后， 電路子網(wǎng)絡(luò)繼續(xù)分解往往越來越困難， 這時可以引入神經(jīng)網(wǎng)絡(luò)故障字典法， 分別為每一電路子網(wǎng)絡(luò)構(gòu)建一個神經(jīng)網(wǎng)絡(luò)， 則電路子網(wǎng)絡(luò)級的診斷采用神經(jīng)網(wǎng)絡(luò)故障字典實現(xiàn)。

與傳統(tǒng)的網(wǎng)絡(luò)撕裂法相比， 該方法測后工作量小， 診斷過程更加簡單，診斷速度加快。基于神經(jīng)網(wǎng)絡(luò)求解非線性方程的模擬電路故障診斷方法。

4 模擬電路神經(jīng)網(wǎng)絡(luò)診斷法發(fā)展趨勢

近年來， 一個值得重視的現(xiàn)象是神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊控制、遺傳算法和小波分析等技術(shù)相結(jié)合應(yīng)用于模擬電路的故障診斷領(lǐng)域的研究。如神經(jīng)網(wǎng)絡(luò)與模糊邏輯理論相結(jié)合， 即所謂的“模糊神經(jīng)網(wǎng)絡(luò)”用于模擬電路的故障診斷， 其基本思想是在BP 神經(jīng)網(wǎng)絡(luò)的輸入層與輸出層中間增加1到2 層模糊層構(gòu)造模糊神經(jīng)網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)處理低層感知數(shù)據(jù)， 利用模糊邏輯描述高層的邏輯框架，其對模擬電路軟故障的診斷效果優(yōu)于單一的神經(jīng)網(wǎng)絡(luò)分類器。又如小波分析與神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于模擬電路的故障診斷。

小波與神經(jīng)網(wǎng)絡(luò)的結(jié)合有以下兩個途徑：

（1） 輔助式結(jié)合， 比較典型的是利用小波分析對信號進(jìn)行預(yù)處理， 然后用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)與判別。

（2）嵌套式結(jié)合， 即把小波變換的運算融入到神經(jīng)網(wǎng)絡(luò)中去， 其基本思想是用小波元代替了神經(jīng)元，即激活函數(shù)為已定位的小波函數(shù)基， 通過仿射變換建立小波變換與神經(jīng)網(wǎng)絡(luò)的聯(lián)接，小波神經(jīng)網(wǎng)絡(luò)由于把神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)特性和小波的局部特性結(jié)合起來，具有自適應(yīng)分辨性和良好的容錯性。

參考文獻(xiàn)

[1] 王顯強.談?wù)勆窠?jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的應(yīng)用問題[J]

電路技術(shù).2012（06）

[2] 劉華.基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法研究[J]微電子學(xué)報.2010（03）

[3]董偉.談ART1 型神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬電路故障診斷方式分析. [J]電路科技. 2012（05）

[4]王承. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]電路科技. 2013（06）

[5]張宇. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]計算機(jī)測量與控制. 2012（07）

[6]王承. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]電路故障. 2013（02）

[7]劉盛燦. 神經(jīng)網(wǎng)絡(luò)的模擬電路故障的應(yīng)用.[J]電路科技. 2013（06）

[8] 萬磊.神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的應(yīng)用若干問題探討[J]

電路技術(shù).2011（08）

[9] 郭明強.神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的發(fā)展歷程分析[J]電路技術(shù).2013（08）

第2篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：Matlab；BP神經(jīng)網(wǎng)絡(luò)；預(yù)測

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)19-30124-02

Based on Matlab BP Neural Network Application

YANG Bao-hua

(Institute of Information and Computer, Anhui Agricultural University, Hefei 230036, China)

Abstract: BP learning algorithm is a one-way transmission of multi-layer to the network, Matlab toolbox is based on the theory of artificial neural network, based on Matlab toolbox, with watermelon-heavy forecasts, BP neural network forecast the feasibility of re-watermelon is verified, and fast convergence, small error, should be promoted in the forecast crop growth.

Key words: Matlab; BP Neural Networks; Forecast

1 引言

人工神經(jīng)網(wǎng)絡(luò)是人工構(gòu)造的模擬人腦功能而構(gòu)建的一種網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)是結(jié)構(gòu)較簡單、應(yīng)用最廣泛的一種模型，BP神經(jīng)網(wǎng)絡(luò)是Rumelhart等在1986年提出的。它是一種單向傳播的多層前向網(wǎng)絡(luò)，一般具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層[1]，其模型見圖1所示。

■

圖1 BP網(wǎng)絡(luò)模型

Matlab中的神經(jīng)網(wǎng)絡(luò)工具箱是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用Matlab語言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)、網(wǎng)絡(luò)權(quán)值修正規(guī)則和網(wǎng)絡(luò)訓(xùn)練方法。網(wǎng)絡(luò)的設(shè)計者可根據(jù)自己的需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計與訓(xùn)練的程序，免去了繁瑣的編程過程。

紅籽瓜(Red-seed Watermelon)種子即瓜子富含有蛋白質(zhì)、脂肪、鈣、磷及多種維生素，含油率達(dá)55%左右，營養(yǎng)頗為豐富，經(jīng)過精細(xì)加工，味道鮮美，市場十分暢銷[4]。為了提高瓜子的產(chǎn)量，需要關(guān)注很多因素，這些因素的改變會影響瓜子的產(chǎn)量，所以確定哪些因素能預(yù)測產(chǎn)量，如何預(yù)測是本文研究的內(nèi)容。本文利用紅籽西瓜的測量數(shù)據(jù)，以單果重，種子數(shù)，千粒重，種子重作為輸入因子，仁重為輸出因子，選擇合適的隱層，構(gòu)建影響紅籽西瓜種仁重量的BP網(wǎng)絡(luò)模型，運用Matlab軟件進(jìn)行預(yù)測。

2 BP神經(jīng)網(wǎng)絡(luò)設(shè)計的基本方法

Matlab的NNbox提供了建立神經(jīng)網(wǎng)絡(luò)的專用函數(shù)newff()[5]。用newff函數(shù)來確定網(wǎng)絡(luò)層數(shù)、每層中的神經(jīng)元數(shù)和傳遞函數(shù)，其語法為：

net=newff(PR,[S1,S2,…,SN],{TF1,TF2,…,TFN},BTF,BLF,PF)

式中：PR表示由每個輸入向量的最大最小值構(gòu)成的R×2矩陣；Si表示第i層網(wǎng)絡(luò)的神經(jīng)元個數(shù)；TF表示第i層網(wǎng)絡(luò)的傳遞函數(shù)，缺省為tansig，可選用的傳遞函數(shù)有tansig，logsig或purelin；BTF表示字符串變量，為網(wǎng)絡(luò)的訓(xùn)練函數(shù)名，可在如下函數(shù)中選擇：traingd、traingdm、traingdx、trainbfg、trainlm等，缺省為trainlm；BLF表示字符串變量，為網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)名，缺省為learngdm；BF表示字符串變量，為網(wǎng)絡(luò)的性能函數(shù)，缺省為均方差“mse”。

2.1 網(wǎng)絡(luò)層數(shù)

BP網(wǎng)絡(luò)可以包含不同的隱層，但理論上已經(jīng)證明，在不限制隱層節(jié)點數(shù)的情況下，兩層（只有一個隱層）的BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射。

2.2 輸入層節(jié)點數(shù)

輸入層起緩沖存儲器的作用，它接受外部的輸入數(shù)據(jù)，因此其節(jié)點數(shù)取決于輸入矢量的維數(shù)。

2.3 輸出層節(jié)點數(shù)

輸出層節(jié)點數(shù)取決于兩個方面，輸出數(shù)據(jù)類型和表示該類型所需的數(shù)據(jù)大小。在設(shè)計輸人層和輸出層時，應(yīng)該盡可能的減小系統(tǒng)規(guī)模，使系統(tǒng)的學(xué)習(xí)時間和復(fù)雜性減小。

2.4 隱層節(jié)點數(shù)

一個具有無限隱層節(jié)點的兩層BP網(wǎng)絡(luò)可以實現(xiàn)任意從輸入到輸出的非線性映射。但對于有限個輸入模式到輸出模式的映射，并不需要無限個隱層節(jié)點，這就涉及到如何選擇隱層節(jié)點數(shù)的問題，至今為止，尚未找到一個很好的解析式，隱層節(jié)點數(shù)往往根據(jù)前人設(shè)計所得的經(jīng)驗和自己進(jìn)行試驗來確定。一般認(rèn)為，隱層節(jié)點數(shù)與求解問題的要求、輸入輸出單元數(shù)多少都有直接的關(guān)系。另外，隱層節(jié)點數(shù)太多會導(dǎo)致學(xué)習(xí)時間過長；而隱層節(jié)點數(shù)太少，容錯性差，識別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面的因素進(jìn)行設(shè)計。

隱層節(jié)點數(shù)的初始值可先由以下兩個公式中的其中之一來確定[2,3]。

1=■+a (1)

或 1=■(2)

式中，m、n分別為輸入結(jié)點數(shù)目與輸出結(jié)點數(shù)目，a為1～10之間的常數(shù)。

2.5 數(shù)據(jù)歸一化

因為原始數(shù)據(jù)幅值大小不一，有時候還相差比較懸殊。如果直接投人使用，測量值大的波動就壟斷了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，使其不能反映小的測量值的變化。所以，在網(wǎng)絡(luò)訓(xùn)練之前，輸人數(shù)據(jù)和目標(biāo)矢量都要經(jīng)過歸一化處理。

根據(jù)公式可將數(shù)據(jù)“歸一化”，即限定在[0,1]區(qū)間內(nèi)。歸一化公式為：

■ (3)

也可以使用歸一化函數(shù)Premnmx，及反歸一化函數(shù)Postmnmx。

3 BP學(xué)習(xí)算法及實例

3.1 BP學(xué)習(xí)算法

1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；

2) 從訓(xùn)練樣本集合中取一個樣本，并作為輸入向量送入網(wǎng)絡(luò)；

3) 正向傳播過程，對給定的輸入樣本，通過網(wǎng)絡(luò)計算得到輸出樣本，并把得到的輸出樣本與期望的樣本比較，如有誤差超出限定范圍，則執(zhí)行第4步；否則返回第2步，輸入下一個樣本；

4) 反向傳播過程，即從輸出層反向計算到第一隱層，修正各神經(jīng)元的連接權(quán)值，使用誤差減小。

3.2 實例

為了提高瓜籽產(chǎn)量，需要關(guān)注很多因素，濾去相關(guān)度過低的因子，根據(jù)經(jīng)驗確定輸入因子為單果重，種子數(shù)，千粒重，種子重，輸出因子為仁重?，F(xiàn)以表1所示的2000~2002年測量數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行訓(xùn)練，對2003年的數(shù)據(jù)進(jìn)行預(yù)測。輸出層結(jié)點代表仁重量，神經(jīng)網(wǎng)絡(luò)的預(yù)測模型采用4-4-1，即輸入層4個神經(jīng)元，根據(jù)公式(2)計算隱層神經(jīng)元數(shù)確定為4，1個輸出神經(jīng)元。設(shè)定最大的迭代次數(shù)為500次，系統(tǒng)全局誤差小于0.001。傳遞函數(shù)為tansig，訓(xùn)練函數(shù)為trainlm。

根據(jù)經(jīng)典的BP算法，采用Matlab編程，樣本訓(xùn)練結(jié)果見圖2，2003的數(shù)據(jù)作為預(yù)測樣本，預(yù)測結(jié)果如下：

TRAINLM, Epoch 0/500, MSE 0.316381/0.001, Gradient 2.8461/1e-010

TRAINLM, Epoch 4/500, MSE 0.00056622/0.001, Gradient 0.0830661/1e-010

TRAINLM, Performance goal met.

SSE = 0.0102

y = 0.269 0.267 0.27 0.269 0.2679 0.2679

表1 紅籽西瓜數(shù)量性狀表

瓜籽仁重實際值為0.265，0.282，0.264，0.269，0.265，0.287，誤差為0.0102，當(dāng)樣本較少時可以接受的誤差范圍內(nèi)。并且收斂速度快。

■

圖2訓(xùn)練函數(shù)為trainlm的訓(xùn)練結(jié)果

采用traingd函數(shù)進(jìn)行訓(xùn)練，則5000次仍未達(dá)到要求的目標(biāo)誤差0.001，說明該函數(shù)訓(xùn)練的收斂速度很慢。見圖3所示。所以訓(xùn)練函數(shù)的選擇也非常關(guān)鍵。

■

圖3 訓(xùn)練函數(shù)為traingd的訓(xùn)練結(jié)果

4 結(jié)論

用Matlab編編寫的基于BP網(wǎng)絡(luò)的仁重預(yù)測程序，計算結(jié)果表明，誤差較小，預(yù)測值與實測值吻合較好，所建立的模型具有較好的實用性，說明單果重，種子數(shù)，千粒重，種子重的數(shù)據(jù)影響瓜子的產(chǎn)量，同時驗證BP算法可以用于瓜仁產(chǎn)量的預(yù)測。

目前所進(jìn)行的預(yù)測試驗中數(shù)據(jù)的樣本較少，且生長動態(tài)變化，今后擬建立一個動態(tài)預(yù)測系統(tǒng)，為紅籽瓜品種培育、提高產(chǎn)量提供新的方法，值得在預(yù)測作物生長中推廣。

參考文獻(xiàn)：

[1] 飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與Matlab 7實現(xiàn)[M].北京：電子工業(yè)出版社.2006:100-105.

[2] 徐廬生.微機(jī)神經(jīng)網(wǎng)絡(luò)[M].北京：中國醫(yī)藥科技出版社,1995．

[3] 高大啟.有教師的線性基本函數(shù)前向三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究[J].計算機(jī)學(xué)報,1998,21(1):80-85．

[4] 欽州農(nóng)業(yè)信息網(wǎng)：.

第3篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：RBF神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)挖掘；遺傳算法

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）07-0151-03

Research on Data Mining Method Based on RBF Neural Network

CAO Jia-jie， YANG Meng， XU Xin-yu

（Beijing Satellite Manufacturing Plant， Beijing 100000， China）

Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.

Key words： RBF neural network； data mining； genetic algorithm

數(shù)據(jù)挖掘是從大量數(shù)據(jù)中挖掘有價值的信息和知識，以便為管理決策和戰(zhàn)略部署提供數(shù)據(jù)支撐。數(shù)據(jù)挖掘作為信息技術(shù)發(fā)展的結(jié)果，其應(yīng)用前景相當(dāng)廣泛。數(shù)據(jù)庫技術(shù)主要研究數(shù)據(jù)的組織、存儲、獲取和處理，而信息技術(shù)主要經(jīng)歷以下發(fā)展歷程：數(shù)據(jù)的簡單收集和數(shù)據(jù)庫的初期建設(shè)數(shù)據(jù)的存儲與檢索、數(shù)據(jù)庫的事務(wù)處理數(shù)據(jù)的分析與理解，此時便出現(xiàn)數(shù)據(jù)挖掘技術(shù)?；谏鲜鲅芯勘尘?，下文首先分別介紹數(shù)據(jù)挖掘與RBF神經(jīng)網(wǎng)絡(luò)的相關(guān)理論知識，并在此基礎(chǔ)上，討論基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法，目的是為了研究數(shù)據(jù)挖掘所用到的分類算法。關(guān)于神經(jīng)網(wǎng)絡(luò)，作為一種人工智能技術(shù)，其一方面可以省去繁瑣的數(shù)學(xué)建模和數(shù)學(xué)推理，另一方面在處理含噪聲的非線性數(shù)據(jù)時表現(xiàn)出無與倫比的優(yōu)越性。

1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是非平凡的數(shù)據(jù)處理過程，即識別數(shù)據(jù)集中具有潛在價值、新穎有效且最終可被理解的模式，其中潛在價值指的是挖掘出的知識具有實際效用；新穎是指識別出的模式新穎；有效是指識別出的模式在一定程度上是正確的；最終可被理解是指識別出的數(shù)據(jù)可被用戶理解。圖1所示為數(shù)據(jù)挖掘的工作流程。

如圖1所示，數(shù)據(jù)挖掘主要經(jīng)歷數(shù)據(jù)準(zhǔn)備、模式提取、結(jié)果解釋與評估等階段，其中數(shù)據(jù)準(zhǔn)備的步驟為：數(shù)據(jù)清洗數(shù)據(jù)選取數(shù)據(jù)預(yù)處理數(shù)據(jù)表示；數(shù)據(jù)提取階段又稱數(shù)據(jù)挖掘階段，其實現(xiàn)步驟為：確定數(shù)據(jù)挖掘的目標(biāo)或任務(wù)選取適宜的數(shù)據(jù)挖掘工具或算法進(jìn)行數(shù)據(jù)挖掘操作；結(jié)果解釋與評估階段主要對所識別的數(shù)據(jù)進(jìn)行評估、篩除。一般來講，數(shù)據(jù)挖掘質(zhì)量主要與以下影響因素有關(guān)：數(shù)據(jù)挖掘技術(shù)的可靠性與有效性；目標(biāo)數(shù)據(jù)的數(shù)量與質(zhì)量?？傊?，數(shù)據(jù)挖掘是一個反復(fù)反饋的過程，而可視化貫穿在數(shù)據(jù)挖掘的全過程。

數(shù)據(jù)挖掘的方法一般分為統(tǒng)計型、機(jī)械學(xué)習(xí)型兩大類，而較為常用的算法包括遺傳算法、神經(jīng)網(wǎng)絡(luò)等。遺傳算法是一種以生物進(jìn)化理論為基礎(chǔ)的優(yōu)化空間搜尋法，其在數(shù)據(jù)挖掘中，通常以搜索問題的形式來表述具體的任務(wù)，并通過選擇、交叉、變異遺傳等操作尋得最優(yōu)解。神經(jīng)網(wǎng)絡(luò)是一種與人類大腦重復(fù)學(xué)習(xí)類似的方法，即通過學(xué)習(xí)和訓(xùn)練一些事先給出的樣本，產(chǎn)生與樣品有所區(qū)別的特征和模式，其中樣本集應(yīng)具有代表性。研究表明，神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確預(yù)測復(fù)雜的問題、有效處理存在噪聲的數(shù)據(jù)等優(yōu)點。神經(jīng)網(wǎng)絡(luò)一般分為自組織、反饋式和前饋式神經(jīng)網(wǎng)絡(luò)，目前正被廣泛應(yīng)用于商業(yè)領(lǐng)域。

2 RBF神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)結(jié)構(gòu)是一種由輸入層、隱含層和輸出層組成的三層前向網(wǎng)絡(luò)，其中輸入層包含信號源結(jié)點；隱含層主要由節(jié)點數(shù)目描述的具體問題而定；輸出層主要響應(yīng)輸入模式的具體作用。圖2所示為RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)模型。

如圖2所示，RBF網(wǎng)絡(luò)由輸入層向隱含層變換的過程具有非線性的特征，而由隱含層向輸入層變化的過程具有線性的特征。據(jù)此可知，RBF神經(jīng)網(wǎng)絡(luò)是一種基于前饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。研究發(fā)現(xiàn)，RBF神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)會對自身的性能產(chǎn)生影響，而以下因素又會對RBF網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)產(chǎn)生影響：RBF的隱節(jié)點數(shù)目、中心矢量、徑向基函數(shù)寬度和隱含層與輸出層的權(quán)值矩陣。

RBF網(wǎng)絡(luò)具有較強的非線性逼近性能。得益于此，其目前主要用來實現(xiàn)非線性系統(tǒng)的建模與數(shù)據(jù)挖掘、貝葉斯規(guī)則和連續(xù)輸入/出數(shù)據(jù)對的映射建模。與其他前向神經(jīng)網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點：

1）RBF神經(jīng)網(wǎng)絡(luò)能逼近任意非線性映射，也能處理系統(tǒng)內(nèi)部的規(guī)律性問題。就無噪聲數(shù)據(jù)而言，RBF神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精度高且擬合能力強；而就存在噪聲的數(shù)據(jù)來講，RBF神經(jīng)網(wǎng)絡(luò)模型的預(yù)測誤差和擬合誤差均偏低，且收斂速度相當(dāng)快。得益于此，RBF神經(jīng)網(wǎng)絡(luò)在時序建模和分析中的應(yīng)用十分廣泛。

2）RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)加快了學(xué)習(xí)速度和規(guī)避了局部極小的問題。RBF神經(jīng)網(wǎng)絡(luò)采用核函數(shù)，特別是高斯函數(shù)的使用使得核函數(shù)的優(yōu)點更為突出：表示簡單、光滑性好和解釋性好等。

3）RBF神經(jīng)網(wǎng)絡(luò)的可解釋性好。目前，以下理論均可用于RBF網(wǎng)絡(luò)參數(shù)和拓?fù)浣Y(jié)構(gòu)的解釋中：RBF網(wǎng)絡(luò)能夠?qū)斎雽愚D(zhuǎn)向輸出層進(jìn)行映射；核回歸能夠逼近存在噪聲的函數(shù)噪聲數(shù)據(jù)插值能夠逼近輸入缺少函數(shù)；規(guī)則化可以通過在一般化與精確匹配中尋求平衡；貝葉斯規(guī)則可以根據(jù)前概率計算出后概率。

3 基于RBF神經(jīng)網(wǎng)絡(luò)的分類數(shù)據(jù)挖掘

關(guān)于RBF神經(jīng)網(wǎng)絡(luò)的研究，其主要表現(xiàn)在以下兩個方面： RBF網(wǎng)絡(luò)結(jié)構(gòu)模型； RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。

3.1 RBF網(wǎng)絡(luò)結(jié)構(gòu)模型

在實際應(yīng)用中，RBF模型的應(yīng)用范圍更廣，其核函數(shù)使用的是高斯函數(shù)。但研究發(fā)現(xiàn)，在上述結(jié)構(gòu)模型中，訓(xùn)練算法的優(yōu)劣會對模型的應(yīng)用效果和RBF網(wǎng)絡(luò)性能的高低產(chǎn)生決定作用。鑒于此，研究人員提出一些具有新特點和新性能的網(wǎng)絡(luò)模型，具體包括：

1）高斯型核函數(shù)一般化。當(dāng)隱含層RBF采用以下高斯條函數(shù)時，將大大改善RBFN的綜合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。對于普通高斯函數(shù)，其擁有半徑相同的變量軸和超球面狀的函數(shù)曲面。但與此相比，高斯條核函數(shù)擁有超橢球面狀的函數(shù)曲面和半徑不同的變量軸，因此它具有更強的樣本點逼近能力和更大的網(wǎng)絡(luò)訓(xùn)練工作量。

2）WNN（小波神經(jīng)網(wǎng)絡(luò)）。WNN是一種基于小波函數(shù)的函數(shù)連接型網(wǎng)絡(luò)，因此在一定程度上應(yīng)被看作RBFN的推廣形式。WNN的激活函數(shù)為小波函數(shù)，具體以仿射變換的方式創(chuàng)建網(wǎng)絡(luò)參數(shù)與小波變換之間的聯(lián)系，因此所表現(xiàn)出的特點與RBFN有所差異。此外，WNN具有極佳的時頻特征，因此被廣泛應(yīng)用于圖像處理和模式識別等領(lǐng)域。

3）RBPNN（徑向基概率神經(jīng)網(wǎng)絡(luò)）。RBPNN作為RBFNN與PNN綜合發(fā)展的結(jié)果，其學(xué)習(xí)收斂速度比RBFN更快，同時也將模式之間的交錯影響考慮其中。關(guān)于RBPNN，其結(jié)構(gòu)主要由2個隱含層、1個輸入層、2個輸出層組成，其中第一個隱含層為非線處理層，具體包括隱中心矢量，此乃網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的核心對象；在輸出層得出輸入樣本概率密度的估算值，可降低計算的復(fù)雜度。

4）GRNN（廣義回歸網(wǎng)絡(luò)）。GRNN使用的也是高斯型徑向基函數(shù)，一般被看作RBFN的變換形式。GRNN的結(jié)構(gòu)主要由模式層、輸入層、加和層、輸出層組成，其中核函數(shù)所包含的平滑因子需采用優(yōu)化或經(jīng)驗方法來選定。

3.2 RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

在RBF網(wǎng)絡(luò)設(shè)計中，最為核心的問題是如何合理確定中心點的位置、數(shù)目和訓(xùn)練網(wǎng)絡(luò)權(quán)值。通常情況下，中心點的確定與權(quán)值的訓(xùn)練既可分開實現(xiàn)，又可同時進(jìn)行。鑒于此，RBF網(wǎng)絡(luò)可以采用以下兩類學(xué)習(xí)算法：

3.2.1 靜態(tài)學(xué)習(xí)算法

靜態(tài)學(xué)習(xí)算法是一種離線學(xué)習(xí)算法，即在離線設(shè)計RBF網(wǎng)絡(luò)時，中心點的確定與權(quán)值的訓(xùn)練分開進(jìn)行。

1）隨機(jī)確定RBF中心點，即隨機(jī)從訓(xùn)練數(shù)據(jù)集中選取RBF中心點。當(dāng)RBF選取以下高斯函數(shù)：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心點；[m]――中心數(shù)；[dmax]――相鄰中心點最大的間隔距離，因此高斯徑向基函數(shù)的寬度[σ=dmax/2m]。利用上述算法，可以避免RBF的形狀出現(xiàn)過平或過陡兩種極端現(xiàn)象。如此一來，便可通過計算線性方程組的方式來確定輸出層與隱含層的連接權(quán)值。

2）自組織學(xué)習(xí)確定RBF中心點?；旌蠈W(xué)習(xí)過程主要包括自組織學(xué)習(xí)階段、監(jiān)督學(xué)習(xí)階段，其中自組織學(xué)習(xí)階段的任務(wù)是采用聚類算法來估計隱含層RBF的中心點；監(jiān)督學(xué)習(xí)階段主要通過對輸出層線性權(quán)重進(jìn)行估計來設(shè)計網(wǎng)絡(luò)，具體采用最小二乘法。輸出層節(jié)點的LMS算法與隱含層節(jié)點的K-均值聚類同時進(jìn)行，以加速學(xué)習(xí)過程。

3）有監(jiān)督學(xué)習(xí)確定RBF中心點，即通過有監(jiān)督學(xué)習(xí)解得RBF的中心點和自有參數(shù)，具體使用牛頓法或梯度下降法等。如果使用梯度下降法，則應(yīng)從參數(shù)空間的某一有效區(qū)域開始進(jìn)行搜索，即先利用RBF網(wǎng)絡(luò)得到高斯分類算法，再以分類結(jié)果為搜索點，以免學(xué)習(xí)程收斂至局部極小。

3.2.2 動態(tài)學(xué)習(xí)算法

動態(tài)學(xué)習(xí)算法是一種在線學(xué)習(xí)算法，其主要在在線數(shù)據(jù)挖掘環(huán)境中使用。由于在在線數(shù)據(jù)挖掘環(huán)境中，通常不會全部給定訓(xùn)練樣本，因此如果隱含層中心點與單元數(shù)目的確定采用靜態(tài)學(xué)習(xí)算法，則解算結(jié)果不一定最優(yōu)，而在線學(xué)習(xí)算法支持動態(tài)刪除或加入隱含層節(jié)點，且隱含層中心點的確定和權(quán)值的訓(xùn)練同時進(jìn)行，因此可以動態(tài)構(gòu)造網(wǎng)絡(luò)。

1）以分組優(yōu)化策略為基礎(chǔ)的在線學(xué)習(xí)法。訓(xùn)練神經(jīng)網(wǎng)絡(luò)是約束優(yōu)化的過程，則需對特定的神經(jīng)網(wǎng)絡(luò)類型進(jìn)行深入探討。以下內(nèi)容為在線隱含層單元的確定策略：當(dāng)輸入的訓(xùn)練樣本同時滿足以下條件時，則為之分配相應(yīng)的隱含層但愿你：網(wǎng)絡(luò)輸出誤差比誤差的設(shè)定閥值大；輸入樣本與隱層中心點之間的距離比距離的設(shè)計閥值大。如果在RBF神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練方式中引入分組優(yōu)化策略，則網(wǎng)絡(luò)輸出與網(wǎng)絡(luò)權(quán)值之間存在線性關(guān)系，同時與隱含層單元的寬度、中心點之間存在非線性關(guān)系，表明盡量采取不同的優(yōu)化方法來處理兩部分的參數(shù)。

2）最近鄰聚類算法。最近鄰居類算法作為動態(tài)自適應(yīng)聚類學(xué)習(xí)算法，由其聚類得出的RBF網(wǎng)絡(luò)不僅最優(yōu)，且支持在線學(xué)習(xí)。最近鄰聚類算法的實現(xiàn)過程為：

① 設(shè)定高斯函數(shù)寬度為r，定義矢量A（l）存放輸出矢量的總和，定義計數(shù)器B（l）統(tǒng)計樣本數(shù)量，其中類別數(shù)目為l。

② 對于數(shù)據(jù)對[（x1，y1）]，于[x1]上創(chuàng)建1個聚類中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF網(wǎng)絡(luò)中便僅存在1個中心為[c1]的隱含層單元，且隱含層單元與輸出層的權(quán)矢量[w1=A（1）/B（1）]。

③ 對于數(shù)據(jù)對[（x2，y2）]，解得[x2]與[c1]之間的距離[x2-c1]。假設(shè)[x2-c1≤r]，那么[x2]的最近鄰聚類為[c1]，假設(shè)[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假設(shè)[x2-c1>r]，那么以[x2]為新的聚類中心，同時假設(shè)[c2=x2]，[A（2）=y2]，[B（2）=1]。根據(jù)上述要求創(chuàng)建的RBF網(wǎng)絡(luò)，再在其中加入一個隱含層單元，其與輸出層之間的權(quán)矢量[w2=A（2）/B（2）]。

④ 假設(shè)第k個數(shù)據(jù)對[（xk，yk）（k=3，4，...，n）]的聚類中心數(shù)為M，相應(yīng)的中心點為[c1，c2，...，cm]，則由此創(chuàng)建的RBF網(wǎng)絡(luò)中便存在M個隱含層單元。據(jù)此，解得[xk]與M個聚類中心的間距為[xk-ci，i=1，2，...，M]，假設(shè)兩者的減小間距為[xk-ci]，那么[xk]的最近鄰聚類為[ci]。根據(jù)第一、二數(shù)據(jù)對的計算步驟，解得當(dāng)[xk-ci>r]時，第M個隱含層單元與輸出層之間的權(quán)矢量[wM=A（M）/B（M）]；當(dāng)[xk-ci≤r]時，隱含層單元與輸出層之間的權(quán)矢量[wi=A（i）/B（i），i=1，2，...，M]。研究發(fā)現(xiàn)，動態(tài)自適應(yīng)RBF網(wǎng)絡(luò)的難易程度由r所決定，即聚類數(shù)目與r呈負(fù)相關(guān)，即r越小，聚類數(shù)目越多，則計算量越大和精度越高，反之亦然?？傊罱従垲惙ň哂行阅軆?yōu)點、計算量小河學(xué)習(xí)時間短等優(yōu)點，不僅可以通過確定隱含層來建立RBF神經(jīng)網(wǎng)絡(luò)，還可以在動態(tài)輸入模式在線學(xué)習(xí)中得到有效應(yīng)用。

綜上，RBF網(wǎng)絡(luò)是一種具有最佳擬合和全局逼近性能的前向型神經(jīng)網(wǎng)絡(luò)，其無疑具有廣闊的應(yīng)用前景，但在實際應(yīng)用中，應(yīng)當(dāng)考慮到局部極小問題的存在，進(jìn)而保障其應(yīng)用效果。

參考文獻(xiàn)：

[1] 儲兵，吳陳，楊習(xí)貝，等.基于RBF神經(jīng)網(wǎng)絡(luò)與粗糙集的數(shù)據(jù)挖掘算法[J].計算機(jī)技術(shù)與發(fā)展，2013，23（7）：87-91.

[2] 宮曉曼，滕榮華.基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘在煤礦選煤中的應(yīng)用[J].煤炭技術(shù)，2013（9）：127-128.

[3] 魏文軒.改進(jìn)型RBF神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J].統(tǒng)計與決策，2013（15）：70-72.

[4] 曹東方，王玉恒.數(shù)據(jù)挖掘在員工考評管理信息系統(tǒng)中的應(yīng)用[J].河北工業(yè)科技，2012，29（5）：323-326.

[5] 姚應(yīng)水，葉明全.RBF神經(jīng)網(wǎng)絡(luò)與logistic回歸模型的對比研究[J].中國衛(wèi)生統(tǒng)計，2011，28（4）：397-399.

[6] 張會敏，葉明全，羅永錢等.基于RBF神經(jīng)網(wǎng)絡(luò)的老年癡呆癥智能診斷研究[J].中國數(shù)字醫(yī)學(xué)，2015（6）：38-41.

[7] 習(xí)勤，米帥軍.指標(biāo)篩選技術(shù)在神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘模型中的應(yīng)用[J].統(tǒng)計與決策，2011（10）：163-165.

[8] 林濤，葛玉敏，安玳寧等.基于 RBF 神經(jīng)網(wǎng)絡(luò)的鋼構(gòu)件質(zhì)量追溯系統(tǒng)研究[J].計算技術(shù)與自動化，2015（1）：20-24.

第4篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；教學(xué)實踐；教學(xué)方法；生物信息學(xué)

中圖分類號：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2014）17-0208-03

人工神經(jīng)網(wǎng)絡(luò)是在神經(jīng)生理學(xué)、生物學(xué)、數(shù)學(xué)、計算機(jī)學(xué)等學(xué)科發(fā)展的基礎(chǔ)上提出的，模擬人類大腦的結(jié)構(gòu)和思維方式處理、記憶信息的一門學(xué)科。具體來說，早在20世紀(jì)40年代，隨著醫(yī)學(xué)、生物學(xué)家們對人腦神經(jīng)的結(jié)構(gòu)、組成以及信息處理的工作原理的認(rèn)識越來越充分，有學(xué)者提出以數(shù)學(xué)和物理方法對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立簡化的模型，用以進(jìn)行信息處理，這種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，稱之為人工神經(jīng)網(wǎng)絡(luò)ANN（Artificial Neural Network）[1]。

在人工神經(jīng)網(wǎng)絡(luò)中，各種待處理的對象（數(shù)據(jù)、特征、字符、抽象的模式等等）都可用神經(jīng)元處理單元表示。這些神經(jīng)元主要可以分為輸入神經(jīng)元、隱含神經(jīng)元和輸出神經(jīng)元三大類。其作用各不相同，作為輸入神經(jīng)元的處理單元用來與外界產(chǎn)生連接，接收外界的信號輸入；隱含神經(jīng)元處于中間層，為信息處理的不可見層；輸出神經(jīng)元主要實現(xiàn)結(jié)果的輸出。神經(jīng)元之間相互連接，連接的權(quán)重反映了各神經(jīng)元之間的連接強度，神經(jīng)元之間的連接關(guān)系中蘊含著信息的表示和處理。人工神經(jīng)網(wǎng)絡(luò)主要是在不同程度、不同層次上模擬大腦處理信息的風(fēng)格，具有非程序化、較強的適應(yīng)性、自組織性、并行分布式等特點，其實現(xiàn)主要是通過網(wǎng)絡(luò)的變換和動力學(xué)行為，涉及數(shù)學(xué)、生物學(xué)、人工智能、計算機(jī)科學(xué)、非線性動力學(xué)等多個學(xué)科[1]。作為一門活躍的邊緣叉學(xué)科，在處理信息方面，相比于傳統(tǒng)人工智能方法具有非線性適應(yīng)性，成功地應(yīng)用于神經(jīng)專家系統(tǒng)、模式識別、組合優(yōu)化、預(yù)測等多個領(lǐng)域，尤其在生物信息學(xué)領(lǐng)域得到了廣泛的應(yīng)用。生物信息學(xué)是20世紀(jì)末發(fā)展起來的一極具發(fā)展?jié)摿Φ男滦蛯W(xué)科。人類的基因中蘊含著大量有用信息，利用神經(jīng)網(wǎng)絡(luò)可以對這些海量的信息進(jìn)行識別與分類，進(jìn)而進(jìn)行相關(guān)的生物信息學(xué)分析。如利用神經(jīng)網(wǎng)絡(luò)分析疾病與基因序列的關(guān)系，基于神經(jīng)網(wǎng)絡(luò)對蛋白質(zhì)結(jié)構(gòu)的預(yù)測，基因表達(dá)譜數(shù)據(jù)的分析，蛋白質(zhì)互作位點的預(yù)測等等，都取得了很好的效果[2]。

因此，在生物信息相關(guān)專業(yè)的本科生中開設(shè)人工神經(jīng)網(wǎng)絡(luò)課程尤為重要。經(jīng)過多年的研究發(fā)展，已經(jīng)提出上百種的人工神經(jīng)網(wǎng)絡(luò)模型，這就需要教師針對不同的專業(yè)背景，不同層次的學(xué)生，講授不同模型的核心思想、推導(dǎo)過程、實際應(yīng)用等等。本文主要根據(jù)人工神經(jīng)網(wǎng)絡(luò)在生物信息學(xué)相關(guān)專業(yè)的教學(xué)實踐，從以下幾個方面進(jìn)行探討。

一、引導(dǎo)式教學(xué)，激發(fā)學(xué)生的學(xué)習(xí)積極性

神經(jīng)網(wǎng)絡(luò)作為一門偏于理論分析的學(xué)科，傳統(tǒng)的教學(xué)模式，即首先講解模型的起源，接下來介紹模型的核心思想，然后就是一連串的數(shù)學(xué)公式推導(dǎo)，面對滿黑板的公式，學(xué)生很難提起興趣去認(rèn)真學(xué)習(xí)相應(yīng)的模型。所以，如何激發(fā)起學(xué)生的學(xué)習(xí)積極性，讓學(xué)生重視這門課程，更好地掌握課程內(nèi)容，掌握相關(guān)的模型理論基礎(chǔ)、核心思想，更好地服務(wù)于本專業(yè)，是人工神經(jīng)網(wǎng)絡(luò)教學(xué)者亟待解決的問題。

首先，在導(dǎo)課的時候要生動，以引起學(xué)生對將要學(xué)習(xí)的內(nèi)容的好奇心，讓學(xué)生有興趣投入到課堂學(xué)習(xí)內(nèi)容中去。布盧姆說過：“最大的學(xué)習(xí)動機(jī)莫過于學(xué)生對所學(xué)知識有求知的興趣?！敝挥性谶@種動機(jī)下的學(xué)習(xí)，才會提高自身的主動性與自覺性，達(dá)到提高教學(xué)質(zhì)量的目的[3]。例如，在講解hopfield神經(jīng)網(wǎng)絡(luò)的時候，通過舉例對蘋果、橘子的質(zhì)地、形狀、重量等特征的描述，運用“0，1”進(jìn)行量化描述，然后應(yīng)用神經(jīng)網(wǎng)絡(luò)就可以進(jìn)行有效地分類；對于旅行商TSP問題，也可以通過hopfield神經(jīng)網(wǎng)絡(luò)尋找到最優(yōu)路徑。那么，這些問題是如何解決的呢？就需要大家來一起揭開hopfield神經(jīng)網(wǎng)絡(luò)的神秘面紗。其次，由于神經(jīng)網(wǎng)絡(luò)涉及大量的數(shù)學(xué)公式與數(shù)學(xué)方法，學(xué)生往往會有畏懼的心理，這就需要教師幫學(xué)生澄清思想誤區(qū)，現(xiàn)在很多用于數(shù)據(jù)分析與計算的軟件，如matlab工具箱、R軟件里面都有很成熟的人工神經(jīng)網(wǎng)絡(luò)軟件包，所以，學(xué)生只需要理解其工作原理、核心思想，學(xué)會使用現(xiàn)成的人工神經(jīng)網(wǎng)絡(luò)軟件包處理數(shù)據(jù)，在熟練應(yīng)用程序包的基礎(chǔ)上，對相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，改進(jìn)，并且與其他的人工智能算法相結(jié)合，更好地為本專業(yè)服務(wù)。第三，在講授人工神經(jīng)網(wǎng)絡(luò)理論內(nèi)容的時候，要摒棄傳統(tǒng)的呆板式的推導(dǎo)過程，以往的神經(jīng)網(wǎng)絡(luò)教學(xué)方法注重理論分析，通常是一連串的公式推導(dǎo)，公式中又涉及大量的符號，計算起來復(fù)雜又煩瑣，學(xué)生會覺得索然無趣，厭學(xué)情緒嚴(yán)重。在教學(xué)過程中，教師要精心設(shè)計，創(chuàng)設(shè)出特定的問題環(huán)境，將所學(xué)內(nèi)容與本專業(yè)相結(jié)合起來，多講應(yīng)用，啟發(fā)和誘導(dǎo)學(xué)生選取合適的神經(jīng)網(wǎng)絡(luò)模型來解決本專業(yè)的實驗數(shù)據(jù)分析與處理等問題。

二、理論教學(xué)與實驗教學(xué)相結(jié)合

除了在理論課堂上將基本的理論知識傳輸給學(xué)生，教師還應(yīng)該安排若干實驗教學(xué)內(nèi)容，讓學(xué)生以實驗為主，將理論課上所學(xué)的知識運用到解決實際問題中來，理論聯(lián)系實際，主動操作思考，觀察，分析，討論，以培養(yǎng)學(xué)生解決問題的能力。一旦學(xué)生自己動手處理一些問題后，很自然地就會對人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生一種親切感，并能強烈激發(fā)起學(xué)生繼續(xù)探究下去的興趣。對于同一問題，可以讓學(xué)生選取不同的網(wǎng)絡(luò)模型，設(shè)置不同的參數(shù)，甚至可以讓學(xué)生自己動手編寫相應(yīng)的網(wǎng)絡(luò)模型程序，并且給予改進(jìn)，根據(jù)得出的結(jié)果來評價模型在解決實際問題時的好壞，以及模型改進(jìn)的效果。作為授課教師，需要不斷優(yōu)化實驗教學(xué)內(nèi)容，在生物信息學(xué)專業(yè)開設(shè)人工神經(jīng)網(wǎng)絡(luò)課程，實驗教學(xué)主要是針對生物信息專業(yè)的海量生物數(shù)據(jù)處理與分析的實際需要，培養(yǎng)學(xué)生綜合運用人工神經(jīng)網(wǎng)絡(luò)方法和生物信息學(xué)知識，進(jìn)行信息的分析與處理。除了在實驗課堂上給學(xué)生最大的自由發(fā)揮空間外，課后作業(yè)也盡量以開放式問題的形式給出，比如，可以讓學(xué)生選取相應(yīng)的網(wǎng)絡(luò)模型處理本專業(yè)的一些實際問題，例如，數(shù)據(jù)的分類、聚類等等，其中，數(shù)據(jù)來源可以不同，類型也可自由選取，最后給出相應(yīng)的模型參數(shù)設(shè)置、方法的改進(jìn)、實驗結(jié)果，也可以安排學(xué)生自己查詢文獻(xiàn)進(jìn)行學(xué)習(xí)，并安排學(xué)生作報告。這樣，學(xué)生可以在世界范圍內(nèi)了解神經(jīng)網(wǎng)絡(luò)的在本專業(yè)的應(yīng)用情況，又能提高英語的讀寫能力，還能鍛煉學(xué)生做科研報告的能力。

三、加強師資隊伍建設(shè)以及其他基本條件的建設(shè)

由于生物信息學(xué)是一門新興的交叉學(xué)科[4]，這就要求人工神經(jīng)網(wǎng)絡(luò)的授課教師要熟練掌握生物信息相關(guān)專業(yè)的知識，教師的業(yè)務(wù)水平必須得到充分保證，才能給學(xué)生以全面透徹的指導(dǎo)。學(xué)院應(yīng)該本著自主培養(yǎng)與重點引進(jìn)的原則，優(yōu)化教師隊伍的專業(yè)結(jié)構(gòu)和學(xué)歷結(jié)構(gòu)，提高教師的自身修養(yǎng)。授課教師要將課堂的理論知識聯(lián)系實際生物問題進(jìn)行講授，讓學(xué)生感受到人工神經(jīng)網(wǎng)絡(luò)在本專業(yè)的應(yīng)用，提高學(xué)生的學(xué)習(xí)效率，同時也需要閱讀大量的專業(yè)文獻(xiàn)，提高編程技巧和數(shù)據(jù)庫應(yīng)用能力，讓自己成為一名合格的復(fù)合型教師。同時，人工神經(jīng)網(wǎng)絡(luò)課程的實驗，高度依賴于計算機(jī)網(wǎng)絡(luò)等設(shè)備，因此，相關(guān)的軟硬件設(shè)施的建設(shè)也必不可少，由于，基因組測序技術(shù)的發(fā)展，目前生物信息學(xué)研究所用的數(shù)據(jù)都是海量的，神經(jīng)網(wǎng)絡(luò)訓(xùn)練起來所需時間太長，不能用普通的電腦完成，需要專門的服務(wù)器來處理，學(xué)校有關(guān)部門應(yīng)在條件允許的情況下，配備機(jī)房，購買服務(wù)器，以及相關(guān)的軟件，為學(xué)生創(chuàng)造良好的環(huán)境，讓學(xué)生完成課程內(nèi)容。

最后，人工神經(jīng)網(wǎng)絡(luò)涉及數(shù)學(xué)、計算機(jī)、人工智能和神經(jīng)學(xué)等專業(yè)知識，因此，需要授課教師加強與其他相關(guān)專業(yè)教師的交流與合作，并滲透到授課過程中去，讓學(xué)生在學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)時能將各專業(yè)聯(lián)系起來，更好地解決生物信息學(xué)中的問題，要想成為一名合格的人工神經(jīng)網(wǎng)絡(luò)課程教師，首先要成為一名復(fù)合型的教師，不僅要具備教學(xué)和科研能力，同時也要具備計算機(jī)、生物學(xué)、信息學(xué)等多學(xué)科的知識。

參考文獻(xiàn)：

[1]朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[M].北京：科學(xué)出版社，2006.

[2]朱偉，史定華，王翼飛.人工神經(jīng)網(wǎng)絡(luò)在蛋白質(zhì)二級結(jié)構(gòu)預(yù)測中的應(yīng)用[J].自然雜志，2003，（3）：167-171.

[3]趙俊，李曉紅.趣味教學(xué)法在預(yù)防醫(yī)學(xué)教學(xué)中的運用[J].現(xiàn)代醫(yī)藥衛(wèi)生，2005，21（15）：2089-2090.

第5篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

（一）BrainCell

神經(jīng)網(wǎng)絡(luò)基本原理本文主要應(yīng)用了BrainCell神經(jīng)網(wǎng)絡(luò)軟件來實現(xiàn)B2B電子商務(wù)供應(yīng)鏈協(xié)同績效評價模型的計算與分析。BrainCell神經(jīng)網(wǎng)絡(luò)采用誤差反向傳播學(xué)習(xí)算法，算法從兩個方面（信號的前向傳播和誤差的反向傳播）反復(fù)進(jìn)行迭代學(xué)習(xí)。其基本原理是輸入層各神經(jīng)元在接收外接的信息后，傳遞給隱含層的神經(jīng)元，根據(jù)減少目標(biāo)輸出與實際輸出誤差的方向，從輸入層經(jīng)過隱含層逐層修正各連接的權(quán)值，直到將誤差調(diào)整到能夠接受的程度，這不僅是各層權(quán)值不斷修正的過程，也是學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程，若學(xué)習(xí)樣本的計算輸出提前達(dá)到預(yù)期的結(jié)果，則訓(xùn)練過程結(jié)束，否則將學(xué)習(xí)到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止，最后由輸出層輸出信息處理的結(jié)果，如上圖所示。

（二）BrainCell神經(jīng)網(wǎng)絡(luò)實現(xiàn)步驟

1.網(wǎng)絡(luò)層數(shù)的確定根據(jù)Kolmogrov理論可知，含有一個隱含層的三層神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近一個從輸入到輸出的映射關(guān)系。因此，在BrainCell神經(jīng)網(wǎng)絡(luò)中采用含有單隱層的三層神經(jīng)網(wǎng)絡(luò)。2.網(wǎng)絡(luò)節(jié)點的確定輸入層節(jié)點的多少與評價指標(biāo)個數(shù)是相對應(yīng)的。因此，根據(jù)構(gòu)建好的B2B電子商務(wù)供應(yīng)鏈協(xié)同績效評價指標(biāo)體系，可以將一級指標(biāo)與二級指標(biāo)進(jìn)行合并，作為輸入層的節(jié)點數(shù)，其指標(biāo)數(shù)如表1所示，因此輸入層節(jié)點數(shù)為19個。輸出層節(jié)點則為1個，在此以B2B電子商務(wù)供應(yīng)鏈協(xié)同績效等級結(jié)果作為輸出值。3.網(wǎng)絡(luò)訓(xùn)練本文采用的訓(xùn)練函數(shù)為trainscg，將網(wǎng)絡(luò)訓(xùn)練的精度設(shè)置為10-4并初始化權(quán)值和閾值后，從15個樣本中選取12個作為訓(xùn)練樣本進(jìn)行批處理訓(xùn)練，開啟網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練。其具體步驟如下。假設(shè)訓(xùn)練樣例是形式（a，b），其中a為輸入向量，b為輸出值。N為輸入節(jié)點數(shù)，M為輸出層節(jié)點數(shù)。從單位i到單位j的輸入表示aij，單位i到單位j的權(quán)值表示W(wǎng)ij。（1）創(chuàng)建具有N個輸入單位，M個輸出單位的BrainCell神經(jīng)網(wǎng)絡(luò)。（2）用隨機(jī)數(shù)（0或1）初始化某些數(shù)字變量網(wǎng)絡(luò)權(quán)值Wij。（3）對于第k個訓(xùn)練樣例（a，b），把輸入跟著網(wǎng)絡(luò)前向傳播，并計算網(wǎng)絡(luò)中每個單元x的輸出Qx，使誤差沿著反向傳播。（4）對于每個輸出單元u，計算它的誤差項。（5）對于每個隱含單元h，計算它的誤差項。（6）利用誤差項更新調(diào)整每個網(wǎng)絡(luò)權(quán)值。（7）重復(fù)（3）到（6），直到完成指定的迭代次數(shù)或者是其誤差值達(dá)到可接受的范圍。4.網(wǎng)絡(luò)檢驗將剩下的3個驗證樣本數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)中，將其訓(xùn)練結(jié)果與實際結(jié)果相比較，檢驗BrainCell神經(jīng)網(wǎng)絡(luò)得到的輸入與輸出間的關(guān)系是否正確，從而反映出該績效評價體系的準(zhǔn)確性和可靠性。

二、實證研究與分析

（一）確定績效評價等級

由于各個企業(yè)供應(yīng)鏈自身發(fā)展的情況不同，各具特點，其形式、結(jié)構(gòu)各異，因此如何劃分績效評價等級，如何更好地反映績效評價等級至關(guān)重要。本文以績效考核成績最好為1，最低為0為臨界值，由高到低劃分5個等級，并通過績效等級系數(shù)來體現(xiàn)，見表2所示。

（二）指標(biāo)數(shù)據(jù)獲取和處理

本文以天貓商城中某珠寶飾品有限責(zé)任公司為例，該公司有比較穩(wěn)定的供應(yīng)商，且與多家企業(yè)都有長期合作關(guān)系。根據(jù)公司的實際管理情況，整理出該公司供應(yīng)鏈協(xié)同管理的績效指標(biāo)評價體系研究的基礎(chǔ)數(shù)據(jù)，應(yīng)用BrainCell軟件對這些基本數(shù)據(jù)進(jìn)行計算。為使各指標(biāo)在整個系統(tǒng)中具有可比性，本文利用效應(yīng)系數(shù)將指標(biāo)在閉區(qū)間[0，1]上進(jìn)行同趨勢化無量綱化和定性指標(biāo)定量化處理。結(jié)果表明，該公司的供應(yīng)鏈整體績效基本良好，其績效評價等級系數(shù)主要都集中在[0.5,0.8]這部分區(qū)間內(nèi)，與該公司所處供應(yīng)鏈實際情況相符。該公司運作情況基本令人滿意。

三、結(jié)語及展望

第6篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：地形面 自由曲面 神經(jīng)網(wǎng)絡(luò) BP算法 模擬退火

1 引言

在水利及土木工程中經(jīng)常會遇到地形面，地形面是典型的空間自由曲面，地形面在給出時，往往只給出一些反映地形、地貌特征的離散點，而無法給出描述地形面的曲面方程。然而有時需要對地形面進(jìn)行描述，或者當(dāng)給出的地形面的點不完整時，需要插補出合理的點。以往大多用最小二乘法或其它曲面擬合方法如三次參數(shù)樣條曲面、Bezier曲面或非均勻有理B樣條曲面等，這些擬合方法的缺點是：型值點一旦給定，就不能更改，否則必須重新構(gòu)造表達(dá)函數(shù)；在構(gòu)造曲線曲率變化較大或型值點奇異時，容易產(chǎn)生畸變，有時需要人為干預(yù)；此外，這些方法對數(shù)據(jù)格式都有要求。

神經(jīng)網(wǎng)絡(luò)技術(shù)借用基于人類智能（如學(xué)習(xí)和自適應(yīng)）的模型、模糊技術(shù)方法，利用人類的模糊思想來求解問題，在許多領(lǐng)域優(yōu)于傳統(tǒng)技術(shù)。用神經(jīng)網(wǎng)絡(luò)進(jìn)行地形面構(gòu)造，只要測量有限個點（可以是無序的），不需要其它更多的地形面信息和曲面知識，當(dāng)?shù)匦蚊鎻?fù)雜或者是測量數(shù)據(jù)不完整時，用神經(jīng)網(wǎng)絡(luò)方法更具優(yōu)勢，而且還可以自動處理型值點奇異情況。

本文提出用BP神經(jīng)網(wǎng)絡(luò)結(jié)合模擬退火算法進(jìn)行地形面的曲面構(gòu)造。

2 模型與算法的選擇

為了對地形面進(jìn)行曲面構(gòu)造，首先要有一些用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的初始樣本點，對所建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，學(xué)習(xí)訓(xùn)練的本質(zhì)就是通過改變網(wǎng)絡(luò)神經(jīng)元之間的連接權(quán)值，使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)矩陣的方式存儲起來，從而具有完成某些特殊任務(wù)的能力。權(quán)值的改變依據(jù)是樣本點訓(xùn)練時產(chǎn)生的實際輸出和期望輸出間的誤差，按一定方式來調(diào)整網(wǎng)絡(luò)權(quán)值，使誤差逐漸減少，當(dāng)誤差降到給定的范圍內(nèi)，就可認(rèn)為學(xué)習(xí)結(jié)束，學(xué)習(xí)結(jié)束后，神經(jīng)網(wǎng)絡(luò)模型就可用于地形面的構(gòu)造。

BP網(wǎng)是一種單向傳播的多層前向網(wǎng)絡(luò)。網(wǎng)絡(luò)除輸入輸出節(jié)點外，還有一層或多層的隱層節(jié)點，同層節(jié)點中沒有任何耦合。輸入信號從輸入層節(jié)點依次傳過各隱層節(jié)點，然后傳到輸出節(jié)點，每一層節(jié)點的輸出只影響下一層節(jié)點的輸出。其節(jié)點單元傳遞函數(shù)通常為Sigmoid型。BP算法使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中一種廣泛采用的學(xué)習(xí)算法，具有簡單、有效、易于實現(xiàn)等優(yōu)點。但因為BP算法是一種非線性優(yōu)化方法，因此有可能會陷入局部極小點，無法得到預(yù)期結(jié)果，為解決BP算法的這一缺點，本文將模擬退火算法結(jié)合到BP算法中。

模擬退火算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一種被廣泛采用的一種學(xué)習(xí)算法。它的基本出發(fā)點就是金屬的退火過程和一般組合優(yōu)化問題之間的相似性。在金屬熱加工過程中，要想使固體金屬達(dá)到低能態(tài)的晶格，需要將金屬升溫熔化，使其達(dá)到高能態(tài)，然后逐步降溫，使其凝固。若在凝固點附近，溫度降速足夠慢，則金屬一定可以形成最低能態(tài)。對優(yōu)化問題來說，它也有類似的過程，它的解空間中的每一個點都代表一個解，每個解都有自己的目標(biāo)函數(shù)，優(yōu)化實際上就是在解空間中尋找目標(biāo)函數(shù)使其達(dá)到最小或最大解。

（如果將網(wǎng)絡(luò)的訓(xùn)練看成是讓網(wǎng)絡(luò)尋找最低能量狀態(tài)的過程，取網(wǎng)絡(luò)的目標(biāo)函數(shù)為它的能量函數(shù)，再定義一個初值較大的數(shù)為人工溫度T。同時，在網(wǎng)絡(luò)的這個訓(xùn)練過程中，依據(jù)網(wǎng)絡(luò)的能量和溫度來決定聯(lián)結(jié)權(quán)的調(diào)整量（稱為步長）。這種做法與金屬的退火過程非常相似，所以被稱為模擬退火算法。）

模擬退火算法用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本思想是，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值W可看作物體體系內(nèi)的微觀狀態(tài)，網(wǎng)絡(luò)實際輸出和期望輸出的誤差e可看作物體的內(nèi)能，對網(wǎng)絡(luò)訓(xùn)練的目的就是找到恰當(dāng)?shù)臓顟B(tài)W使其內(nèi)能e 最小，因此設(shè)置一個參數(shù)T來類比退火溫度，然后在溫度T下計算當(dāng)前神經(jīng)網(wǎng)絡(luò)的e與上次訓(xùn)練的e的差e，按概率exp(-e/T)來接受訓(xùn)練權(quán)值，減小溫度T，這樣重復(fù)多次，只要T下降足夠慢，且T0，則網(wǎng)絡(luò)一定會穩(wěn)定在最小的狀態(tài)。

模擬退火算法雖然可以達(dá)到全局最優(yōu)，但需要較長時間，BP算法采用梯度下降方式使收斂速度相對較快。為取長補短，我們將兩種算法結(jié)合起來，采用BP算法的梯度快速下降方式，同時利用模擬退火算法技術(shù)按概率隨機(jī)接受一個不成功的訓(xùn)練結(jié)果，使梯度快速下降過程產(chǎn)生一些隨機(jī)噪聲擾動，從而既保證了網(wǎng)絡(luò)訓(xùn)練的快速度下降，又保證了訓(xùn)練結(jié)果的最優(yōu)性。 　3網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法

3.1網(wǎng)絡(luò)結(jié)構(gòu)

如何選擇網(wǎng)絡(luò)的隱層數(shù)和節(jié)點數(shù)，還沒有確切的方法和理論，通常憑經(jīng)驗和實驗選取。本文采用的BP網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，輸入層兩個節(jié)點，分別輸入點的x坐標(biāo)和y坐標(biāo)；兩層隱層，每層10個節(jié)點，輸出層一個節(jié)點，輸出點的z坐標(biāo)。

3.2 學(xué)習(xí)算法

學(xué)習(xí)算法的具體過程如下：

其中Out_node為輸出神經(jīng)元集合.

4計算實例

為了檢驗本文算法的有效性， 我們用本文算法對黃河下游河灘地形面進(jìn)行曲面構(gòu)造， 地形面數(shù)據(jù)按截面給出， 我們用奇數(shù)截面上的點為學(xué)習(xí)樣本， 偶數(shù)截面上的點用于檢驗本算法的精度. 表1給出了測量值z1與本文算法計算結(jié)果z2， z2為本算法經(jīng)過大約3500次迭代的結(jié)果. 由這些數(shù)據(jù)可以看出，本文算法計算出的值與測量值的誤差大約在0.02左右. 完全可以滿足實際工程要求的精度.

5 結(jié)語

用神經(jīng)網(wǎng)絡(luò)進(jìn)行地形面的曲面構(gòu)造， 不必求出曲面的方程， 只需知道有限個點即可， 而且這些點可以是散亂點. 與傳統(tǒng)方法相比， 神經(jīng)網(wǎng)絡(luò)方法具有很強的靈活性.

本文將BP算法和模擬退火算法結(jié)合起來， 解決了BP算法容易陷入局部極小的致命缺點. 但仍然沒有解決BP算法收斂速度慢的缺點.

NEURAL NETWORK METHOD TO CONSTRUCT TERRAIN SURFACE

Abstract

This paper presents an artificial neural network approach to solve the problem of terrain surface construction. This method takes advantage of the global minimum property of Simulated Procedure on the basis of BP algorithm， thus can jump out of the local minimum and converge to the global minimum..This method were validated by simulating bottomland terrain of Yellow River.

Key words: terrain surface; freeform surface; neural network; BP algorithm; simulated annealing

參考文獻(xiàn)

[1] 王鎧，張彩明. 重建自由曲面的神經(jīng)網(wǎng)絡(luò)算法[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，1998，10（3）：193-199

第7篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；感興趣區(qū)域；自動分割；自組織特征映射；多模態(tài)上下文關(guān)聯(lián)

中圖分類號：TP391文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2011)25-6209-03

An Automatic Segmentation Approach for CT Image Based on Neural Network

CHU Jian, YU Wen-xue

(The Image Technology Laboratory, Southeast University, Nanjing 210096, China)

Abstract: Neural network is hot in pattern recognition theory, and useful for image segment. The way to extracting the region of interest (ROI) from medical images and automatically identifying is difficult. With the in-depth analysis of neural network algorithm, it’s proposed that self-organizing map (SOM) and multi-module contextual (MMC) combined neural network method to achieve automatic segmentation in CT images. Using the prior knowledge of anatomy combined with the image, it sets the feature descriptors and evaluation of criteria, to automatically identify the image region of interest, tissues and organs.

Key words: neural network; region of interest; automatic segmentation; self-organizing map; multi-module contextual

圖像分割是指根據(jù)區(qū)域內(nèi)的相似性及區(qū)域間的不同，將圖像分成各具特性的區(qū)域，并提取出感興趣區(qū)域的技術(shù)和過程。而醫(yī)學(xué)圖像分割在醫(yī)學(xué)和解剖上更具有明確的意義，是當(dāng)前醫(yī)學(xué)圖像領(lǐng)域的熱點和前沿課題，也是醫(yī)學(xué)圖像處理和分析過程中的關(guān)鍵技術(shù)，更是進(jìn)行圖像識別、圖譜匹配、可視化、定量分析和計算機(jī)輔助診斷等處理的必要前提[1]。目前，醫(yī)學(xué)圖像分割主要以各種細(xì)胞、組織與器官的圖像作為處理的對象。例如磁共振顱腦圖像的分割，其目的就在于清晰地描繪出顱腦各個解剖結(jié)構(gòu)的邊界，如灰質(zhì)、白質(zhì)、腦脊液以及MR圖像中的其它組織。如何從醫(yī)學(xué)圖像中將感興趣區(qū)域（病灶、組織器官等）提取出來，是圖像分析和識別首要解決的問題，也是制約醫(yī)學(xué)圖像處理中其它技術(shù)發(fā)展和應(yīng)用的瓶頸。傳統(tǒng)的醫(yī)學(xué)圖像分割停留在人機(jī)交互水平，處理時間較長且受人為因素影響，而自動分割正是解決此問題的方法，也是近年來的研究熱點，代表著醫(yī)學(xué)圖像分割未來的發(fā)展方向[2]。

結(jié)合目前熱點研究神經(jīng)網(wǎng)絡(luò)理論，利用其可學(xué)習(xí)訓(xùn)練和反饋特性，對醫(yī)學(xué)圖像像素進(jìn)行分類，并提取感興趣區(qū)域（Region of Interest，ROI）輪廓。而神經(jīng)網(wǎng)絡(luò)方法分割圖像的思想是用訓(xùn)練樣本集對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以確定節(jié)點間的連接和權(quán)值，再用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)分割新的圖像數(shù)據(jù)。本文給出一種結(jié)合多模態(tài)上下文關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)(Mutimodule Contextual Neural Network，MMC)算法和Kohonen自組織映射神經(jīng)網(wǎng)絡(luò)（Self-organizing Map，SOM）算法的方法，對目標(biāo)醫(yī)學(xué)圖像進(jìn)行分割，得到可能的組織輪廓。再依據(jù)圖像解剖結(jié)構(gòu)的先驗知識，設(shè)定判定準(zhǔn)則和特征描述子計算，提取出感興趣區(qū)域輪廓。本文提出的神經(jīng)網(wǎng)絡(luò)自動分割方法，實現(xiàn)對腹部CT的自動分割，并自動提取感興趣區(qū)域組織輪廓。

1 神經(jīng)網(wǎng)絡(luò)自動分割

根據(jù)文獻(xiàn)[3-5]中所提出的多模態(tài)上下文關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)(MMC)算法所描述，可以結(jié)合Kohonen自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）方法[6-7]，再利用圖像灰度信息和鄰域相關(guān)信息，將圖像像素分類，從而實現(xiàn)感興趣區(qū)域分割的方法。下面就這個方法過程進(jìn)行闡述，并加以改進(jìn)和實現(xiàn)。

1.1 MMC神經(jīng)網(wǎng)絡(luò)分割

首先，將圖像像素大小設(shè)為n，并將其劃分為m個分類。假設(shè)n個像素概率向量集合P={P1,P2,…,Pi,…Pn}，其中1≤i≤n，Pi=[pi1,pi2,…,pik,…pim]T。則集合P中向量元素Pi表示為像素i隸屬于m個分類的概率向量，而向量Pi中的元素pik表示像素i隸屬于第k類的概率。根據(jù)概率向量歸一性，Pi滿足下式：

（1）

對應(yīng)于神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元即代表某個唯一像素。對于第i個神經(jīng)元的分類模型k概率值pik(t+1) ，由其當(dāng)前概率值pik(t)和相鄰神經(jīng)元的影響值vik(t)所決定，則pik(t+1)的迭代公式可表示如下式：

（2）

其中模型輸出函數(shù)f(x)定義成：

（3）

公式（2）中分母滿足歸一化條件，使得結(jié)果pik(t+1)在式（1）成立。

同時公式（2）中的vik(t)可由下式獲?。?/p>

（4）

其中，表示當(dāng)前神經(jīng)元（像素）i的鄰域，l則表示i鄰域神經(jīng)元的個數(shù)。同時，權(quán)重矩陣W=[W1,W2,…,Wi,…Wm]T=[wi,j]，1≤i, j≤m ，wi,j即為兩個神經(jīng)元之間的權(quán)重系數(shù)。

由公式（4）分析可知，若Wk(1≤k≤m)具有較大的兼容性，則結(jié)果會是正值，同時概率向量Pi+δ中的元素 Pi+δ，k的值比較大，那么vik的值將是較大的正數(shù)；若Wk只有較小的兼容性，則結(jié)果為負(fù)，同時概率向量Pi+δ中元素 Pi+δ，k比較大，那么vik的值將是較小的負(fù)數(shù)。但如果Pi+δ，k偏小，則可以它忽略其對vik的影響。此外，可以簡單的定義權(quán)重矩陣為：

（5）

由迭代式2可知，第 k 類的神經(jīng)元 i 重復(fù)迭代，不停接收鄰域神經(jīng)元的響應(yīng)，并產(chǎn)生新的輸出pik(t+1)。運用此方法之前，每個像素分類隸屬度應(yīng)該明確，即初始概率向量Pi(0)在迭代開始之前，就應(yīng)該計算出來。而下一小節(jié)闡述的自組織映射（SOM）神經(jīng)網(wǎng)絡(luò)算法，則可以分析圖像像素灰度的分布情況，并且計算出每個像素隸屬分類的初始概率向量Pi(0)，即作了預(yù)分割處理。

1.2 SOM神經(jīng)網(wǎng)絡(luò)分割

經(jīng)典的SOM算法包含訓(xùn)練和回調(diào)兩個部分，下面給予算法公式和分析。

1）訓(xùn)練過程。首先，設(shè)圖像的灰度值集合A={I1, I2,…,Ii,…In}，其中Ii就是像素i的灰度值，n仍然表示圖像像素大小，即訓(xùn)練的樣本容量。再將灰度Ii與SOM神經(jīng)網(wǎng)絡(luò)第k個神經(jīng)元的權(quán)重系數(shù)表示為Lk (1≤k≤m)，其中m仍為分類數(shù)。權(quán)重系數(shù)Lk也是圖像的模糊聚類中心。則在對圖像進(jìn)行聚類分析時，SOM神經(jīng)網(wǎng)絡(luò)依據(jù)下式進(jìn)行訓(xùn)練：

（6）

其中下表索引c即為獲勝神經(jīng)元（最優(yōu)匹配）。而獲勝神經(jīng)元相鄰的權(quán)系數(shù)由下式進(jìn)行迭代：

（7）

其中α(t)為訓(xùn)練學(xué)習(xí)效率，Nc(t)為獲勝神經(jīng)元c在當(dāng)前t時刻的鄰域函數(shù)。訓(xùn)練過程中，α(t) 和Nc(t) 一直在衰減，且0

2）回調(diào)過程。由式（6）可知，像素i 對應(yīng)的獲勝神經(jīng)元c通過訓(xùn)練學(xué)習(xí)可以確定下來。其隸屬于每個分類的初始概率向量Pi(0)，也可以通過高斯分布N(c,σ)進(jìn)行初始化。Pi(0)的初始化式為：

（8）

其中標(biāo)準(zhǔn)方差σ即是控制初始概率的擴(kuò)散因子。式中分母則起到歸一化作用，使得pik滿足式（1）。

由式（8）的結(jié)果可知，在Pi(0)初始概率向量中，獲勝神經(jīng)元所代表元素pic的值很大，而其它元素較小，這是由變量σ和|k-c| 的大小所決定。

通過初始概率向量Pi(0)和神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣W設(shè)置，代入式（2）迭代運算，直到Pi=[pi1, pi2, …, pik,…pim]T滿足如下收斂條件：

（9）

其中ε取值很小，以保證迭代能夠中止。

1.3 圖像解剖結(jié)構(gòu)的先驗知識判定

醫(yī)學(xué)圖像通過上述神經(jīng)網(wǎng)絡(luò)算法進(jìn)行輪廓分割后，得到可能的組織輪廓結(jié)果。此時利用組織區(qū)域的判定特性和相關(guān)特征條件，可以從所有輪廓中對比識別感興趣器官或組織。而這些組織器官區(qū)域的特征，是由圖像解剖結(jié)構(gòu)的先驗知識所確定的。本文處理圖像是腹部CT，其中重要組織器官特征如下所示[8]：

1) 脊椎：一般位于圖像中底部，且離圖像中心點較近。最突出的是，脊椎屬于骨骼高密度組織，其灰度值最大。故很容易定位和作參考，一般可以用作固定標(biāo)記點，即切片中描述感興趣區(qū)域相對位置的參考點。

2) 脊髓：通常在脊椎內(nèi)，屬于密度偏小的軟組織，在CT圖像中其灰度值相對脊椎小很多，黑白對比明顯，很容易區(qū)分。但部分切片中，脊椎被分成上下兩塊，上一塊較圓，下一塊倒三角形，而脊髓處于條縫里。此時脊髓的分割輪廓分散，通過特殊條件處理才能識別。

3) 腎臟：兩個腎臟恰好分布在脊椎兩側(cè)，對應(yīng)于左腎和右腎。腎臟形狀相對規(guī)則，組織區(qū)域的緊密度也較大，輪廓邊界清晰。

4) 肝臟：位于右腎的右上方。若切片沒有右腎，則定位于脊椎右上方，且距離脊椎較遠(yuǎn)。肝臟的面積和緊密度都比較大，部分切片中肝臟還可能分成數(shù)個區(qū)域，故位置和組織范圍變化較大，必要時給予區(qū)域合并。

上述解剖結(jié)構(gòu)位置和大小，及圖像中的灰度分布情況，可以轉(zhuǎn)換成組織器官識別的判定準(zhǔn)則。針對腹部CT圖像，組織器官識別順序是脊椎，脊髓，腎臟（左腎和右腎），肝臟。

有了組織解剖結(jié)構(gòu)條件做先驗知識判定，再定義一組相關(guān)特征描述子來對ROI進(jìn)行量化分析，常用描述子有相對距離、周長、面積、相對位置、組織密度、緊密度等，這里不再細(xì)述。

2 實驗結(jié)果及分析

依據(jù)上節(jié)的理論算法分析，可以給出相應(yīng)的神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)過程，如圖1。

由上述算法公式和圖1流程圖，通過程序?qū)崿F(xiàn)單張CT切片神經(jīng)網(wǎng)絡(luò)自動分割。首先，關(guān)注實驗過程中的重要參數(shù)設(shè)置：

a）窗口調(diào)節(jié)參數(shù)：窗寬 W=380，窗位 L=10；

b）圖像像素隸屬分類數(shù)：m=7；

c）SOM神經(jīng)網(wǎng)絡(luò)參數(shù)（公式6）：Nc(t)神經(jīng)元作用半徑r=1，學(xué)習(xí)效率α(t)=0.2，SOM學(xué)習(xí)迭代次數(shù)（最長時間）Epoch=500；

d）MMC神經(jīng)網(wǎng)絡(luò)參數(shù)（公式2，6）：高斯分布擴(kuò)散因子σ=1.5，MMC學(xué)習(xí)迭代次數(shù)nIter=3。

通過上述參數(shù)設(shè)置，針對單張腹部CT切片進(jìn)行自動分割識別。先將16位原圖調(diào)整窗寬窗位，并壓縮至8位灰度圖，提高學(xué)習(xí)效率。輸入到神經(jīng)網(wǎng)絡(luò)，先SOM算法進(jìn)行初始分割，通過訓(xùn)練回調(diào)確定分類中心初始值，再通過MMC算法訓(xùn)練迭代確定分類概率向量，并由此提取組織輪廓。最后由先驗知識判定規(guī)則，實現(xiàn)ROI的自動識別，并對識別組織器官輪廓進(jìn)行平滑處理。圖2給出完整的單張切片分割識別處理圖（a-d），由圖2（c）可見神經(jīng)網(wǎng)絡(luò)分割所得可能的分類組織輪廓清晰，且邊界光滑，所有分割輪廓數(shù)是64；再由圖2（d）所示，顯示輪廓數(shù)是5，且成功識別腹部重要器官，并提取組織輪廓。實驗條件在CPU2.40GHZ，內(nèi)存2G的PC機(jī)上執(zhí)行，算法所耗用時間為10S，適用于臨床使用和輔助治療。

（a）原始16位圖 （b）壓縮8位圖(W=380,L=10)（c）分類組織輪廓 （d）組織器官識別

圖2CT圖像神經(jīng)網(wǎng)絡(luò)自動分割

（W=380,L=10,m=7，r=1，α(t)=0.2，Epoch=500，σ=1.5，nIter=3）

3 結(jié)論

本文通過多模態(tài)上下文關(guān)聯(lián)和自組織映射神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，實現(xiàn)對CT圖像的自動分割，并利用解剖先驗知識對分割結(jié)果進(jìn)行組織識別，最終提取感興趣區(qū)域組織輪廓。該方法實驗成功，下一步研究將針對神經(jīng)網(wǎng)絡(luò)樣本可學(xué)習(xí)性，實現(xiàn)序列切片的有效率自動分割。

參考文獻(xiàn)：

[1] 章毓晉. 圖象分割[M].北京:科學(xué)出版,2001:1-4.

[2] 姜曉彤,羅立民,汪家旺,等.一種肺部腫瘤CT圖象序列的自動分割方法[J]. 中國圖象圖形學(xué)報, 2003,8(9):1028-1033.

[3] Lin W C, Tsao E C K, Chen C T. Constraint satisfaction neural networks for image segmentation[J].Pattern Recognit., 1992,25(7):679-693.

[4] Haring S, Viergever M A, Kok J N. Kohonen networks for multiscale image segmentation[J].Image Vision Comput.,1994,12(6):339-344.

[5] Rosenfeld A, Hummel R A, Zucker S W. Scene labeling by relaxation operations[J].IEEE Trans. Syst., Man, Cybern.,1976,(SMC-6):420-433.

[6] Valli G. Artificial neural networks for t he segmentation of medical images [R].Technical Report No.940702,1994.

第8篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：瓦斯突出；微粒群算法；RBF神經(jīng)網(wǎng)絡(luò)；MATLAB

中國分類號: TP183；文獻(xiàn)標(biāo)識碼: A

前言

瓦斯突出的產(chǎn)生機(jī)理和預(yù)測過程比較復(fù)雜， RBF神經(jīng)網(wǎng)絡(luò)在瓦斯突出預(yù)測中起到了很重要的作用。煤礦瓦斯突出的影響指標(biāo)很多，并且各個指標(biāo)與瓦斯突出之間的關(guān)系為非線性的關(guān)系，因此要求RBF神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近能力。

RBF神經(jīng)網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)構(gòu)造的一類前向網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)確定，輸入與初始值無關(guān)，結(jié)構(gòu)簡單，訓(xùn)練簡潔，能夠逼近任意非線性函數(shù)，而且在逼近能力、分類能力和學(xué)習(xí)速度方面均優(yōu)于BP網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的設(shè)計包括三部分：神經(jīng)元功能函數(shù)的設(shè)計，神經(jīng)元之間的連接形式的確定以及網(wǎng)絡(luò)訓(xùn)練方式的確定。在這三部分中隱單元RBF的設(shè)計是比較重要的。RBF函數(shù)是一種局部分布的對中心點徑向?qū)ΨQ的非負(fù)非線性函數(shù)。但是在神經(jīng)元功能函數(shù)的設(shè)計中，RBF功能函數(shù)的中心ci的確定有很大的難度。

通常使用隨機(jī)選取固定中心法，中心的自組織選擇法等，但是由于這些學(xué)習(xí)訓(xùn)練方法的局限性，通過這些方法得到的神經(jīng)網(wǎng)絡(luò)適用性和泛化能力比較差，不能滿足瓦斯突出預(yù)測的要求。本文利用微粒群算法來計算出通過學(xué)習(xí)訓(xùn)練得到的RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的適應(yīng)度的方法來確定最后的隱單元RBF的中心ci，并且不斷的在以后的實踐應(yīng)用中更新學(xué)習(xí)訓(xùn)練所用的數(shù)據(jù)庫，系統(tǒng)根據(jù)數(shù)據(jù)庫的變化，可以優(yōu)化原有的隱單元RBF的中心ci ，提高了神經(jīng)網(wǎng)絡(luò)的逼近能力，有效的客服了RBF神經(jīng)網(wǎng)絡(luò)局部最優(yōu)的缺點。

1、微粒群算法

1.1基本微粒群算法

微粒群算法（particle swarm optimization，PSO）是1995年由美國社會心理學(xué)家J.Kennedy和電氣工程師R.Heppner共同提出的，其基本思想是受鳥類群體行為研究結(jié)果的啟發(fā)，并利用了生物學(xué)家F.Heppner的生物群體模型[2]。算法原理如下：

微粒群算法主要是使用微粒的適應(yīng)度大小進(jìn)行尋找全局最優(yōu)和優(yōu)化參數(shù)。他將種群中的每個個體看作是N維空間的一個沒有質(zhì)量和體積的微粒，并且在搜索空間以一定的速度飛行，在飛行過程中不斷根據(jù)環(huán)境的改變來改變自身的速度和方向，直到找到適應(yīng)度最好的位置。假設(shè)Xi=（xa1，xa2，xa3，……xan為微粒i的當(dāng)前位置，Vi=（va1，va2，va3，…… van）代表微粒當(dāng)前的飛行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒經(jīng)歷的適應(yīng)度最好的位置，這是局部最優(yōu)位置。

當(dāng)f(xi(a+1))≥f(Pi(a)) 時Pi(a+1)= Pi(a)

當(dāng)f(xi(a+1) ＜f(P(a)) 時Pi(a+1)= Xi(a+1) 所以全局最優(yōu)位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同時可以得出進(jìn)化方程為：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]

為了更好的確定和優(yōu)化RBF的中心ci，計算每個數(shù)據(jù)庫得到的中心ci的均方誤差，計算出每個中心ci的適應(yīng)度：

E（Xp）=[Yk,p(Xp)-tk,p]

有適應(yīng)度來確定的適應(yīng)度函數(shù)如下：

f(x)=

1.2帶慣性權(quán)重的微粒群算法

在全局搜索過程中，搜索能力和收斂速度是相對立的，如果搜索能力高了，收斂速度就會相對變慢，為了解決這一問題，在速度進(jìn)化方程中引用了慣性權(quán)重，具體公式如下：

vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w稱為慣性權(quán)重。

在全局搜索利過程中，慣性權(quán)重w可以根據(jù)要求按照一定趨勢改變，這樣就既能保證搜索能力又能加快收斂速度。

2、RBF神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對人類大腦系統(tǒng)一階特性的一種描述，有類似人的神經(jīng)元的處理單元通過各種連接方式連接起來構(gòu)成，整個網(wǎng)絡(luò)同時具有一個或是多個的輸入和輸出，能夠?qū)π畔⑦M(jìn)行并行和分布處理。人工神經(jīng)網(wǎng)絡(luò)主要包括三方面的內(nèi)容：激活函數(shù)，神經(jīng)元之間的連接形式，網(wǎng)絡(luò)的學(xué)習(xí)或者是訓(xùn)練。

激活函數(shù)為徑向基函數(shù)（RBF）的神經(jīng)網(wǎng)絡(luò)為RBF神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)是一個單隱層的三層前饋網(wǎng)絡(luò)，分別為輸入層，隱含層，輸出層。隱含層的傳遞函數(shù)為radbas。徑向基網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。實驗已經(jīng)證明：徑向基網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)。每個RBF的節(jié)點有一個“參考”輸入x*i,f是輸入與“參考”輸入的距離d(x*i,xi )的函數(shù)，函數(shù)中的距離有節(jié)點輸出y =f(d(x*i,xi ))來計算。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要有兩種：中心自組織選擇法和中心的監(jiān)督選擇發(fā)。中心的自組織選擇法是一種無導(dǎo)師，也稱非監(jiān)督學(xué)習(xí)，是對所有的輸入進(jìn)行聚類，求得各隱單元RBF的中心ci。中心的監(jiān)督選擇法是一種有導(dǎo)師的學(xué)習(xí)，也稱為監(jiān)督學(xué)習(xí)算法。主要是通過一個有導(dǎo)師或是有監(jiān)督的學(xué)習(xí)過程來確定隱單元RBF的中心ci。

3、RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci 的確定和優(yōu)化的過程

本文利用普通的學(xué)習(xí)訓(xùn)練法和帶慣性權(quán)重的微粒群算法相結(jié)合的方法來進(jìn)行RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的確定和優(yōu)化。具體過程如圖1所示。

（1）用一定數(shù)量的與瓦斯突出有關(guān)信息組成一個數(shù)據(jù)庫，并且將這個數(shù)據(jù)庫分為若干個子數(shù)據(jù)庫.使用這些子數(shù)據(jù)庫分別對RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到隱單元RBF的中心c1,c2,c3……。

（2）將上面得到的若干個隱單元RBF的中心作為一個個體（微粒），有這些個體組成一個種群，其中每個個體代表先前計算出的一個隱單元RBF的中心。初始化Gbest和Lbest。

（3）使用帶慣性權(quán)重的微粒群算法來確定最后的隱單元中心，通過計算每個微粒適應(yīng)度來確定中心ci，然后通過適應(yīng)度函數(shù)來優(yōu)化中心ci，最后形成RBF神經(jīng)網(wǎng)絡(luò)。

（4）把井下測得的數(shù)據(jù)作為輸入，來進(jìn)行瓦斯突出預(yù)測，并且把井下的信息和預(yù)測結(jié)果，作為下次更新數(shù)據(jù)庫和優(yōu)化隱單元中心的依據(jù)。

（5）每進(jìn)行一次預(yù)測，數(shù)據(jù)庫的信息就根據(jù)實際情況和預(yù)測結(jié)果進(jìn)行一次更新，根據(jù)更新的數(shù)據(jù)庫，對得到的隱單元中心進(jìn)行優(yōu)化，提高了系統(tǒng)的適應(yīng)能力和自學(xué)習(xí)能力。

4、帶慣性權(quán)重的微粒群算法的Matlab程序設(shè)計和瓦斯突出預(yù)測

使用Matlab進(jìn)行程序時所用到的函數(shù)如下：

PSO：主函數(shù)，用于調(diào)用微粒群算法。

DrawSwarm：繪圖函數(shù)，主要用來反映每個微粒的進(jìn)化過程。

psoOption：參數(shù)顯示函數(shù)，主要用于顯示帶慣性權(quán)重的微粒群算法的參數(shù)設(shè)置情況。

使用多個函數(shù)形成函數(shù)模塊，實現(xiàn)對隱單元RBF的中心ci的確定和優(yōu)化。帶慣性權(quán)重的微粒群算法進(jìn)行確定和優(yōu)化神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的函數(shù)模塊為：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);

選取一定量的信息形成數(shù)據(jù)庫，然后隨機(jī)的劃分為若干個子數(shù)據(jù)庫，通過學(xué)習(xí)訓(xùn)練來產(chǎn)生一些中心c1,c2,c3……，然后再組成種群，利用函數(shù)模塊來確定和優(yōu)化RBF的中心。具體實驗數(shù)據(jù)如下表1所示：

利用Matlab運行該函數(shù)模塊來確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時，算法程序運行時出現(xiàn)的最優(yōu)適應(yīng)度值隨著迭代次數(shù)的變化如圖2所示。

當(dāng)函數(shù)模塊算法程序運行時出現(xiàn)的適應(yīng)度值滿足要求時，說明此時的ci的最優(yōu)化完成，可以來確定RBF神經(jīng)網(wǎng)絡(luò)。

把上面經(jīng)過優(yōu)化神經(jīng)網(wǎng)絡(luò)來進(jìn)行瓦斯突出預(yù)測，需要預(yù)測的樣本數(shù)據(jù)如下表2所示：

其中運行結(jié)果用1表示安全，-1表示突出。

運用MATLAB對樣本數(shù)據(jù)進(jìn)行測試，測試代碼如下：

pl=[0.809.011.530.2 ]；

p2=[0.153.51.27.3]：

y1=sim(net，p1) ；

y2=sim(net，p2) ；

最后預(yù)測結(jié)果是y1=-0.9908，y2=1.005；

可見該系統(tǒng)能夠準(zhǔn)確的預(yù)測出瓦斯突出。

總結(jié)

使用RBF神經(jīng)網(wǎng)絡(luò)來進(jìn)行瓦斯突出預(yù)測比其他方式的預(yù)測具有很好的效果，但是由于煤礦的環(huán)境比較特殊，瓦斯突出產(chǎn)生的機(jī)理比較復(fù)雜，并且不同煤礦的影響瓦斯突出的因素也不相同，所以要求神經(jīng)網(wǎng)絡(luò)具有很好的適應(yīng)性和自學(xué)習(xí)能力。但是RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的確定是基于數(shù)據(jù)空間局部的信息，很難都到全局最優(yōu)，嚴(yán)重影響了RBF神經(jīng)網(wǎng)絡(luò)的適應(yīng)性和自學(xué)習(xí)能力。本文利用帶慣性權(quán)重的微粒群算法來確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)，慣性權(quán)重w能起到保證全局最優(yōu)和局部搜索能力的平衡的作用，能夠在保證全局最優(yōu)的前提下，提高搜索全局最優(yōu)的速度，提高了預(yù)測的準(zhǔn)確度。

參考文獻(xiàn)

第9篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞 交直流輸電；阻尼調(diào)制；神經(jīng)網(wǎng)絡(luò)

中圖分類號TM7 文獻(xiàn)標(biāo)識碼A 文章編號 1674-6708（2011）49-0186-02

0 引言

電力系統(tǒng)是一個復(fù)雜而龐大的非線性動力學(xué)系統(tǒng)，它對運行安全、穩(wěn)定、經(jīng)濟(jì)性要求極高。由于電力系統(tǒng)的龐大與復(fù)雜，參數(shù)的不確定，頻繁的噪聲與干擾，網(wǎng)絡(luò)結(jié)構(gòu)的不斷調(diào)整與變化等種種不確定因素嚴(yán)重制約了各種確定型或自適應(yīng)控制的實際控制性能，使已有的控制器始終未能達(dá)到理想的效果。基于神經(jīng)網(wǎng)絡(luò)的控制可以根據(jù)在線樣本自動調(diào)整自身行為，從原理上來本文利用說應(yīng)具備在線自我調(diào)整和不斷自我完善的能力。

本文利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)電力系統(tǒng)逆動態(tài)，設(shè)計出一種神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)直流阻尼控制器，并基于MATLAB仿真軟件對其在交直流混合輸電系統(tǒng)的控制效果進(jìn)行分析與驗證。

1 神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)的意義

研究基于神經(jīng)網(wǎng)絡(luò)的交直流系統(tǒng)實時控制的在線自學(xué)習(xí)，具有以下重要意義：

1）對交直流混合輸電系統(tǒng)而言，模型仿真手段無論如何力求精確，也始終無法和實際系統(tǒng)動態(tài)行為完全一致，因而離線訓(xùn)練設(shè)計的神經(jīng)網(wǎng)絡(luò)控制器在線運行中性能總會有偏移。在線自學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)控制器可以根據(jù)控制目標(biāo)不斷調(diào)整自身控制行為，產(chǎn)生越來越好的控制效果；

2）在線自學(xué)習(xí)可使神經(jīng)網(wǎng)絡(luò)控制器產(chǎn)生不同于最初訓(xùn)練的控制性能，從而擺脫對于其它控制原理的依賴，擁有自己獨特的品質(zhì)；

3）在線自學(xué)習(xí)使基于神經(jīng)網(wǎng)絡(luò)的直流阻尼控制器擁有自我改進(jìn)，自我完善的能力，從而真正成為智能控制器。

2在線自學(xué)習(xí)方案的設(shè)計

2.1 獲取在線樣本的新思路

很多研究已經(jīng)表明，已有的在線自學(xué)習(xí)方案在如何獲取上已經(jīng)陷入了困境。因此，文獻(xiàn)[4]提出了一種解決該困境的新思路，設(shè)計出一種逆動態(tài)神經(jīng)網(wǎng)絡(luò)控制器（），如圖1所示，?。▂，u ）構(gòu)成訓(xùn)練樣本訓(xùn)練，可以得到相同的訓(xùn)練效果

2.2控制方案的實現(xiàn)

本文即采用圖2所示的方案來實現(xiàn)逆系統(tǒng)NNHVDC的設(shè)計并探討其在線自學(xué)習(xí)的實現(xiàn)及學(xué)習(xí)效果。該方案的輸入中包含了控制目標(biāo)，這樣控制行為將主要由yd的值決定。文獻(xiàn)[4]已經(jīng)提出了這種模型中控制的實現(xiàn)與在線自學(xué)習(xí)樣本的生成方案并給予了一定的理論證明。當(dāng)yd選取得當(dāng)時，經(jīng)過不斷的在訓(xùn)練，網(wǎng)絡(luò)的控制輸出將逐步逼近期望輸出yd。因而其控制最終應(yīng)該是穩(wěn)定的。

以往研究表明交直流系統(tǒng)逆動態(tài)是存在的，而且可以由BP網(wǎng)絡(luò)以要求的精度逼近。具體實現(xiàn)如下：采用6-6-1三層BP網(wǎng)絡(luò)作為控制主體，選取NN輸入變量集為：

NN的輸出為t時刻的控制信號。如何確定和是獲取NN輸入的兩個關(guān)鍵。

本文選擇直流調(diào)制中最常用的以兩側(cè)交流系統(tǒng)發(fā)電機(jī)轉(zhuǎn)速差為調(diào)制信號的作為NN的初始訓(xùn)練器來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，控制器參數(shù)。應(yīng)此可得到直流調(diào)制控制規(guī)律為：

本文所采用的參考模型是由同步發(fā)電機(jī)轉(zhuǎn)子運動方程推算而得，描述如下：

式中為采樣/控制周期，單位為秒；為功率變化值，可由功率變送器獲得，D為期望的系統(tǒng)阻尼，由用戶根據(jù)控制性能的要求設(shè)定，取值越大，表明設(shè)計者希望有擾動引起的系統(tǒng)振蕩衰減越快，本文取D=0.5。

具體仿真步驟如下：

1）選取任意一種可接受的控制器作為初始訓(xùn)練器，對IDNNHVDC進(jìn)行初步的離散訓(xùn)練，其目的是不至于一開始就生成電力系統(tǒng)不能接受的控制輸出；

2）將離線訓(xùn)練后的NNHVDC（計為NNHVDC1）置入交直流系統(tǒng)，記錄其在各種擾動的控制性能；

3）對于選定的擾動，以NNHVDC1的控制響應(yīng)構(gòu)成在線訓(xùn)練樣本集，用以訓(xùn)練NNHVDC得到NNHVDC2；

4）對NNHVDC2重復(fù)[step2]～[step 3]的控制過程的NNHVDC3；5）重復(fù)（4）直到NNHVDCi的控制響應(yīng)令人滿意為止。

3 仿真模型的建立

本文基于軟件Matlab/Simulink/ SimPower Systems工具箱搭建一個交直流并聯(lián)輸電系統(tǒng)模型，示意圖如圖3所示。系統(tǒng)包括兩個區(qū)域，發(fā)電機(jī)M1區(qū)域由兩條交流輸電線路和一條直流線路向發(fā)電機(jī)M2區(qū)域輸電。發(fā)電機(jī)M1、M2包含有勵磁控制,機(jī)端電壓為13.8kV，通過升壓變壓器變成500kV，向系統(tǒng)供電。區(qū)域間的距離為500km，在M2區(qū)域包括一個5000mW的負(fù)載，由M1和M2供電。另外系統(tǒng)中還包含三相斷路器，可以模擬交流系統(tǒng)故障。

直流系統(tǒng)的額定傳輸容量為1000MW，兩側(cè)額定電壓為500kV，濾波電抗器為0.5H，直流線路長為500km。在換流站設(shè)置的無功補償和濾波裝置包

括一個500 Mvar的電容器和150 Mvar的11 次濾波器、13次濾波器和高通濾波器。

4仿真結(jié)果與分析

根據(jù)第3節(jié)仿真步驟進(jìn)行仿真計算，系統(tǒng)模型如圖4所示，選取以下擾動來訓(xùn)練神經(jīng)網(wǎng)絡(luò)：整流側(cè)發(fā)電機(jī)機(jī)端發(fā)生2s時三相短路故障，2.3s后故障切除。以上小節(jié)介紹的作為初始訓(xùn)練器，用以上故障時的系統(tǒng)狀態(tài)變量根據(jù)式（1）構(gòu)成NN的輸入集，離線訓(xùn)練后得到IDNNHVDC1，仿真結(jié)果表明，按step1到step5的步驟經(jīng)過僅僅五次自學(xué)習(xí)之后，所得NNHVDC5的控制性能已經(jīng)遠(yuǎn)遠(yuǎn)超過了常規(guī)直流調(diào)制CHVDC，達(dá)到了令人滿意的程度。

選取以下2個擾動來測試所設(shè)計的IDNNHVDC的控制性能：

擾動一：t=2s時一交流線路首端發(fā)生三相短路，0.1s后保護(hù)動作切除該回路，0.2s后重合閘合并恢復(fù)到雙回線運行。

擾動二：t=2s時一條交流線路首端三相短路，0.3s后故障排除；t=6s時該回交流線路中端又發(fā)生三相短路，0.1s后故障排除。

通過IDNNHVDC和CHVDC作用下發(fā)電機(jī)功角的變化過程的對比，結(jié)果表明，經(jīng)過五次訓(xùn)練后IDNNHVDC的控制效果已遠(yuǎn)遠(yuǎn)優(yōu)于常規(guī)CHVDC控制，從而進(jìn)一步證實了IDNNHVDC的優(yōu)越性能，通過以上仿真結(jié)果可得出以下幾個結(jié)論：

1）隨著訓(xùn)練次數(shù)的增加，該NN控制器控制性能不斷改善，由此表明，該控制器具有很好的在線自學(xué)習(xí)能力;

2）IDNNHVDC控制器能有效增強直流系統(tǒng)兩側(cè)交流系統(tǒng)的阻尼，很好的抑制直流兩側(cè)交流系統(tǒng)振蕩。對各種大、小擾動均表現(xiàn)出明顯的抑制作用，具有很強的魯棒性;

3）通過在線訓(xùn)練后的IDNNHVDC在各擾動下的控制性能表明，圖2所示以逼近受控系統(tǒng)逆動態(tài)為目標(biāo)的神經(jīng)網(wǎng)絡(luò)控制方案在交直流混合輸電系統(tǒng)實時控制中是可行的。

5 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)電力系統(tǒng)逆動態(tài)，由參考模型產(chǎn)生期望控制響應(yīng)，實時采樣值構(gòu)成在線訓(xùn)練樣本的在線訓(xùn)練方案。由于在純交流系統(tǒng)電力系統(tǒng)穩(wěn)定器的運用中，該方案的的控制效果已經(jīng)得到很好的驗證，而其在直流阻尼調(diào)制的運用與研究中尚屬空白。因此，筆者把該方案運用于交直流系統(tǒng)直流阻尼調(diào)制之中，設(shè)計出雙CPU神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)直流阻尼控制器。不僅從理論上分析證明了該方案的有效性，而且仿真結(jié)果表明，所設(shè)計的IDNNHVDC控制器能有效增強直流系統(tǒng)兩側(cè)交流系統(tǒng)的阻尼，很好的抑制直流兩兩側(cè)交流系統(tǒng)振蕩。在在線自學(xué)習(xí)調(diào)整過程中，該NN控制器控制性能不斷改善，對各種大、小擾動均表現(xiàn)出明顯的抑制作用

參考文獻(xiàn)

[1]管霖，程時杰，陳德樹.神經(jīng)網(wǎng)絡(luò)電力系統(tǒng)穩(wěn)定器的設(shè)計與實現(xiàn)[J].中國電機(jī)工程學(xué)報，1996，16(6)：384-387.