神經(jīng)網(wǎng)絡(luò)初始化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)初始化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：垃圾郵件；深度置信網(wǎng)絡(luò)；分類；受限玻爾茲曼機(jī)；支持向量機(jī)

0 引言

電子郵件的速度快、成本低等優(yōu)勢(shì)使其成為人們用于思想和信息交流的強(qiáng)大工具，然而伴隨而來的垃圾郵件成為當(dāng)今網(wǎng)絡(luò)的一個(gè)重要問題[1]。根據(jù)Ferris的研究估計(jì)，垃圾郵件數(shù)量占美國一家企業(yè)組織總電子郵件的15%至20%。在這樣的情況下，垃圾郵件造成了大量的帶寬浪費(fèi)和郵件系統(tǒng)超載。由于以上嚴(yán)重問題，必須采取措施來解決垃圾郵件現(xiàn)象。已有研究證明最好的方法是垃圾郵件過濾。

通常有兩種郵件過濾的方法：知識(shí)工程（Knowledge Engineering， KE）以及機(jī)器學(xué)習(xí)（Machine Learning， ML）。基于第一種方法的垃圾郵件過濾通常使用預(yù)定義的集合和用戶定義的規(guī)則，這樣的規(guī)則嘗試識(shí)別信息中垃圾郵件的典型特點(diǎn)；然而，已經(jīng)證明在實(shí)踐中該方法的泛化能力較差。

實(shí)驗(yàn)表明機(jī)器學(xué)習(xí)分類器具有更好的性能，因此大量的分類方法被提出來實(shí)現(xiàn)垃圾郵件檢測(cè)任務(wù)。Puniskis等[2]將神經(jīng)網(wǎng)絡(luò)方法應(yīng)用到垃圾郵件分類。也有其他研究人員將樸素貝葉斯法（Naive Bayes， NB）和支持向量機(jī)（Support Vector Machine， SVM）[3-9]應(yīng)用到垃圾郵件分類任務(wù)中。深度置信網(wǎng)絡(luò)（Deep Belief Net， DBN）是擁有深層架構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包含多個(gè)隱含層，而使用DBN的障礙在于如何訓(xùn)練這樣的深層網(wǎng)絡(luò)。通常情況下，由于網(wǎng)絡(luò)權(quán)值的隨機(jī)初始化，基于梯度的優(yōu)化容易陷入局部最小值[10]。Hinton等[11]提出了一種新的貪婪逐層非監(jiān)督算法來初始化基于受限玻爾茲曼機(jī)（Restricted Boltzmann Machine， RBM）的DBN。這個(gè)算法提供了網(wǎng)絡(luò)權(quán)值的初始化方法，隨后使用基于梯度的算法如梯度下降法來微調(diào)網(wǎng)絡(luò)權(quán)值。研究指出，DBN初始化方法的有效性在多個(gè)數(shù)據(jù)集中得到驗(yàn)證[12]。

在受限玻爾茲曼機(jī)的快速學(xué)習(xí)算法的驅(qū)動(dòng)下， 本文提出了使用深度置信網(wǎng)絡(luò)來解決垃圾郵件問題，并且在三個(gè)充分研究的垃圾郵件數(shù)據(jù)集上評(píng)價(jià)分類方法的性能。將本文的算法和較好的垃圾郵件檢測(cè)方法支持向量機(jī)分類器[13]進(jìn)行比較，結(jié)果表明，基于深度置信網(wǎng)絡(luò)的方法表現(xiàn)出和SVM相似的性能或者說比SVM更好的性能。

1 深度置信網(wǎng)絡(luò)分類

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）研究主要關(guān)注的是訓(xùn)練網(wǎng)絡(luò)來找到正確的權(quán)重，可以正確地將輸入樣本分類。最成功的算法是著名的反向傳播（Back Propagation，BP）算法。反向傳播的問題是：ANN代表一個(gè)f（X，W）的非線性映射，其中：X是輸入向量，W是整個(gè)網(wǎng)絡(luò)的權(quán)重矩陣。隨著網(wǎng)絡(luò)層數(shù)的增加，函數(shù)f變得越來越復(fù)雜，如此一來將得到多個(gè)局部最小值。反向傳播算法根據(jù)權(quán)重W的初始化來收斂到某一最小值，但有時(shí)它會(huì)收斂到一個(gè)表現(xiàn)差的局部最小值而不是全局最小值。對(duì)于一些人工智能任務(wù)，有些局部最小值是沒有問題的，但是有些是不可以接受的。此外，隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練時(shí)間變得越來越長(zhǎng)。反向傳播的另一問題是它需要大量的標(biāo)簽數(shù)據(jù)，這對(duì)于許多需要分類的人工智能任務(wù)來說是不可能的。對(duì)于之前提到的問題，Hinton等[11]基于DBN和RBM介紹了一種快速學(xué)習(xí)算法來訓(xùn)練深度人工神經(jīng)網(wǎng)絡(luò)。

1.1 深度置信網(wǎng)絡(luò)模型

DBN由多層RBM和一層BP神經(jīng)網(wǎng)絡(luò)構(gòu)成，它的結(jié)構(gòu)如圖1所示。其中，多層RBM網(wǎng)絡(luò)采用無監(jiān)督的學(xué)習(xí)方法，而BP神經(jīng)網(wǎng)絡(luò)采用有監(jiān)督的學(xué)習(xí)方法。自底向上每一層RBM對(duì)輸入數(shù)據(jù)進(jìn)行提取、抽象，盡可能保留重要信息，將最后一層RBM網(wǎng)絡(luò)的輸出信息作為BP神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。由于每層RBM訓(xùn)練只能使該層網(wǎng)絡(luò)參數(shù)達(dá)到最優(yōu)，而不能使整個(gè)網(wǎng)絡(luò)達(dá)到最優(yōu)，因此本文使用有監(jiān)督的BP神經(jīng)網(wǎng)絡(luò)將誤差反向傳播，自頂向下微調(diào)整個(gè)模型。同時(shí)，經(jīng)過若干層RBM網(wǎng)絡(luò)優(yōu)化得到的信息作為BP神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)，解決了BP神經(jīng)網(wǎng)絡(luò)由于隨機(jī)初始值容易陷入局部最小值和收斂速度慢的問題。DBN網(wǎng)絡(luò)是一種深層學(xué)習(xí)模型，增加RBM網(wǎng)絡(luò)的層數(shù)，可以使提取的信息更抽象，網(wǎng)絡(luò)的精度更高。

3.3 實(shí)驗(yàn)結(jié)果

下面描述DBN和SVM訓(xùn)練的細(xì)節(jié)以及在三個(gè)數(shù)據(jù)集上的分類性能表現(xiàn)。對(duì)于LingSpam，設(shè)置k=1500，而對(duì)于SpamAssassin和Enron1設(shè)置k=1000。對(duì)于SpamAssassin，需要去掉其中的HTML標(biāo)簽。三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)都使用10折交叉驗(yàn)證[15]。Lingspam已經(jīng)被其創(chuàng)建者劃分為10份；對(duì)于其他兩個(gè)數(shù)據(jù)集，隨機(jī)將語料庫拆分成10份，并保證每一部分保留原有語料庫的垃圾郵件比例。

為了將DBN應(yīng)用到垃圾郵件檢測(cè)，必須決定隱含層個(gè)數(shù)

以及每層隱含單元的個(gè)數(shù)的合適值。

根據(jù)已有研究，實(shí)驗(yàn)選擇了比較簡(jiǎn)單的有3個(gè)隱含層的網(wǎng)絡(luò)[11-12]；通過選擇不同隱含單元為網(wǎng)絡(luò)嘗試不同的配置，設(shè)置三個(gè)隱含層的神經(jīng)元個(gè)數(shù)分別為50、50、200，每一層神經(jīng)元的數(shù)量適度的變化并沒有顯著的影響結(jié)果。為了強(qiáng)調(diào)DBN方法對(duì)于不同架構(gòu)的魯棒性，本文實(shí)驗(yàn)使用相同的架構(gòu)。

4 結(jié)語

通過逐層無監(jiān)督的學(xué)習(xí)方法預(yù)訓(xùn)練深度網(wǎng)絡(luò)的權(quán)值參數(shù)，解決了權(quán)值的初始化問題，提出了基于深度置信網(wǎng)絡(luò)的分類方法，并將其應(yīng)用到垃圾郵件過濾中。實(shí)驗(yàn)結(jié)果表明，深度置信網(wǎng)絡(luò)的分類方法在垃圾郵件過濾中有較好的表現(xiàn)，但是也有一些問題將在今后的工作中繼續(xù)探討，例如，如何更好地選擇深度置信網(wǎng)絡(luò)隱藏層數(shù)以及每層的單元個(gè)數(shù)來提高算法的性能。

參考文獻(xiàn)：

[1]PU C， WEBB S. Observed trends in spam construction techniques： a case study of spam evolution [C]// CEAS 2006： Proceedings of the Third Conference on Email and AntiSpam. Mountain View， California： CEAS， 2006： 104-112.

[2]PUNIKIS D， LAURUTIS R， DIRMEIKIS R. An artificial neural nets for spam Email recognition [J]. Electronics and Electrical Engineering， 2006， 69（5）： 73-76.

[3]ANDROUTSOPOULOS I， PALIOURAS G， MICHELAKIS E. Learning to filter unsolicited commercial Email [M]. Athens， Greece： "DEMOKRITOS"， National Center for Scientific Research， 2004.

【谷歌圖書查找】

[4]METSIS V， ANDROUTSOPIULOS I， PALIOURAS G. Spam filtering with naive Bayes ― which naive Bayes？ [C]// CEAS 2006： Proceedings of the Third Conference on Email and AntiSpam. Mountain View， California： CEAS， 2006： 27-28.

[5]ZHANG L， ZHU J， YAO T. An evaluation of statistical spam filtering techniques [J]. ACM Transactions on Asian Language Information Processing， 2004， 3（4）： 243-269.

[6]HOVOLD J. Naive Bayes spam filtering using wordpositionbased attributes [C]// CEAS 2005： Proceedings of the Second Conference on Email and AntiSpam. Palo Alto， CA： CEAS， 2005： 41-48.

[7]FUMERA G， PILLAI I， ROLI F. Spam filtering based on the analysis of text information embedded into images [J]. The Journal of Machine Learning Research， 2006， 7： 2699-2720.

[8]ALMEIDA T A， ALMEIDA J， YAMAKAMI A. Spam filtering： how the dimensionality reduction affects the accuracy of Naive Bayes classifiers [J]. Journal of Internet Services and Applications， 2011， 1（3）： 183-200.

[9]ALMEIDA T A， YAMAKAMI A， ALMEIDA J. Evaluation of approaches for dimensionality reduction applied with Naive Bayes antispam filters [C]// ICMLA09： Proceedings of the 2009 International Conference on Machine Learning and Applications. Piscataway： IEEE， 2009： 517-522.

[10]SUN Z， XUE L， XU M， et al. Overview of deep learning[J]. Application Research of Computers， 2012， 29（8）： 2806-2810. （孫志軍，薛磊，許明陽，等.深度學(xué)習(xí)研究綜述[J]. 計(jì)算機(jī)應(yīng)用研究， 2012， 29（8）： 2806-2810.

[11]HINTON G E， OSINDERO S， TEH YW. A fast learning algorithm for deep belief nets [J]. Neural Computation， 2006， 18（7）： 1527-1554.

[12]BENGIO Y， LAMBLIN P， POPOVICI D， et al. Greedy layerwise training of deep networks [C]// NIPS06： Proceedings of the 2007 Twentieth Annual Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2007， 19： 153-160.

[13]BEUGES C J C. A tutorial on support vector machines for pattern recognition [J]. Data Mining and Knowledge Discovery， 1998， 2（2）： 121-167.

第2篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：小波分析；小波神經(jīng)網(wǎng)絡(luò)；傳感器；非線性校正

中圖分類號(hào)：TN97 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2007)05-11370-03

1 引言

傳感器是各類控制系統(tǒng)和測(cè)量系統(tǒng)的核心部件。其精度直接影響到整個(gè)系統(tǒng)的性能。大多數(shù)傳感器都容易受到環(huán)境的影響。同時(shí)，任何傳感器自身存在無法避免非線性因素。因此，在實(shí)際應(yīng)用中，對(duì)傳感器進(jìn)行非線性和環(huán)境影響的綜合校正是必不可少的工作。因此有大量的工作關(guān)注傳感器的修正問題。校正方法通常分為兩類。一類是硬件電路法。另一類則是為傳感器添加特殊的接口，對(duì)傳感器的非線性和環(huán)境誤差進(jìn)行黑箱式的綜合逆向建模。這一類校正的傳統(tǒng)方法有：查表法，非線性AD編碼和BP神經(jīng)網(wǎng)絡(luò)方法[4]。

小波神經(jīng)網(wǎng)絡(luò)是一種建立于小波分析理論基礎(chǔ)之上，具有良好的多維函數(shù)逼近性能[2]，并存在高效的算法對(duì)網(wǎng)絡(luò)進(jìn)行初始化和獲得權(quán)值[1]的新型網(wǎng)絡(luò)。在構(gòu)建傳感器綜合修正模型中有著重要的價(jià)值。文獻(xiàn)[5]給出了使用小波神經(jīng)網(wǎng)絡(luò)進(jìn)行虛擬儀器非線性修正的模型，但在網(wǎng)絡(luò)的訓(xùn)練算法中并未充分利用小波神經(jīng)網(wǎng)絡(luò)具有的特性對(duì)網(wǎng)絡(luò)進(jìn)行初始化和訓(xùn)練，其訓(xùn)練復(fù)雜度類似于BP網(wǎng)絡(luò)。本文采用離散二進(jìn)小波框架來構(gòu)造小波神經(jīng)網(wǎng)絡(luò)，對(duì)熱電偶進(jìn)行修正。并采用高效的構(gòu)造算法對(duì)網(wǎng)絡(luò)進(jìn)行初始化和權(quán)值訓(xùn)練。通過數(shù)值仿真實(shí)驗(yàn)，可知這種網(wǎng)絡(luò)收斂速度較傳統(tǒng)方法快，并避免了局部極值點(diǎn)。

2 傳感器神經(jīng)網(wǎng)絡(luò)校正模型

假設(shè)，傳感器的系統(tǒng)傳輸函數(shù)可寫為：y=f(x,c1,c2,...,ck)。其中，輸入傳感器的變量為x。ck(k=1,2,...,k)為第K個(gè)環(huán)境參變量。在這里需要修正的因素存在于兩個(gè)環(huán)節(jié)。第一是當(dāng)環(huán)境參量一定時(shí)，即 恒定不變的情況下，對(duì)f(x,c1,c2,...,ck)的非線性進(jìn)行修正。另一因素則是傳感器輸入x一定的情況下環(huán)境參變量對(duì)f(x,c1,c2,...,ck)輸出產(chǎn)生的綜合影響。如果能夠找到函數(shù)f(x,c1,c2,...,ck)的接口函數(shù)

f-1(x,c1,c2,...,ck)，也就能夠?qū)崿F(xiàn)傳感器的精確讀數(shù)。并能夠根據(jù)環(huán)境變量對(duì)采集量測(cè)量的影響調(diào)整讀數(shù)值。從而排除環(huán)境變量的干擾。一般情況下，系統(tǒng)的非線性是各個(gè)部分非線性綜合作用的結(jié)果，情況復(fù)雜。接口函數(shù)f-1(x,c1,c2,...,ck)往往并不存在解析表達(dá)式；考慮到神經(jīng)網(wǎng)絡(luò)的非參數(shù)回歸（Nonparametric Estimation）能力，可以通過高精度的測(cè)量系統(tǒng)采集校正數(shù)據(jù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)逼近f-1(x,c1,c2,...,ck)，從而實(shí)現(xiàn)對(duì)傳感器的綜合校正（如圖1所示[5]）。實(shí)踐中，一般以傳感器輸出t和K個(gè)環(huán)境參量作為小波神經(jīng)網(wǎng)絡(luò)的輸入，待測(cè)物理量y為期望輸出，對(duì)小波神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，當(dāng)網(wǎng)絡(luò)達(dá)到要求之后，網(wǎng)絡(luò)推廣訓(xùn)練樣例的結(jié)果即可獲得近似的傳感器接口函數(shù)f-1(x,c1,c2,...,ck)。

圖1 傳感器神經(jīng)網(wǎng)絡(luò)校正原理

3 小波理論與小波神經(jīng)網(wǎng)絡(luò)

小波神經(jīng)網(wǎng)絡(luò)是建立在小波分析理論上的一種神經(jīng)網(wǎng)絡(luò)工具。函數(shù)ψ(t)∈L2(Rd)為徑向函數(shù)，那么他的傅立葉變換 (ω)也為徑向函數(shù)。設(shè) (ω)=η(ω)（其中η唯一單值函數(shù)）。若式（1）滿足，則函數(shù)ψ為一個(gè)小波函數(shù)。

如果函數(shù)ψ滿足（1），則函數(shù)f∈L2(Rd)的連續(xù)小波變換可定義為：

同時(shí)f(x)的逆小波變換定義為：

其中a∈R+和t∈Rd分別被稱為尺度系數(shù)和平移系數(shù)。

由于小波分解（變換）公式（2）將單變量函數(shù)f∈L2(Rd)映射到新的函數(shù)W(a,t)中，因此連續(xù)小波分解存在冗余。因此可以對(duì)其進(jìn)行離散化處理而不必?fù)?dān)心丟失目標(biāo)函數(shù)的信息。在此我們僅僅給出離散小波逆變換公式：

式（4）同時(shí)定義了隱層節(jié)點(diǎn)傳輸函數(shù)為小波函數(shù)，輸出層節(jié)點(diǎn)為線性神經(jīng)元的小波神經(jīng)網(wǎng)絡(luò)。其中wi，ai，ti作為網(wǎng)絡(luò)參數(shù)，取決于訓(xùn)練樣本。

傳統(tǒng)的小波神經(jīng)網(wǎng)絡(luò)采用BP法訓(xùn)練。這一訓(xùn)練算法確定尺度和平移系數(shù)ai，ti時(shí)，計(jì)算需要進(jìn)行反傳，即需要計(jì)算小波函數(shù)的導(dǎo)數(shù)。這一過程將消耗大量的時(shí)間。考慮到參數(shù)ai，ti計(jì)算的復(fù)雜性問題，如果能夠在構(gòu)造網(wǎng)絡(luò)時(shí)，獲得ai，ti的固定值，僅僅對(duì)參數(shù)wi進(jìn)行調(diào)整，則可以使得訓(xùn)練時(shí)間大大縮短。

文獻(xiàn)[1]給出了固定尺度和平移參數(shù)ai，ti的小波神經(jīng)網(wǎng)絡(luò)的一個(gè)構(gòu)造方案，定義小波神經(jīng)網(wǎng)絡(luò)為式（5），其中w0為一常數(shù)，方便逼均值不為零的函數(shù)，實(shí)際應(yīng)用過程中通常先移動(dòng)目標(biāo)函數(shù)使其平均值靠近零，從而可以忽略掉這一常數(shù)。

構(gòu)造過程分為三步。

第一步：構(gòu)造小波函數(shù)ψ擴(kuò)張和平移后的集合：

其中xk為訓(xùn)練數(shù)據(jù)輸入。由于W為無限集，不可能完全構(gòu)造?？紤]到一般的目標(biāo)函數(shù)都支撐集有限，小波系數(shù)大部分是零元。因此，實(shí)際需要的小波集是有限的。于是，W的構(gòu)造主要依據(jù)為目標(biāo)函數(shù)的支集。計(jì)算各個(gè)參數(shù)，僅留下覆蓋在目標(biāo)函數(shù)支集上的小波，去掉無用的小波。根據(jù)離散二進(jìn)小波的原理，設(shè)ai為2的n∈Z次方，t為ai-n?k,k∈Zd。采用了二進(jìn)方式簡(jiǎn)化的W為：

確定n的范圍后，精簡(jiǎn)過后的W包含的小波函數(shù)將大大減少。而參數(shù)n的范圍確定較為復(fù)雜，我們將在后面詳細(xì)討論。

第二步：通過某種機(jī)制確定小波神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目M。通常使用Akaike的最終預(yù)測(cè)誤差條件（FPE）[4]：

npa為回歸參數(shù)的數(shù)量。

第三步：從集合W中優(yōu)化選擇出M元集合I∈W，構(gòu)成網(wǎng)絡(luò)表達(dá)式：

其中wi為構(gòu)造并初始化后的網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)值。由于W中包含的小波數(shù)量較大，相應(yīng)的狀態(tài)空間無法進(jìn)行全局的搜索。因此，文獻(xiàn)[1]給出了啟發(fā)式的選擇算法。這一算法特點(diǎn)在于，每一次的選擇都基于小波與目標(biāo)函數(shù)的內(nèi)積，即靠近程度。在選擇“靠近”的小波后，使用Gramdchmidt正交算法對(duì)剩下的小波函數(shù)進(jìn)行規(guī)范正交化處理。重復(fù)這一過程，直到選擇出M個(gè)小波函數(shù)。同時(shí)，這一算法還給出了wi的初始值。

在小波集構(gòu)造過程中，未能確定小波尺度函數(shù)范圍的選擇。根據(jù)小波理論，尺度參數(shù)范圍的下限應(yīng)該根據(jù)目標(biāo)函數(shù)所屬的多分辨空間來決定[6]。但在通常的情況下，目標(biāo)函數(shù)屬于哪一個(gè)多分辨空間并不能預(yù)先知道。我們只能夠根據(jù)訓(xùn)練數(shù)據(jù)的采樣情況來預(yù)估函數(shù)的多分辨空間。當(dāng)尺度參數(shù)使小波函數(shù)支撐收縮到不能覆蓋兩個(gè)以上的數(shù)據(jù)采樣點(diǎn)時(shí)，則可認(rèn)為此時(shí)的小波函數(shù)與目標(biāo)函數(shù)在同一個(gè)多分辨空間，可將此時(shí)的尺度參數(shù)作為下限。同時(shí)，文獻(xiàn)[2]給出一種普通小波神經(jīng)網(wǎng)絡(luò)的尺度和平移參數(shù)的初始化建議，能夠較為合理的初始化尺度和平移參數(shù)。在這里有一定的參考意義。綜合考慮上述選擇的啟發(fā)式算法，我們給出一種改進(jìn)到二進(jìn)小波神經(jīng)網(wǎng)絡(luò)上的尺度函數(shù)范圍選擇方法。

考慮到所用二進(jìn)小波。設(shè)所需逼近的函數(shù)區(qū)間為[a,b]，選擇最大的二進(jìn)尺度的指數(shù)n為：

設(shè)訓(xùn)練樣本點(diǎn)間隔為?駐x，則有二進(jìn)小波尺度指數(shù)的最小值nmin為：

經(jīng)過以上步驟對(duì)小波神經(jīng)網(wǎng)絡(luò)（6）構(gòu)造完成之后，網(wǎng)絡(luò)（6）已經(jīng)高度逼近目標(biāo)函數(shù)。如果逼近效果仍未能夠達(dá)到所需的要求，可繼續(xù)采用LMS算法對(duì)網(wǎng)絡(luò)繼續(xù)進(jìn)行訓(xùn)練。在之后的應(yīng)用舉例中可以看出，小波神經(jīng)網(wǎng)絡(luò)構(gòu)造后訓(xùn)練次數(shù)較普通的網(wǎng)絡(luò)少。在很多情況下，網(wǎng)絡(luò)構(gòu)造完成后就已經(jīng)達(dá)到了精度要求。因此，整個(gè)網(wǎng)絡(luò)可以在可控的時(shí)間內(nèi)實(shí)現(xiàn)收斂。

4 網(wǎng)絡(luò)仿真試驗(yàn)

使用所介紹的網(wǎng)絡(luò)對(duì)傳感器數(shù)據(jù)進(jìn)行修正，并在Matlab上進(jìn)行仿真。

熱電偶傳感器是一種溫度傳感器。根據(jù)比較兩端溫差產(chǎn)生的熱電效應(yīng)對(duì)溫度進(jìn)行檢測(cè)。表1給出了熱電偶傳感器的讀數(shù)表。表2為熱電偶在參考端溫度不為0℃時(shí)的修正值。

表1 鉑銠30-鉑銠6熱電偶(B型)分度表（ITS-90）

表2 B型熱電偶參考端溫度非0℃時(shí)的校正表（修正值加上所查的熱電勢(shì)）

從Matlab對(duì)應(yīng)的圖（圖2）上可以看出，熱電偶在一端溫度恒定的情況下，傳感器曲線存在非線性。采用讀數(shù)修正表本質(zhì)是對(duì)傳感器進(jìn)行查表折線修正，在兩個(gè)精準(zhǔn)值之間，讀數(shù)往往誤差較大。構(gòu)造單輸入單輸出小波神經(jīng)網(wǎng)絡(luò)，對(duì)表1所示曲線進(jìn)行逆向建模，逼近表1函數(shù)的逆函數(shù)。設(shè)橫坐標(biāo)為傳感器輸出，縱坐標(biāo)為環(huán)境溫度?？傻贸瞿嫦蚝瘮?shù)的大致圖像（圖3）。修正表的圖標(biāo)描述見（圖4）。

同時(shí)，參考端溫度非零時(shí)需要調(diào)整讀數(shù)。將參考端溫度列為環(huán)境參量輸入系統(tǒng)進(jìn)行校正。由于校正與測(cè)量的過程是簡(jiǎn)單的加合過程，可采用簡(jiǎn)化的模型[4]，即分開用兩個(gè)網(wǎng)絡(luò)進(jìn)行建模，最終合成傳感器讀數(shù)。

修正采用單輸入但輸出的網(wǎng)絡(luò)結(jié)構(gòu)。神經(jīng)元上的小波函數(shù)采用墨西哥草帽小波。

圖4 B型熱電偶參考端溫度非0℃查表校正曲線

根據(jù)waveinfo函數(shù)提供的信息，墨西哥草帽小波的有效支撐為[-5，5]。訓(xùn)練采樣點(diǎn)數(shù)量為19個(gè)，區(qū)間為[0，14]，由Akaike FPE標(biāo)準(zhǔn)可得，用于逆向函數(shù)建模的網(wǎng)絡(luò)隱層節(jié)點(diǎn)的數(shù)量為10。

由于函數(shù)在定義域上積分不為0。w0將會(huì)影響逼近。為了獲得良好的逼近效果。需要函數(shù)積分盡量靠近0。一個(gè)簡(jiǎn)單的做法是先將逆函數(shù)延縱坐標(biāo)下移w0。即下移到函數(shù)重心位置，本例中w0=11。移動(dòng)過后，函數(shù)的積分接近于0。最終重構(gòu)時(shí)，再將這一常數(shù)加入網(wǎng)絡(luò)。

需要注意的是，逆向函數(shù)訓(xùn)練節(jié)點(diǎn)在定義域上步進(jìn)長(zhǎng)度不均勻。為了不丟失信息，在構(gòu)造W時(shí)，以最小步長(zhǎng)為?駐x基準(zhǔn)構(gòu)造網(wǎng)絡(luò)。由式（9），（10）計(jì)算，最終獲得二進(jìn)小波函數(shù)集：

確定式（12）中的參數(shù)kn，使得每一個(gè)小波函數(shù)的支集與目標(biāo)函數(shù)支集相交，完成對(duì)W的構(gòu)造。從圖5中可看出小波函數(shù)集W包含44個(gè)小波，同時(shí)顯示了每一個(gè)小波與目標(biāo)函數(shù)的相關(guān)程度。

圖5 小波函數(shù)元素與目標(biāo)函數(shù)規(guī)內(nèi)積示意圖

根據(jù)啟發(fā)式選擇算法經(jīng)過一系列的選擇和正交歸一化，最終獲得權(quán)值集合wi。在采樣點(diǎn)上的回歸效果如圖6，均方誤差值為0.0022（相對(duì)誤差0.016%）?？稍谶@一基礎(chǔ)上對(duì)網(wǎng)絡(luò)采用LMS算法進(jìn)行進(jìn)一步訓(xùn)練，使網(wǎng)絡(luò)均方誤差小于10e-3。

圖6 網(wǎng)絡(luò)逼近效果

網(wǎng)絡(luò)推廣能力是一個(gè)重要的問題。重新設(shè)定傳感器輸出的電壓，從0mV到13mV均勻步長(zhǎng)為網(wǎng)絡(luò)輸入。輸入網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證。最終逼近如圖7所示。

圖7 網(wǎng)絡(luò)推廣效果

與上述情況類似，構(gòu)造環(huán)境參數(shù)修正網(wǎng)絡(luò)。需要注意的是，為了使得逼近效果更佳，可以對(duì)數(shù)據(jù)進(jìn)行對(duì)稱延拓，根據(jù)數(shù)據(jù)表，在最左邊增加數(shù)據(jù)點(diǎn)：（-10，0.002），以獲得對(duì)稱訓(xùn)練樣例。計(jì)算網(wǎng)絡(luò)節(jié)點(diǎn)為4時(shí)誤差達(dá)到最小化。均方誤差為：1.2499e-005（但是如果去除添加的點(diǎn)，余下數(shù)據(jù)逼近的均方誤差為：8.5028e-006）修正表的網(wǎng)絡(luò)逼近結(jié)果以及推廣效果如圖8（小于0的延拓?cái)?shù)據(jù)需要忽略）。

圖8 修正曲線逼近及推廣效果圖

5 結(jié)論

通過以上的神經(jīng)網(wǎng)絡(luò)仿真實(shí)驗(yàn)可以看出，這種快速收斂的小波神經(jīng)網(wǎng)絡(luò)能夠在可控的范圍內(nèi)收斂到所需的最優(yōu)值。并且，構(gòu)造過程與問題規(guī)模大小成多項(xiàng)式復(fù)雜度。同時(shí)，小波神經(jīng)網(wǎng)絡(luò)的高度非線性模型，使得這一網(wǎng)絡(luò)能夠應(yīng)用于任何一種傳感器的非線性校正，而無需了解傳感器本身的原理?？紤]到需要進(jìn)行統(tǒng)一尺度的小波網(wǎng)絡(luò)構(gòu)建，本文沒有采用正交的小波神經(jīng)元。理論證明，正交小波在權(quán)值的確定上有著更加高效的算法，并有著更為良好的逼近性能。有待進(jìn)一步研究。

參考文獻(xiàn)：

[1]Q. Zhang. Using Wavelet Network in Nonparametric Estimation [J]. IEEE trans., neural networks, 1997(8),2:227-236.

[2]Q. Zhang, A. Benveniste.Wavelet Networks[J].IEEE trans., neural networks,1992(13),6:889-898.

[3]Shengtun Li,Shuching Chen.Function Approximation using Robust Wavelet Neural Networks [J]. ICTAI2002.2002:483-488.

[4]Jagdish Chandra Patra, Alex C. Kot, and Ganapati Panda. An Intelligent Pressure Sensor Using Neural Networks [J]. IEEE trans. Instrum., Meas., Vol. 49, No. 4, Aug 2000.

[5]譚超，許澤宏，李維一．基于小波神經(jīng)網(wǎng)絡(luò)建立虛擬儀器非線性軟校正模型[J]．傳感器與儀器儀表．2005，13（1）：157-159．

[6]唐遠(yuǎn)炎，王玲．小波分析與文本文字識(shí)別[M]．北京：科學(xué)出版社，2002．

第3篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：ZISC78；徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)（RBFNN）；實(shí)時(shí)；預(yù)報(bào)

1引言

神經(jīng)網(wǎng)絡(luò)是近年來得到廣泛關(guān)注的一種非線性建模預(yù)報(bào)技術(shù)。它具有自組織、自學(xué)習(xí)、自適應(yīng)和非線性處理、并行處理、信息分布存儲(chǔ)、容錯(cuò)能力強(qiáng)等特性，對(duì)傳統(tǒng)方法效果欠佳的預(yù)報(bào)領(lǐng)域有很強(qiáng)的吸引力?；谏窠?jīng)網(wǎng)絡(luò)的非線性信息處理方法已應(yīng)用于軍事信息處理及現(xiàn)代武器裝備系統(tǒng)的各個(gè)方面，并有可能成為未來集成智能化的軍事電子信息處理系統(tǒng)的支撐技術(shù)。該技術(shù)在一些先進(jìn)國家已部分形成了現(xiàn)實(shí)的戰(zhàn)斗力。

船舶在波浪中航行，會(huì)受到風(fēng)、浪和流的影響，因而將不可避免地發(fā)生搖蕩運(yùn)動(dòng)。嚴(yán)重的搖蕩會(huì)使船員工作效率下降、物品損壞、軍艦的戰(zhàn)斗力下降。如果能夠預(yù)知未來一段時(shí)間船舶的運(yùn)動(dòng)情況，不僅有利于盡早采用先進(jìn)控制算法控制艦載武器平臺(tái)隔離船舶運(yùn)動(dòng)的影響，使其始終穩(wěn)定瞄準(zhǔn)目標(biāo)，而且還可獲得未來一個(gè)海浪周期內(nèi)的船舶運(yùn)動(dòng)情況，以研究船載武器上層的控制策略，從而提高火力密度，因此，有必要研究在海浪中具有一定精度的海浪中船舶運(yùn)動(dòng)的短期預(yù)報(bào)。此外，如能有效準(zhǔn)確地預(yù)報(bào)船舶的橫搖運(yùn)動(dòng)，對(duì)于提高船舶的耐波性和適航性也有重要意義。

國內(nèi)外學(xué)者也將神經(jīng)網(wǎng)絡(luò)用于船舶運(yùn)動(dòng)預(yù)報(bào)研究，但往往沒有考慮實(shí)時(shí)性等實(shí)現(xiàn)問題，因而不能實(shí)用化。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)技術(shù)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要方面。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)可分為全硬件實(shí)現(xiàn)和軟件實(shí)現(xiàn)兩種。目前神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)還主要以軟件模擬為主，由于現(xiàn)行的馮諾曼計(jì)算機(jī)體系結(jié)構(gòu)不能實(shí)現(xiàn)并行計(jì)算，因而神經(jīng)網(wǎng)絡(luò)軟件的實(shí)時(shí)應(yīng)用還受到一定限制。

目前，一些著名集成電路制造公司如Intel、Mo-torola、松下、日立、富士通等均已推出自己的模擬或數(shù)字神經(jīng)網(wǎng)絡(luò)芯片，這些芯片無論在網(wǎng)絡(luò)規(guī)模還是運(yùn)行速度上都已接近實(shí)用化的程度，因而給神經(jīng)網(wǎng)絡(luò)應(yīng)用的發(fā)展以極大的推動(dòng)。由于艦載武器系統(tǒng)，需選用具有在片學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)芯片，即將網(wǎng)絡(luò)訓(xùn)練所需的反饋電路及權(quán)值存儲(chǔ)、計(jì)算和修正電路都集成在了一個(gè)芯片，因而可實(shí)現(xiàn)全硬件的、具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，也可以說，這是一種具有自適應(yīng)能力的神經(jīng)網(wǎng)絡(luò)。

2ZISC78的功能及工作原理

ZISC78是由IBM公司和Sillicon聯(lián)合研制的一種低成本、在線學(xué)習(xí)、33MHz主頻、CMOS型100腳LQFP封裝的VLSI芯片，圖1所示是ZISC78的引腳排列圖。ZISC78的特點(diǎn)如下：

內(nèi)含78個(gè)神經(jīng)元；

采用并行結(jié)構(gòu)，運(yùn)行速度與神經(jīng)元數(shù)量無關(guān)；

支持RBF／KNN算法；

內(nèi)部可分為若干獨(dú)立子網(wǎng)絡(luò)；

采用鏈連接，擴(kuò)展不受限制；

具有64字節(jié)寬度向量；

L1或LSUP范數(shù)可用于距離計(jì)算；

具有同步／異步工作模式。

2．1ZISC78神經(jīng)元結(jié)構(gòu)

ZISC78采用的神經(jīng)元結(jié)構(gòu)如圖2所示，該神經(jīng)元有以下幾種狀態(tài)：

(1)休眠狀態(tài)：神經(jīng)網(wǎng)絡(luò)初始化時(shí)，通常處于這種狀態(tài)。

(2)準(zhǔn)備學(xué)習(xí)狀態(tài)：任何時(shí)侯，神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元都處于這種狀態(tài)。

(3)委托狀態(tài)：一個(gè)包含有原型和類型的神經(jīng)元處于委托狀態(tài)。

(4)激活狀態(tài)：一個(gè)處于委托狀態(tài)的神經(jīng)元，通過評(píng)估，其輸入矢量處于其影響域時(shí)，神經(jīng)元就被激活而處于激活狀態(tài)。

(5)退化狀態(tài)：當(dāng)一個(gè)神經(jīng)元的原型處于其它神經(jīng)元類型空間內(nèi)，而大部分被其他神經(jīng)元類型空間重疊時(shí)，這個(gè)神經(jīng)元被宣布處于退化狀態(tài)。

2．2ZISC78神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

從圖3所示的ZISC78神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以看出，所有神經(jīng)元均通過“片內(nèi)通信總線”進(jìn)行通信，以實(shí)現(xiàn)網(wǎng)絡(luò)內(nèi)所有神經(jīng)元的“真正”并行操作。“片內(nèi)通信總線”允許若干個(gè)ZISC78芯片進(jìn)行連接以擴(kuò)大神經(jīng)網(wǎng)絡(luò)的規(guī)模，而這種操作不影響網(wǎng)絡(luò)性能。

ZISC78片內(nèi)有6bit地址總線和16bit數(shù)據(jù)總線，其中數(shù)據(jù)總線用于傳輸矢量數(shù)據(jù)、矢量類型、距離值和其它數(shù)據(jù)。

2．3ZISC78的寄存器組

ZISC78使用兩種寄存器：全局寄存器和神經(jīng)元寄存器。全局寄存器用于存儲(chǔ)與所有神經(jīng)元有關(guān)的信息，每片僅有一組全局寄存器。全局寄存器組中的信息可被傳送到所有處于準(zhǔn)備學(xué)習(xí)狀態(tài)和委托狀態(tài)的神經(jīng)元。神經(jīng)元寄存器用于存儲(chǔ)所屬神經(jīng)元的信息，該信息在訓(xùn)練學(xué)習(xí)操作中寫入，在識(shí)別操作中讀出。

2．4ZISC78的操作

ZISC78的操作包括初始化、矢量數(shù)據(jù)傳播、識(shí)別和分類等三部分。

初始化包括復(fù)位過程和清除過程。

矢量數(shù)據(jù)傳播包括矢量數(shù)據(jù)輸入過程和神經(jīng)元距離計(jì)算過程。神經(jīng)元距離就是輸入矢量和神經(jīng)元中存儲(chǔ)的原型之間的范數(shù)。通?？蛇xL1范數(shù)或Lsup范數(shù)：

其中，Xi為輸入矢量數(shù)據(jù)，Xs為存貯的原型數(shù)據(jù)。

對(duì)于識(shí)別和分類，ZISC78提供有兩種可選擇的學(xué)習(xí)算法RBF和KNN。其中RBF是典型的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。在該RBF模式下，可輸出識(shí)別、不確定或不認(rèn)識(shí)的狀態(tài)；KNN模式是RBF模式的限制形式，即在KNN模式下，新原型的影響域總被設(shè)為1，輸出的是輸入向量和存儲(chǔ)原型之間的距離。需要指出的是，ZISC78具有自動(dòng)增加或減小神經(jīng)元個(gè)數(shù)以適應(yīng)輸入信號(hào)的分類和識(shí)別功能，神經(jīng)元個(gè)數(shù)的最大值和最小值在全局寄存器組中設(shè)定。

2．5ZISC78的組網(wǎng)

一個(gè)ZISC78芯片內(nèi)可以通過寄存器操作定義若干個(gè)獨(dú)立的網(wǎng)絡(luò)。若干個(gè)ZISC78芯片通過層疊可以組成一個(gè)更大的神經(jīng)網(wǎng)絡(luò)，組網(wǎng)芯片數(shù)量沒有限制，小于10個(gè)ZISC78組網(wǎng)時(shí)，甚至連電源中繼器件也不需要。所以，ZISC78具有最大的靈活性，能夠滿足不同的需要。

3仿真實(shí)例

為了驗(yàn)證ZISC78用于船舶運(yùn)動(dòng)實(shí)時(shí)預(yù)報(bào)的精度，本文對(duì)徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)進(jìn)行了仿真，圖4給出了基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)和船舶運(yùn)動(dòng)慣導(dǎo)實(shí)測(cè)信號(hào)預(yù)報(bào)的0．3秒（15步）誤差曲線圖。

通過以慣導(dǎo)實(shí)測(cè)數(shù)據(jù)ZHX＿lg．dat為例預(yù)報(bào)0．3秒（15步）以后的船舶運(yùn)動(dòng)，作者運(yùn)用相空間重構(gòu)理論已經(jīng)判斷出本數(shù)據(jù)為非線性信號(hào)。

該仿真的最大預(yù)報(bào)誤差方差為6．4666e－004，該數(shù)據(jù)可以滿足戰(zhàn)技指標(biāo)。

第4篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

為降低神經(jīng)網(wǎng)絡(luò)的冗余連接及不必要的計(jì)算代價(jià)，將量子免疫克隆算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化過程，通過產(chǎn)生具有稀疏度的權(quán)值來優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。算法能夠有效刪除神經(jīng)網(wǎng)絡(luò)中的冗余連接和隱層節(jié)點(diǎn)，并同時(shí)提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率、函數(shù)逼近精度和泛化能力。該算法已應(yīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)。經(jīng)實(shí)際檢驗(yàn)，算法提高了目標(biāo)分類概率，降低了誤報(bào)率。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；量子免疫克隆算法；目標(biāo)分類；冗余連接；網(wǎng)絡(luò)優(yōu)化

中圖分類號(hào)： TP273

文獻(xiàn)標(biāo)志碼：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛地應(yīng)用于模式分類、函數(shù)逼近、信號(hào)預(yù)測(cè)等各種領(lǐng)域，是近年來的研究熱點(diǎn)之一[1-2]。在應(yīng)用過程中，研究人員發(fā)現(xiàn)，當(dāng)神經(jīng)網(wǎng)絡(luò)的規(guī)模過大會(huì)產(chǎn)生連接數(shù)量冗余大、計(jì)算代價(jià)過高的問題，降低了大規(guī)模神經(jīng)網(wǎng)絡(luò)的實(shí)用性。針對(duì)此問題，研究人員提出了多種方法在保持神經(jīng)網(wǎng)絡(luò)的前提下優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)權(quán)值。Leung等[3-4]改進(jìn)了傳統(tǒng)的遺傳算法（Genetic Algorithm， GA）并將其應(yīng)用于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值優(yōu)化過程，利用遺傳算法的快速收斂性來提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，其缺點(diǎn)在于當(dāng)目標(biāo)函數(shù)維數(shù)過大時(shí)容易陷入局部最優(yōu)。Xiao等[5]使用混合優(yōu)點(diǎn)（Hybrid Good Point， HGP）優(yōu)化前向神經(jīng)網(wǎng)絡(luò)的參數(shù)和結(jié)構(gòu)，避免權(quán)值陷入局部最優(yōu)，但其對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化沒有達(dá)到最優(yōu)。Shu等[6]提出正交模擬褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的優(yōu)點(diǎn)來同時(shí)優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，其算法收斂速度快、魯棒性好，缺點(diǎn)則在于計(jì)算代價(jià)較大。杜文莉等[7]提出了使用量子差分進(jìn)化（Cooperative Quantum Differential Evolution， CQGADE）算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值，使用量子遺傳算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和隱層節(jié)點(diǎn)數(shù)，算法綜合了量子遺傳算法和量子差分算法的優(yōu)點(diǎn)，收斂速度快，但其缺點(diǎn)在于需要同時(shí)協(xié)同兩種算法的優(yōu)化結(jié)果，算法復(fù)雜度較高，且容易陷入局部最優(yōu)。Tsai等[8]提出混合田口遺傳算法（Hybrid Taguchi Genetic Algorithm， HTGA），將傳統(tǒng)的GA與Taguchi方法結(jié)合起來，使得算法具有魯棒性好、收斂性快等優(yōu)點(diǎn)，但其缺點(diǎn)在于獲得最優(yōu)解的計(jì)算代價(jià)較大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也稱為量子遺傳算法（Quantum Genetic Algorithm， QGA），其將量子搜索機(jī)制和免疫算法克隆選擇原理相結(jié)合，利用量子編碼的疊加性和隨機(jī)性構(gòu)造抗體，利用遺傳算法的克隆操作產(chǎn)生原始種群和克隆子群實(shí)現(xiàn)種群擴(kuò)張，使搜索空間擴(kuò)大，提高了局部搜索能力；同時(shí)借助全干擾交叉操作避免陷入局部最優(yōu)。QICA采用了多狀態(tài)量子比特編碼方式和通用的量子旋轉(zhuǎn)門操作， 引入動(dòng)態(tài)調(diào)整旋轉(zhuǎn)角機(jī)制和量子交叉[11]。QICA在組合優(yōu)化問題中具有良好的表現(xiàn)。

針對(duì)上述問題，提出了使用量子克隆免疫算法對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接權(quán)值同時(shí)進(jìn)行優(yōu)化，通過產(chǎn)生具有一定稀疏度的連接權(quán)值對(duì)網(wǎng)絡(luò)隱層數(shù)量和連接權(quán)值進(jìn)行優(yōu)化，提高了算法的效率和收斂速度，避免了算法陷入局部最優(yōu)。

1 帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型

在經(jīng)典的神經(jīng)網(wǎng)絡(luò)理論中，網(wǎng)絡(luò)結(jié)構(gòu)在初始化后便不再變動(dòng)，僅通過權(quán)值的變化來計(jì)算產(chǎn)生結(jié)果，這種算法增加了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)復(fù)雜性，在實(shí)際應(yīng)用中增加了計(jì)算結(jié)果的代價(jià)。Leung等[3-4]提出了帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)，通過調(diào)整開關(guān)的通斷就能調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和連接數(shù)量，從而減少計(jì)算代價(jià)。帶開關(guān)權(quán)值的神經(jīng)網(wǎng)絡(luò)模型如圖1所示[7]。

2.2 權(quán)值計(jì)算及優(yōu)化方法

根據(jù)量子克隆免疫理論，將神經(jīng)網(wǎng)絡(luò)權(quán)值計(jì)算及優(yōu)化過程分為以下四個(gè)過程。

2.2.1 權(quán)值抗體初始化

量子克隆免疫算法是基于量子計(jì)算和遺傳算法組成的，其抗體的編碼方式采用量子比特編碼。一個(gè)抗體中的量子位的狀態(tài)是不確定的，可以為0或1，其狀態(tài)表示為式（5）：

3.1 算法復(fù)雜度分析

量子克隆免疫算法的實(shí)質(zhì)是通過量子理論的隨機(jī)特性提供豐富的種群數(shù)量，并通過使用遺傳算法對(duì)種群進(jìn)行淘汰和進(jìn)化，因此其算法的復(fù)雜度等于種群生成算法的復(fù)雜度：假設(shè)神經(jīng)網(wǎng)絡(luò)有x個(gè)輸入，其隱層節(jié)點(diǎn)數(shù)量為N，輸出為y，則網(wǎng)絡(luò)中的輸入與隱層節(jié)點(diǎn)間的連接權(quán)值ω的數(shù)量為：x*N，隱層節(jié)點(diǎn)與輸出層的連接權(quán)值v的數(shù)量為：N*y。種群生成需要對(duì)所有節(jié)點(diǎn)進(jìn)行權(quán)值初始化，并將隨機(jī)位置的n（nN）個(gè)節(jié)點(diǎn)的權(quán)值設(shè)置為0， 其算法復(fù)雜度為O（n2）。而克隆免疫算法在種群克隆及抗體選擇過程中使用遺傳算法，因此其算法的復(fù)雜度與傳統(tǒng)遺傳算法相同，其算法復(fù)雜度也為O（n2）。因此，使用量子免疫克隆的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法的復(fù)雜度為O（n2）。

3.2 非線性函數(shù)逼近

選取復(fù)雜交互非線性函數(shù)（Complicated Interaction Function，CIF）：

其中0

選取樣本700組，其中500組用于訓(xùn)練，其余200組用于檢測(cè)性能。神經(jīng)網(wǎng)絡(luò)的初始隱層神經(jīng)元設(shè)置為20個(gè)，初始網(wǎng)絡(luò)結(jié)構(gòu)為：2-20-1，初始連接權(quán)值為隨機(jī)值。在此條件下驗(yàn)證不同稀疏度條件下對(duì)CIF的二維逼近效果如圖3所示。

圖3顯示隨著稀疏度的不斷降低，神經(jīng)網(wǎng)絡(luò)的逼近能力有所減弱，逼近誤差則逐漸增大。這主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)中的連接權(quán)值數(shù)量降低，造成神經(jīng)網(wǎng)絡(luò)的適應(yīng)性差。具體逼近效果見表2。

從表2中可以看出，隱層節(jié)點(diǎn)數(shù)量直接影響著神經(jīng)網(wǎng)絡(luò)的性能。高稀疏度條件下的計(jì)算量大，但逼近精度高；低稀疏度條件下的計(jì)算量小，但逼近精度較差。實(shí)驗(yàn)表明當(dāng)稀疏度大于0.6時(shí)，算法的逼近精度高于90%，優(yōu)化后的網(wǎng)絡(luò)具有較好的非線性逼近能力。當(dāng)神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)數(shù)量低于12時(shí)逼近精度大幅下降，說明此時(shí)神經(jīng)網(wǎng)絡(luò)處理信息的能力也隨之大幅減弱，隱層節(jié)點(diǎn)的最合適的數(shù)量為12～14個(gè)，這也符合文獻(xiàn)[14]的實(shí)驗(yàn)結(jié)果。

圖4為不同稀疏度下，算法適應(yīng)度的收斂情況?？梢钥闯隽孔涌寺∶庖咚惴ň哂泻芎玫氖諗刻匦?，算法收斂速度很快，能夠在很短的進(jìn)化次數(shù)內(nèi)收斂至極值，且稀疏度越低，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值數(shù)量越少，算法收斂速度越低，最優(yōu)適應(yīng)度越差。

表3為相同條件下，不同算法的最優(yōu)計(jì)算結(jié)果，包括目標(biāo)分類的準(zhǔn)確度、隱藏層節(jié)點(diǎn)數(shù)量等?？梢钥闯?，當(dāng)稀疏度高于0.8時(shí)，本文算法收斂性和適應(yīng)度均優(yōu)于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）[16]、混合田口遺傳算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，說明算法具有很好的收斂速度、尋優(yōu)精度和魯棒性。

3.3 微地震信號(hào)目標(biāo)分類

實(shí)驗(yàn)場(chǎng)地選擇在秦始皇兵馬俑博物館內(nèi)K9901號(hào)坑旁。所有傳感器節(jié)點(diǎn)沿公路一側(cè)直線部署，距離公路1m左右?？赡墚a(chǎn)生地震波的活動(dòng)物體包括人員行走、機(jī)動(dòng)車和挖掘活動(dòng)。將采集到的微地震信號(hào)進(jìn)行濾波、分幀、特征提取等處理后輸入至神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別。

系統(tǒng)對(duì)傳感器采集到的數(shù)據(jù)進(jìn)行分幀，并使用功率譜二次分析[17]算法對(duì)其進(jìn)行處理，最后將經(jīng)過預(yù)處理的數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分類。根據(jù)其活動(dòng)特點(diǎn)，將輸出目標(biāo)分為三類：人員活動(dòng)、挖掘活動(dòng)以及機(jī)動(dòng)車輛活動(dòng)。傳感器采集到的三類活動(dòng)的經(jīng)典波形如圖5所示。

表6中給出了算法的最優(yōu)計(jì)算結(jié)果，包括不同稀疏度條件下神經(jīng)網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)數(shù)量、最優(yōu)適應(yīng)度以及分類準(zhǔn)確率等?？梢钥闯?，算法能夠有效減少冗余的隱藏層節(jié)點(diǎn)數(shù)量，并降低節(jié)點(diǎn)連接數(shù)量。算法的稀疏度越高，其適應(yīng)度越好，其分類的準(zhǔn)確性越好，但稀疏度高帶來的則是計(jì)算代價(jià)增大、計(jì)算復(fù)雜度增加。當(dāng)稀疏度低于0.7時(shí)，算法的適應(yīng)度變差，目標(biāo)的識(shí)別率為90%，在實(shí)際應(yīng)用過程中帶來了誤判率較高的問題，降低了實(shí)用性。因此在秦始皇帝陵博物院野外文物安防系統(tǒng)中使用了稀疏度為0.7的算法對(duì)模式識(shí)別的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

4 結(jié)語

本文提出了基于量子免疫克隆算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，該算法在訓(xùn)練神經(jīng)網(wǎng)絡(luò)優(yōu)化權(quán)值的同時(shí)刪除了冗余連接和多余的隱層節(jié)點(diǎn)，實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)權(quán)值的優(yōu)化。通過經(jīng)典非線性函數(shù)逼近和目標(biāo)識(shí)別檢驗(yàn)，算法能夠有效地優(yōu)化神經(jīng)網(wǎng)絡(luò)，提高神經(jīng)網(wǎng)絡(luò)的優(yōu)化效率，減少計(jì)算復(fù)雜度。使用優(yōu)化后的神經(jīng)網(wǎng)絡(luò)已經(jīng)用于秦始皇帝陵博物院野外文物安防系統(tǒng)中。

參考文獻(xiàn)：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（喬輝，周雁舟，邵楠，等.基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的軟件可靠性預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，鄧永紅，張全柱，等.小波神經(jīng)網(wǎng)絡(luò)模型的確定性預(yù)測(cè)及應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，趙亮，等. 基于量子差分進(jìn)化算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周傳華，錢峰.改進(jìn)量子遺傳算法及其應(yīng)用[J].計(jì)算機(jī)應(yīng)用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周綺，姜淑娟，趙雪峰，等.改進(jìn)的量子遺傳算法及其在測(cè)試數(shù)據(jù)生成中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韓紅桂，喬俊飛，薄迎春，等.基于信息強(qiáng)度的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)研究[J].自動(dòng)化學(xué)報(bào)， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（趙亮.基于協(xié)同PSO算法的模糊辨識(shí)與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)[D].上海：上海交通大學(xué)，2008.）

第5篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 硬盤播出系統(tǒng) 電平診斷 人工神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TN948.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416(2012)07-0070-04

Application And Implementation of Level Diagnosis In Hard Disk Broadcasting System Based on BP Neural Network

Zeng Qiwei

(Television Station of Nan’an District, Chongqing, 400060, China)

Abstract：In this paper the diagnosis classification problems for hard disk broadcasting system are solved using BP（Back Propagation）neural network on MATLAB condition. First, based on BP neural network, a fault diagnosis model is proposed. Second, the realization principle of level diagnosis is analyzed based on set structure. Finally, the method for solving the level diagnosis with BP neural network is investigated. In conclusion: not only the simulation effect is obviously for the solution of level diagnosis problems on MATLAB condition based on BP neural network, but also facilitates the engineering technology application.

Key Words：BP neural network hard disk broadcasting system; level diagnosis artificial neural network

硬盤播出系統(tǒng)是電視播出單位技術(shù)核心，其中又以電平值為重要的參數(shù)指標(biāo)。系統(tǒng)的信息處理能力關(guān)系著視音頻質(zhì)量的好壞，電平診斷方法是解決此問題的關(guān)鍵。電平診斷的目的是監(jiān)測(cè)系統(tǒng)各重要結(jié)點(diǎn)的輸入輸出電平值，以該值作為參考判斷故障結(jié)點(diǎn)環(huán)節(jié)。正是由于電平診斷的必要性，許多致力于電平診斷的方法應(yīng)運(yùn)而生。隨著計(jì)算智能的興起，出現(xiàn)了一些有著模擬計(jì)算、全局分布、并行處理等的新技術(shù)，基于聯(lián)結(jié)主義(connectionism)的人工神經(jīng)網(wǎng)絡(luò)就是這樣一種技術(shù)，它具有良好的自組織性和自適應(yīng)性，具備處理各類非線性系統(tǒng)的數(shù)值分析功能?；谌斯ど窠?jīng)網(wǎng)絡(luò)的電平診斷的核心是模式識(shí)別與分類，人工神經(jīng)網(wǎng)絡(luò)能根據(jù)自身結(jié)構(gòu)特性對(duì)電平值作分類處理，使其與參考故障類對(duì)比，從而得出診斷結(jié)果。BP神經(jīng)網(wǎng)絡(luò)是一種重要的人工神經(jīng)網(wǎng)絡(luò)模型，它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其權(quán)值的調(diào)整采用反向傳播的學(xué)習(xí)算法，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射，已被廣泛應(yīng)用在模式識(shí)別與分類領(lǐng)域。

1、BP神經(jīng)網(wǎng)絡(luò)的工作原理

1.1 BP神經(jīng)元特性

用表示第i個(gè)輸入信號(hào)，表示第i個(gè)輸入信號(hào)到神經(jīng)元之間的權(quán)值或簡(jiǎn)稱權(quán)。由生物神經(jīng)元在軸突上產(chǎn)生興奮或抑制脈沖響應(yīng)的特性使人工神經(jīng)元對(duì)輸入信號(hào)與權(quán)值進(jìn)行向量相乘，得出總該神經(jīng)元的網(wǎng)絡(luò)輸入：

1.2 激活函數(shù)的選擇

激活函數(shù)主要有線性函數(shù)、非線性斜面函數(shù)、閥值函數(shù)和Logistic函數(shù)等。由于電平診斷的結(jié)果是一組二進(jìn)制組合，所以，BP神經(jīng)網(wǎng)絡(luò)的隱藏層激活函數(shù)采用logistic函數(shù)，而輸出層激活函數(shù)采用線性函數(shù)。

Logistic函數(shù)的一種簡(jiǎn)單公式為：

線性函數(shù)為：

式中，a,b為常數(shù)。a代表放大指數(shù)，b代表偏移量。

1.3 實(shí)現(xiàn)電平診斷的BP神經(jīng)網(wǎng)絡(luò)模型與算法

1.3.1 BP神經(jīng)網(wǎng)絡(luò)模型

為實(shí)現(xiàn)電平值的輸入與期望輸出值的并行處理，BP神經(jīng)網(wǎng)絡(luò)采用層次結(jié)構(gòu)模型。該模型是兩層神經(jīng)網(wǎng)絡(luò)，其中一層為隱藏層，一層為輸出層（圖1）。

設(shè)輸入向量為：

經(jīng)過變換后的輸出向量為：

設(shè)該BP神經(jīng)網(wǎng)絡(luò)的期望輸出向量為Y，則輸入樣本集為{ (X,Y) | X為輸入向量，Y為X 對(duì)應(yīng)的期望輸出向量}

1.3.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)算法步驟如下：

(1)用不同的小偽隨機(jī)數(shù)初始化輸出層和隱藏層的權(quán)值；

(2)初始化精度控制參數(shù)ε，學(xué)習(xí)率α；

(3)循環(huán)控制參數(shù)E=ε+1；

循環(huán)最大次數(shù)M；

循環(huán)次數(shù)控制參數(shù)N=0；

(4)while E>ε and N

N=N+1;E=0;

第6篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：粒子群；神經(jīng)網(wǎng)絡(luò)；私家車保有量；權(quán)值和閾值

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2011)19-4676-03

Total Number of Private Cars Prediction Based on Entropy-based PSOBP Neural Network

YANG Hua, ZHOU Rui

(School of Computer Science and Technology, China University of Mining and Technology, Xuzhou 221116, China)

Abstract: In order to solve the existing problems such as the initial weights and threshold-sensitive, easily falling into local minima and slow convergence in the total number prediction of private cars by using BP neural network, this paper proposes the use of entropy-based particle swarm optimization algorithm BP neural network model. And we will use the model to predict the amount of private cars study and compare its results with the traditional BP algorithm and simulated annealing method. The results show that the new model is effective to prevent the network may fall into local minima and significantly improve the speed and accuracy of neural network model.

Key words: particle swarm; neural network; private car ownership; weights and threshold value; entropy; simulated annealing

據(jù)統(tǒng)計(jì)，截止到2008年底，我國的私家車量約為3501萬輛，占全國汽車保有量的60%以上。私家車數(shù)量的增多給我國帶來了環(huán)境污染和能源短缺等多種問題，私家車保有量的預(yù)測(cè)已經(jīng)成為當(dāng)下研究的一個(gè)重要問題。影響私家車保有量主要因素有：人均國內(nèi)生產(chǎn)總值，全社會(huì)消費(fèi)品零售總額，全社會(huì)固定資產(chǎn)投資總額， 運(yùn)營公交車輛數(shù)，公交營運(yùn)總數(shù)，公交車營運(yùn)總里程，道路總長(zhǎng)，居民人均可支配收入，居民儲(chǔ)蓄款余額，汽油(93號(hào))年均價(jià)等。不難看出，影響私家車保有量的因素較多，而且各影響因素隨年份的變化而變化，各因素與私家車保有量之間存在非線性關(guān)系。因此，該文以1996年到2008年的私家車保有量數(shù)據(jù)的基礎(chǔ)上，將利用基于熵值法的PSOBP神經(jīng)網(wǎng)絡(luò)算法對(duì)私家車保有量進(jìn)行預(yù)測(cè)，仿真結(jié)果證明該模型具有較好的效果。

1 背景概述

當(dāng)下，常用的預(yù)測(cè)的方法有[1]：時(shí)間序列法、相關(guān)分析法、回歸分析法、專家系統(tǒng)預(yù)測(cè)法等。相對(duì)傳統(tǒng)的預(yù)測(cè)方法，人工神經(jīng)網(wǎng)絡(luò)[2]因其具有大規(guī)模分布式處理、非線性、自組織、自學(xué)習(xí)、聯(lián)想記憶等優(yōu)良特性，是目前進(jìn)行預(yù)測(cè)的較為先進(jìn)的手段。但是,單純的神經(jīng)網(wǎng)絡(luò)有許多缺陷,如訓(xùn)練速度慢、易陷入局部極小點(diǎn)等。

粒子群優(yōu)化算法(Particle Swarm Optimization，PSO)最早于1995 年由Kenney與 Eberhart[3]提出，該算法源于對(duì)鳥群捕食的模擬逐漸演化而來的隨機(jī)化搜索方法。該算法利用種群中的個(gè)體對(duì)信息的共享，自適應(yīng)地調(diào)整搜索方向，具有局尋優(yōu)能力，且流程簡(jiǎn)單實(shí)現(xiàn)、無需復(fù)雜的調(diào)整。針對(duì)BP神經(jīng)網(wǎng)絡(luò)存在收斂速度慢和易陷入局部極小值等缺陷，該文利用PSO的上述特點(diǎn)，提出一種基于PSO的BP網(wǎng)絡(luò)預(yù)測(cè)方法。該方法的思想為：利用PSO訓(xùn)練BP網(wǎng)絡(luò)的權(quán)值和閾值，綜合BP神經(jīng)網(wǎng)絡(luò)可以在大量的數(shù)據(jù)中提取規(guī)律和PSO全局搜索的優(yōu)點(diǎn)對(duì)私家車保有量進(jìn)行預(yù)測(cè)。

2 模型的建立及計(jì)算過程

2.1 模型輸入變量的選取

該文使用的私家車保有量的數(shù)據(jù)為1996年到2008年的數(shù)據(jù)(數(shù)據(jù)均來自中國統(tǒng)計(jì)年鑒)。由于影響私家車保有量的因素很多，但其中的一些因素對(duì)于預(yù)測(cè)來說并不能起到關(guān)鍵的作用，所以該文先利用熵值法[4]來確定各個(gè)影響因素的權(quán)重，以確定主要的影響因素。

在信息論中，熵是對(duì)不確定性的一種度量。信息量越大，不確定性就越小，熵也就越??；信息量越小，不確定性越大，熵也越大。根據(jù)熵的特性，我們可以通過計(jì)算熵值來判斷一個(gè)事件的隨機(jī)性及無序程度，也可以用熵值來判斷某個(gè)指標(biāo)的離散程度，指標(biāo)的離散程度越大，該指標(biāo)對(duì)綜合評(píng)價(jià)的影響越大。

熵值法確定權(quán)重的步驟如下：

1) 按照公式1計(jì)算第j項(xiàng)指標(biāo)下第i年私人汽車保有量占該指標(biāo)的比重：

(1)

2) 第j項(xiàng)指標(biāo)的熵值可由公式2得出

(2)

3) 計(jì)算第j項(xiàng)指標(biāo)的差異系數(shù)。對(duì)于第j項(xiàng)指標(biāo)，指標(biāo)Xij的差異越大，對(duì)私人汽車保有量的作用也就越大，熵值就越小。以公式3來定義差異系數(shù)：

(3)

4) 按公式4求權(quán)重

(4)

于是可以得到各個(gè)指標(biāo)的權(quán)重，如表1所示。

從表1中可以得到影響私家車保有量的各因素的影響程度，以權(quán)重=0.1為臨界條件來選擇影響私人汽車保有量的主要因素為：居民儲(chǔ)蓄款余額、全社會(huì)消費(fèi)品零售總額、公交車營運(yùn)總里程、道路總長(zhǎng)。

2.2 PSO算法原理

在PSO算法中，優(yōu)化問題的每個(gè)解都是搜索空間中的 “粒子”，粒子的位置代表問題的潛在解，每個(gè)粒子都有一個(gè)適應(yīng)值和一個(gè)速度，其中適應(yīng)值決定被優(yōu)化函數(shù)，速度決定粒子運(yùn)動(dòng)的方向和距離。即算法初始化為一群隨機(jī)解，通過迭代尋優(yōu)來更新自己。更新的過程中需要跟蹤兩個(gè)極值，分別是粒子本身所找到的最優(yōu)解pbest和整個(gè)種群目前找到的最優(yōu)解gbest。粒子根據(jù)以公式(5)和(6)更新自己的速度和位置：

(5)

(6)

式中d=1,2, …,n; i=1,2, …,m，m，n為搜索空間維數(shù)，m為種群粒子數(shù)；t為當(dāng)前進(jìn)化代數(shù)，w為慣性權(quán)重，r1，r2 為分布于[0，1]之間的隨機(jī)數(shù)；c1，c2為粒子的加速常數(shù)，稱為學(xué)習(xí)因子。此外，為使粒子速度不致過大，可設(shè)定速度上限Vmax，即當(dāng)式5中Vid>Vmax時(shí)，取Vid=Vmax，當(dāng)Vid

2.3 PSOBP模型的核心思想

研究表明對(duì)BP模型的初始權(quán)閾值先采用一定的策略進(jìn)行優(yōu)化，然后再采用BP算法進(jìn)行二次優(yōu)化確定最終權(quán)閾值可以提高模型的運(yùn)行效率[5]。因此，該文將粒子群優(yōu)化算法與BP算法融合，利用粒子群算法尋找模型的初始權(quán)值與閾值，然后再采用改進(jìn)的算法得到模型最終的權(quán)值與閾值，并利用此值進(jìn)行預(yù)測(cè)。這樣構(gòu)造的模型可以克服單純BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)穩(wěn)定性差、可靠性低與易陷入局部極小等缺點(diǎn)。

2.4 參數(shù)選擇及計(jì)算

PSO-BP算法模型對(duì)汽車保有量進(jìn)行預(yù)測(cè)的步驟如下：

1) 確定粒子群規(guī)模，即粒子的個(gè)數(shù)m和維度n。粒子個(gè)數(shù)m=30。設(shè)模型結(jié)構(gòu)為 M-N-1，其中，M為輸入結(jié)點(diǎn)數(shù)，N為隱層結(jié)點(diǎn)數(shù)，1為輸出結(jié)點(diǎn)數(shù)。

2) 設(shè)置慣性權(quán)重w的值。慣性權(quán)重的值比較重要，它會(huì)影響到粒子的全局搜索和局部搜索的能力。該文采用線性遞減權(quán)值策略[6]，如式(7)所示，它能使w由wini隨迭代次數(shù)線性遞減到wend。

W(t)=(wini-wend) ×(Tmax-t)/Tmax+wend (7)

式中，Tmax―最大進(jìn)化代數(shù)，t―當(dāng)前進(jìn)化代數(shù)。wini―初始慣性的權(quán)值，wend―迭代至最大代數(shù)時(shí)的慣性的權(quán)值。其中wini =0.7，wend =0.3，Tmax =250。

3) 設(shè)置學(xué)習(xí)因子c1與c2的值。c1和c2分別代表將每個(gè)粒子推向pbest和gbest位置的統(tǒng)計(jì)加速項(xiàng)的權(quán)重，它們可以用來調(diào)整粒子自身經(jīng)驗(yàn)和社會(huì)群體經(jīng)驗(yàn)。 c1和c2是固定常數(shù)，該文中取c1= c2= 2。

4) 確定適應(yīng)度函數(shù)。該文選擇的粒子適應(yīng)度函數(shù)為：

(8)

式中：N―訓(xùn)練的樣本數(shù)，y(ireal)―第i個(gè)樣本的期望值，yi―第i個(gè)樣本輸出值。算法迭代停止時(shí)適應(yīng)度最低的粒子對(duì)應(yīng)的位置為問題所求的最優(yōu)解。

5) 初始化速度與位置。BP神經(jīng)網(wǎng)絡(luò)的權(quán)值與閾值一般初始化為[-1,1]之間的隨機(jī)值， 故可將粒子群中每個(gè)粒子位置的參數(shù)取為[-1,1]之間的隨機(jī)值。

6) 計(jì)算適應(yīng)度。根據(jù)公式(8)計(jì)算適應(yīng)度。

7) 更新極值與速度。將種群當(dāng)前的個(gè)體適應(yīng)度值與迭代前的個(gè)體適應(yīng)度值相比較， 若當(dāng)前值更優(yōu)，則替代迭代前的值，并保存當(dāng)前位置為pbest，否則不做改變。同樣，對(duì)于gbest來說，若當(dāng)前適應(yīng)度值比歷史全局最優(yōu)適應(yīng)度值更優(yōu)，則當(dāng)前適應(yīng)度值為最優(yōu)，并保存當(dāng)前位置為gbest。對(duì)于粒子的速度可以根據(jù)pbest與gbest的值，利用公式9[7]進(jìn)行速度更新，其中r3是[0,1]之間的隨機(jī)數(shù)。

(9)

8) 更新解。根據(jù)步驟7得到的極值與速度調(diào)整BP神經(jīng)網(wǎng)絡(luò)的權(quán)值與閾值即可對(duì)解進(jìn)行更新。

此時(shí)，若訓(xùn)練誤差達(dá)到期望誤差(取為0.001)或迭代次數(shù)達(dá)到最大(250代)且滿足相應(yīng)的條件，則得到的對(duì)應(yīng)值即為最優(yōu)解，否則，返回步驟7繼續(xù)迭代。將最優(yōu)解代入BP神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行二次訓(xùn)練，形成改進(jìn)的私家車保有量預(yù)測(cè)模型。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)來源及預(yù)處理

根據(jù)上述的熵值法分析后，BP神經(jīng)網(wǎng)絡(luò)的4個(gè)輸入變量分別為：居民儲(chǔ)蓄款余額、全社會(huì)消費(fèi)品零售總額、公交車營運(yùn)總里程、道路總長(zhǎng)。將原始數(shù)據(jù)利用式10進(jìn)行歸一化[8]：

(10)

得到如表2的歸一化后的10組樣本數(shù)據(jù)。

3.2 預(yù)測(cè)結(jié)果的分析

將表2中的10組數(shù)據(jù)作為學(xué)習(xí)樣本來訓(xùn)練網(wǎng)絡(luò)，輸出為私家車的保有量。該預(yù)測(cè)算法采用單隱層BP神經(jīng)網(wǎng)絡(luò)。輸入樣本為4維向量，因此可確定輸入層有4個(gè)神經(jīng)元。輸出數(shù)據(jù)只有一個(gè)，所以輸出層只有1個(gè)神經(jīng)元。經(jīng)過多次試驗(yàn)，得到隱含層節(jié)點(diǎn)數(shù)為9個(gè)。即神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為4-9-1。

通過使用Matlab神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行預(yù)測(cè)[9]，將PSOBP算法和傳統(tǒng)BP算法以及模擬退火方法做比較,該文的基于熵值法的粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)的運(yùn)行時(shí)間為27.785s，訓(xùn)練次數(shù)、時(shí)間較之于傳統(tǒng)BP算法和模擬退火法有所減少(見表3) 。圖1的結(jié)果也表明PSOBP算法的預(yù)測(cè)精度優(yōu)于傳統(tǒng)的BP算法和模擬退火法。除此之外還將PSO-BP算法和傳統(tǒng)BP算法以及模擬退火方法三種算法對(duì)于2005-2008年的私家車保有量預(yù)測(cè)值繪制成表(表4)，相對(duì)誤差和平均誤差數(shù)據(jù)清晰可見。由此可知，粒子群算法與BP算法相合是十分有效的算法，其在一定程度上提升了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度，且準(zhǔn)確度明顯高于模擬退火法和傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)算法。

4 結(jié)論

該文提出了一種基于熵值法的利用PSO優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法并應(yīng)用于私家車保有量的預(yù)測(cè)當(dāng)中。實(shí)驗(yàn)測(cè)試結(jié)果表明新的預(yù)測(cè)方法對(duì)于私家車保有量的預(yù)測(cè)有更好的效果，對(duì)建立其他相關(guān)問題的預(yù)測(cè)模型有一定的參考價(jià)值。

參考文獻(xiàn)：

[1] 楊居義.基于BP神經(jīng)網(wǎng)絡(luò)的地震預(yù)測(cè)研究[J].微電子學(xué)與計(jì)算機(jī),2008,25(10):129-133.

[2] 羅曉曙.人工神經(jīng)網(wǎng)絡(luò)理論[M].桂林:廣西師范大學(xué)出版社,2005:31-32.

[3] Eberhart R C, Kennedy J. A new optimizer using particles swarm theory[C]. //Proceeding of the Sixth International Symposium on Micro Machine and Human Science. Nagoya, Japan: IEEE Service Center, Piscataway, 1995: 39-43.

[4] 邱菀華.管理決策與應(yīng)用熵學(xué).[M].北京.機(jī)械工業(yè)出版社,2002:276-282

[5] 岳琳,張宏偉,王亮.粒子群優(yōu)化算法在城市需水量預(yù)測(cè)中的應(yīng)用[J].天津大學(xué)學(xué)報(bào),2007,40(6):742-746.

[6] Shi Y H, Eberhart R C. A Modified Particle Swarm Optimizer[C].In: IEEE International conference of Evolutionary Computation, Anchorage, Alaska, 1998: 69-73.

[7] 曹紅珍,胡亮.具有隨機(jī)附加項(xiàng)的PSO改進(jìn)算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2007,28(5):2245-2247.

[8] 周開利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其 MATLAB仿真程序設(shè)計(jì)[M].北京:清華大學(xué)出版社,2005.

第7篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

BP神經(jīng)網(wǎng)絡(luò)基于誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡(luò)。其中BP網(wǎng)絡(luò)是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。網(wǎng)絡(luò)隱節(jié)點(diǎn)過多會(huì)導(dǎo)致算法存在過擬合現(xiàn)象，影響了網(wǎng)絡(luò)的泛化能力，使得網(wǎng)絡(luò)最終失去實(shí)用價(jià)值。在滿足精度的要求下，逼近函數(shù)的階數(shù)越少越好，低階逼近可以有效防止"過擬合"現(xiàn)象。在實(shí)際應(yīng)用中，還沒有成熟的方法確定網(wǎng)絡(luò)的隱節(jié)點(diǎn)，隱節(jié)點(diǎn)的確定基本上依賴經(jīng)驗(yàn)，主要式采用遞增或遞減的試探方法來確定網(wǎng)絡(luò)隱節(jié)點(diǎn)[1]。

2 遺傳算法

遺傳算法是自然淘汰、遺傳選擇的生物進(jìn)化過程的計(jì)算模型，它是基于自然遺傳、選擇變異等生物機(jī)制的全局概率搜索算法。其應(yīng)用優(yōu)勢(shì)在于處理傳統(tǒng)搜索方法難于解決的復(fù)雜和非線性問題，包含問題編碼、初始化群。

3 基于遺傳算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法（GA-BP）

遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的思路：改變BP算法依賴梯度信息來調(diào)整網(wǎng)絡(luò)權(quán)值的方法，利用遺傳算法全局性搜索的特點(diǎn)，尋找最佳網(wǎng)絡(luò)連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)，遺傳算法在進(jìn)化過程中能以較大概率搜索到全局最優(yōu)解存在的區(qū)域，在遺傳算法搜索到最優(yōu)解附近之后，再采用訓(xùn)練樣本優(yōu)選最好的網(wǎng)絡(luò)連接權(quán)系數(shù)及網(wǎng)絡(luò)結(jié)構(gòu)。

遺傳-神經(jīng)網(wǎng)絡(luò)模型：

GA-BP算法的步驟：

3.2遺傳算法是以目標(biāo)函數(shù)最大值為適應(yīng)度函數(shù)，函數(shù)為：

3.3基本解空間編碼 遺傳算法優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)需對(duì)隱含層編碼。編碼的碼串由控制碼和權(quán)重系數(shù)碼組成。控制碼控制隱節(jié)點(diǎn)個(gè)數(shù)，由0-1組成的串，其中0表示無連接，1表示有連接。權(quán)重系數(shù)用浮點(diǎn)數(shù)編碼。按一定的順序組成一個(gè)長(zhǎng)串，每個(gè)串對(duì)應(yīng)一組解。

3.4初始群體由P個(gè)個(gè)體組成，每個(gè)個(gè)體由兩個(gè)部分組成，第1部分是串長(zhǎng)為l1 的0-1串；第2部分是區(qū)間[umin-δ1，umax+δ2 上的l2個(gè)均勻分布隨機(jī)數(shù)。

3.5由控制碼得到網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)，由權(quán)重系數(shù)碼可以知道網(wǎng)絡(luò)的連接權(quán)值，輸入用于訓(xùn)練樣本，按照式（2）計(jì)算個(gè)體適應(yīng)度。

3.6保留群體中適應(yīng)度最高的個(gè)體，不參與交叉和變異運(yùn)算，直接將其復(fù)制到下一代。 對(duì)其它個(gè)體，按歸一化適應(yīng)度大小為概率進(jìn)行選擇，進(jìn)行遺傳操作。當(dāng)某個(gè)神經(jīng)元被變異運(yùn)算刪除時(shí)，相應(yīng)的有關(guān)權(quán)重系數(shù)編碼被置為0，而當(dāng)變異運(yùn)算增加某個(gè)神經(jīng)元時(shí)，則隨機(jī)初始化有關(guān)權(quán)重系數(shù)編碼。以Pc的概率對(duì)選擇后的個(gè)體的Wij神經(jīng)元權(quán)值進(jìn)行交叉算子如下：

3.7將新個(gè)體放到種群P中，沒有交叉、變異操作的個(gè)體直接生成新一代群體。反復(fù)4～8，每次群體就進(jìn)化一代，連續(xù)進(jìn)化到K代。把最終個(gè)體解碼得到相應(yīng)解，ANN誤差平方和不合要求εGA則轉(zhuǎn)4，繼續(xù)遺傳操作，反復(fù)進(jìn)行如果N次依然不能達(dá)到要求則訓(xùn)練失敗。以GA遺傳出的優(yōu)化初值作為初始權(quán)值，BP算法繼續(xù)訓(xùn)練網(wǎng)絡(luò)，直到給定精度εBP（εBP<εGA）或迭代次數(shù)，最終個(gè)體解碼即得到網(wǎng)絡(luò)連接權(quán)及隱節(jié)點(diǎn)數(shù)。

4 遺傳算法的神經(jīng)網(wǎng)絡(luò)對(duì)心電圖的自動(dòng)識(shí)別

心電圖在診斷心血管疾病等臨床醫(yī)學(xué)領(lǐng)域得到了大量應(yīng)用，近年來，基于心電圖的穩(wěn)定性和唯一性，易于采集，不能復(fù)制和仿造等優(yōu)勢(shì)，其在身份識(shí)別領(lǐng)域也具有廣泛的應(yīng)用前景。

將測(cè)量電極放置在心臟或人體表面的一定部位，用心電圖機(jī)記錄出來的心臟電變化的連續(xù)曲線，即為心電圖。將立體的P、QRS、T環(huán)經(jīng)過投影到額面、水平面和右側(cè)面上，臨床上用心向量圖表示；此即空間心電向量環(huán)的第一次投影。將額面心向量環(huán)的每一點(diǎn)依次再投影到各肢體導(dǎo)聯(lián)軸上，可記錄出各肢體導(dǎo)聯(lián)的心電圖；橫面心向量環(huán)在各胸導(dǎo)聯(lián)軸上的投影，可描記出各胸導(dǎo)聯(lián)的心電圖。此即心向量環(huán)的第二次投影。

4.1波形數(shù)據(jù)預(yù)處理 ①首先對(duì)心電信號(hào)進(jìn)行高頻濾波處理。由于數(shù)據(jù)是通過FRANK導(dǎo)聯(lián)七電極采集的，所以心電信號(hào)必然夾雜有電極的50Hz交流干擾、肌電干擾等。需要對(duì)心電信號(hào)進(jìn)行50Hz高頻濾波處理，以去除工頻和肌電干擾，可以采用多點(diǎn)平均值法進(jìn)行濾波；②其次需要對(duì)心電圖作基線漂移處理。心電信號(hào)的漂移主要有放大器零點(diǎn)漂移和呼吸交流漂移。放大器零點(diǎn)漂移體現(xiàn)在基線偏離原點(diǎn)上下移動(dòng)，交流漂移表面為基線傾斜。

4.2波形識(shí)別 由于心電向量圖是由各面心電圖的各波起止點(diǎn)間的所有點(diǎn)組成的，所以繪制向量圖前必須先將心電圖的各波的起止點(diǎn)確定下來，這就是波形識(shí)別。主要是對(duì)選擇的典型波形，識(shí)別出P波、QRS波、T波等各波段的特征點(diǎn)即峰點(diǎn)、起止點(diǎn)等。

4.3 QRS波群識(shí)別 QRS波群識(shí)別方法目前主要有閉值法、輪廓限制法、面積法、數(shù)字濾波法和傾斜法，該系統(tǒng)采用閉值法。這種方法通過對(duì)正交三導(dǎo)聯(lián)同時(shí)記錄的X、Y、Z心電信號(hào)進(jìn)行空間向量模的運(yùn)算，計(jì)算其空間向量長(zhǎng)度，以最大空間向量長(zhǎng)度作為閉值K，以K作為識(shí)別QRS波的依據(jù)。然后在K值前后一定時(shí)間內(nèi)（30～80ms），對(duì)各點(diǎn)心電向量模值進(jìn)行測(cè)量。如果連續(xù)若干點(diǎn)的模值相同，K前相同模值的第一個(gè)起點(diǎn)作為X、Y、Z三導(dǎo)聯(lián)公共起點(diǎn)和K后最遠(yuǎn)點(diǎn)作為公共終點(diǎn)。再根據(jù)公共起點(diǎn)、終點(diǎn)范圍、檢測(cè)X、Y、Z導(dǎo)聯(lián)中的QRS波的峰點(diǎn)和谷點(diǎn)的時(shí)間和幅度。

4.4 T波檢測(cè) T波比QRS波小，識(shí)別方法與QRS波有所不同。T波的識(shí)別方法在識(shí)別QRS波群基礎(chǔ)上，規(guī)定在K值后一定時(shí)間（100ms）左右，尋找空間向量的最大值做為T波闡值Ko.以Ko值做為識(shí)別T波的依據(jù)。T波檢測(cè)也用面積增量法，可直接或間接檢測(cè)出T波峰值，T波始、終點(diǎn)及寬度。S-T段上升與下降程度采用傳統(tǒng)的J+X法判別標(biāo)準(zhǔn)，J+X法中的J點(diǎn)是S點(diǎn)之后的第一個(gè)拐點(diǎn)，ST段被確定在J+X ms的心電信號(hào)部分，X的典型值為80ms，一般認(rèn)為X在20～120ms范圍中。ST段水平根據(jù)基線可以計(jì)算出其絕對(duì)值，或可表示為相對(duì)于R波峰值的歸一化值。

4.5 P波檢測(cè) P波的識(shí)別方法與T波類似，只是搜 尋區(qū)間和聞值規(guī)定不同。P波檢測(cè)是房室傳導(dǎo)阻滯，P-R間隔檢測(cè)的主要參數(shù)。但其幅度過小，實(shí)時(shí)檢測(cè)十分困難。因此目前采用的方法主要是面積增量法。

4.6心電圖的識(shí)別 本文收集了房室傳導(dǎo)阻滯、S-T段下降、S-T段抬高、T波低平、T波倒置、正常竇律、正常七類心電圖。提取其診斷特征值，將其輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，識(shí)別正確率可達(dá)到96%[5-10]。

5 結(jié)束語

心電圖的識(shí)別分析，是一項(xiàng)籠瑣而又細(xì)致的工作。心電圖自動(dòng)診斷可以將醫(yī)務(wù)人員從煩瑣的圖形識(shí)別中解脫出來，提高工作效率。本文采用遺傳算法優(yōu)化三層BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)和網(wǎng)絡(luò)結(jié)構(gòu)克服BP神經(jīng)網(wǎng)絡(luò)的瓶頸，有效提高神經(jīng)網(wǎng)絡(luò)泛化性能，并將其應(yīng)用于心電圖自動(dòng)識(shí)別，得到了較高的識(shí)別率。

第8篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

關(guān)鍵詞：人臉朝向識(shí)別 學(xué)習(xí)向量量化 神經(jīng)網(wǎng)絡(luò) 特征向量提取

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）05-0000-00

Abstract： Aiming at the low accuracy disadvantage of traditional facial orientation recognition algorithm， the paper employs the recognition method based on the Learning Vector Quantization neural network. By means of extracting the feature vector of eyes positions in the face images and studying the different facial image samples， the paper optimizes the weighting parameters of the LVQ neural network， which achieves good recognition result. The simulation results indicates that the facial orientation recognition based on the learning vector quantization neural network is feasible and effective， and the correct recognition rate can reach more than 95%. Besides， the paper ultimately proofs the accuracy and the validity of the learning vector quantization neural network is better than the Back-Propagation neural network.

Key Words： Facial orientation recognition， Learning vector quantization， Neural network，F(xiàn)eature vector extraction

人臉識(shí)別作為一個(gè)復(fù)雜的模式識(shí)別問題，是生物特征識(shí)別領(lǐng)域最困難的研究課題之一，其目的是從圖像中剔除背景、提取人臉區(qū)域。人臉識(shí)別系統(tǒng)主要包括圖像數(shù)據(jù)庫采集、人臉圖像預(yù)處理、人臉特征建模及識(shí)別匹配。計(jì)算機(jī)技術(shù)的告訴發(fā)展使人臉圖像在人機(jī)交互中發(fā)揮著越來越重要的作用，由于實(shí)際應(yīng)用中，人臉外形的不穩(wěn)定性以及光照條件的多樣性使人臉視覺圖像在位置、朝向以及旋轉(zhuǎn)角度等方面產(chǎn)生巨大的差異，因此對(duì)人臉進(jìn)行準(zhǔn)確識(shí)別變得異常困難。

學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)是一種用于訓(xùn)練競(jìng)爭(zhēng)層的有監(jiān)督學(xué)習(xí)方法的輸入前向神經(jīng)網(wǎng)絡(luò)，其算法是從Kohonen競(jìng)爭(zhēng)算法演化而來的[1]。與其他模式識(shí)別和映射方法相比，它的優(yōu)勢(shì)在于網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，并且不需要對(duì)輸入向量進(jìn)行歸一化、正交化處理，只通過計(jì)算輸入向量與競(jìng)爭(zhēng)層之間的距離，從而完成復(fù)雜的分類處理[2]。當(dāng)人臉朝向與旋轉(zhuǎn)角度不同時(shí)，眼睛局部特征與人臉圖像的幾何關(guān)系有較強(qiáng)的可區(qū)分性，因此提取人眼位置信息的特征向量并獲得有助于人臉朝向分類的特征數(shù)據(jù)，將該特征信息作為L(zhǎng)VQ神經(jīng)網(wǎng)絡(luò)的輸入，可實(shí)現(xiàn)對(duì)任意給出的人臉圖像進(jìn)行朝向的識(shí)別，通過仿真可證明該方法的有效性。

1學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)是在競(jìng)爭(zhēng)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上提出的，是自組織（SOFM）神經(jīng)網(wǎng)絡(luò)的一種有監(jiān)督形式的擴(kuò)展。在網(wǎng)絡(luò)學(xué)習(xí)過程中加入教師信號(hào)作為分類信息對(duì)權(quán)值進(jìn)行微調(diào)，并對(duì)輸出神經(jīng)元預(yù)先指定類別，LVQ神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了二者有效的結(jié)合，能夠更好發(fā)揮競(jìng)爭(zhēng)學(xué)習(xí)與有監(jiān)督學(xué)習(xí)的優(yōu)點(diǎn)。

1.1 LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與工作原理

廣義學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)由三層神經(jīng)元組成，即輸入層、隱藏的競(jìng)爭(zhēng)層和線性輸出層[3]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。輸入層與競(jìng)爭(zhēng)層之間采用全連接方式，競(jìng)爭(zhēng)層與輸出層之間采用部分連接方式[4]。競(jìng)爭(zhēng)層神經(jīng)元個(gè)數(shù)通常取輸出層神經(jīng)元個(gè)數(shù)的整數(shù)倍，每個(gè)競(jìng)爭(zhēng)層神經(jīng)元有且只有一個(gè)輸出層神經(jīng)元與之相連接且連接權(quán)值固定為1，而每個(gè)線性輸出層神經(jīng)元可以與多個(gè)競(jìng)爭(zhēng)層神經(jīng)元相連接[5]。在學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，當(dāng)某個(gè)輸入模式被送入網(wǎng)絡(luò)時(shí)，競(jìng)爭(zhēng)層的神經(jīng)元通過競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則產(chǎn)生獲勝神經(jīng)元，獲勝神經(jīng)元調(diào)整權(quán)值的結(jié)果是使權(quán)值進(jìn)一步向當(dāng)前的輸入向量靠近。當(dāng)下次出現(xiàn)相似的輸入模式時(shí)，獲勝神經(jīng)元更容易得到修改權(quán)值的機(jī)會(huì)。在反復(fù)的競(jìng)爭(zhēng)學(xué)習(xí)中，競(jìng)爭(zhēng)層的各神經(jīng)元對(duì)應(yīng)的權(quán)值逐步被調(diào)整為輸入樣本空間的聚類中心[6]。該神經(jīng)元被激活后輸出狀態(tài)為“1”，而其他競(jìng)爭(zhēng)層神經(jīng)元的狀態(tài)均為“0”。因此，與被激活神經(jīng)元相連的線性輸出層神經(jīng)元狀態(tài)為“1”。其余輸出層神經(jīng)元狀態(tài)為“0”，從而實(shí)現(xiàn)模式分類與識(shí)別。

LVQ各層的數(shù)學(xué)描述如下：設(shè)神經(jīng)網(wǎng)絡(luò)輸入向量，其中為輸入層神經(jīng)元個(gè)數(shù)；競(jìng)爭(zhēng)層輸出，表達(dá)式為；輸出層實(shí)際輸出為，表達(dá)式為，網(wǎng)絡(luò)期望輸出為。輸入層與競(jìng)爭(zhēng)層之間的權(quán)系數(shù)矩陣，其中列向量為競(jìng)爭(zhēng)層第個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量；同理可得，競(jìng)爭(zhēng)層與輸出層之間的權(quán)系數(shù)矩陣為，其中列向量為競(jìng)輸出層第個(gè)神經(jīng)元對(duì)應(yīng)的權(quán)值向量。

1.2 LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

向量量化是利用輸入向量的固有機(jī)構(gòu)進(jìn)行數(shù)據(jù)壓縮的技術(shù)，學(xué)習(xí)向量量化是在向量量化基礎(chǔ)上將輸入向量分類的監(jiān)督學(xué)習(xí)方法[7]。LVQ網(wǎng)絡(luò)在訓(xùn)練前指定好線性輸出層的神經(jīng)元類別，在學(xué)習(xí)訓(xùn)練過程中不再改變競(jìng)爭(zhēng)層與輸出層之間的權(quán)系數(shù)矩陣，而是通過改變進(jìn)行學(xué)習(xí)。該算法實(shí)質(zhì)是根據(jù)訓(xùn)練樣本的特征進(jìn)行“獎(jiǎng)勵(lì)與懲罰”的一種迭代學(xué)習(xí)算法，即對(duì)分類正確的樣本，“獎(jiǎng)勵(lì)”與其距離最近的權(quán)值點(diǎn)。經(jīng)過若干次訓(xùn)練后，得到的權(quán)值不再變化，說明網(wǎng)絡(luò)達(dá)到收斂狀態(tài)[8]。而競(jìng)爭(zhēng)層神經(jīng)元的數(shù)目輸入待分類的模式樣本測(cè)試，根據(jù)最近鄰法則得到輸入樣本模式的類別屬性。

LVQ1具體算法步驟為：

（1） 初始化輸入層與競(jìng)爭(zhēng)層間的權(quán)值，確定初始學(xué)習(xí)速率與訓(xùn)練次數(shù)；

（2）將輸入向量輸入網(wǎng)絡(luò)，計(jì)算競(jìng)爭(zhēng)層神經(jīng)元與輸入向量的距離并尋找獲勝神經(jīng)元：

（3）根據(jù)分類是否正確調(diào)整獲勝神經(jīng)元的權(quán)值：當(dāng)網(wǎng)絡(luò)分類結(jié)果與教師信號(hào)一致時(shí)，向輸入樣本方向調(diào)整權(quán)值；反之，其他非獲勝神經(jīng)元的權(quán)值保持不變。

算法直接利用最小歐式距離選擇與輸入向量最接近的矢量，因此不需要對(duì)權(quán)值向量和輸入向量進(jìn)行歸一化處理。

在上述LVQ學(xué)習(xí)算法中，有且只有一個(gè)神經(jīng)元獲勝并得到更新調(diào)整權(quán)值的機(jī)會(huì)。為了改善分類效果，Kohonen對(duì)該算法進(jìn)行了改進(jìn)，并命名為L(zhǎng)VQ2算法[9]。改進(jìn)算法基于光滑的移動(dòng)決策邊界逼近貝葉斯極限，其特點(diǎn)是引入“次獲勝”神經(jīng)元，使得“獲勝”神經(jīng)元與“次獲勝”神經(jīng)元的權(quán)值向量都被更新[10]。

LVQ2具體計(jì)算步驟如下：

（1）初始化參數(shù)、計(jì)算競(jìng)爭(zhēng)層神經(jīng)元與輸入向量距離同LVQ1算法；

（2）選擇與輸入向量距離最小的兩個(gè)競(jìng)爭(zhēng)層神經(jīng)元；

（3）若神經(jīng)元對(duì)應(yīng)于不同類別且與當(dāng)前輸入向量的距離滿足，其中為輸入向量可能落進(jìn)的接近于兩個(gè)向量中段平面的窗口寬度，經(jīng)驗(yàn)值為左右，那么若神經(jīng)元對(duì)應(yīng)的類別=輸入向量類別，則，若神經(jīng)元對(duì)應(yīng)的類別=輸入向量類別，則。

（4）若神經(jīng)元不滿足上述條件，則按照LVQ1步驟（3）中進(jìn)行更新即可。

2基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的人臉朝向識(shí)別方法

2.1輸入向量與目標(biāo)向量的設(shè)計(jì)

觀察大量人臉圖像容易察覺，當(dāng)人臉圖像旋轉(zhuǎn)角不一樣時(shí)，眼睛局部特征在圖像中的位置差異明顯，因此僅需提取描述眼睛局部位置信息的特征向量并作為L(zhǎng)VQ神經(jīng)網(wǎng)絡(luò)的輸入，分別用數(shù)字1，2，3，4，5表示五個(gè)朝向左方、左前方、前方、右前方、右方，并作為神經(jīng)網(wǎng)絡(luò)的輸出。搜集10人共50幅不同朝向的人臉圖像，隨機(jī)選取其中30幅圖像作為訓(xùn)練集，剩余20幅作為測(cè)試集，因此目標(biāo)向量為305的向量，其中每列只有一個(gè)“1”，其余均為“0”。

2.2人臉特征向量的提取

如上文所述，文中將420420的圖像劃分為6行8列，人物雙眼的局部特征信息通過第二行的8個(gè)子矩陣描述，在利用Sobel算子對(duì)圖像進(jìn)行邊緣檢測(cè)后第二行8個(gè)子矩陣中值為“1”的像素點(diǎn)個(gè)數(shù)可較為準(zhǔn)確的表示人臉朝向。

2.3 LVQ神經(jīng)網(wǎng)絡(luò)的創(chuàng)建與訓(xùn)練

LVQ網(wǎng)絡(luò)設(shè)計(jì)的關(guān)鍵因素包括訓(xùn)練樣本是否具有普遍性與代表性，訓(xùn)練樣本容量能否滿足需要，競(jìng)爭(zhēng)層神經(jīng)元數(shù)量、初始權(quán)值等網(wǎng)絡(luò)參數(shù)取值是否得到優(yōu)化。根據(jù)特征向量與訓(xùn)練圖像數(shù)量可知輸入和輸出節(jié)點(diǎn)分別為30和5，競(jìng)爭(zhēng)層神經(jīng)元的個(gè)數(shù)通常取決于輸入輸出關(guān)系的復(fù)雜性。為防止因競(jìng)爭(zhēng)層神經(jīng)元數(shù)過多產(chǎn)生“死”神經(jīng)元，競(jìng)爭(zhēng)層節(jié)點(diǎn)數(shù)經(jīng)驗(yàn)值為線性輸出層節(jié)點(diǎn)數(shù)的24倍，本文選取15作為競(jìng)爭(zhēng)層節(jié)點(diǎn)數(shù)；其次是選擇合適的學(xué)習(xí)率，為保證算法的收斂性與穩(wěn)定性，學(xué)習(xí)率取恒定值或隨時(shí)間單調(diào)減小，通常取。本文期望誤差取值0.001，學(xué)習(xí)函數(shù)用LVQ1，最大訓(xùn)練步數(shù)設(shè)為100，初始化參數(shù)后對(duì)LVQ神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練算法達(dá)到預(yù)先指定的誤差容限后停止。訓(xùn)練過程曲線如圖2所示，由圖可知網(wǎng)絡(luò)收斂性較好，滿足誤差要求。

3實(shí)驗(yàn)結(jié)果與分析

3.1網(wǎng)絡(luò)測(cè)試識(shí)別率與訓(xùn)練次數(shù)、學(xué)習(xí)算法關(guān)系

將測(cè)試的20幅不同朝向的人臉圖像輸入網(wǎng)絡(luò)，網(wǎng)絡(luò)識(shí)別率如表1所示。由表1結(jié)果可知，LVQ神經(jīng)網(wǎng)絡(luò)識(shí)別人臉朝向可行且有效，總體上取得了較好的識(shí)別結(jié)果。從訓(xùn)練次數(shù)分析，在一定范圍內(nèi)訓(xùn)練次數(shù)的增加會(huì)提高分類識(shí)別正確率，所需訓(xùn)練時(shí)間也會(huì)增加，識(shí)別錯(cuò)誤主要因?yàn)闃颖緮?shù)據(jù)較為復(fù)雜。當(dāng)訓(xùn)練集較少時(shí)識(shí)別率會(huì)相對(duì)較低，因此在防止出現(xiàn)過擬合的同時(shí)應(yīng)盡量增加訓(xùn)練集的樣本數(shù)目，可有效改善網(wǎng)絡(luò)識(shí)別結(jié)果。

從算法角度分析，結(jié)果顯示LVQ2算法雖然是對(duì)LVQ1算法的改進(jìn)但同時(shí)引入了新的誤差，因此識(shí)別結(jié)果較差；同時(shí)LVQ1算法運(yùn)用簡(jiǎn)單，識(shí)別率較高，具體應(yīng)用時(shí)應(yīng)開發(fā)更好的優(yōu)化學(xué)習(xí)算法，綜合考慮性能指標(biāo)作折衷處理。

3.2 LVQ神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)識(shí)別效果對(duì)比

由于BP神經(jīng)網(wǎng)絡(luò)的輸出為非二值數(shù)據(jù)，因此采用四舍五入方法：若網(wǎng)絡(luò)輸出小于0.5則認(rèn)為是0，反之為1；并提前利用三位二進(jìn)制數(shù)編碼對(duì)五個(gè)朝向進(jìn)行表述，如表2所示。

設(shè)置訓(xùn)練次數(shù)為100次，BP神經(jīng)網(wǎng)絡(luò)仿真結(jié)果識(shí)別率僅為85%，并出現(xiàn)錯(cuò)誤預(yù)測(cè)值 [0；0；0]，該狀態(tài)不屬于表2中任何一種，從結(jié)果判斷不出圖像中人臉朝向，而LVQ神經(jīng)網(wǎng)絡(luò)不僅可以很好的規(guī)避這一缺點(diǎn)，同時(shí)算法識(shí)別準(zhǔn)確率明顯較高。

4結(jié)語

本文提出了一種基于學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)的人臉朝向識(shí)別方法，該方法第一步提取人臉圖像中雙眼的局部位置特征向量，并將提取的向量送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練測(cè)試實(shí)現(xiàn)人臉朝向的準(zhǔn)確識(shí)別，然后通過仿真實(shí)驗(yàn)證明利用LVQ神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉朝向識(shí)別方法的有效性，該方法能夠發(fā)揮競(jìng)爭(zhēng)學(xué)習(xí)和有監(jiān)督學(xué)者的優(yōu)點(diǎn)，且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，有效提高了識(shí)別率。

參考文獻(xiàn)

[1] 秦愷，曹龍漢 等.基于LVQ神經(jīng)網(wǎng)絡(luò)集成的柴油機(jī)氣門故障診斷[J].UPS應(yīng)用，2014：47-50.

[2] 董妍慧.基于LVQ神經(jīng)網(wǎng)絡(luò)模型的企業(yè)財(cái)務(wù)危機(jī)預(yù)警[J].大連海事大學(xué)學(xué)報(bào)，2008，7（1）：92-94.

[3] 胡波，王文娟.基于向量量化網(wǎng)絡(luò)的煤礦瓦斯監(jiān)控系統(tǒng)改造[J].電力學(xué)報(bào)，2010，25（2）：162-164

[4] 朱玉斌，李華聰.基于LVQ網(wǎng)絡(luò)的航空發(fā)動(dòng)機(jī)氣路故障特征提取方法研究[J].測(cè)控技術(shù)，2014，33（6）：24-27.

[5] 律方成，張波.LVQ神經(jīng)網(wǎng)絡(luò)在GIS局部放電類型識(shí)別中的應(yīng)用[J].電測(cè)與儀表，2014，51（18）：112-115.

[6] 戴金輝.基于混合神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)技術(shù)的研究[D].東北大學(xué)碩士論文，2010：37-39.

[7] 程劍鋒，徐俊艷.學(xué)習(xí)矢量量化的推廣及其典型形式的比較[J].計(jì)算機(jī)工程與應(yīng)用，2006（17）：64-66.

[8] 李琳，張永祥.學(xué)習(xí)向量量化（LVQ）神經(jīng)網(wǎng)絡(luò)在周期信號(hào)識(shí)別方面的擴(kuò)展應(yīng)用[J].機(jī)械設(shè)計(jì)與制造，2006，6：120-122.

第9篇：神經(jīng)網(wǎng)絡(luò)初始化方法范文

>> 基于人工神經(jīng)網(wǎng)絡(luò)過閘流量模型在南水北調(diào)中線工程的應(yīng)用 基于人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化配置研究 基于BP神經(jīng)網(wǎng)絡(luò)的彩色溫度軟測(cè)量 基于小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)研究 基于改進(jìn)小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)研究 基于混沌神經(jīng)網(wǎng)絡(luò)的區(qū)域物流量預(yù)測(cè) 基于BP神經(jīng)網(wǎng)絡(luò)的鐵路客流量預(yù)測(cè)研究 基于人工神經(jīng)網(wǎng)絡(luò)的煤炭需求預(yù)測(cè) 基于人工神經(jīng)網(wǎng)絡(luò)的PPI預(yù)測(cè)模型 基于人工神經(jīng)網(wǎng)絡(luò)的自適應(yīng)距離保護(hù) 基于人工神經(jīng)網(wǎng)絡(luò)的故障診斷 基于人工神經(jīng)網(wǎng)絡(luò)的化工安全評(píng)價(jià) 基于人工神經(jīng)網(wǎng)絡(luò)的人口預(yù)測(cè) 基于人工神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別 基于人工神經(jīng)網(wǎng)絡(luò)的車牌識(shí)別探究 基于人工神經(jīng)網(wǎng)絡(luò)的信息處理 基于人工神經(jīng)網(wǎng)絡(luò)的巨大兒預(yù)測(cè)的研究 基于BP人工神經(jīng)網(wǎng)絡(luò)的土壤含水量預(yù)測(cè)模型的研究 基于BP人工神經(jīng)網(wǎng)絡(luò)的知識(shí)管理戰(zhàn)略選擇研究 基于人工神經(jīng)網(wǎng)絡(luò)的水泵故障診斷技術(shù)研究 常見問題解答 當(dāng)前所在位置：

關(guān)鍵詞：BP網(wǎng)絡(luò)；軟測(cè)量；過閘流量；MATLAB神經(jīng)網(wǎng)絡(luò)工具箱

DOI： 10.3969/j.issn.1005-5517.2013.10.011

引言

通過閘門的水流量是一個(gè)非常重要的參數(shù)。只有獲得準(zhǔn)確的流量值，才能實(shí)現(xiàn)對(duì)水資源的優(yōu)化配置。目前對(duì)于過閘水流量的測(cè)量已形成了幾種方法：流速儀法、水力學(xué)公式法以及曲線法[1，2]。其中，被廣泛運(yùn)用與現(xiàn)場(chǎng)測(cè)流中的方法是流速儀法，它也是流量測(cè)量中最重要的方法。流速儀法是通過實(shí)測(cè)斷面上的流速和水道斷面積來確定流量的方法。測(cè)量時(shí)先在斷面上布設(shè)測(cè)速垂線和測(cè)速點(diǎn)，再將流速儀放到測(cè)速點(diǎn)處測(cè)速，用分割法計(jì)算斷面面積，推算出流量。雖然這種測(cè)流方法是目前的主導(dǎo)方法，但卻存在著一些天生的缺陷：一是很難確定合適的測(cè)速垂線及測(cè)點(diǎn)，這是由于河道斷面形狀的不規(guī)則以及流速場(chǎng)分布情況復(fù)雜等原因造成的；二是實(shí)時(shí)性不高，測(cè)量時(shí)間比較長(zhǎng)，從而導(dǎo)致管理部門不能及時(shí)了解過閘流量，耽誤啟閉閘門的最佳時(shí)機(jī)；三是需要的硬件資源比較多，因此大大增加了測(cè)流成本。鑒于此，研究一種新型的即簡(jiǎn)單、操作方便實(shí)時(shí)性又高，并且精度滿足要求的測(cè)流方法已成為目前的迫切需求。而本文采用的BP網(wǎng)絡(luò)軟測(cè)量技術(shù)正好解決了以上諸多問題。

BP神經(jīng)網(wǎng)絡(luò)軟測(cè)量模型

隱含層神經(jīng)元數(shù)的確定

隱含層神經(jīng)元數(shù)的選擇在理論上并沒有一個(gè)明確的規(guī)定。因此，選擇合適的神經(jīng)元數(shù)就顯得十分麻煩。如果神經(jīng)元太少，則網(wǎng)絡(luò)不能很好地學(xué)習(xí)，需要的訓(xùn)練次數(shù)也多，訓(xùn)練的精度也不高。反而言之，如果隱含層神經(jīng)元數(shù)選的太多，雖然功能會(huì)越大，但是循環(huán)次數(shù)也就是訓(xùn)練時(shí)間也會(huì)隨之增加。另外可能還會(huì)出現(xiàn)其他的問題，如導(dǎo)致不協(xié)調(diào)的擬合。一般的選擇原則是：在能夠解決問題的前提下，再加上一到兩個(gè)神經(jīng)元以加快誤差的下降速度即可[7]。

這里，我們通過對(duì)不同神經(jīng)元數(shù)進(jìn)行訓(xùn)練對(duì)比，以及通過簡(jiǎn)單的交叉驗(yàn)證法確定隱含層的神經(jīng)元數(shù)為15個(gè)?；贐P網(wǎng)絡(luò)的過閘流量軟測(cè)量模型如圖1所示。

數(shù)據(jù)樣本的選取及處理

所用的人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測(cè)試集樣本來源于碧口水電廠右泄工作門2001年水文歷史數(shù)據(jù)。從中選取典型的60組數(shù)據(jù)，其中前40組作為訓(xùn)練樣本，后20組作為測(cè)試樣本。限于篇幅只列出部分?jǐn)?shù)據(jù)，如表1所示。

由于輸入樣本各參數(shù)的集中取值范圍不同，參數(shù)大小不一，為了使各類參數(shù)所起的作用大致相同，必須對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，把輸入數(shù)據(jù)都規(guī)一到[0，1]閉區(qū)域內(nèi)[8]。因此，我們對(duì)表1的數(shù)據(jù)做如下處理：H*G=HG/10；H*UP=HUP/1000；Q*=Q/Qmax。

運(yùn)用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練與測(cè)試

在運(yùn)用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，要注意兩方面問題。一是初始權(quán)值的選擇，再個(gè)就是學(xué)習(xí)速率的選取。

由于系統(tǒng)是非線性的，初始值對(duì)于學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長(zhǎng)短的關(guān)系很大。一般選取初始權(quán)值為（-1，1）之間的隨機(jī)數(shù)。在MATLAB工具箱中可采用函數(shù)initnw.m初始化隱含層權(quán)值。學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量。若學(xué)習(xí)速率過大可能導(dǎo)致系統(tǒng)的不穩(wěn)定；但學(xué)習(xí)速率過小會(huì)導(dǎo)致訓(xùn)練時(shí)間較長(zhǎng)，收斂速度很慢，不過能保證網(wǎng)絡(luò)的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下，傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性。學(xué)習(xí)速率的選取范圍在0.01到0.8之間。綜合考慮一下，本系統(tǒng)選取學(xué)習(xí)速率為0.1。BP網(wǎng)絡(luò)訓(xùn)練程序如下所示[9]：

%定義輸入向量和目標(biāo)向量

P=[0.5 0.6 0.8 ？？；0.7082 0.7081 0.7079 ？？]；

T=[0.3744 0.4533 0.3735 0.648？？]；

%創(chuàng)建BP網(wǎng)絡(luò)和定義訓(xùn)練函數(shù)及參數(shù)

net=newcf（ minmax（P），[15，1]，{‘lo gsig’，‘purelin’}，‘traingd’）；

net=initnw（net，1）；

net.trainParam.epochs=5000；

net.trainParam.lr=0.1；

net.trainParam.goal=0.00001；

%訓(xùn)練神經(jīng)網(wǎng)絡(luò)

[net，tr]=train（net，P，T）；

待網(wǎng)絡(luò)訓(xùn)練好后，利用選定的20組測(cè)試樣本對(duì)其進(jìn)行測(cè)試，以測(cè)量其泛化能力。測(cè)試結(jié)果如圖2和圖3所示。

圖2為真實(shí)流量值與通過BP網(wǎng)絡(luò)軟測(cè)量模型的預(yù)測(cè)值之間的擬合曲線，方框代表預(yù)測(cè)值，圓點(diǎn)代表真實(shí)值。