神經(jīng)網(wǎng)絡(luò)的前向傳播精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的前向傳播主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)技術(shù)，ANNBP網(wǎng)絡(luò)算法

 

1、人工神經(jīng)網(wǎng)絡(luò)概述

人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)信息處理方法的新型計(jì)算機(jī)系統(tǒng)，它可以模擬人腦的一些基本特征，（如自適應(yīng)性，自組織性和容錯(cuò)性），是一個(gè)并行、分布處理結(jié)構(gòu),它由處理單元及其稱為聯(lián)接的無(wú)向信號(hào)通道互連而成。

人工神經(jīng)網(wǎng)絡(luò)力圖模仿生物神經(jīng)系統(tǒng)，通過(guò)接受外部輸入的刺激，不斷獲得并積累知識(shí)，進(jìn)而具有一定的判斷預(yù)測(cè)能力。盡管神經(jīng)網(wǎng)絡(luò)模型的種類很多，但基本模式都是由大量簡(jiǎn)單的計(jì)算單元（又稱為節(jié)點(diǎn)或神經(jīng)元）廣泛相互連接而構(gòu)成的一種并行分布處理網(wǎng)絡(luò)。?；谏窠?jīng)信息傳輸?shù)脑?，各個(gè)節(jié)點(diǎn)通過(guò)可變的權(quán)值彼此相連接，每個(gè)節(jié)點(diǎn)對(duì)N個(gè)加權(quán)的輸入求和，當(dāng)求和值超過(guò)某個(gè)閾值時(shí)，節(jié)點(diǎn)呈“興奮”狀態(tài)，有信號(hào)輸出。節(jié)點(diǎn)的特征由其閾值、非線性函數(shù)的類型所決定，而整個(gè)神經(jīng)網(wǎng)絡(luò)則由網(wǎng)絡(luò)拓?fù)?、?jié)點(diǎn)特征以及對(duì)其進(jìn)行訓(xùn)練所使用的規(guī)則所決定。

2、多層前向網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)按拓?fù)浣Y(jié)構(gòu)分為前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。前饋型網(wǎng)絡(luò)在結(jié)構(gòu)上采用的是其信息只能從前一層到它下面一層的單元，在網(wǎng)絡(luò)運(yùn)算過(guò)程中不存在任何反饋。從學(xué)習(xí)觀點(diǎn)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單,易于編程；從系統(tǒng)觀點(diǎn)看，前饋網(wǎng)絡(luò)是非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力，因此具有較強(qiáng)的分類能力和模式識(shí)別能力。

反向傳播（BP）網(wǎng)絡(luò)是典型的前饋型網(wǎng)絡(luò)，結(jié)構(gòu)上它屬于多層前向網(wǎng)絡(luò),它的結(jié)構(gòu)如圖1所示。它分為輸入層、隱含層和輸出層，層與層之間多采用全互連方式，同一層之間不存在相互連接。網(wǎng)絡(luò)中每一層權(quán)值都可通過(guò)學(xué)習(xí)來(lái)調(diào)節(jié),且網(wǎng)絡(luò)的基本處理單元（輸入單元除外）為非線性輸入、輸出關(guān)系，處理單元的輸入、輸出值可連續(xù)變化。由于BP網(wǎng)絡(luò)可在多個(gè)連續(xù)的輸入和一個(gè)或多個(gè)連續(xù)的輸出之間建立非線性映射這一特性，它常被用于智能預(yù)測(cè)。

多層前向網(wǎng)絡(luò)是使用最廣泛的一種網(wǎng)絡(luò)結(jié)構(gòu)，它可很好的解決XOR等經(jīng)典的非線性問(wèn)題，比起單層的感知器有很大的優(yōu)越性，尤其80年代中期，Rumelhart和Mcclelland最先提出了多層前饋網(wǎng)絡(luò)的反向傳播學(xué)習(xí)算法，簡(jiǎn)稱BP算法，它的效率很高，是目前應(yīng)用最為普遍的訓(xùn)練算法，這使得多層前饋網(wǎng)絡(luò)應(yīng)用更加廣泛。應(yīng)該指出，我們常說(shuō)的BP網(wǎng)絡(luò)，嚴(yán)格說(shuō)是基于BP算法的多層前向網(wǎng)絡(luò)。

圖 1 BP網(wǎng)絡(luò)結(jié)構(gòu)圖

4、 BP網(wǎng)絡(luò)算法

BP網(wǎng)絡(luò)算法的思想是把一組樣本的I/O問(wèn)題變?yōu)橐粋€(gè)非線性優(yōu)化問(wèn)題，使用了優(yōu)化中最普通的梯度下降法,用迭代運(yùn)算求解權(quán)對(duì)應(yīng)于學(xué)習(xí)記憶問(wèn)題，加入隱含層節(jié)點(diǎn)使優(yōu)化問(wèn)題的可調(diào)參數(shù)增加，從而可得到更精確的解。BP網(wǎng)絡(luò)模型設(shè)計(jì)的最大特點(diǎn)是網(wǎng)絡(luò)權(quán)值是通過(guò)使用網(wǎng)絡(luò)模型輸出值與已知的樣本值之間的誤差平方和達(dá)到期望值而不斷調(diào)整出來(lái)的，并且確定BP神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型時(shí)涉及隱含層節(jié)點(diǎn)數(shù)、轉(zhuǎn)移函數(shù)、學(xué)習(xí)參數(shù)和網(wǎng)絡(luò)模型的最后選定等問(wèn)題。下面簡(jiǎn)單介紹一下基本BP算法相關(guān)數(shù)學(xué)描述：

(1)梯度下降算法

(2)S(Sigmoid)型函數(shù)

BP網(wǎng)絡(luò)的激活函數(shù)經(jīng)常使用的是Sigmoid對(duì)數(shù)或正切激活函數(shù)和線性函數(shù)。對(duì)數(shù)S型函數(shù) f(x)=1/(1+exp(-x)), Sigmoid 函數(shù)具有非線性放大功能，它可以把輸入從負(fù)無(wú)窮大到正無(wú)窮大的信號(hào)，變換成-1到1之間的輸出，對(duì)較大的輸入信號(hào)，放大系數(shù)較小，而較小的輸入，放大系數(shù)較大，所以采用S型激活函數(shù)可以去逼近非線性的輸入/輸出關(guān)系。

(3)BP算法

BP網(wǎng)絡(luò)學(xué)習(xí)是典型的有導(dǎo)師學(xué)習(xí)，其學(xué)習(xí)算法是對(duì)簡(jiǎn)單的學(xué)習(xí)規(guī)則的推廣和發(fā)展。BP網(wǎng)絡(luò)實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想，其學(xué)習(xí)過(guò)程包括正向傳播和反向傳播兩部分。。

在正向傳播過(guò)程中，給定網(wǎng)絡(luò)的一個(gè)輸入模式時(shí)，輸入信息從輸入層經(jīng)過(guò)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，由輸出層單元產(chǎn)生一個(gè)輸出模式，這是一個(gè)逐層狀態(tài)更新過(guò)程，稱為前向傳播。。如果輸出響應(yīng)與期望輸出的模式誤差值不滿足要求，那么就轉(zhuǎn)入誤差反向傳播，將誤差值沿連接通路逐層傳送并修正各層連接權(quán)值。對(duì)于給定的一組樣本，不斷用一個(gè)個(gè)訓(xùn)練模式進(jìn)行學(xué)習(xí)，重復(fù)前向傳播和誤差反向傳播過(guò)程，當(dāng)各個(gè)訓(xùn)練模式都滿足要求時(shí)，BP網(wǎng)絡(luò)訓(xùn)練完畢。

其中的激發(fā)函數(shù)我們采用S型函數(shù)， 即f(x)=1/(1+exp(-x))。BP算法描述如下：

（2）提供訓(xùn)練樣本：輸入矢量Xk ,k=1,2,..n 和期望輸出tk, k=1,2,…,m；對(duì)每個(gè)輸入樣本進(jìn)行（3）到（5）的迭代。

（3）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出okj 。

（4）分別計(jì)算輸出層和隱含層的訓(xùn)練誤差

其中(4-2)為輸出層的誤差值, (4-3)為隱含層的誤差值。

（5）修正權(quán)值和閾值

（6）判斷實(shí)際誤差指標(biāo)是否滿足規(guī)定誤差的要求,滿足則到(7)。

（7）結(jié)束 。

BP算法是人工神經(jīng)網(wǎng)絡(luò)中最為重要的網(wǎng)絡(luò)之一, 也是迄今為止應(yīng)用最為廣泛的網(wǎng)絡(luò)算法, 實(shí)踐證明這種基于誤差反傳遞算法可以解決許多實(shí)際問(wèn)題, 但其算法自身也存在著局部極小點(diǎn)、算法的收斂速度慢等缺陷，需要我們?cè)诮窈蟮难芯恐胁粩嗤晟聘倪M(jìn)。

第2篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：logistic回歸 BP神經(jīng)網(wǎng)絡(luò) 上市公司 信用風(fēng)險(xiǎn)

在經(jīng)濟(jì)全球化的趨勢(shì)下，信用將成為主要的交易方式，金融危機(jī)的爆發(fā)更是顯示出信用風(fēng)險(xiǎn)管理和信用風(fēng)險(xiǎn)分類的重要性。從20世紀(jì)60年代至70年代的統(tǒng)計(jì)學(xué)方法，20世紀(jì)80年代的專家系統(tǒng)到90年代的神經(jīng)網(wǎng)絡(luò)，各種信用風(fēng)險(xiǎn)評(píng)級(jí)方法層出不窮。在我國(guó)，信用風(fēng)險(xiǎn)的度量和管理較為落后，金融機(jī)構(gòu)沒(méi)有完善有效的評(píng)級(jí)方法和體系，目前所應(yīng)用的方法主要是粗略的定性方法，如綜合利用宏觀經(jīng)濟(jì)與行業(yè)風(fēng)險(xiǎn)、所有權(quán)及治理結(jié)構(gòu)、信用風(fēng)險(xiǎn)及其管理、市場(chǎng)風(fēng)險(xiǎn)及其管理、資金來(lái)源/流動(dòng)性、盈利能力等進(jìn)行“加權(quán)”加分，信用風(fēng)險(xiǎn)的度量模式顯得比較單一，所以對(duì)于信用風(fēng)險(xiǎn)分類方法是學(xué)術(shù)界和實(shí)務(wù)界必須解決的課題之一。

一、文獻(xiàn)綜述

（一）國(guó)外文獻(xiàn)Logistic模型最早是由Martin （1977）用來(lái)預(yù)測(cè)公司的破產(chǎn)及違約概率。他從1970年至1977年間大約5700家美聯(lián)儲(chǔ)成員銀行中界定出58家困境銀行，并從25個(gè)財(cái)務(wù)指標(biāo)中選取總資產(chǎn)凈利潤(rùn)率等8 個(gè)財(cái)務(wù)比率，用來(lái)預(yù)測(cè)公司的破產(chǎn)及違約概率，建立了Logistic回歸模型，根據(jù)銀行、投資者的風(fēng)險(xiǎn)偏好設(shè)定風(fēng)險(xiǎn)警界線，以此對(duì)分析對(duì)象進(jìn)行風(fēng)險(xiǎn)定位和決策。同時(shí)還將Z-Score模型，ZETA模型和Logistic模型的預(yù)測(cè)能力進(jìn)行了比較，結(jié)果發(fā)現(xiàn)Logistic回歸模型優(yōu)于Z- Score模型和ZETA模型。Madalla （1983） 則采用Logistic模型區(qū)別違約與非違約貸款申請(qǐng)人，其研究結(jié)果表明，當(dāng)違約概率p>0.551時(shí)是風(fēng)險(xiǎn)貸款；當(dāng)p

（二）國(guó)內(nèi)文獻(xiàn) 在國(guó)內(nèi)的研究文獻(xiàn)中，齊治平（2002）從我國(guó)滬、深兩交易所選取164 家上市公司，然后隨機(jī)分成兩組，運(yùn)用線性判別模型、Logistic 回歸模型以及含有二次項(xiàng)和交叉項(xiàng)的Logistic 模型對(duì)數(shù)據(jù)樣本提前兩年進(jìn)行預(yù)測(cè)。結(jié)果發(fā)現(xiàn)，含有二次項(xiàng)和交叉項(xiàng)的Logistic模型對(duì)前一年數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率最高。吳世農(nóng)（2003）使用剖面分析、單變量分析、線性概率模型（LPM）、Fisher二類線性判定、Logistic模型等統(tǒng)計(jì)方法對(duì)財(cái)務(wù)困境公司進(jìn)行預(yù)測(cè)研究，其中Logistic模型對(duì)前一年數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率達(dá)到93.53%，F(xiàn)isher判別分析法和LPM的準(zhǔn)確率都為89.93%。龐素琳（2003）利用多層感知器分別對(duì)我國(guó)2000年106家上市公司進(jìn)行信用評(píng)級(jí)，信用評(píng)價(jià)準(zhǔn)確率高達(dá)98.11%。本文即是從上市公司的財(cái)務(wù)指標(biāo)入手，通過(guò)logistic回歸分析和BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建衡量企業(yè)信用狀況的模型，并通過(guò)實(shí)證研究考察模型的適用性，對(duì)比兩者信用風(fēng)險(xiǎn)分類的準(zhǔn)確度。

二、研究設(shè)計(jì)

（一）樣本選取和數(shù)據(jù)來(lái)源本研究選取滬深兩市A股市場(chǎng)上2005年至2007年三年中部分被進(jìn)行特別處理的118家ST公司和126家非ST公司，數(shù)據(jù)主要來(lái)源于CSMAR深圳國(guó)泰安信息技術(shù)有限公司提供的財(cái)務(wù)指標(biāo)數(shù)據(jù)，將118家ST公司的財(cái)務(wù)數(shù)據(jù)和126家非ST公司的財(cái)務(wù)數(shù)據(jù)劃分為訓(xùn)練樣本和測(cè)試樣本。樣本集選取如（表1）所示。

（二）變量選取本文采取的財(cái)務(wù)數(shù)據(jù)在參考了已有文獻(xiàn)以及考慮到實(shí)際數(shù)據(jù)可得性的基礎(chǔ)上，選取了能夠反映短期還款能力，長(zhǎng)期還款能力，盈利能力和營(yíng)運(yùn)能力4方面共12個(gè)財(cái)務(wù)指標(biāo)。指標(biāo)變量名稱及自變量符號(hào)具體見表。因變量為0-1變量，信用級(jí)別高的設(shè)置為1，信用級(jí)別低的設(shè)置為0。在做logistic回歸的時(shí)候會(huì)進(jìn)一步運(yùn)用向后篩選法剔除方差貢獻(xiàn)率不大的指標(biāo)變量。具體如（表2）所示。

（三）模型設(shè)定

（1）Logistic回歸模型：

（2）多層次前向神經(jīng)網(wǎng)絡(luò)。本文所應(yīng)用的是一種稱為前向網(wǎng)絡(luò)的特殊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。本研究應(yīng)用Rumehhart于1986年提出的如下函數(shù)：Ii=wijxj+?準(zhǔn)，xi=fi=其中，Ii為神經(jīng)元i的層輸入，xi為神經(jīng)元的輸出，wij為神經(jīng)元間的連接權(quán)，?準(zhǔn)為神經(jīng)元i的偏置。每一條連接弧都被賦予一定的數(shù)值來(lái)表示連接弧的連接強(qiáng)度，正的權(quán)值表示影響的增加，負(fù)的權(quán)值表示影響的減弱。在前向網(wǎng)絡(luò)中，神經(jīng)元間前向連接，同層神經(jīng)元互不連接，信息只能向著一個(gè)方向傳播。前向網(wǎng)絡(luò)的連接模式是用權(quán)值向量W來(lái)表示的。在網(wǎng)絡(luò)中，權(quán)值向量決定著網(wǎng)絡(luò)如何對(duì)環(huán)境中的任意輸入作出反應(yīng)典型的學(xué)習(xí)算法是搜索權(quán)值以找到最適合給定樣本的權(quán)值。在本研究中應(yīng)用的是多層前向網(wǎng)絡(luò)的BP算法，其主要作用是知識(shí)獲取和推理，采用有導(dǎo)師學(xué)習(xí)的訓(xùn)練形式，提供輸入矢量集的同時(shí)提供輸出矢量集，通過(guò)反向傳播學(xué)習(xí)算法，調(diào)整網(wǎng)絡(luò)的連接權(quán)值，以使網(wǎng)絡(luò)輸出在最小均方差意義下，盡量向期望輸出接近，通過(guò)修改各層神經(jīng)元的連接權(quán)值，使誤差減小，然后轉(zhuǎn)入正向傳播過(guò)程，反復(fù)循環(huán)，直至誤差小于給定的值為止。本文建立的BP神經(jīng)網(wǎng)絡(luò)圖（見圖1）。本文建立財(cái)務(wù)困境神經(jīng)網(wǎng)絡(luò)預(yù)警模型主要考慮以下兩方面的問(wèn)題：一是確定網(wǎng)絡(luò)結(jié)構(gòu)；二是學(xué)習(xí)參數(shù)的調(diào)整。首先考慮網(wǎng)絡(luò)結(jié)構(gòu)的確定。網(wǎng)絡(luò)結(jié)構(gòu)主要包括連接方式、網(wǎng)絡(luò)層次數(shù)和各層結(jié)點(diǎn)數(shù)。網(wǎng)絡(luò)的連接方式代表了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，Lippmann（1987）證明在一定條件下，一個(gè)三層的BP神經(jīng)網(wǎng)絡(luò)可以用任意精度去逼近任意映射關(guān)系，而且經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，與一個(gè)隱層相比，用兩個(gè)隱層的網(wǎng)絡(luò)訓(xùn)練并無(wú)助于提高預(yù)測(cè)的準(zhǔn)確。因此在本研究中采用單隱層的BP網(wǎng)絡(luò)。各隱含層節(jié)點(diǎn)數(shù)的選擇并無(wú)確定的法則，只能結(jié)合實(shí)驗(yàn)并根據(jù)一些經(jīng)驗(yàn)法則：隱層節(jié)點(diǎn)數(shù)不能是各層中節(jié)點(diǎn)數(shù)最少的，也不是最多的；較好的隱層節(jié)點(diǎn)數(shù)介于輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)數(shù)之和的50%~75%之間；隱層節(jié)點(diǎn)數(shù)的理論上限由其訓(xùn)練樣本數(shù)據(jù)所限定。

三、實(shí)證結(jié)果分析

（一）logistic模型的參數(shù)估計(jì)及結(jié)果常規(guī)的線性判別模型計(jì)算得到的Z值只是個(gè)抽象的概念，無(wú)法從經(jīng)濟(jì)學(xué)上進(jìn)行解釋，Logistic回歸分析解決了這個(gè)問(wèn)題，其前提假設(shè)符合經(jīng)濟(jì)現(xiàn)實(shí)和金融數(shù)據(jù)的分布規(guī)律，殘差項(xiàng)小要求服從止態(tài)分布。本文運(yùn)用SPSS自帶的Wald向后逐步選擇法篩選變量，提高模型的判別性能，從全變量模型開始，逐步提出對(duì)殘差平方和貢獻(xiàn)最小的變量，具體的回歸結(jié)果見（表2）。以2005年為例，根據(jù)SPSS計(jì)算結(jié)果中的參數(shù)表，估計(jì)Logistics模型的判別方程，（表3）反映了最大似然迭代記錄（顯示最后的迭代過(guò)程），（表4）反映了參數(shù)估計(jì)結(jié)果。步驟9是經(jīng)過(guò)9步變量篩選后最后保留在模型中的變量。從各個(gè)系數(shù)的Wald值及伴隨概率p來(lái)看，最終選定的5個(gè)指標(biāo)變量具有最高的解釋能力。綜上，2005年公司分類的logistic模型為：p=。從（表5）步驟1及步驟9的分類結(jié)果看出，剔除不顯著變量之后，分類準(zhǔn)確率并未大幅下降，可以認(rèn)為最終的模型能通過(guò)檢驗(yàn)。（表6）顯示了最終的Logistic模型參數(shù)估計(jì)結(jié)果。（表7）顯示了模型分類準(zhǔn)確率。

（二）BP神經(jīng)網(wǎng)絡(luò)的參數(shù)估計(jì)及結(jié)果首先對(duì)輸入輸出樣本進(jìn)行數(shù)據(jù)處理，消除影響預(yù)測(cè)結(jié)果的噪聲，神經(jīng)網(wǎng)絡(luò)輸入的變量要求規(guī)范在［-1，1］（若使用tanh函數(shù)）或［0，1］（若使用logistic函數(shù)）之間。本文對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，采用以下方法：X=。X為規(guī)范后的變量，x為每個(gè)變量的實(shí)際值，x1為每個(gè)變量的最小值，x2為每個(gè)變量的最大值。Matlab中相應(yīng)的函數(shù)為［output_X，PS］=mapminmax（X，output_min，outpt_max）由于實(shí)際財(cái)務(wù)困境評(píng)價(jià)往往非常復(fù)雜，企業(yè)財(cái)務(wù)狀況的好壞與財(cái)務(wù)比率的關(guān)系常常是非線性的，而神經(jīng)網(wǎng)絡(luò)作為一種非線形建模過(guò)程，并不依賴判別模型的假設(shè)，能找出輸入與輸出的內(nèi)在聯(lián)系，因此本文決定嘗試使用神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行信用狀況的分類研究，分為訓(xùn)練集和測(cè)試集兩組對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，過(guò)程如下：第一，輸入層和輸出層神經(jīng)元數(shù)目的確定。第一層為輸入層，采用判別分析得出的模型變量為輸入變量，共有12個(gè)結(jié)點(diǎn)，每個(gè)結(jié)點(diǎn)代表相應(yīng)的財(cái)務(wù)比率。第三層為輸出層，用一個(gè)結(jié)點(diǎn)表示，訓(xùn)練導(dǎo)師值為0代表信用級(jí)別“差”的公司，1代表信用級(jí)別“好”的公司。第二，隱含層數(shù)和隱結(jié)點(diǎn)個(gè)數(shù)的確定。本文選擇單隱層的前饋BP網(wǎng)絡(luò)；通過(guò)學(xué)習(xí)逐步增加隱神經(jīng)元數(shù)，訓(xùn)練反復(fù)調(diào)整。最后定為10個(gè)隱結(jié)點(diǎn)。第三，用訓(xùn)練集的數(shù)據(jù)訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)，使不同的輸入向量得到相應(yīng)的輸出值，當(dāng)誤差降到一個(gè)指定的范圍內(nèi)時(shí)，神經(jīng)網(wǎng)絡(luò)所持有的那組權(quán)數(shù)值就是網(wǎng)絡(luò)通過(guò)自學(xué)習(xí)得到的權(quán)數(shù)值，即完成了神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)過(guò)程。第四，輸入待評(píng)價(jià)的樣本（本文直接在輸入矩陣中劃分為訓(xùn)練），讓訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)輸出企業(yè)財(cái)務(wù)狀況的標(biāo)志（0或1），即實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的模式分類。神經(jīng)網(wǎng)絡(luò)的初始權(quán)重由Matlab隨機(jī)產(chǎn)生的。訓(xùn)練算法采用專用于模式分類的trainscg方法，各種訓(xùn)練參數(shù)見（表8）。由此看出，算法逐步收斂，最終達(dá)到誤差標(biāo)準(zhǔn)見（表9）。

（三）兩種模型比較分析 本文對(duì)Logistic和BP神經(jīng)網(wǎng)絡(luò)分別對(duì)我國(guó)上市公司的信用狀況給予兩類模式的評(píng)級(jí)，最終發(fā)現(xiàn)，Logistic和BP神經(jīng)網(wǎng)絡(luò)在我國(guó)市場(chǎng)上的分類效果相當(dāng)（見表10）。主流觀點(diǎn)認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)具有良好的模式識(shí)別能力，可以克服統(tǒng)計(jì)等方法的限制，因?yàn)樗哂辛己玫娜蒎e(cuò)能力，對(duì)數(shù)據(jù)的分布要求不嚴(yán)格，具備處理資料遺漏或是錯(cuò)誤的能力。最為可貴的一點(diǎn)是人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力，可以隨時(shí)依據(jù)新準(zhǔn)備的數(shù)據(jù)資料進(jìn)行自我學(xué)習(xí)、訓(xùn)練、調(diào)整其內(nèi)部的儲(chǔ)存權(quán)重參數(shù)以應(yīng)對(duì)多變的企業(yè)運(yùn)作環(huán)境。但是本文得出的結(jié)果是：傳統(tǒng)的Logistic方法和神經(jīng)網(wǎng)絡(luò)方法的分類效果相當(dāng)?，F(xiàn)代人工智能方法并未表現(xiàn)出理論上的優(yōu)勢(shì)?？赡艿脑蚴牵壕W(wǎng)絡(luò)不穩(wěn)定，訓(xùn)練樣本的仿真準(zhǔn)確率很高，但對(duì)測(cè)試樣本的仿真準(zhǔn)確率會(huì)降低；解釋性差，網(wǎng)絡(luò)最終確定后，每個(gè)神經(jīng)元的權(quán)值和閾值雖然已知，但不能很好地分析各個(gè)指標(biāo)對(duì)結(jié)果的影響程度，對(duì)現(xiàn)實(shí)問(wèn)題中的經(jīng)營(yíng)管理也就不能起到很好的借鑒作用；網(wǎng)絡(luò)的輸入個(gè)數(shù)與隱層節(jié)點(diǎn)個(gè)數(shù)的確定沒(méi)有理論指導(dǎo)，只能通過(guò)經(jīng)驗(yàn)確定。

四、結(jié)論

本文選取2005年至2007年部分被進(jìn)行特別處理的118家ST公司和126家非ST公司，以其財(cái)務(wù)指標(biāo)為樣本，進(jìn)行Logistic回歸和BP神經(jīng)網(wǎng)絡(luò)分類，對(duì)這兩種信用風(fēng)險(xiǎn)評(píng)判模型在中國(guó)市場(chǎng)做了實(shí)證研究。結(jié)果發(fā)現(xiàn)：兩種模型均適用于中國(guó)上市公司兩模式分類（ST和非ST公司），而BP神經(jīng)網(wǎng)絡(luò)在我國(guó)市場(chǎng)上并未體現(xiàn)其分類的優(yōu)勢(shì)，分類準(zhǔn)確度和Logistic相當(dāng)。即使如此，本文證實(shí)了Logistic和BP神經(jīng)網(wǎng)絡(luò)模型對(duì)于我國(guó)上市公司的評(píng)級(jí)還是有效的，能夠?yàn)橥顿Y者的科學(xué)決策提供建設(shè)性的指導(dǎo)意見，使投資者理智地回避風(fēng)險(xiǎn)和獲取收益。同時(shí)，該判別模型也有利于準(zhǔn)確評(píng)價(jià)一個(gè)企業(yè)的信用狀況，從而為銀行等放貸機(jī)構(gòu)提供決策依據(jù)。

參考文獻(xiàn)：

［1］吳世農(nóng)、盧賢義：《我國(guó)上市公司財(cái)務(wù)困境的預(yù)測(cè)模型研究》，《經(jīng)濟(jì)研究》2001年第6期。

［2］齊治平、余妙志：《Logistic模型在上市公司財(cái)務(wù)狀況評(píng)價(jià)中的應(yīng)用》，《東北財(cái)經(jīng)大學(xué)學(xué)報(bào)》2002年第1期。

［3］龐素琳、王燕鳴、羅育中：《多層感知器信用評(píng)價(jià)模型及預(yù)警研究》，《數(shù)學(xué)實(shí)踐與認(rèn)識(shí)》2003年第9期。

第3篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

（一）BrainCell

神經(jīng)網(wǎng)絡(luò)基本原理本文主要應(yīng)用了BrainCell神經(jīng)網(wǎng)絡(luò)軟件來(lái)實(shí)現(xiàn)B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效評(píng)價(jià)模型的計(jì)算與分析。BrainCell神經(jīng)網(wǎng)絡(luò)采用誤差反向傳播學(xué)習(xí)算法，算法從兩個(gè)方面（信號(hào)的前向傳播和誤差的反向傳播）反復(fù)進(jìn)行迭代學(xué)習(xí)。其基本原理是輸入層各神經(jīng)元在接收外接的信息后，傳遞給隱含層的神經(jīng)元，根據(jù)減少目標(biāo)輸出與實(shí)際輸出誤差的方向，從輸入層經(jīng)過(guò)隱含層逐層修正各連接的權(quán)值，直到將誤差調(diào)整到能夠接受的程度，這不僅是各層權(quán)值不斷修正的過(guò)程，也是學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程，若學(xué)習(xí)樣本的計(jì)算輸出提前達(dá)到預(yù)期的結(jié)果，則訓(xùn)練過(guò)程結(jié)束，否則將學(xué)習(xí)到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止，最后由輸出層輸出信息處理的結(jié)果，如上圖所示。

（二）BrainCell神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)步驟

1.網(wǎng)絡(luò)層數(shù)的確定根據(jù)Kolmogrov理論可知，含有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近一個(gè)從輸入到輸出的映射關(guān)系。因此，在BrainCell神經(jīng)網(wǎng)絡(luò)中采用含有單隱層的三層神經(jīng)網(wǎng)絡(luò)。2.網(wǎng)絡(luò)節(jié)點(diǎn)的確定輸入層節(jié)點(diǎn)的多少與評(píng)價(jià)指標(biāo)個(gè)數(shù)是相對(duì)應(yīng)的。因此，根據(jù)構(gòu)建好的B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效評(píng)價(jià)指標(biāo)體系，可以將一級(jí)指標(biāo)與二級(jí)指標(biāo)進(jìn)行合并，作為輸入層的節(jié)點(diǎn)數(shù)，其指標(biāo)數(shù)如表1所示，因此輸入層節(jié)點(diǎn)數(shù)為19個(gè)。輸出層節(jié)點(diǎn)則為1個(gè)，在此以B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效等級(jí)結(jié)果作為輸出值。3.網(wǎng)絡(luò)訓(xùn)練本文采用的訓(xùn)練函數(shù)為trainscg，將網(wǎng)絡(luò)訓(xùn)練的精度設(shè)置為10-4并初始化權(quán)值和閾值后，從15個(gè)樣本中選取12個(gè)作為訓(xùn)練樣本進(jìn)行批處理訓(xùn)練，開啟網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練。其具體步驟如下。假設(shè)訓(xùn)練樣例是形式（a，b），其中a為輸入向量，b為輸出值。N為輸入節(jié)點(diǎn)數(shù)，M為輸出層節(jié)點(diǎn)數(shù)。從單位i到單位j的輸入表示aij，單位i到單位j的權(quán)值表示W(wǎng)ij。（1）創(chuàng)建具有N個(gè)輸入單位，M個(gè)輸出單位的BrainCell神經(jīng)網(wǎng)絡(luò)。（2）用隨機(jī)數(shù)（0或1）初始化某些數(shù)字變量網(wǎng)絡(luò)權(quán)值Wij。（3）對(duì)于第k個(gè)訓(xùn)練樣例（a，b），把輸入跟著網(wǎng)絡(luò)前向傳播，并計(jì)算網(wǎng)絡(luò)中每個(gè)單元x的輸出Qx，使誤差沿著反向傳播。（4）對(duì)于每個(gè)輸出單元u，計(jì)算它的誤差項(xiàng)。（5）對(duì)于每個(gè)隱含單元h，計(jì)算它的誤差項(xiàng)。（6）利用誤差項(xiàng)更新調(diào)整每個(gè)網(wǎng)絡(luò)權(quán)值。（7）重復(fù)（3）到（6），直到完成指定的迭代次數(shù)或者是其誤差值達(dá)到可接受的范圍。4.網(wǎng)絡(luò)檢驗(yàn)將剩下的3個(gè)驗(yàn)證樣本數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)中，將其訓(xùn)練結(jié)果與實(shí)際結(jié)果相比較，檢驗(yàn)BrainCell神經(jīng)網(wǎng)絡(luò)得到的輸入與輸出間的關(guān)系是否正確，從而反映出該績(jī)效評(píng)價(jià)體系的準(zhǔn)確性和可靠性。

二、實(shí)證研究與分析

（一）確定績(jī)效評(píng)價(jià)等級(jí)

由于各個(gè)企業(yè)供應(yīng)鏈自身發(fā)展的情況不同，各具特點(diǎn)，其形式、結(jié)構(gòu)各異，因此如何劃分績(jī)效評(píng)價(jià)等級(jí)，如何更好地反映績(jī)效評(píng)價(jià)等級(jí)至關(guān)重要。本文以績(jī)效考核成績(jī)最好為1，最低為0為臨界值，由高到低劃分5個(gè)等級(jí)，并通過(guò)績(jī)效等級(jí)系數(shù)來(lái)體現(xiàn)，見表2所示。

（二）指標(biāo)數(shù)據(jù)獲取和處理

本文以天貓商城中某珠寶飾品有限責(zé)任公司為例，該公司有比較穩(wěn)定的供應(yīng)商，且與多家企業(yè)都有長(zhǎng)期合作關(guān)系。根據(jù)公司的實(shí)際管理情況，整理出該公司供應(yīng)鏈協(xié)同管理的績(jī)效指標(biāo)評(píng)價(jià)體系研究的基礎(chǔ)數(shù)據(jù)，應(yīng)用BrainCell軟件對(duì)這些基本數(shù)據(jù)進(jìn)行計(jì)算。為使各指標(biāo)在整個(gè)系統(tǒng)中具有可比性，本文利用效應(yīng)系數(shù)將指標(biāo)在閉區(qū)間[0，1]上進(jìn)行同趨勢(shì)化無(wú)量綱化和定性指標(biāo)定量化處理。結(jié)果表明，該公司的供應(yīng)鏈整體績(jī)效基本良好，其績(jī)效評(píng)價(jià)等級(jí)系數(shù)主要都集中在[0.5,0.8]這部分區(qū)間內(nèi)，與該公司所處供應(yīng)鏈實(shí)際情況相符。該公司運(yùn)作情況基本令人滿意。

三、結(jié)語(yǔ)及展望

第4篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：風(fēng)電功率 多種群遺傳算法 單種群遺傳算法 神經(jīng)網(wǎng)絡(luò) 優(yōu)化

引言

近年來(lái)，風(fēng)能作為一種新型的可再生能源，被應(yīng)用到電力系統(tǒng)中，在解決能源問(wèn)題的同時(shí)，又對(duì)電網(wǎng)的穩(wěn)定安全運(yùn)行帶來(lái)了巨大的挑戰(zhàn)。本文基于BP神經(jīng)網(wǎng)絡(luò)，提出了用單種群遺傳算法和多種群遺傳算法優(yōu)化的組合預(yù)測(cè)方法。對(duì)歷史數(shù)據(jù)建立模型，對(duì)未來(lái)短期風(fēng)電功率分別用上述三種方法進(jìn)行預(yù)測(cè)，并對(duì)結(jié)果進(jìn)行比較。

1、BP神經(jīng)網(wǎng)絡(luò)

（1）BP算法的基本思想。BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神將網(wǎng)絡(luò)，利用信號(hào)前向傳遞，誤差反向傳播的思想來(lái)進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。在前向傳播中，將輸入信號(hào)，從輸入層經(jīng)隱含層層層處理，直至輸出層。利用輸出層輸出結(jié)果與預(yù)期輸出之間的差異，反向傳播，調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使網(wǎng)絡(luò)預(yù)測(cè)輸出不斷逼近期望輸出。

（2）輸入層與輸出層神經(jīng)元個(gè)數(shù)的確定。輸入層神經(jīng)元的個(gè)數(shù)與輸入變量的維數(shù)相等，輸出層神經(jīng)元的個(gè)數(shù)與預(yù)期輸出的維數(shù)相等。

（3）隱含層神經(jīng)元個(gè)數(shù)的確定。BP神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)對(duì)于BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)精度有較大的影響：節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)不能很好地學(xué)習(xí)，需要增加訓(xùn)練次數(shù)，訓(xùn)練的精度也受到影響；節(jié)點(diǎn)數(shù)太多，訓(xùn)練時(shí)間增加，網(wǎng)絡(luò)容易過(guò)擬和，泛化性能差。

（4）節(jié)點(diǎn)傳遞函數(shù)的確定。常用的轉(zhuǎn)移函數(shù)有線性傳遞函數(shù)、指數(shù)S型、對(duì)數(shù)S型等，在網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值、閾值相同的情況下，轉(zhuǎn)移函數(shù)對(duì)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差具有較大的影響。一般隱含層節(jié)點(diǎn)轉(zhuǎn)移函數(shù)選用對(duì)數(shù)或指數(shù)S型函數(shù)，輸出層節(jié)點(diǎn)轉(zhuǎn)移函數(shù)選用正切或線性傳遞函數(shù)。

（5）輸入數(shù)據(jù)的預(yù)處理。為了提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度和提高收斂性，一般情況下要對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理，本文采用最大最小法。

2、單種群遺傳算法

（1）遺傳算法概述。遺傳算法（GA）是一種進(jìn)化算法，基本思想是“物競(jìng)天擇，適者生存”的演化法則。把待解決的實(shí)際問(wèn)題抽象，將其中參數(shù)編碼為染色體，利用迭代的方式進(jìn)行選擇，交叉以及變異等運(yùn)算從而交換種群中染色體的信息，最終生成符合優(yōu)化目標(biāo)的染色體。

（2）編碼。將原始問(wèn)題的解空間的數(shù)據(jù)映射到遺傳空間的基因型串結(jié)構(gòu)，其數(shù)據(jù)的不同組合構(gòu)成了原始問(wèn)題的不痛的解。本文采用二進(jìn)制編碼法。

（3）適應(yīng)度函數(shù)。適應(yīng)度函數(shù)表征染色體的適應(yīng)度，其值越大表明該染色體越適應(yīng)環(huán)境，越有可能為下一代提供其遺傳信息。本文采用期望輸出與實(shí)際輸出的均方差作為適應(yīng)度函數(shù)值。

（4）選擇、交叉、變異算子。選擇算子的主要目的是從種群中選出優(yōu)良的個(gè)體，使其有機(jī)會(huì)作為父代為下一代提供遺傳信息。選擇的機(jī)制為適應(yīng)度大的個(gè)體被選中的概率大。交叉算子實(shí)現(xiàn)了父代間的信息交換，是遺傳算法的主要操作。變異算子體現(xiàn)了實(shí)際問(wèn)題中的參數(shù)變化，從而使算法跳出局部最優(yōu)，達(dá)到或接近全局最優(yōu)。

3、多種群遺傳算法

（1）單種群遺傳算法的不足。單種群遺傳算法在優(yōu)化時(shí)不依賴于梯度，具有很強(qiáng)的魯棒性和全局搜索能力，被廣泛應(yīng)用到機(jī)器學(xué)習(xí)，模式識(shí)別，數(shù)學(xué)規(guī)劃等領(lǐng)域。但會(huì)出現(xiàn)早熟問(wèn)題。

（2）多種群遺傳算法概述。為了克服遺傳算法的未成熟問(wèn)題，學(xué)者們提出了自適應(yīng)的交叉和變異，并得出了一些益的結(jié)論。但由于影響遺傳算法未成熟問(wèn)題的因素很多，一般方法仍有一定的局限性，為此本文采用多種群遺傳算法代替遺傳算法，并引入移民算子和人工選擇算子，進(jìn)行多種群的并行搜索。

（3）移民算子與人工選擇算子。各個(gè)種群之間通過(guò)移民算子進(jìn)行聯(lián)系，實(shí)現(xiàn)多種群的協(xié)同進(jìn)化；最優(yōu)解的獲取是多種群協(xié)同精華的結(jié)果。通過(guò)人工選擇算子保存各個(gè)種群每個(gè)進(jìn)化代中的最優(yōu)個(gè)體，并作為判斷算法收斂的依據(jù)。

4、單種群與多種群遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)相同的情況下，每次運(yùn)行神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)和有可能會(huì)得出不同的結(jié)果，即網(wǎng)絡(luò)初始權(quán)值與閾值對(duì)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果有很大的影響。本文使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值與閾值，從而確定最佳的初始權(quán)值與閾值，提高預(yù)測(cè)的準(zhǔn)確度。算法流程如圖所示。

5、算例分析

根據(jù)《國(guó)家能源局關(guān)于印發(fā)風(fēng)電場(chǎng)電功率預(yù)測(cè)預(yù)報(bào)管理暫行辦法》，風(fēng)電場(chǎng)功率預(yù)測(cè)預(yù)報(bào)考核指標(biāo)，利用2011年電工杯數(shù)學(xué)建模競(jìng)賽A題的數(shù)據(jù)進(jìn)行驗(yàn)證。分別利用BP神經(jīng)網(wǎng)絡(luò)、單種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)、多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)進(jìn)行編程，預(yù)測(cè)結(jié)果如表1所示

預(yù)測(cè)結(jié)果顯示，使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的結(jié)果已經(jīng)達(dá)到了比較高的精確度，但單種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)和多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)將預(yù)測(cè)精度進(jìn)一步提高，其中多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果最佳。

6、結(jié)論

本文提出基于遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，充分挖掘歷史數(shù)據(jù)，采用多種群協(xié)調(diào)進(jìn)化，提高網(wǎng)絡(luò)預(yù)測(cè)精度與泛化性能，同時(shí)提高網(wǎng)絡(luò)穩(wěn)定性。實(shí)例證明多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型比單一種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型具有更好的預(yù)測(cè)效果，為風(fēng)電功率預(yù)測(cè)提供了一種新的思路。具有很好的應(yīng)用前景。

參考文獻(xiàn)：

[1]王素霞.國(guó)內(nèi)外風(fēng)力發(fā)電的情況及發(fā)展趨勢(shì)[J].電力技術(shù)經(jīng)濟(jì)，2007，19（1）：29-31.

[2]時(shí)慶華，高山，陳昊.2種風(fēng)電功率預(yù)測(cè)模型的比較[J].能源技術(shù)經(jīng)濟(jì).2011，23（6）：31-35

[3]洪翠，林維明，溫不瀛.風(fēng)電場(chǎng)風(fēng)速及風(fēng)電功率預(yù)測(cè)方法研究綜述[J].電網(wǎng)與清潔能源，2011，27（1）：20-66.

第5篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：高速公路；隧道施工系統(tǒng)；安全評(píng)價(jià)；模糊理論；神經(jīng)網(wǎng)絡(luò)

0引言

近年來(lái)，隨著國(guó)家高速公路迅猛發(fā)展，隧道建設(shè)數(shù)量也越來(lái)越多，規(guī)模也越來(lái)越大。在隧道施工過(guò)程中，由于圍巖地質(zhì)條件的多樣性和復(fù)雜性，其施工事故發(fā)生率比其他巖土工程高且嚴(yán)重，給隧道工程施工人員身心帶來(lái)嚴(yán)重的危害，社會(huì)影響惡劣，有悖于國(guó)家建設(shè)和諧社會(huì)的宗旨。這就要求用科學(xué)的方法對(duì)隧道施工生產(chǎn)系統(tǒng)進(jìn)行安全分析與評(píng)估，預(yù)測(cè)事故發(fā)生的可能性[1]。

在傳統(tǒng)的公路隧道施工生產(chǎn)系統(tǒng)安全評(píng)價(jià)中，經(jīng)常使用的安全評(píng)價(jià)方法主要以定性安全評(píng)價(jià)方法為主，如專家論證法、安全檢查表法及作業(yè)條件危險(xiǎn)性評(píng)價(jià)法等[2,3]。近年來(lái)，在公路隧道施工生產(chǎn)系統(tǒng)安全評(píng)價(jià)中，引人了模糊綜合評(píng)價(jià)的方法，取得了較好的決策效果[4]。但是，該方法缺乏對(duì)環(huán)境變化的自學(xué)習(xí)能力，對(duì)權(quán)值不能進(jìn)行動(dòng)態(tài)調(diào)整[5],而神經(jīng)網(wǎng)絡(luò)具有非線性逼近能力,具有自學(xué)習(xí)、自適應(yīng)和并行分布處理能力，但其對(duì)不確定性知識(shí)的表達(dá)能力較差，因此，模糊控制與神經(jīng)網(wǎng)絡(luò)結(jié)合就可以優(yōu)勢(shì)互補(bǔ)，各取所長(zhǎng)[6]，在這方面已經(jīng)出現(xiàn)了一些研究成果[7～11]。為此，本文把人工神經(jīng)網(wǎng)絡(luò)理論與模糊綜合評(píng)價(jià)理論相融合，研究建立了一種模糊神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型，對(duì)公路隧道施工的安全管理水平進(jìn)行評(píng)價(jià)。

1模糊神經(jīng)網(wǎng)絡(luò)

1.1基本結(jié)構(gòu)原理

模糊神經(jīng)網(wǎng)絡(luò)是由與人腦神經(jīng)細(xì)胞相似的基本計(jì)算單元即神經(jīng)元通過(guò)大規(guī)模并行、相互連接而成的網(wǎng)絡(luò)系統(tǒng)，訓(xùn)練完的網(wǎng)絡(luò)系統(tǒng)具有處理評(píng)估不確定性的能力，也具有記憶聯(lián)想的能力，可以成為解決評(píng)估問(wèn)題的有效工具，對(duì)未知對(duì)象作出較為客觀正確的評(píng)估。

根據(jù)評(píng)估問(wèn)題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經(jīng)網(wǎng)絡(luò)，其中包括神經(jīng)網(wǎng)絡(luò)和模糊集合兩方面的內(nèi)容。

1.2神經(jīng)網(wǎng)絡(luò)

為了模擬人腦結(jié)構(gòu)和功能的基本特性，前饋神經(jīng)網(wǎng)絡(luò)由許多非線性神經(jīng)元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對(duì)于任何在閉區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱層的BP網(wǎng)絡(luò)來(lái)逼近[12]，因而一個(gè)三層的BP網(wǎng)絡(luò)完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。輸人層有 個(gè)神經(jīng)元，輸人向量 ， ，輸人層神經(jīng)元 的輸出是輸人向量的各分分量 。隱層有個(gè)神經(jīng)元 ， ，若輸人層神經(jīng)元 與隱層神經(jīng)元 之間的連接權(quán)值為 ，且隱層神經(jīng)元 的閾值為 ，則隱層神經(jīng)元 的輸出為

(l)

式中 是神經(jīng)元的激勵(lì)函數(shù)，一般選取單調(diào)遞增的有界非線性函數(shù)，這里選用Sigmoid函數(shù)：

(2)

由此，隱層神經(jīng)元的輸出為：

(3)

同理可得輸出層神經(jīng)元的輸出為：

(4)

1.3學(xué)習(xí)算法

本網(wǎng)絡(luò)采用BP學(xué)習(xí)算法，它是一種有教師的學(xué)習(xí)算法，其學(xué)習(xí)過(guò)程由信號(hào)的正向傳播和誤差的反向傳播組成?；驹硎牵涸O(shè)輸人學(xué)習(xí)樣本為 個(gè)，即輸人矢量 ，已知其對(duì)應(yīng)的期望輸出矢量(教師信號(hào))為 ，正向傳播過(guò)程將學(xué)習(xí)樣本輸人模式 從輸人層經(jīng)隱含單元層逐層處理，并傳向輸出層，得到實(shí)際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉(zhuǎn)人反向傳播，將 與 的誤差信號(hào)通過(guò)隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而調(diào)整各神經(jīng)元之間的連接權(quán)值，這種信號(hào)正向傳播與誤差反向傳播得各層權(quán)值調(diào)整過(guò)程是周而復(fù)始地進(jìn)行的，直到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

網(wǎng)絡(luò)的具體學(xué)習(xí)算法的計(jì)算模型如下：

對(duì)某一學(xué)習(xí)樣本 ，誤差函數(shù)為

（5）

式中： 、 分別為該樣本的輸出期望值和實(shí)際值。

對(duì)于所有學(xué)習(xí)樣本 ，網(wǎng)絡(luò)的總誤差為

（6）

網(wǎng)絡(luò)學(xué)習(xí)算法實(shí)際上就是求誤差函數(shù)的極小值。利用非線性規(guī)劃中的梯度下降法(最速下降法)，使權(quán)值沿著誤差函數(shù)的負(fù)梯度方向改變。

隱層與輸出層之間的權(quán)值(及閾值) 的更新量 可表示為

（7）

式中： 為學(xué)習(xí)率，可取 。

將式（6）和（4）代入式（7），并利用復(fù)合函數(shù)求導(dǎo)的連鎖規(guī)則，得

（8）

式中： 為迭代次數(shù)， 為誤差信號(hào)

（9）

類似的，輸入層與隱層之間的權(quán)值（及閾值）修正為

（10）

同理可得

式中 為誤差信號(hào)

（11）

為了改善收斂性，提高網(wǎng)絡(luò)的訓(xùn)練速度，避免訓(xùn)練過(guò)程發(fā)生振蕩，對(duì)BP算法進(jìn)行改進(jìn)，在權(quán)值調(diào)整公式中增加一動(dòng)量項(xiàng)，即從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中，即：

（12）

（13）

式中 為動(dòng)量因子，一般有 。

1.4模糊集合

評(píng)估指標(biāo)集由表征一類評(píng)估決策問(wèn)題的若干性能指標(biāo)組成。由于指標(biāo)的量化含有不確定性，故用模糊方法加以處理[13]。評(píng)估指標(biāo)的模糊集合 可表示為

（14）

式中： 是評(píng)估指標(biāo)， 是相應(yīng)指標(biāo)的評(píng)價(jià)滿意度， 。

評(píng)估指標(biāo)集用其滿意度表示，取值在[0，1]之間，作為模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)中神經(jīng)網(wǎng)絡(luò)的輸人向量，這正好符合神經(jīng)網(wǎng)絡(luò)對(duì)輸人向量特征化的要求。實(shí)踐表明，經(jīng)過(guò)對(duì)輸人向量的特征化處理，可大大減少網(wǎng)絡(luò)的學(xué)習(xí)時(shí)間，加速網(wǎng)絡(luò)訓(xùn)練的收斂。

2隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)

2.1指標(biāo)體系與神經(jīng)網(wǎng)絡(luò)劃分

實(shí)踐證明，一個(gè)好的隧道施工系統(tǒng)安全評(píng)價(jià)方法應(yīng)滿足以下要求：評(píng)價(jià)指標(biāo)能全面準(zhǔn)確地反映出隧道施工系統(tǒng)的狀況與技術(shù)質(zhì)量特征；評(píng)價(jià)模式簡(jiǎn)單明了，可操作性強(qiáng)，易掌握；評(píng)價(jià)結(jié)論能反映隧道施工系統(tǒng)的合理性、經(jīng)濟(jì)性及安全可靠性；評(píng)價(jià)中所采用的數(shù)據(jù)易于獲取，數(shù)據(jù)處理工作量小；頂層輸出即為系統(tǒng)的專家評(píng)估，而每層各評(píng)估項(xiàng)目的子系統(tǒng)都可以用子結(jié)構(gòu)表示。

每個(gè)子結(jié)構(gòu)具有輸人輸出關(guān)系可表達(dá)為

（15）

其中 是子系統(tǒng)的輸出， 是子系統(tǒng)的輸人矢量， 為相應(yīng)的專家(加權(quán))知識(shí)。

評(píng)估專家系統(tǒng)中各子系統(tǒng)的評(píng)估由各自的模糊神經(jīng)網(wǎng)絡(luò)來(lái)完成。

這種對(duì)評(píng)估系統(tǒng)的結(jié)構(gòu)分解和組合具有如下特點(diǎn)：

（1）每個(gè)子系統(tǒng)可以采用較少的神經(jīng)元來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和知識(shí)推理，這樣既減少了學(xué)習(xí)樣本數(shù)、提高了樣本訓(xùn)練速度，又能夠獨(dú)立完成某一推理任務(wù)。

（2）分解的各子系統(tǒng)具有相對(duì)獨(dú)立性，便于系統(tǒng)的修改、擴(kuò)展和子系統(tǒng)的刪除，從而具有良好的維護(hù)性。

（3）子系統(tǒng)的評(píng)估項(xiàng)目即為節(jié)點(diǎn)，在系統(tǒng)進(jìn)行評(píng)估推理時(shí)產(chǎn)生的評(píng)估表示式可以很好地解釋評(píng)估系統(tǒng)的推理過(guò)程，避免了神經(jīng)網(wǎng)絡(luò)權(quán)值難以理解所致的推理過(guò)程難以理解的弱點(diǎn)。

2.2網(wǎng)絡(luò)的設(shè)計(jì)

評(píng)估問(wèn)題是前向處理問(wèn)題，所以選用如前所述的前向型模糊神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。

（1）輸人層

輸人層是對(duì)模糊信息進(jìn)行預(yù)處理的網(wǎng)層，主要用于對(duì)來(lái)自輸人單元的輸人值進(jìn)行規(guī)范化處理，輸出由系統(tǒng)模糊變量基本狀態(tài)的隸屬函數(shù)所確定的標(biāo)準(zhǔn)化的值，以便使其適應(yīng)后面的處理。根據(jù)評(píng)價(jià)指標(biāo)體系，對(duì)應(yīng)20個(gè)指標(biāo)構(gòu)建BP網(wǎng)絡(luò)的輸入層為20個(gè)節(jié)點(diǎn)，將指標(biāo)轉(zhuǎn)換為相應(yīng)指數(shù)后作為樣本進(jìn)入網(wǎng)絡(luò)進(jìn)行計(jì)算。

（2）隱層(模糊推理層)

該層是前向型模糊神經(jīng)網(wǎng)絡(luò)的核心，用以執(zhí)行模糊關(guān)系的映射，將指標(biāo)狀態(tài)輸入與評(píng)估結(jié)果輸出聯(lián)系起來(lái)。采用試探法選取模型的隱含層神經(jīng)元數(shù)，即首先給定一個(gè)較小的隱含層神經(jīng)元數(shù)，代入模型觀察其收斂情況，然后逐漸增大，直至網(wǎng)絡(luò)穩(wěn)定收斂。通過(guò)計(jì)算該模型的隱含層神經(jīng)元數(shù)為28個(gè)。

（3）輸出層

輸出層是求解模糊神經(jīng)網(wǎng)絡(luò)的結(jié)果，也是最后的評(píng)估結(jié)果。我們把評(píng)價(jià)因素論域中的每一因素分成5個(gè)評(píng)價(jià)等級(jí)，即

={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}

對(duì)應(yīng)這5個(gè)等級(jí)，確定輸出層為5個(gè)節(jié)點(diǎn)。這樣就構(gòu)建了一個(gè)“20―28―5”的3層BP網(wǎng)絡(luò)作為評(píng)價(jià)體系的網(wǎng)絡(luò)模型。

2.3模糊神經(jīng)網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)設(shè)計(jì)好后,須對(duì)其進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)具有再現(xiàn)專家評(píng)估的知識(shí)和經(jīng)驗(yàn)的能力。樣本數(shù)據(jù)來(lái)自我省已經(jīng)建成的高速公路隧道施工的現(xiàn)場(chǎng)數(shù)據(jù)庫(kù)，從中選取30組，其中20組數(shù)據(jù)作為訓(xùn)練樣本，余下的10組作為測(cè)試樣本。實(shí)際網(wǎng)絡(luò)訓(xùn)練表明，當(dāng)訓(xùn)練步數(shù)為12875時(shí)，達(dá)到了目標(biāo)要求的允差，獲得模糊神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)的權(quán)值和閾值，網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)成功。根據(jù)最大隸屬度原則進(jìn)行比較，與期望結(jié)果相符，其準(zhǔn)確率為100%。這說(shuō)明所建立的隧道施工系統(tǒng)安全評(píng)價(jià)模糊神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練結(jié)果可靠。

3 工程應(yīng)用實(shí)例

利用所訓(xùn)練好的模糊神經(jīng)網(wǎng)絡(luò)模型，對(duì)江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統(tǒng)進(jìn)行安全評(píng)價(jià)測(cè)定，評(píng)價(jià)出系統(tǒng)的安全狀況與3座隧道施工實(shí)際情況完全相符。同時(shí)，實(shí)際系統(tǒng)的評(píng)價(jià)結(jié)果又可作為新的學(xué)習(xí)樣本輸入網(wǎng)絡(luò)模型，實(shí)現(xiàn)歷史經(jīng)驗(yàn)和新知識(shí)相結(jié)合,在發(fā)展過(guò)程中動(dòng)態(tài)地評(píng)價(jià)系統(tǒng)的安全狀態(tài)。

4 結(jié)論

（1）本文對(duì)模糊理論與神經(jīng)網(wǎng)絡(luò)融合技術(shù)進(jìn)行了研究，建立了一種公路隧道施工系統(tǒng)安全模糊神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型，利用歷史樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練和測(cè)試，并對(duì)工程實(shí)例進(jìn)行了評(píng)價(jià)。結(jié)果顯示，該評(píng)價(jià)方法可行，評(píng)價(jià)精度滿足工程應(yīng)用要求,為公路隧道施工安全評(píng)價(jià)探索了一種新的評(píng)價(jià)方法。

（2）運(yùn)用模糊神經(jīng)網(wǎng)絡(luò)知識(shí)存儲(chǔ)和自適應(yīng)性特征，通過(guò)適當(dāng)補(bǔ)充學(xué)習(xí)樣本，可以實(shí)現(xiàn)歷史經(jīng)驗(yàn)與新知識(shí)完美結(jié)合，在發(fā)展過(guò)程中動(dòng)態(tài)地評(píng)價(jià)公路隧道施工系統(tǒng)的安全狀態(tài)，可及時(shí)評(píng)估出施工系統(tǒng)的安全狀況，盡早發(fā)現(xiàn)安全隱患。

參考文獻(xiàn)：

[1]徐德蜀.安全科學(xué)與工程導(dǎo)論[M].北京:化學(xué)工業(yè)出版社,2005.

[2]劉鐵民,張興凱,劉功智.安全評(píng)價(jià)方法應(yīng)用指南[M].北京:化學(xué)工業(yè)出版社,2005.

[3]田建,李志強(qiáng),張斌.交通建設(shè)工程安全評(píng)價(jià)技術(shù)現(xiàn)狀及趨勢(shì)研究[J].中國(guó)安全科學(xué)學(xué)報(bào),2008,18(6):171-176.

[4]張鴻,劉優(yōu)平,黎劍華等.基于模糊理論的隧道施工安全預(yù)警模型研究及應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2009.19(4):5-10.

[5]劉輝,王海寧,呂志飛.模糊神經(jīng)網(wǎng)絡(luò)技術(shù)在礦山安全評(píng)價(jià)中的適應(yīng)性研究[J].中國(guó)安全生產(chǎn)科學(xué)技術(shù),2005,1(3):54-59.

[6]張吉禮.模糊-神經(jīng)網(wǎng)絡(luò)控制原理與工程應(yīng)用[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,2004.

[7]葛淑杰,李彥峰,姜天文等.基于模糊神經(jīng)網(wǎng)絡(luò)的煤礦安全評(píng)價(jià)綜合評(píng)判[J].黑龍江科技學(xué)院學(xué)報(bào),2007,17(4):321-325.

[8]鄭恒,汪佩蘭.模糊神經(jīng)網(wǎng)絡(luò)在火工品生產(chǎn)系統(tǒng)安全評(píng)價(jià)中的應(yīng)用[J].安全與環(huán)境學(xué)報(bào),2004,4:159-162.

[9田軍.基于模糊神經(jīng)網(wǎng)絡(luò)的隧道圍巖分級(jí)系統(tǒng)[J].湖南交通科技,2007,34(4):104-107.

[10]郭宇航,王保國(guó).兩類新型神經(jīng)網(wǎng)絡(luò)及其在安全評(píng)價(jià)中的應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2008,18(7):28-33.

[11]宋瑞,鄧寶.神經(jīng)元網(wǎng)絡(luò)在安全評(píng)價(jià)中的應(yīng)用[J].中國(guó)安全科學(xué)學(xué)報(bào),2005,15(3):78-81.

[12]韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用[M].北京:化學(xué)工業(yè)出版社,2007.

[13]楊綸標(biāo),高英儀.模糊數(shù)學(xué)原理及應(yīng)用[M].廣州:華南理工大學(xué),2005.

第6篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：渦輪增壓系統(tǒng)；故障診斷；BP神經(jīng)網(wǎng)絡(luò)；RBF神經(jīng)網(wǎng)絡(luò)；Elman神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：U472 文獻(xiàn)標(biāo)識(shí)碼：A

在現(xiàn)代生產(chǎn)過(guò)程中，柴油機(jī)作為常見的機(jī)械設(shè)備之一，廣泛應(yīng)用于動(dòng)力發(fā)電、工程機(jī)械等各種領(lǐng)域，其動(dòng)力性和可靠性的好壞直接影響著整個(gè)系統(tǒng)的工作狀況。因此，對(duì)柴油機(jī)進(jìn)行故障診斷和狀態(tài)監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)并排除故障，對(duì)增加柴油機(jī)工作狀態(tài)下的安全性與可靠性，減少經(jīng)濟(jì)損失，避免事故發(fā)生具有重大的意義。傳統(tǒng)的柴油機(jī)故障診斷與處理方法包括油法、振動(dòng)噪聲法等，但都是以定期保養(yǎng)和事后維修為主，這些方法缺乏事故預(yù)見能力、成本高、效率低[1]。隨著計(jì)算機(jī)技術(shù)、信號(hào)分析處理技術(shù)、人工智能的迅猛發(fā)展，柴油機(jī)故障診斷技術(shù)的水平也在不斷地提高。以非線性并行分布處理為主的神經(jīng)網(wǎng)絡(luò)為柴油機(jī)故障診斷技術(shù)的研究開辟了新的途徑[2]。經(jīng)過(guò)對(duì)柴油機(jī)的故障資料進(jìn)行分析，柴油機(jī)的渦輪增壓系統(tǒng)發(fā)生的故障較多，本文只研究柴油機(jī)渦輪增壓系統(tǒng)故障的診斷，利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱，分別基于BP、RBF和Elman網(wǎng)絡(luò)進(jìn)行柴油機(jī)的故障診斷，并對(duì)三種網(wǎng)絡(luò)方法診斷結(jié)果的可靠性和適用性進(jìn)行比較和分析。

1 渦輪增壓系統(tǒng)的故障分析

根據(jù)對(duì)柴油機(jī)工作過(guò)程的分析和實(shí)際運(yùn)行經(jīng)驗(yàn)，可以確定渦輪增壓系統(tǒng)的出現(xiàn)的工作故障的原因和部位主要有：增壓器效率下降、空冷器傳熱惡化、透平保護(hù)格柵阻塞、透平通流部分、空氣濾清器阻塞、空冷器空氣測(cè)流阻塞增大和廢熱鍋爐流阻增大。其中后三項(xiàng)故障可以直接由部件特性參數(shù)診斷得出，系統(tǒng)的工作狀況和前四項(xiàng)故障原因作為網(wǎng)絡(luò)輸出變量由建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷，確定柴油機(jī)渦輪增壓系統(tǒng)是否處于安全運(yùn)行中。柴油機(jī)渦輪增壓系統(tǒng)工作狀況下可以得到的征兆變量包括排氣總管溫度、掃氣箱壓力、平均燃燒最大爆發(fā)壓力、掃排氣道壓損系數(shù)、增壓器轉(zhuǎn)速、壓氣機(jī)出口溫度、掃氣箱溫度、空冷器壓損系數(shù)、濾網(wǎng)壓損系數(shù)、廢氣鍋爐壓損系數(shù)和柴油機(jī)工作負(fù)荷參數(shù)，共11項(xiàng)可以作為網(wǎng)絡(luò)的輸入變量。

根據(jù)某型號(hào)柴油機(jī)技術(shù)規(guī)范要求，可以得到柴油機(jī)無(wú)故障時(shí)的數(shù)據(jù)，如下所示[3,4]。

氣缸排氣溫度： 30K

掃氣箱壓力： 0.06MPa

最大爆發(fā)壓力： 1MPa

濾網(wǎng)壓損系數(shù)： 0.1

增壓器轉(zhuǎn)速： 1500r/min

空冷器壓損系數(shù)： 0.1

廢氣鍋爐壓損系數(shù)： 0.1

掃排氣道壓損系數(shù)： 0.06

壓氣機(jī)出口溫度： 30K

掃氣箱溫度： 40K

其中，由于濾網(wǎng)壓損系數(shù)、空冷器壓損系數(shù)和廢氣鍋爐壓損系數(shù)可以作為部件特性系數(shù)，直接進(jìn)行診斷，所以，排氣總管溫度、掃氣箱壓力、最大爆發(fā)壓力、增壓器轉(zhuǎn)速、掃排氣道壓損系數(shù)、壓氣機(jī)出口溫度、掃氣箱溫度和柴油機(jī)負(fù)荷作為網(wǎng)絡(luò)的輸入變量。由神經(jīng)網(wǎng)絡(luò)診斷出的數(shù)據(jù)參數(shù)上下偏差超過(guò)以上數(shù)據(jù)時(shí)，則認(rèn)為柴油機(jī)有故障。

2 神經(jīng)網(wǎng)絡(luò)模型

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP學(xué)習(xí)算法的基本原理是梯度最快速下降法，通過(guò)梯度搜索使網(wǎng)絡(luò)的實(shí)際輸出值和期望輸出值的誤差均方值為最小。BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播算法的學(xué)習(xí)過(guò)程，如圖1所示，輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求；傳遞到輸出層各神經(jīng)元的信息，完成學(xué)習(xí)的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理[5,6]。

圖1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.2 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)屬于前向神經(jīng)網(wǎng)絡(luò)類型，如圖2所示。第一層為輸入層，由信號(hào)源結(jié)點(diǎn)組成；第二層是隱含層，隱含層中神經(jīng)元的變換函數(shù)是非線性函數(shù)，傳遞函數(shù)為radbas；第三層為輸出層，傳遞函數(shù)為線性函數(shù)purelin,對(duì)輸入模式作出響應(yīng)[7]。

RBF神經(jīng)網(wǎng)絡(luò)的基本原理是前饋式神經(jīng)網(wǎng)絡(luò)，它具有最佳逼近性能和全局最優(yōu)特性，并且結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練速度快，在模式識(shí)別、非線性函數(shù)逼近等領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型方面應(yīng)用廣泛[8]。

2.3 Elman神經(jīng)網(wǎng)絡(luò)

Elman神經(jīng)網(wǎng)絡(luò)是一個(gè)具有局部記憶單元和反饋連接的局部前向回歸網(wǎng)絡(luò)，主要結(jié)構(gòu)是前饋連接，包括輸入層、隱含層、承接層和輸出層，其中承接層從隱含層接收反饋信號(hào)，用來(lái)記憶隱含層神經(jīng)元的輸出值，經(jīng)過(guò)延遲和存儲(chǔ)，在輸入到隱含層中，這樣對(duì)歷史數(shù)據(jù)具有敏感性，增強(qiáng)了網(wǎng)絡(luò)的動(dòng)態(tài)信息處理能力[9]。

圖2 RBF網(wǎng)絡(luò)結(jié)構(gòu)

3 網(wǎng)絡(luò)設(shè)計(jì)

3.1 樣本數(shù)據(jù)選取與處理

確定正確的訓(xùn)練樣本集是神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確故障診斷的一個(gè)關(guān)鍵環(huán)節(jié)，柴油機(jī)渦輪增壓系統(tǒng)的每一種故障都對(duì)應(yīng)著一個(gè)樣本，樣本的目標(biāo)值取0,0.5和1來(lái)表示診斷出故障的嚴(yán)重程度。確定訓(xùn)練樣本，分別取滿負(fù)荷運(yùn)行、90%負(fù)荷運(yùn)行、70%負(fù)荷運(yùn)行和半負(fù)荷運(yùn)行四種狀況下的數(shù)據(jù)集，現(xiàn)抽取其中的9組數(shù)據(jù)作為訓(xùn)練樣本，3組數(shù)據(jù)作為測(cè)試樣本。由于原始數(shù)據(jù)幅值不同，甚至相差很大，直接在網(wǎng)絡(luò)中使用學(xué)習(xí)速率會(huì)變得很慢，無(wú)法反應(yīng)出小的測(cè)量值變化，所以要先將訓(xùn)練樣本進(jìn)行歸一化處理，處理后的數(shù)據(jù)對(duì)于網(wǎng)絡(luò)更容易訓(xùn)練和學(xué)習(xí)[10]。歸一化函數(shù)如下所示：

Xi =(xi-A)/B

式中：Xi表示歸一化后的測(cè)試數(shù)據(jù)，xi表示原始的測(cè)試數(shù)據(jù)，A表示相應(yīng)的無(wú)故障情況下的基準(zhǔn)值，B表示最大偏差值的絕對(duì)值。

3.2 建立網(wǎng)絡(luò)并故障診斷

3.2.1 BP神經(jīng)網(wǎng)絡(luò)

根據(jù)試湊法，選取隱含層節(jié)點(diǎn)數(shù)為12，第一層傳遞函數(shù)使用tansig函數(shù)，第二層傳遞函數(shù)使用logsig函數(shù)，訓(xùn)練函數(shù)為trainlm函數(shù)，訓(xùn)練次數(shù)3000，訓(xùn)練目標(biāo)0.01，學(xué)習(xí)速率為0.1。

net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');

net.trainParam.epochs=1000;

net.trainParam.goal=0.01;

LP.lr=0.1;

net=train(net,P,T);

如圖3所示, 經(jīng)過(guò)32次訓(xùn)練后，網(wǎng)絡(luò)的性能達(dá)到了要求。

圖3 BP網(wǎng)絡(luò)訓(xùn)練結(jié)果

利用訓(xùn)練好的BP網(wǎng)絡(luò)對(duì)測(cè)試樣本進(jìn)行測(cè)試，測(cè)試代碼為yi=sim(net,pi) i=0,1,2測(cè)試結(jié)果為：y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000測(cè)試結(jié)果表明，經(jīng)過(guò)訓(xùn)練后，網(wǎng)絡(luò)可以滿足柴油機(jī)渦輪系統(tǒng)故障診斷的要求。

3.2.2 RBF神經(jīng)網(wǎng)絡(luò)

由于樣本數(shù)目比較小，將徑向基分布常數(shù)設(shè)定為1.2，由此，利用MATLAB創(chuàng)建一個(gè)RBF神經(jīng)網(wǎng)絡(luò)如下：spread=1.2;net=newrbe(P,T,spread);經(jīng)過(guò)訓(xùn)練后，對(duì)策是樣本進(jìn)行測(cè)試，測(cè)試結(jié)果如下：y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028測(cè)試結(jié)果表明，網(wǎng)絡(luò)成功診斷出了所有故障。

3.2.3 Elman神經(jīng)網(wǎng)絡(luò)

創(chuàng)建單隱層的Elman神經(jīng)網(wǎng)絡(luò)，最影響函數(shù)性能的是隱含層節(jié)點(diǎn)數(shù)，通過(guò)考慮網(wǎng)絡(luò)的速度與性能，將隱含層節(jié)點(diǎn)數(shù)定為15，創(chuàng)建網(wǎng)絡(luò)如下所示：net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);

如圖4所示，經(jīng)過(guò)訓(xùn)練和對(duì)數(shù)據(jù)測(cè)試后，結(jié)果如下所示：y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204

圖4 Elman神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果

測(cè)試結(jié)果雖然誤差較大，但可以測(cè)試樣本的故障診斷結(jié)果。

4 結(jié)語(yǔ)

(1)采用神經(jīng)網(wǎng)絡(luò)建立故障診斷模型，能夠客觀的反映柴油機(jī)是否故障及嚴(yán)重情況，三種網(wǎng)絡(luò)均能夠滿足故障診斷的要求；(2) BP網(wǎng)絡(luò)具有很強(qiáng)的非線性映射能力，在柴油機(jī)故障診斷中應(yīng)用很成功，但由于BP網(wǎng)絡(luò)是前向的神經(jīng)網(wǎng)絡(luò)，所以收斂速度比較慢，而且有可能收斂到局部極小點(diǎn)；RBF神經(jīng)網(wǎng)絡(luò)收斂速度快，當(dāng)函數(shù)的擴(kuò)展速度spread越大，函數(shù)擬合就越平滑，如果數(shù)值過(guò)大，會(huì)使傳遞函數(shù)的作用擴(kuò)大到全局，喪失了局部收斂的優(yōu)勢(shì)，所以在網(wǎng)絡(luò)設(shè)計(jì)中需要嘗試確定最優(yōu)解；Elman網(wǎng)絡(luò)的訓(xùn)練誤差曲線比BP網(wǎng)絡(luò)要平滑，收斂速度很快，能準(zhǔn)確的識(shí)別所有故障類型，但相對(duì)于BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)，Elman網(wǎng)絡(luò)的識(shí)別誤差更大，但并沒(méi)有影響所建立模型的應(yīng)用。(3) 由于樣本量比較小，對(duì)于和訓(xùn)練數(shù)據(jù)相差很大的數(shù)據(jù)，所建立的網(wǎng)絡(luò)可能無(wú)法正確診斷。在實(shí)際應(yīng)用中要采用大容量的訓(xùn)練樣本，并對(duì)樣本數(shù)據(jù)進(jìn)行分析和檢查，如利用小波方法處理非正常的高峰值波動(dòng)數(shù)值等[11]。

參考文獻(xiàn)

[1]張蕾. 融合技術(shù)在柴油機(jī)故障診斷中的應(yīng)用[J]. 小型內(nèi)燃機(jī)與摩托車，2002，31（3）：33-36.

[2]汪云，張幽彤.神經(jīng)網(wǎng)絡(luò)在電控柴油機(jī)實(shí)時(shí)的故障診斷[J].汽車工藝與材料，2001，（1）：38-40.

[3]馬旭凱，谷立臣，李世龍. 基于SOM神經(jīng)網(wǎng)絡(luò)的柴油機(jī)故障診斷[J]. 機(jī)械制造與研究，726-731.81-83.

[4]丁艷君，吳占松．鍋爐煙氣排放檢測(cè)軟件傳感器[N]. 清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2002，42（12）：1636-1638.

[5]李玉峰，劉玫.基于動(dòng)量BP網(wǎng)絡(luò)的柴油機(jī)故障診斷[J].控制工程，2007.

[6]傅薈璇，趙紅等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì) [M].北京：機(jī)械工業(yè)出版社，2010.

[7]朱大奇，史慧．人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用[M]. 北京：科學(xué)出版社，2006.

[8]Luce H，Govind R．Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.

第7篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

[關(guān)鍵詞] 船舶供應(yīng)商 評(píng)價(jià)體系 遺傳算法 神經(jīng)網(wǎng)絡(luò)

選擇合適的供應(yīng)商直接關(guān)系到船舶企業(yè)降低成本、提高企業(yè)競(jìng)爭(zhēng)力。現(xiàn)有的平價(jià)方法在確定指標(biāo)權(quán)重時(shí)存在主觀隨意性，評(píng)價(jià)結(jié)果缺乏客觀與公正。BP神經(jīng)網(wǎng)絡(luò)具有容錯(cuò)性、自適應(yīng)性等特點(diǎn)，解決了評(píng)價(jià)過(guò)程中指標(biāo)權(quán)重隨意性和人為因素。本文構(gòu)建了BP神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型，并針對(duì)BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺點(diǎn)，采用遺傳算法對(duì)構(gòu)建的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，從而構(gòu)建評(píng)價(jià)船舶供應(yīng)商遺傳神經(jīng)網(wǎng)絡(luò)模型。

一、船舶供應(yīng)商評(píng)價(jià)指標(biāo)體系的構(gòu)建

原材料供應(yīng)商和船舶配套企業(yè)的產(chǎn)品質(zhì)量性能以及管理水平等都會(huì)對(duì)船舶企業(yè)的正常運(yùn)行帶來(lái)重大影響，直接關(guān)系到企業(yè)的盈利能力。因此，構(gòu)建科學(xué)的合理的供應(yīng)商評(píng)價(jià)體系，是船舶制造企業(yè)綜合評(píng)價(jià)供應(yīng)商的依據(jù)。

周期長(zhǎng)、成本高等特點(diǎn)決定了船舶是一種特殊的產(chǎn)品，需要結(jié)合船舶自身的特點(diǎn)來(lái)構(gòu)建船舶供應(yīng)商評(píng)價(jià)指標(biāo)體系。綜合學(xué)者的研究成果與船舶公司實(shí)際狀況，本文認(rèn)為應(yīng)該從質(zhì)量、成本、交貨、柔性、財(cái)務(wù)與信譽(yù)狀況以及服務(wù)與管理水平6個(gè)方面構(gòu)建船舶供應(yīng)商的評(píng)價(jià)指標(biāo)體系。

二、基于遺傳神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型

1.BP神經(jīng)網(wǎng)絡(luò)在船舶供應(yīng)商評(píng)價(jià)中的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)模型是一個(gè)分層型網(wǎng)絡(luò)，具有輸入層、中間層和輸出層。供應(yīng)商評(píng)價(jià)指標(biāo)由輸入層到輸出層的傳遞是一個(gè)前向傳播的過(guò)程，若輸出結(jié)果與期望結(jié)果的誤差超過(guò)允許范圍，則誤差反向傳播，并根據(jù)各層誤差的大小來(lái)調(diào)節(jié)權(quán)值,尋找最佳權(quán)集，實(shí)現(xiàn)正確輸出?；贐P神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型結(jié)構(gòu)及學(xué)習(xí)原理如圖2所示。

2.基于遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型

BP算法是沿梯度下降(平方誤差函數(shù))來(lái)指導(dǎo)搜索的，學(xué)習(xí)過(guò)程收斂速度慢，易陷入局部極小點(diǎn)。而遺傳算法對(duì)于全局搜索具有較強(qiáng)的魯棒性和較高的效率，克服了BP網(wǎng)絡(luò)的局限性。將遺傳算法與BP網(wǎng)絡(luò)相結(jié)合,可以達(dá)到全局尋優(yōu)和快速高效的目的。

遺傳算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型的步驟是:（1)確定網(wǎng)絡(luò)參數(shù)；（2）設(shè)定的種群規(guī)模N，產(chǎn)生初始種群;（3)求N組網(wǎng)絡(luò)權(quán)系數(shù),得到具有相同結(jié)構(gòu)的N個(gè)網(wǎng)絡(luò);（4)求N組網(wǎng)絡(luò)權(quán)值對(duì)應(yīng)的N個(gè)網(wǎng)絡(luò)輸出;（5）網(wǎng)絡(luò)性能評(píng)價(jià);（6)若不滿足評(píng)價(jià)條件，由對(duì)染色體進(jìn)行遺傳選擇、變異和交叉操作，產(chǎn)生新的染色體，直到滿足評(píng)價(jià)函數(shù);（7)選擇一個(gè)最優(yōu)染色體作為網(wǎng)絡(luò)權(quán)重，進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和評(píng)價(jià)。其工作流程如圖3所示。

三、應(yīng)用仿真算例

以中船公司的25家供應(yīng)商數(shù)據(jù)為基礎(chǔ)，采用matlab7.0編程，建立三層遺傳神經(jīng)網(wǎng)絡(luò)模型。

將前15家供應(yīng)商作為訓(xùn)練集，訓(xùn)練該網(wǎng)絡(luò)；其余10家供應(yīng)商作為測(cè)試集，模擬待評(píng)價(jià)的對(duì)象。設(shè)置誤差精度為0.00001。首先用遺傳算法，經(jīng)過(guò)450次優(yōu)化，得到全局最優(yōu)的網(wǎng)絡(luò)權(quán)值。然后以前15家供應(yīng)商的二級(jí)評(píng)價(jià)指標(biāo)為樣本，經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)4700次訓(xùn)練，得出對(duì)應(yīng)的6個(gè)一級(jí)評(píng)價(jià)指標(biāo)的訓(xùn)練樣本;再以所得出的輸出值為樣本，經(jīng)過(guò)BP神經(jīng)網(wǎng)絡(luò)4450次訓(xùn)練,訓(xùn)練出最終的遺傳神經(jīng)網(wǎng)絡(luò)模型，并用于綜合評(píng)價(jià)工作。輸入后10家供應(yīng)商二級(jí)評(píng)價(jià)指標(biāo)值，得到其一級(jí)評(píng)價(jià)指標(biāo)的輸出值,以該輸出值為輸入，計(jì)算出10家供應(yīng)商的綜合評(píng)價(jià)結(jié)果。見表。

四、結(jié)束語(yǔ)

基于遺傳神經(jīng)網(wǎng)絡(luò)的船舶供應(yīng)商評(píng)價(jià)模型借助BP神經(jīng)網(wǎng)絡(luò)的容錯(cuò)性和自適應(yīng)自學(xué)習(xí)能力克服了傳統(tǒng)評(píng)價(jià)方法在指標(biāo)權(quán)重賦值時(shí)存在的主觀隨意性問(wèn)題，并用遺傳算法的優(yōu)化解決了BP存在的收斂速度慢的問(wèn)題，為評(píng)價(jià)船舶供應(yīng)商提供了一條新的途徑。

參考文獻(xiàn):

[1]金朝光 紀(jì)卓尚 林 焰:船舶企業(yè)選擇供應(yīng)商的策略研究[J]. 計(jì)算機(jī)集成制造系統(tǒng),2003,9(10):886～890

[2]馬士華 林 勇 陳志祥:供應(yīng)鏈管理[M].北京:機(jī)械工業(yè)出版,2004

第8篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

關(guān)鍵詞：山區(qū)高速公路；填石路堤；人工神經(jīng)網(wǎng)絡(luò)；沉降

中圖分類號(hào)：U412.36+6文獻(xiàn)標(biāo)識(shí)碼： A

1 引言

在山區(qū)高速公路修筑中，存在大量的石質(zhì)挖方路段和隧道路段，怎樣利用大量的石質(zhì)填料填筑路堤，使其不出現(xiàn)工程質(zhì)量事故，同時(shí)避免一方面大量借石填筑路堤，另一方面又造成大量的石質(zhì)棄方占用農(nóng)田耕地的不合理現(xiàn)象，成為山區(qū)高速公路建設(shè)中迫切需要解決的問(wèn)題。在高等級(jí)公路逐漸進(jìn)入山區(qū)的今天，在云南省乃至全國(guó)范圍內(nèi)還將遇到更多的填石路堤修筑技術(shù)問(wèn)題。填石路堤的壓實(shí)工藝和檢測(cè)手段及檢測(cè)標(biāo)準(zhǔn)，粗粒料的壓實(shí)特性，填石路堤的沉降、穩(wěn)定性評(píng)價(jià)是填石路堤面臨的主要難題[1]。

2 沉降分析方法

本文采用神經(jīng)網(wǎng)絡(luò)方法對(duì)某山區(qū)高速公路填石路堤沉降進(jìn)行分析計(jì)算，以便科學(xué)合理的評(píng)價(jià)公路填石路堤穩(wěn)定性與沉降規(guī)律。

2.1神經(jīng)網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法（BP算法）的多層前向神經(jīng)網(wǎng)絡(luò)，它是目前應(yīng)用最廣泛也是發(fā)展最成熟的一種神經(jīng)網(wǎng)絡(luò)模型，它是按層次結(jié)構(gòu)構(gòu)造的，包括一個(gè)輸入層、一個(gè)輸出層和一個(gè)或多個(gè)隱藏層（圖中只畫出一層），一層內(nèi)的節(jié)點(diǎn)（神經(jīng)元）只和與該層緊鄰的下一層各節(jié)點(diǎn)相連。這個(gè)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程由正向傳播和反向傳播兩個(gè)過(guò)程組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱藏層逐層處理，然后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到希望的輸出，則轉(zhuǎn)向反向傳播過(guò)程，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小[2]。

網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程首先從給出一組隨機(jī)的權(quán)值開始，然后選取學(xué)習(xí)樣本集中的一個(gè)模式（輸入和期望輸出對(duì)）作為輸入，接著按前饋方式計(jì)算輸出值。這時(shí)的輸出值和期望值之間的誤差一般比較大，這就迫使權(quán)值必須改變。利用反向傳播過(guò)程，計(jì)算所有的權(quán)值的改變量。對(duì)所有的模式和所有的權(quán)值重復(fù)計(jì)算，修正權(quán)值后又以前饋方式重新計(jì)算輸出值。實(shí)際輸出和目標(biāo)輸出之間的偏差和權(quán)值改變量又一次在計(jì)算中產(chǎn)生。在學(xué)習(xí)樣本中的所有模式進(jìn)行計(jì)算后得到一組新的權(quán)值，在接下來(lái)的前饋過(guò)程中便得到一組新的輸出值，如此循環(huán)下去。在一次成功的學(xué)習(xí)中，系統(tǒng)誤差或單個(gè)輸入模式的誤差將隨著迭代次數(shù)的增加而減小，而過(guò)程將收斂到一組穩(wěn)定的權(quán)值。

實(shí)際上，BP模型把一組樣本的輸入輸出問(wèn)題變?yōu)橐粋€(gè)非線性優(yōu)化問(wèn)題。我們可以把這種模型看成一個(gè)從輸入到輸出的映射，這個(gè)映射是高度非線性的。如果輸入節(jié)點(diǎn)數(shù)為n，輸出節(jié)點(diǎn)數(shù)為m，則神經(jīng)網(wǎng)絡(luò)表示的是從n維歐式空間到m維歐式空間的映射。

2.2 神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)

BP算法的主要缺點(diǎn)是：收斂速度慢、局部極值、難以確定隱層和隱層節(jié)點(diǎn)的個(gè)數(shù)。在實(shí)際應(yīng)用中，BP算法很難勝任，因此出現(xiàn)了許多改進(jìn)算法。BP算法的改進(jìn)主要有兩種途徑：一種是采用啟發(fā)式學(xué)習(xí)算法，另一種則是采用更有效的優(yōu)化算法。

啟發(fā)式學(xué)習(xí)算法，就是對(duì)于表現(xiàn)函數(shù)梯度加以分析，從而改進(jìn)算法，其中包括：有動(dòng)量的梯度下降法（traingdm）、有自適應(yīng)lr的梯度下降法（traingda）、有動(dòng)量和自適應(yīng)lr的梯度下降法（traingdx）和能復(fù)位的BP訓(xùn)練法（trainrp）等。另一種是基于數(shù)值最優(yōu)化理論的訓(xùn)練算法，其中包括共軛梯度法、高斯－牛頓法和Levenberg-Marquardt方法等。

本文采用共軛梯度法進(jìn)行改進(jìn)。共軛梯度法是梯度法的一種改進(jìn)方法，可以改進(jìn)梯度法振蕩和收斂性差的缺陷。其基本思路是尋找與負(fù)梯度方向和上一次搜索方向共軛的方向作為新的搜索方向，從而加快訓(xùn)練速度，并提高訓(xùn)練精度。所有的共軛梯度法，都采用負(fù)梯度方向作為初始搜索方向：

然后沿著該方向作一維搜索：

接下來(lái)，就利用共軛方向作為新一輪的搜索方向，通常在當(dāng)前負(fù)梯度上附加上一次搜索方向：

共軛梯度法通常比自適應(yīng)lr的梯度下降法速度快，有時(shí)候也優(yōu)于彈性梯度下降法。同時(shí)由于共軛梯度法占有較少的存儲(chǔ)空間，因此在訓(xùn)練復(fù)雜網(wǎng)絡(luò)的時(shí)候，通常選用共軛梯度法[3]。

2.3程序的實(shí)現(xiàn)

本文采用Matlab，進(jìn)行程序的編制，算法如下：

%%神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)_BP神經(jīng)網(wǎng)絡(luò)模型

% n：原始數(shù)據(jù)個(gè)數(shù) x：填石路堤沉降實(shí)測(cè)值 y：填石路堤沉降預(yù)測(cè)值

clc;clear all;

clf;

%%讀數(shù)據(jù)；

load x1.txt;load x2.txt;

P=x2;x=x1;

%%NEWFF——生成新的線性神經(jīng)網(wǎng)絡(luò)

%%TRIAN——對(duì)線性神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

%%SIM——對(duì)線性神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真

%P——為輸入矢量；

%x——為目標(biāo)矢量；

%創(chuàng)建網(wǎng)絡(luò)

net=newff(minmax(P),[1,1],{'tansig','purelin'},'traingdm');

%當(dāng)前網(wǎng)絡(luò)層的權(quán)值與閾值

layerWights=net.LW{2,1};

layerbias=net.b{2};

%設(shè)置訓(xùn)練參數(shù)

net.trainParam.show=50;

net.trainParam.lr=0.05;

net.trainParam.mc=0.9;

net.trainParam.epochs=100;

net.trainParam.goal=0.1;

%%對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

[net,tr]=train(net,P,x);

%對(duì)線性網(wǎng)絡(luò)進(jìn)行仿真

y=sim(net,P);

y

x

3 填石路堤沉降計(jì)算分析結(jié)果

以現(xiàn)場(chǎng)監(jiān)測(cè)數(shù)據(jù)與網(wǎng)絡(luò)預(yù)測(cè)值進(jìn)行比較如表1所示。應(yīng)用該模型進(jìn)行預(yù)測(cè)精度很高，這進(jìn)一步證明了該BP神經(jīng)網(wǎng)絡(luò)擬合效果好，泛化能力強(qiáng)，收斂快。所以，該法在填石路堤最終沉降預(yù)測(cè)中十分有效和可行。

表1 網(wǎng)絡(luò)預(yù)測(cè)與實(shí)際值比較

4 結(jié)輪

本文將人工神經(jīng)網(wǎng)絡(luò)引入到填石路堤的沉降計(jì)算，利用實(shí)測(cè)資料，直接建模，更好的反映了填石路堤的沉降規(guī)律，工程實(shí)例研究表明，網(wǎng)絡(luò)預(yù)測(cè)值與實(shí)測(cè)值吻合較好，可信度較高，并且隨著學(xué)習(xí)樣本的不斷補(bǔ)充，網(wǎng)絡(luò)的預(yù)測(cè)精度將進(jìn)一步提高。

（1）一個(gè)良好的神經(jīng)網(wǎng)絡(luò)模型，可以不斷學(xué)習(xí)，使求解的范圍不斷擴(kuò)大，同時(shí)人工神經(jīng)網(wǎng)絡(luò)的抗干擾能力較強(qiáng)，個(gè)別測(cè)點(diǎn)的誤差將不會(huì)對(duì)結(jié)果產(chǎn)生大的影響。

（2）工程實(shí)例研究表明，實(shí)測(cè)值與神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值吻合較好，但也有個(gè)別點(diǎn)偏差較大，主要原因是訓(xùn)練的數(shù)據(jù)太少，隨著訓(xùn)練數(shù)據(jù)的增加，網(wǎng)絡(luò)的預(yù)測(cè)精度還會(huì)進(jìn)一步提高。

（3）人工神經(jīng)網(wǎng)絡(luò)方法避免了傳統(tǒng)方法的許多弊病，具有自組織、自適應(yīng)、容錯(cuò)性等特點(diǎn)，計(jì)算精度高，操作簡(jiǎn)便，適應(yīng)性強(qiáng)，因而具有廣闊的工程應(yīng)用前景。

參考文獻(xiàn)：

第9篇：神經(jīng)網(wǎng)絡(luò)的前向傳播范文

摘要：旅游需求的預(yù)測(cè)預(yù)報(bào)研究一直是旅游學(xué)研究的一個(gè)重要課題。本文在對(duì)到訪澳門地區(qū)中國(guó)內(nèi)地游客量分析的基礎(chǔ)上,運(yùn)用人工神經(jīng)網(wǎng)絡(luò)(ANN)的理論和方法,構(gòu)建了ANN模型分析中的3層BP模型,以澳門近10年（1996-20__）入境來(lái)訪的中國(guó)內(nèi)地旅游人數(shù)為例進(jìn)行模型驗(yàn)證，模擬結(jié)果表明,BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果能夠高程度的吻合原始數(shù)據(jù)，在旅游市場(chǎng)預(yù)測(cè)中，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)是一種有效的預(yù)測(cè)方法。一．問(wèn)題的提出與分析近年來(lái)，對(duì)澳門地區(qū)的旅游業(yè)來(lái)說(shuō)，中國(guó)內(nèi)地旅客是旅游收入的主要來(lái)源。目前旅游業(yè)已成為澳門地區(qū)經(jīng)濟(jì)發(fā)展特別是第二產(chǎn)業(yè)發(fā)展的支柱。建立科學(xué)的可操作的旅游預(yù)測(cè)模型是實(shí)現(xiàn)澳門地區(qū)旅游業(yè)持續(xù)健康穩(wěn)定發(fā)展的理論基石和前提。由于影響某地旅游人數(shù)的因素各異，還不存在普遍適用的神經(jīng)網(wǎng)絡(luò)模型。基于此，本文擬用3層BP神經(jīng)網(wǎng)絡(luò)模型來(lái)仿真模擬分析和預(yù)測(cè)澳門地區(qū)旅游需求,以此為旅游需求預(yù)測(cè)提供一種新的方法。二．模型的假設(shè)與符號(hào)說(shuō)明1．基本假設(shè)1）交通在旅游中通常不是重要的，為了研究的方便（主要是無(wú)法獲得交通數(shù)據(jù)），把交通這個(gè)影響忽略。2）假設(shè)澳門的接待能力都滿足需求。3）在本例旅游需求預(yù)測(cè)模型中，我們考慮的主要因素有：客源地的人口，客源地的總收入，客源地的消費(fèi)水平，旅游目的地的生活水平。4）為了研究的方便，假定以上四因子之間相互獨(dú)立，本例旅游需求即為上述四因子的函數(shù)，即y=f(GDI,POP,GDE,M-GP)。就用這四個(gè)因素作為人工神經(jīng)網(wǎng)絡(luò)模型輸入層的神經(jīng)元。2．符號(hào)說(shuō)明T澳門內(nèi)地游客量GDI中國(guó)內(nèi)地國(guó)民總收入POP中國(guó)內(nèi)地人口總數(shù)GDE中國(guó)內(nèi)地國(guó)民消費(fèi)水平M-GP澳門生產(chǎn)總值三．模型的建立與求解1．人工神經(jīng)網(wǎng)絡(luò)模型理論原理

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是由大量的、簡(jiǎn)單元件（神經(jīng)元）廣泛相互聯(lián)結(jié)而成的非線性的、動(dòng)態(tài)的復(fù)雜網(wǎng)絡(luò)信息處理系統(tǒng)，它是在現(xiàn)代神經(jīng)學(xué)研究成果基礎(chǔ)上提出的，能模擬人腦的若干基本功能[1]。它具有并行分布的信息處理結(jié)構(gòu)，可以通過(guò)“自學(xué)習(xí)”或“訓(xùn)練”的方式完成某一特定的工作。它可以從積累的工作案例中學(xué)習(xí)知識(shí)，盡可能多地把各種定性或定量的因素作為變量加以輸入，從而建立各種影響因素與結(jié)論之間的高度非線性映射，采用自適應(yīng)模式識(shí)別方法來(lái)完成預(yù)測(cè)工作[2]。人工神經(jīng)網(wǎng)絡(luò)模型尤其是對(duì)處理內(nèi)部規(guī)律不甚了解、不能用一組規(guī)則或方程進(jìn)行描述的復(fù)雜的、開放的非線性系統(tǒng)顯得較為優(yōu)越。人工神經(jīng)網(wǎng)絡(luò)模型一般由處理單元、激活狀態(tài)、單元輸出、連接模式、激活規(guī)則、學(xué)習(xí)規(guī)則等6個(gè)部分組成。一個(gè)多層神經(jīng)網(wǎng)絡(luò)中包含有很多個(gè)信息處理單元,分布于不同的層次中。根據(jù)每項(xiàng)輸入和相應(yīng)的權(quán)重獲取一個(gè)綜合信號(hào)，當(dāng)信號(hào)超過(guò)閾值則激活神經(jīng)元而產(chǎn)生輸出。各類影響因素和最終輸出結(jié)果之間可以假定存在一種映射,即輸出結(jié)果＝F（影響因素）。為了尋求最佳的映射關(guān)系F，將訓(xùn)練樣本集合和輸入、輸出轉(zhuǎn)化為一種非線性關(guān)系，通過(guò)對(duì)簡(jiǎn)單非線性函數(shù)的復(fù)合，從而建立一個(gè)高度的非線性映射關(guān)系F,最終實(shí)現(xiàn)輸出值的最優(yōu)逼近［3］。在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，80~90的人工神經(jīng)網(wǎng)絡(luò)是采用前饋反向傳播網(wǎng)絡(luò)（back-propagation-network,簡(jiǎn)稱BP網(wǎng)絡(luò)）或它的變化形式。BP神經(jīng)網(wǎng)絡(luò)（如圖一）是一種單項(xiàng)傳播的多層前向神經(jīng)網(wǎng)絡(luò)，分為輸入層、隱含層和輸出層，層與層之間采用全連接方式，同一層單元之間不存在相互連接。它是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分[4]。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)是根據(jù)W-H學(xué)習(xí)規(guī)則，采用梯度下降算法，對(duì)非線性可微函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。圖一：BP神經(jīng)網(wǎng)絡(luò)的每一層的權(quán)值通過(guò)學(xué)習(xí)來(lái)調(diào)節(jié)，其基本處理單元為非線性輸入－輸出關(guān)系，選用S型作用函數(shù)：其中：xj為該神經(jīng)元第i個(gè)輸入；wij為前一層第i個(gè)神經(jīng)元至該神經(jīng)元j的連接權(quán)值，i＝0時(shí)的權(quán)值為閾值。其計(jì)算步驟如下：（1）給定一組隨機(jī)的權(quán)值和閾值初始值及步長(zhǎng)系數(shù)η與勢(shì)態(tài)因子α；（2）取學(xué)習(xí)樣本數(shù)據(jù)，根據(jù)學(xué)習(xí)樣本、權(quán)值及閥值計(jì)算輸出，并與學(xué)習(xí)期望輸出比較，當(dāng)誤差滿足要求時(shí)結(jié)束訓(xùn)練，否則將誤差向后逐層傳播，并修正各層連接權(quán)值，調(diào)整公式為：其中：k取j結(jié)點(diǎn)所在層的前一層所有結(jié)點(diǎn)。5）澳門內(nèi)地旅客人數(shù)神經(jīng)網(wǎng)絡(luò)模型的建立(一)BP網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)設(shè)計(jì)是一個(gè)綜合性問(wèn)題，它應(yīng)滿足多種不同要求，例如，希望所涉及的網(wǎng)絡(luò)有較好的推理能力，易于硬件實(shí)現(xiàn)，訓(xùn)練速度快等，其中有較好的推理能力是最主要的。一般來(lái)說(shuō)，推廣能力決定于3個(gè)主要因素，即問(wèn)題本身的復(fù)雜程度、網(wǎng)絡(luò)結(jié)構(gòu)以及樣本量大小。在一般情況下，旅游需求預(yù)測(cè)研究中樣本的數(shù)量是一定的，因此可歸結(jié)為在樣本量一定的情況下，如何選擇網(wǎng)絡(luò)規(guī)模的問(wèn)題。在進(jìn)行BP網(wǎng)絡(luò)預(yù)測(cè)模型設(shè)計(jì)中，我們主要考慮以下因素：網(wǎng)絡(luò)的層數(shù)、每層中的神經(jīng)元個(gè)數(shù)、初始值的選擇、學(xué)習(xí)速率和期望誤差。i)網(wǎng)絡(luò)的層數(shù)已證明：具有偏差和至少一個(gè)S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。所以，本文選擇一個(gè)3層的BP網(wǎng)絡(luò)。ii)每層中神經(jīng)元的個(gè)數(shù)輸入層和輸出層神經(jīng)元的個(gè)數(shù)根據(jù)解決具體問(wèn)題的復(fù)雜程度而定。為了提高網(wǎng)絡(luò)訓(xùn)練的精度，可以通過(guò)采用一個(gè)隱含層，再加上1到2個(gè)神經(jīng)元以加快誤差的下降速度即可。因此，本文輸入層神經(jīng)元個(gè)數(shù)選擇為4個(gè)，隱含層神經(jīng)元個(gè)數(shù)分別選擇了9、12、15個(gè)，輸出層神經(jīng)元個(gè)數(shù)選擇為1個(gè)。iii)初始值的選擇由于人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性系統(tǒng)，初始值的選擇對(duì)于網(wǎng)絡(luò)學(xué)習(xí)是否達(dá)到局部最小、是否能夠收斂以及訓(xùn)練時(shí)間的長(zhǎng)短都有較大影響。在初始值的選擇上一般是使經(jīng)過(guò)初始值加權(quán)后的每個(gè)神經(jīng)元的輸出值都接近零，這樣可以保證每一個(gè)神經(jīng)元的連接權(quán)值都能夠在它們的S型激活函數(shù)變化最大處進(jìn)行調(diào)解。所以，初始值一般選擇在（-1,1）之間的隨機(jī)數(shù)。本文的初始值為默認(rèn)值。iv)學(xué)習(xí)速率對(duì)于任何一個(gè)網(wǎng)絡(luò)都對(duì)應(yīng)一個(gè)合適的學(xué)習(xí)速率。學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值的變化量。大的學(xué)習(xí)速率可以導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定，但是小的學(xué)習(xí)速率又會(huì)導(dǎo)致訓(xùn)練時(shí)間延長(zhǎng)，收斂速度較慢，不能保證網(wǎng)絡(luò)的誤差能最終趨于最小。綜合上述考慮，在學(xué)習(xí)速率的選擇上傾向于選擇較小的學(xué)習(xí)速率以保證網(wǎng)絡(luò)的穩(wěn)定性，本文選擇的學(xué)習(xí)速率為0.01。v)期望誤差值期望誤差值的確定也是通過(guò)網(wǎng)絡(luò)對(duì)不同誤差值分別進(jìn)行訓(xùn)練比較后確定的最適合值。所謂的最適合值是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定的，一個(gè)較小的誤差值的獲得需要增加隱含層的節(jié)點(diǎn)以及訓(xùn)練時(shí)間。本文經(jīng)過(guò)不斷測(cè)試，選擇0.0001為期望誤差值。（二）1．網(wǎng)絡(luò)訓(xùn)練模式的選擇訓(xùn)練網(wǎng)絡(luò)有兩類模式：逐變模式和批變模式。在逐變模式中，每一個(gè)輸入被作用于網(wǎng)絡(luò)后，權(quán)重和偏置量被更新一次。在批變模式中，所有的輸入被應(yīng)用于網(wǎng)絡(luò)后，權(quán)重和偏置量才被更新 一次。使用批變模式不需要為每一層的權(quán)重和偏置量設(shè)定訓(xùn)練函數(shù)，而只需為整個(gè)網(wǎng)絡(luò)制定一個(gè)訓(xùn)練函數(shù)，使用起來(lái)相對(duì)方便，因此，本文在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)采用批變模式。表格一：年度

澳門的內(nèi)地游客量(T)（千人）中國(guó)內(nèi)地國(guó)民總收入(GDI)（億元）中國(guó)內(nèi)地人口數(shù)(POP)（萬(wàn)人）中國(guó)內(nèi)地居民消費(fèi)水平（GDE）（元）澳門生產(chǎn)總值（M-GP）(億美元)1996604．270142.5122389278966.31997529．877653.1123626300266.71998816．883024.3124761315961.919991645．288189.0125786334659.220__2274．798000.5126743363261.020__3005．7108068.2127627386961.920__4240．4119095.7128453410668.220__5742．0135174.0129227441179.220__9529．7159586.71299884925103.320__10463183956.11307565439115.62．?dāng)?shù)據(jù)和模型的建立神經(jīng)網(wǎng)絡(luò)模型要求數(shù)據(jù)具有：A、易獲得性B、可靠性C、可測(cè)度性。本項(xiàng)研究采用很可靠的官方發(fā)表的數(shù)據(jù)作為分析的數(shù)據(jù)源（見表1），主要來(lái)自于中國(guó)統(tǒng)計(jì)局網(wǎng)。用3層BP網(wǎng)絡(luò)模型對(duì)本例旅游需求進(jìn)行模擬，根據(jù)BP網(wǎng)絡(luò)的映射原理，對(duì)于樣本集合X和輸出Y，可以假設(shè)存在一映射F。為了尋求F的最佳映射值，BP網(wǎng)絡(luò)模型將樣本集合的輸入、輸出轉(zhuǎn)化為非線性優(yōu)化，通過(guò)對(duì)簡(jiǎn)單的非線性函數(shù)的復(fù)合，建立一個(gè)高度的非線性映射關(guān)系，實(shí)現(xiàn)F值的最優(yōu)逼近。對(duì)于本例旅游需求模型的模擬：其輸入層結(jié)點(diǎn)數(shù)（4個(gè)神經(jīng)元）：中國(guó)內(nèi)地國(guó)民總收入（GDI）、中國(guó)內(nèi)地人口總數(shù)（POP）、中國(guó)內(nèi)地國(guó)民消費(fèi)水平（GDE）、澳門生產(chǎn)總值（M-GP）。把澳門內(nèi)地游客量（T）作為輸出結(jié)點(diǎn)。從而得出3層前饋反向傳播神經(jīng)網(wǎng)絡(luò)模型。四．模型結(jié)果及分析1網(wǎng)絡(luò)訓(xùn)練性能的檢查。不同個(gè)數(shù)的隱層單元組成的BP網(wǎng)絡(luò)訓(xùn)練曲線如圖1，2，3所示。通過(guò)比較發(fā)現(xiàn)，中間層神經(jīng)元個(gè)數(shù)為9和12時(shí)，網(wǎng)絡(luò)的收斂速度比較快。2網(wǎng)絡(luò)預(yù)測(cè)性能的考查。在數(shù)據(jù)列表中選取1996年到20__年的數(shù)據(jù)作為網(wǎng)絡(luò)的測(cè)試數(shù)據(jù)。20__、20__年的(文秘站:)游客量檢驗(yàn)誤差曲線如圖4。其仿真結(jié)果令人滿意，達(dá)到預(yù)期的效果。圖1圖2圖3圖4五．模型的應(yīng)用與評(píng)價(jià)（優(yōu)缺點(diǎn)與改進(jìn)）從上面的分析可以看出，3層BP神經(jīng)網(wǎng)絡(luò)模型的仿真模擬效果是鄰人滿意的。可以看出，人工神經(jīng)網(wǎng)絡(luò)的擬合精度比較高，主要是基于人工神經(jīng)網(wǎng)絡(luò)抗干擾能力強(qiáng)，穩(wěn)定性好，能自動(dòng)準(zhǔn)確地找出各種輸入和輸出之間的線性或非線性關(guān)系，具有較強(qiáng)的模擬適應(yīng)能力等特點(diǎn)。在本例對(duì)于澳門的內(nèi)地游客量的旅游預(yù)測(cè)中BP神經(jīng)網(wǎng)絡(luò)模型是一種有效的預(yù)測(cè)方法。這一研究方法為旅游學(xué)的定量預(yù)測(cè)研究提供了一種新的思路，也為工程實(shí)踐問(wèn)題中的一些研究工作提供了一種非常好的指導(dǎo)方法。雖然BP網(wǎng)絡(luò)得到了廣泛應(yīng)用，但其自身也存在一些缺陷和不足，主要包括幾個(gè)方面的問(wèn)題。首先，由于學(xué)習(xí)速率是固定的，因此，網(wǎng)絡(luò)的收斂速度慢，需要較強(qiáng)的訓(xùn)練時(shí)間。再次，網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無(wú)理論上的指導(dǎo)，一般是根據(jù)應(yīng)驗(yàn)或者通過(guò)反復(fù)試驗(yàn)確定的。因此，網(wǎng)絡(luò)往往存在很大的冗余性，在一定上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。六．原題附帶問(wèn)題簡(jiǎn)析通過(guò)對(duì)本例旅游需求模型的分析，我們認(rèn)為在利用數(shù)學(xué)建模的方法對(duì)旅游需求進(jìn)行預(yù)測(cè)預(yù)報(bào)時(shí)，對(duì)于數(shù)據(jù)的采集和整理工作需要認(rèn)真做好。對(duì)于數(shù)據(jù)的分析有助于我們尋求變量間的關(guān)系，以形成初步的想法。如何獲得數(shù)據(jù)以及如何獲得準(zhǔn)確的數(shù)據(jù)對(duì)于我們研究實(shí)際問(wèn)題具有相當(dāng)重大的意義。收集數(shù)據(jù)并非多多益善，而是要弄清究竟需要哪些數(shù)據(jù)，剔除不必要的數(shù)據(jù)，從而減少冗余的工作。同時(shí)，需要什么形式的數(shù)據(jù)也是我們應(yīng)該思考的一個(gè)問(wèn)題，這與建立模型的目的和所選擇的模型的特點(diǎn)有關(guān)。[參考文獻(xiàn)][1]王士同，等．問(wèn)題求解的人工智能：神經(jīng)網(wǎng)絡(luò)方法[M].北京：氣象出版社，1995.[2]HillT,MarquezO’connorM,RemusW.ArtificialNeuralNetworkMedelsfor

ForecastingandDecisionMaking[J].InternationalJournalofForecasting,1993,