神經(jīng)網(wǎng)絡的前向傳播精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡的前向傳播主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：神經(jīng)網(wǎng)絡技術(shù)，ANNBP網(wǎng)絡算法
1、人工神經(jīng)網(wǎng)絡概述
人工神經(jīng)網(wǎng)絡是模擬生物神經(jīng)信息處理方法的新型計算機系統(tǒng)，它可以模擬人腦的一些基本特征，（如自適應性，自組織性和容錯性），是一個并行、分布處理結(jié)構(gòu),它由處理單元及其稱為聯(lián)接的無向信號通道互連而成。
人工神經(jīng)網(wǎng)絡力圖模仿生物神經(jīng)系統(tǒng)，通過接受外部輸入的刺激，不斷獲得并積累知識，進而具有一定的判斷預測能力。盡管神經(jīng)網(wǎng)絡模型的種類很多，但基本模式都是由大量簡單的計算單元（又稱為節(jié)點或神經(jīng)元）廣泛相互連接而構(gòu)成的一種并行分布處理網(wǎng)絡。?；谏窠?jīng)信息傳輸?shù)脑?，各個節(jié)點通過可變的權(quán)值彼此相連接，每個節(jié)點對N個加權(quán)的輸入求和，當求和值超過某個閾值時，節(jié)點呈“興奮”狀態(tài)，有信號輸出。節(jié)點的特征由其閾值、非線性函數(shù)的類型所決定，而整個神經(jīng)網(wǎng)絡則由網(wǎng)絡拓撲、節(jié)點特征以及對其進行訓練所使用的規(guī)則所決定。
2、多層前向網(wǎng)絡
神經(jīng)網(wǎng)絡按拓撲結(jié)構(gòu)分為前饋型網(wǎng)絡和反饋型網(wǎng)絡。前饋型網(wǎng)絡在結(jié)構(gòu)上采用的是其信息只能從前一層到它下面一層的單元，在網(wǎng)絡運算過程中不存在任何反饋。從學習觀點看，前饋網(wǎng)絡是一種強有力的學習系統(tǒng)，其結(jié)構(gòu)簡單,易于編程；從系統(tǒng)觀點看，前饋網(wǎng)絡是非線性映射，通過簡單非線性處理單元的復合映射可獲得復雜的非線性處理能力，因此具有較強的分類能力和模式識別能力。
反向傳播（BP）網(wǎng)絡是典型的前饋型網(wǎng)絡，結(jié)構(gòu)上它屬于多層前向網(wǎng)絡,它的結(jié)構(gòu)如圖1所示。它分為輸入層、隱含層和輸出層，層與層之間多采用全互連方式，同一層之間不存在相互連接。網(wǎng)絡中每一層權(quán)值都可通過學習來調(diào)節(jié),且網(wǎng)絡的基本處理單元（輸入單元除外）為非線性輸入、輸出關(guān)系，處理單元的輸入、輸出值可連續(xù)變化。由于BP網(wǎng)絡可在多個連續(xù)的輸入和一個或多個連續(xù)的輸出之間建立非線性映射這一特性，它常被用于智能預測。
多層前向網(wǎng)絡是使用最廣泛的一種網(wǎng)絡結(jié)構(gòu)，它可很好的解決XOR等經(jīng)典的非線性問題，比起單層的感知器有很大的優(yōu)越性，尤其80年代中期，Rumelhart和Mcclelland最先提出了多層前饋網(wǎng)絡的反向傳播學習算法，簡稱BP算法，它的效率很高，是目前應用最為普遍的訓練算法，這使得多層前饋網(wǎng)絡應用更加廣泛。應該指出，我們常說的BP網(wǎng)絡，嚴格說是基于BP算法的多層前向網(wǎng)絡。
圖 1 BP網(wǎng)絡結(jié)構(gòu)圖
4、 BP網(wǎng)絡算法
BP網(wǎng)絡算法的思想是把一組樣本的I/O問題變?yōu)橐粋€非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法,用迭代運算求解權(quán)對應于學習記憶問題，加入隱含層節(jié)點使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。BP網(wǎng)絡模型設計的最大特點是網(wǎng)絡權(quán)值是通過使用網(wǎng)絡模型輸出值與已知的樣本值之間的誤差平方和達到期望值而不斷調(diào)整出來的，并且確定BP神經(jīng)網(wǎng)絡評價模型時涉及隱含層節(jié)點數(shù)、轉(zhuǎn)移函數(shù)、學習參數(shù)和網(wǎng)絡模型的最后選定等問題。下面簡單介紹一下基本BP算法相關(guān)數(shù)學描述：
(1)梯度下降算法
(2)S(Sigmoid)型函數(shù)
BP網(wǎng)絡的激活函數(shù)經(jīng)常使用的是Sigmoid對數(shù)或正切激活函數(shù)和線性函數(shù)。對數(shù)S型函數(shù) f(x)=1/(1+exp(-x)), Sigmoid 函數(shù)具有非線性放大功能，它可以把輸入從負無窮大到正無窮大的信號，變換成-1到1之間的輸出，對較大的輸入信號，放大系數(shù)較小，而較小的輸入，放大系數(shù)較大，所以采用S型激活函數(shù)可以去逼近非線性的輸入/輸出關(guān)系。
(3)BP算法
BP網(wǎng)絡學習是典型的有導師學習，其學習算法是對簡單的學習規(guī)則的推廣和發(fā)展。BP網(wǎng)絡實現(xiàn)了多層網(wǎng)絡學習的設想，其學習過程包括正向傳播和反向傳播兩部分。。
在正向傳播過程中，給定網(wǎng)絡的一個輸入模式時，輸入信息從輸入層經(jīng)過隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，由輸出層單元產(chǎn)生一個輸出模式，這是一個逐層狀態(tài)更新過程，稱為前向傳播。。如果輸出響應與期望輸出的模式誤差值不滿足要求，那么就轉(zhuǎn)入誤差反向傳播，將誤差值沿連接通路逐層傳送并修正各層連接權(quán)值。對于給定的一組樣本，不斷用一個個訓練模式進行學習，重復前向傳播和誤差反向傳播過程，當各個訓練模式都滿足要求時，BP網(wǎng)絡訓練完畢。
其中的激發(fā)函數(shù)我們采用S型函數(shù)， 即f(x)=1/(1+exp(-x))。BP算法描述如下：
（2）提供訓練樣本：輸入矢量Xk ,k=1,2,..n 和期望輸出tk, k=1,2,…,m；對每個輸入樣本進行（3）到（5）的迭代。
（3）計算網(wǎng)絡的實際輸出okj 。
（4）分別計算輸出層和隱含層的訓練誤差
其中(4-2)為輸出層的誤差值, (4-3)為隱含層的誤差值。
（5）修正權(quán)值和閾值
（6）判斷實際誤差指標是否滿足規(guī)定誤差的要求,滿足則到(7)。
（7）結(jié)束 。
BP算法是人工神經(jīng)網(wǎng)絡中最為重要的網(wǎng)絡之一, 也是迄今為止應用最為廣泛的網(wǎng)絡算法, 實踐證明這種基于誤差反傳遞算法可以解決許多實際問題, 但其算法自身也存在著局部極小點、算法的收斂速度慢等缺陷，需要我們在今后的研究中不斷完善改進。
第2篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：logistic回歸 BP神經(jīng)網(wǎng)絡 上市公司 信用風險
在經(jīng)濟全球化的趨勢下，信用將成為主要的交易方式，金融危機的爆發(fā)更是顯示出信用風險管理和信用風險分類的重要性。從20世紀60年代至70年代的統(tǒng)計學方法，20世紀80年代的專家系統(tǒng)到90年代的神經(jīng)網(wǎng)絡，各種信用風險評級方法層出不窮。在我國，信用風險的度量和管理較為落后，金融機構(gòu)沒有完善有效的評級方法和體系，目前所應用的方法主要是粗略的定性方法，如綜合利用宏觀經(jīng)濟與行業(yè)風險、所有權(quán)及治理結(jié)構(gòu)、信用風險及其管理、市場風險及其管理、資金來源/流動性、盈利能力等進行“加權(quán)”加分，信用風險的度量模式顯得比較單一，所以對于信用風險分類方法是學術(shù)界和實務界必須解決的課題之一。
一、文獻綜述
（一）國外文獻Logistic模型最早是由Martin （1977）用來預測公司的破產(chǎn)及違約概率。他從1970年至1977年間大約5700家美聯(lián)儲成員銀行中界定出58家困境銀行，并從25個財務指標中選取總資產(chǎn)凈利潤率等8 個財務比率，用來預測公司的破產(chǎn)及違約概率，建立了Logistic回歸模型，根據(jù)銀行、投資者的風險偏好設定風險警界線，以此對分析對象進行風險定位和決策。同時還將Z-Score模型，ZETA模型和Logistic模型的預測能力進行了比較，結(jié)果發(fā)現(xiàn)Logistic回歸模型優(yōu)于Z- Score模型和ZETA模型。Madalla （1983） 則采用Logistic模型區(qū)別違約與非違約貸款申請人，其研究結(jié)果表明，當違約概率p>0.551時是風險貸款；當p
（二）國內(nèi)文獻 在國內(nèi)的研究文獻中，齊治平（2002）從我國滬、深兩交易所選取164 家上市公司，然后隨機分成兩組，運用線性判別模型、Logistic 回歸模型以及含有二次項和交叉項的Logistic 模型對數(shù)據(jù)樣本提前兩年進行預測。結(jié)果發(fā)現(xiàn)，含有二次項和交叉項的Logistic模型對前一年數(shù)據(jù)的預測準確率最高。吳世農(nóng)（2003）使用剖面分析、單變量分析、線性概率模型（LPM）、Fisher二類線性判定、Logistic模型等統(tǒng)計方法對財務困境公司進行預測研究，其中Logistic模型對前一年數(shù)據(jù)的預測準確率達到93.53%，F(xiàn)isher判別分析法和LPM的準確率都為89.93%。龐素琳（2003）利用多層感知器分別對我國2000年106家上市公司進行信用評級，信用評價準確率高達98.11%。本文即是從上市公司的財務指標入手，通過logistic回歸分析和BP神經(jīng)網(wǎng)絡，構(gòu)建衡量企業(yè)信用狀況的模型，并通過實證研究考察模型的適用性，對比兩者信用風險分類的準確度。
二、研究設計
（一）樣本選取和數(shù)據(jù)來源本研究選取滬深兩市A股市場上2005年至2007年三年中部分被進行特別處理的118家ST公司和126家非ST公司，數(shù)據(jù)主要來源于CSMAR深圳國泰安信息技術(shù)有限公司提供的財務指標數(shù)據(jù)，將118家ST公司的財務數(shù)據(jù)和126家非ST公司的財務數(shù)據(jù)劃分為訓練樣本和測試樣本。樣本集選取如（表1）所示。
（二）變量選取本文采取的財務數(shù)據(jù)在參考了已有文獻以及考慮到實際數(shù)據(jù)可得性的基礎上，選取了能夠反映短期還款能力，長期還款能力，盈利能力和營運能力4方面共12個財務指標。指標變量名稱及自變量符號具體見表。因變量為0-1變量，信用級別高的設置為1，信用級別低的設置為0。在做logistic回歸的時候會進一步運用向后篩選法剔除方差貢獻率不大的指標變量。具體如（表2）所示。
（三）模型設定
（1）Logistic回歸模型：
（2）多層次前向神經(jīng)網(wǎng)絡。本文所應用的是一種稱為前向網(wǎng)絡的特殊神經(jīng)網(wǎng)絡結(jié)構(gòu)。本研究應用Rumehhart于1986年提出的如下函數(shù)：Ii=wijxj+?準，xi=fi=其中，Ii為神經(jīng)元i的層輸入，xi為神經(jīng)元的輸出，wij為神經(jīng)元間的連接權(quán)，?準為神經(jīng)元i的偏置。每一條連接弧都被賦予一定的數(shù)值來表示連接弧的連接強度，正的權(quán)值表示影響的增加，負的權(quán)值表示影響的減弱。在前向網(wǎng)絡中，神經(jīng)元間前向連接，同層神經(jīng)元互不連接，信息只能向著一個方向傳播。前向網(wǎng)絡的連接模式是用權(quán)值向量W來表示的。在網(wǎng)絡中，權(quán)值向量決定著網(wǎng)絡如何對環(huán)境中的任意輸入作出反應典型的學習算法是搜索權(quán)值以找到最適合給定樣本的權(quán)值。在本研究中應用的是多層前向網(wǎng)絡的BP算法，其主要作用是知識獲取和推理，采用有導師學習的訓練形式，提供輸入矢量集的同時提供輸出矢量集，通過反向傳播學習算法，調(diào)整網(wǎng)絡的連接權(quán)值，以使網(wǎng)絡輸出在最小均方差意義下，盡量向期望輸出接近，通過修改各層神經(jīng)元的連接權(quán)值，使誤差減小，然后轉(zhuǎn)入正向傳播過程，反復循環(huán)，直至誤差小于給定的值為止。本文建立的BP神經(jīng)網(wǎng)絡圖（見圖1）。本文建立財務困境神經(jīng)網(wǎng)絡預警模型主要考慮以下兩方面的問題：一是確定網(wǎng)絡結(jié)構(gòu)；二是學習參數(shù)的調(diào)整。首先考慮網(wǎng)絡結(jié)構(gòu)的確定。網(wǎng)絡結(jié)構(gòu)主要包括連接方式、網(wǎng)絡層次數(shù)和各層結(jié)點數(shù)。網(wǎng)絡的連接方式代表了網(wǎng)絡的拓撲結(jié)構(gòu)，Lippmann（1987）證明在一定條件下，一個三層的BP神經(jīng)網(wǎng)絡可以用任意精度去逼近任意映射關(guān)系，而且經(jīng)過實驗發(fā)現(xiàn)，與一個隱層相比，用兩個隱層的網(wǎng)絡訓練并無助于提高預測的準確。因此在本研究中采用單隱層的BP網(wǎng)絡。各隱含層節(jié)點數(shù)的選擇并無確定的法則，只能結(jié)合實驗并根據(jù)一些經(jīng)驗法則：隱層節(jié)點數(shù)不能是各層中節(jié)點數(shù)最少的，也不是最多的；較好的隱層節(jié)點數(shù)介于輸入節(jié)點和輸出節(jié)點數(shù)之和的50%~75%之間；隱層節(jié)點數(shù)的理論上限由其訓練樣本數(shù)據(jù)所限定。
三、實證結(jié)果分析
（一）logistic模型的參數(shù)估計及結(jié)果常規(guī)的線性判別模型計算得到的Z值只是個抽象的概念，無法從經(jīng)濟學上進行解釋，Logistic回歸分析解決了這個問題，其前提假設符合經(jīng)濟現(xiàn)實和金融數(shù)據(jù)的分布規(guī)律，殘差項小要求服從止態(tài)分布。本文運用SPSS自帶的Wald向后逐步選擇法篩選變量，提高模型的判別性能，從全變量模型開始，逐步提出對殘差平方和貢獻最小的變量，具體的回歸結(jié)果見（表2）。以2005年為例，根據(jù)SPSS計算結(jié)果中的參數(shù)表，估計Logistics模型的判別方程，（表3）反映了最大似然迭代記錄（顯示最后的迭代過程），（表4）反映了參數(shù)估計結(jié)果。步驟9是經(jīng)過9步變量篩選后最后保留在模型中的變量。從各個系數(shù)的Wald值及伴隨概率p來看，最終選定的5個指標變量具有最高的解釋能力。綜上，2005年公司分類的logistic模型為：p=。從（表5）步驟1及步驟9的分類結(jié)果看出，剔除不顯著變量之后，分類準確率并未大幅下降，可以認為最終的模型能通過檢驗。（表6）顯示了最終的Logistic模型參數(shù)估計結(jié)果。（表7）顯示了模型分類準確率。
（二）BP神經(jīng)網(wǎng)絡的參數(shù)估計及結(jié)果首先對輸入輸出樣本進行數(shù)據(jù)處理，消除影響預測結(jié)果的噪聲，神經(jīng)網(wǎng)絡輸入的變量要求規(guī)范在［-1，1］（若使用tanh函數(shù)）或［0，1］（若使用logistic函數(shù)）之間。本文對輸入數(shù)據(jù)進行標準化處理，采用以下方法：X=。X為規(guī)范后的變量，x為每個變量的實際值，x1為每個變量的最小值，x2為每個變量的最大值。Matlab中相應的函數(shù)為［output_X，PS］=mapminmax（X，output_min，outpt_max）由于實際財務困境評價往往非常復雜，企業(yè)財務狀況的好壞與財務比率的關(guān)系常常是非線性的，而神經(jīng)網(wǎng)絡作為一種非線形建模過程，并不依賴判別模型的假設，能找出輸入與輸出的內(nèi)在聯(lián)系，因此本文決定嘗試使用神經(jīng)網(wǎng)絡技術(shù)進行信用狀況的分類研究，分為訓練集和測試集兩組對神經(jīng)網(wǎng)絡進行訓練，過程如下：第一，輸入層和輸出層神經(jīng)元數(shù)目的確定。第一層為輸入層，采用判別分析得出的模型變量為輸入變量，共有12個結(jié)點，每個結(jié)點代表相應的財務比率。第三層為輸出層，用一個結(jié)點表示，訓練導師值為0代表信用級別“差”的公司，1代表信用級別“好”的公司。第二，隱含層數(shù)和隱結(jié)點個數(shù)的確定。本文選擇單隱層的前饋BP網(wǎng)絡；通過學習逐步增加隱神經(jīng)元數(shù)，訓練反復調(diào)整。最后定為10個隱結(jié)點。第三，用訓練集的數(shù)據(jù)訓練這個神經(jīng)網(wǎng)絡，使不同的輸入向量得到相應的輸出值，當誤差降到一個指定的范圍內(nèi)時，神經(jīng)網(wǎng)絡所持有的那組權(quán)數(shù)值就是網(wǎng)絡通過自學習得到的權(quán)數(shù)值，即完成了神經(jīng)網(wǎng)絡的自學習過程。第四，輸入待評價的樣本（本文直接在輸入矩陣中劃分為訓練），讓訓練好的神經(jīng)網(wǎng)絡輸出企業(yè)財務狀況的標志（0或1），即實現(xiàn)神經(jīng)網(wǎng)絡的模式分類。神經(jīng)網(wǎng)絡的初始權(quán)重由Matlab隨機產(chǎn)生的。訓練算法采用專用于模式分類的trainscg方法，各種訓練參數(shù)見（表8）。由此看出，算法逐步收斂，最終達到誤差標準見（表9）。
（三）兩種模型比較分析 本文對Logistic和BP神經(jīng)網(wǎng)絡分別對我國上市公司的信用狀況給予兩類模式的評級，最終發(fā)現(xiàn)，Logistic和BP神經(jīng)網(wǎng)絡在我國市場上的分類效果相當（見表10）。主流觀點認為，人工神經(jīng)網(wǎng)絡具有良好的模式識別能力，可以克服統(tǒng)計等方法的限制，因為它具有良好的容錯能力，對數(shù)據(jù)的分布要求不嚴格，具備處理資料遺漏或是錯誤的能力。最為可貴的一點是人工神經(jīng)網(wǎng)絡具有學習能力，可以隨時依據(jù)新準備的數(shù)據(jù)資料進行自我學習、訓練、調(diào)整其內(nèi)部的儲存權(quán)重參數(shù)以應對多變的企業(yè)運作環(huán)境。但是本文得出的結(jié)果是：傳統(tǒng)的Logistic方法和神經(jīng)網(wǎng)絡方法的分類效果相當?，F(xiàn)代人工智能方法并未表現(xiàn)出理論上的優(yōu)勢?？赡艿脑蚴牵壕W(wǎng)絡不穩(wěn)定，訓練樣本的仿真準確率很高，但對測試樣本的仿真準確率會降低；解釋性差，網(wǎng)絡最終確定后，每個神經(jīng)元的權(quán)值和閾值雖然已知，但不能很好地分析各個指標對結(jié)果的影響程度，對現(xiàn)實問題中的經(jīng)營管理也就不能起到很好的借鑒作用；網(wǎng)絡的輸入個數(shù)與隱層節(jié)點個數(shù)的確定沒有理論指導，只能通過經(jīng)驗確定。
四、結(jié)論
本文選取2005年至2007年部分被進行特別處理的118家ST公司和126家非ST公司，以其財務指標為樣本，進行Logistic回歸和BP神經(jīng)網(wǎng)絡分類，對這兩種信用風險評判模型在中國市場做了實證研究。結(jié)果發(fā)現(xiàn)：兩種模型均適用于中國上市公司兩模式分類（ST和非ST公司），而BP神經(jīng)網(wǎng)絡在我國市場上并未體現(xiàn)其分類的優(yōu)勢，分類準確度和Logistic相當。即使如此，本文證實了Logistic和BP神經(jīng)網(wǎng)絡模型對于我國上市公司的評級還是有效的，能夠為投資者的科學決策提供建設性的指導意見，使投資者理智地回避風險和獲取收益。同時，該判別模型也有利于準確評價一個企業(yè)的信用狀況，從而為銀行等放貸機構(gòu)提供決策依據(jù)。
參考文獻：
［1］吳世農(nóng)、盧賢義：《我國上市公司財務困境的預測模型研究》，《經(jīng)濟研究》2001年第6期。
［2］齊治平、余妙志：《Logistic模型在上市公司財務狀況評價中的應用》，《東北財經(jīng)大學學報》2002年第1期。
［3］龐素琳、王燕鳴、羅育中：《多層感知器信用評價模型及預警研究》，《數(shù)學實踐與認識》2003年第9期。
第3篇：神經(jīng)網(wǎng)絡的前向傳播范文
（一）BrainCell
神經(jīng)網(wǎng)絡基本原理本文主要應用了BrainCell神經(jīng)網(wǎng)絡軟件來實現(xiàn)B2B電子商務供應鏈協(xié)同績效評價模型的計算與分析。BrainCell神經(jīng)網(wǎng)絡采用誤差反向傳播學習算法，算法從兩個方面（信號的前向傳播和誤差的反向傳播）反復進行迭代學習。其基本原理是輸入層各神經(jīng)元在接收外接的信息后，傳遞給隱含層的神經(jīng)元，根據(jù)減少目標輸出與實際輸出誤差的方向，從輸入層經(jīng)過隱含層逐層修正各連接的權(quán)值，直到將誤差調(diào)整到能夠接受的程度，這不僅是各層權(quán)值不斷修正的過程，也是學習訓練神經(jīng)網(wǎng)絡的過程，若學習樣本的計算輸出提前達到預期的結(jié)果，則訓練過程結(jié)束，否則將學習到預先設定的學習次數(shù)為止，最后由輸出層輸出信息處理的結(jié)果，如上圖所示。
（二）BrainCell神經(jīng)網(wǎng)絡實現(xiàn)步驟
1.網(wǎng)絡層數(shù)的確定根據(jù)Kolmogrov理論可知，含有一個隱含層的三層神經(jīng)網(wǎng)絡可以以任意精度逼近一個從輸入到輸出的映射關(guān)系。因此，在BrainCell神經(jīng)網(wǎng)絡中采用含有單隱層的三層神經(jīng)網(wǎng)絡。2.網(wǎng)絡節(jié)點的確定輸入層節(jié)點的多少與評價指標個數(shù)是相對應的。因此，根據(jù)構(gòu)建好的B2B電子商務供應鏈協(xié)同績效評價指標體系，可以將一級指標與二級指標進行合并，作為輸入層的節(jié)點數(shù)，其指標數(shù)如表1所示，因此輸入層節(jié)點數(shù)為19個。輸出層節(jié)點則為1個，在此以B2B電子商務供應鏈協(xié)同績效等級結(jié)果作為輸出值。3.網(wǎng)絡訓練本文采用的訓練函數(shù)為trainscg，將網(wǎng)絡訓練的精度設置為10-4并初始化權(quán)值和閾值后，從15個樣本中選取12個作為訓練樣本進行批處理訓練，開啟網(wǎng)絡進行學習訓練。其具體步驟如下。假設訓練樣例是形式（a，b），其中a為輸入向量，b為輸出值。N為輸入節(jié)點數(shù)，M為輸出層節(jié)點數(shù)。從單位i到單位j的輸入表示aij，單位i到單位j的權(quán)值表示W(wǎng)ij。（1）創(chuàng)建具有N個輸入單位，M個輸出單位的BrainCell神經(jīng)網(wǎng)絡。（2）用隨機數(shù)（0或1）初始化某些數(shù)字變量網(wǎng)絡權(quán)值Wij。（3）對于第k個訓練樣例（a，b），把輸入跟著網(wǎng)絡前向傳播，并計算網(wǎng)絡中每個單元x的輸出Qx，使誤差沿著反向傳播。（4）對于每個輸出單元u，計算它的誤差項。（5）對于每個隱含單元h，計算它的誤差項。（6）利用誤差項更新調(diào)整每個網(wǎng)絡權(quán)值。（7）重復（3）到（6），直到完成指定的迭代次數(shù)或者是其誤差值達到可接受的范圍。4.網(wǎng)絡檢驗將剩下的3個驗證樣本數(shù)據(jù)輸入到訓練好的網(wǎng)絡中，將其訓練結(jié)果與實際結(jié)果相比較，檢驗BrainCell神經(jīng)網(wǎng)絡得到的輸入與輸出間的關(guān)系是否正確，從而反映出該績效評價體系的準確性和可靠性。
二、實證研究與分析
（一）確定績效評價等級
由于各個企業(yè)供應鏈自身發(fā)展的情況不同，各具特點，其形式、結(jié)構(gòu)各異，因此如何劃分績效評價等級，如何更好地反映績效評價等級至關(guān)重要。本文以績效考核成績最好為1，最低為0為臨界值，由高到低劃分5個等級，并通過績效等級系數(shù)來體現(xiàn)，見表2所示。
（二）指標數(shù)據(jù)獲取和處理
本文以天貓商城中某珠寶飾品有限責任公司為例，該公司有比較穩(wěn)定的供應商，且與多家企業(yè)都有長期合作關(guān)系。根據(jù)公司的實際管理情況，整理出該公司供應鏈協(xié)同管理的績效指標評價體系研究的基礎數(shù)據(jù)，應用BrainCell軟件對這些基本數(shù)據(jù)進行計算。為使各指標在整個系統(tǒng)中具有可比性，本文利用效應系數(shù)將指標在閉區(qū)間[0，1]上進行同趨勢化無量綱化和定性指標定量化處理。結(jié)果表明，該公司的供應鏈整體績效基本良好，其績效評價等級系數(shù)主要都集中在[0.5,0.8]這部分區(qū)間內(nèi)，與該公司所處供應鏈實際情況相符。該公司運作情況基本令人滿意。
三、結(jié)語及展望
第4篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：風電功率 多種群遺傳算法 單種群遺傳算法 神經(jīng)網(wǎng)絡 優(yōu)化
引言
近年來，風能作為一種新型的可再生能源，被應用到電力系統(tǒng)中，在解決能源問題的同時，又對電網(wǎng)的穩(wěn)定安全運行帶來了巨大的挑戰(zhàn)。本文基于BP神經(jīng)網(wǎng)絡，提出了用單種群遺傳算法和多種群遺傳算法優(yōu)化的組合預測方法。對歷史數(shù)據(jù)建立模型，對未來短期風電功率分別用上述三種方法進行預測，并對結(jié)果進行比較。
1、BP神經(jīng)網(wǎng)絡
（1）BP算法的基本思想。BP神經(jīng)網(wǎng)絡是一種多層前饋神將網(wǎng)絡，利用信號前向傳遞，誤差反向傳播的思想來進行網(wǎng)絡學習。在前向傳播中，將輸入信號，從輸入層經(jīng)隱含層層層處理，直至輸出層。利用輸出層輸出結(jié)果與預期輸出之間的差異，反向傳播，調(diào)整網(wǎng)絡權(quán)值和閾值，從而使網(wǎng)絡預測輸出不斷逼近期望輸出。
（2）輸入層與輸出層神經(jīng)元個數(shù)的確定。輸入層神經(jīng)元的個數(shù)與輸入變量的維數(shù)相等，輸出層神經(jīng)元的個數(shù)與預期輸出的維數(shù)相等。
（3）隱含層神經(jīng)元個數(shù)的確定。BP神經(jīng)網(wǎng)絡的隱含層節(jié)點數(shù)對于BP神經(jīng)網(wǎng)絡的預測精度有較大的影響：節(jié)點數(shù)太少，網(wǎng)絡不能很好地學習，需要增加訓練次數(shù)，訓練的精度也受到影響；節(jié)點數(shù)太多，訓練時間增加，網(wǎng)絡容易過擬和，泛化性能差。
（4）節(jié)點傳遞函數(shù)的確定。常用的轉(zhuǎn)移函數(shù)有線性傳遞函數(shù)、指數(shù)S型、對數(shù)S型等，在網(wǎng)絡的結(jié)構(gòu)和權(quán)值、閾值相同的情況下，轉(zhuǎn)移函數(shù)對BP神經(jīng)網(wǎng)絡預測誤差具有較大的影響。一般隱含層節(jié)點轉(zhuǎn)移函數(shù)選用對數(shù)或指數(shù)S型函數(shù)，輸出層節(jié)點轉(zhuǎn)移函數(shù)選用正切或線性傳遞函數(shù)。
（5）輸入數(shù)據(jù)的預處理。為了提高神經(jīng)網(wǎng)絡訓練速度和提高收斂性，一般情況下要對輸入數(shù)據(jù)進行歸一化處理，本文采用最大最小法。
2、單種群遺傳算法
（1）遺傳算法概述。遺傳算法（GA）是一種進化算法，基本思想是“物競天擇，適者生存”的演化法則。把待解決的實際問題抽象，將其中參數(shù)編碼為染色體，利用迭代的方式進行選擇，交叉以及變異等運算從而交換種群中染色體的信息，最終生成符合優(yōu)化目標的染色體。
（2）編碼。將原始問題的解空間的數(shù)據(jù)映射到遺傳空間的基因型串結(jié)構(gòu)，其數(shù)據(jù)的不同組合構(gòu)成了原始問題的不痛的解。本文采用二進制編碼法。
（3）適應度函數(shù)。適應度函數(shù)表征染色體的適應度，其值越大表明該染色體越適應環(huán)境，越有可能為下一代提供其遺傳信息。本文采用期望輸出與實際輸出的均方差作為適應度函數(shù)值。
（4）選擇、交叉、變異算子。選擇算子的主要目的是從種群中選出優(yōu)良的個體，使其有機會作為父代為下一代提供遺傳信息。選擇的機制為適應度大的個體被選中的概率大。交叉算子實現(xiàn)了父代間的信息交換，是遺傳算法的主要操作。變異算子體現(xiàn)了實際問題中的參數(shù)變化，從而使算法跳出局部最優(yōu)，達到或接近全局最優(yōu)。
3、多種群遺傳算法
（1）單種群遺傳算法的不足。單種群遺傳算法在優(yōu)化時不依賴于梯度，具有很強的魯棒性和全局搜索能力，被廣泛應用到機器學習，模式識別，數(shù)學規(guī)劃等領域。但會出現(xiàn)早熟問題。
（2）多種群遺傳算法概述。為了克服遺傳算法的未成熟問題，學者們提出了自適應的交叉和變異，并得出了一些益的結(jié)論。但由于影響遺傳算法未成熟問題的因素很多，一般方法仍有一定的局限性，為此本文采用多種群遺傳算法代替遺傳算法，并引入移民算子和人工選擇算子，進行多種群的并行搜索。
（3）移民算子與人工選擇算子。各個種群之間通過移民算子進行聯(lián)系，實現(xiàn)多種群的協(xié)同進化；最優(yōu)解的獲取是多種群協(xié)同精華的結(jié)果。通過人工選擇算子保存各個種群每個進化代中的最優(yōu)個體，并作為判斷算法收斂的依據(jù)。
4、單種群與多種群遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡
在神經(jīng)網(wǎng)絡的結(jié)構(gòu)相同的情況下，每次運行神經(jīng)網(wǎng)絡進行預測和有可能會得出不同的結(jié)果，即網(wǎng)絡初始權(quán)值與閾值對網(wǎng)絡預測結(jié)果有很大的影響。本文使用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡初始權(quán)值與閾值，從而確定最佳的初始權(quán)值與閾值，提高預測的準確度。算法流程如圖所示。
5、算例分析
根據(jù)《國家能源局關(guān)于印發(fā)風電場電功率預測預報管理暫行辦法》，風電場功率預測預報考核指標，利用2011年電工杯數(shù)學建模競賽A題的數(shù)據(jù)進行驗證。分別利用BP神經(jīng)網(wǎng)絡、單種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡、多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡進行編程，預測結(jié)果如表1所示
預測結(jié)果顯示，使用BP神經(jīng)網(wǎng)絡進行預測的結(jié)果已經(jīng)達到了比較高的精確度，但單種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡和多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡將預測精度進一步提高，其中多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡的預測效果最佳。
6、結(jié)論
本文提出基于遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡預測模型，充分挖掘歷史數(shù)據(jù)，采用多種群協(xié)調(diào)進化，提高網(wǎng)絡預測精度與泛化性能，同時提高網(wǎng)絡穩(wěn)定性。實例證明多種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡預測模型比單一種群遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡預測模型具有更好的預測效果，為風電功率預測提供了一種新的思路。具有很好的應用前景。
參考文獻：
[1]王素霞.國內(nèi)外風力發(fā)電的情況及發(fā)展趨勢[J].電力技術(shù)經(jīng)濟，2007，19（1）：29-31.
[2]時慶華，高山，陳昊.2種風電功率預測模型的比較[J].能源技術(shù)經(jīng)濟.2011，23（6）：31-35
[3]洪翠，林維明，溫不瀛.風電場風速及風電功率預測方法研究綜述[J].電網(wǎng)與清潔能源，2011，27（1）：20-66.
第5篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：高速公路；隧道施工系統(tǒng)；安全評價；模糊理論；神經(jīng)網(wǎng)絡
0引言
近年來，隨著國家高速公路迅猛發(fā)展，隧道建設數(shù)量也越來越多，規(guī)模也越來越大。在隧道施工過程中，由于圍巖地質(zhì)條件的多樣性和復雜性，其施工事故發(fā)生率比其他巖土工程高且嚴重，給隧道工程施工人員身心帶來嚴重的危害，社會影響惡劣，有悖于國家建設和諧社會的宗旨。這就要求用科學的方法對隧道施工生產(chǎn)系統(tǒng)進行安全分析與評估，預測事故發(fā)生的可能性[1]。
在傳統(tǒng)的公路隧道施工生產(chǎn)系統(tǒng)安全評價中，經(jīng)常使用的安全評價方法主要以定性安全評價方法為主，如專家論證法、安全檢查表法及作業(yè)條件危險性評價法等[2,3]。近年來，在公路隧道施工生產(chǎn)系統(tǒng)安全評價中，引人了模糊綜合評價的方法，取得了較好的決策效果[4]。但是，該方法缺乏對環(huán)境變化的自學習能力，對權(quán)值不能進行動態(tài)調(diào)整[5],而神經(jīng)網(wǎng)絡具有非線性逼近能力,具有自學習、自適應和并行分布處理能力，但其對不確定性知識的表達能力較差，因此，模糊控制與神經(jīng)網(wǎng)絡結(jié)合就可以優(yōu)勢互補，各取所長[6]，在這方面已經(jīng)出現(xiàn)了一些研究成果[7～11]。為此，本文把人工神經(jīng)網(wǎng)絡理論與模糊綜合評價理論相融合，研究建立了一種模糊神經(jīng)網(wǎng)絡評價模型，對公路隧道施工的安全管理水平進行評價。
1模糊神經(jīng)網(wǎng)絡
1.1基本結(jié)構(gòu)原理
模糊神經(jīng)網(wǎng)絡是由與人腦神經(jīng)細胞相似的基本計算單元即神經(jīng)元通過大規(guī)模并行、相互連接而成的網(wǎng)絡系統(tǒng)，訓練完的網(wǎng)絡系統(tǒng)具有處理評估不確定性的能力，也具有記憶聯(lián)想的能力，可以成為解決評估問題的有效工具，對未知對象作出較為客觀正確的評估。
根據(jù)評估問題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經(jīng)網(wǎng)絡，其中包括神經(jīng)網(wǎng)絡和模糊集合兩方面的內(nèi)容。
1.2神經(jīng)網(wǎng)絡
為了模擬人腦結(jié)構(gòu)和功能的基本特性，前饋神經(jīng)網(wǎng)絡由許多非線性神經(jīng)元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對于任何在閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用一個隱層的BP網(wǎng)絡來逼近[12]，因而一個三層的BP網(wǎng)絡完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡采用三層BP神經(jīng)網(wǎng)絡結(jié)構(gòu)。輸人層有 個神經(jīng)元，輸人向量 ， ，輸人層神經(jīng)元 的輸出是輸人向量的各分分量 。隱層有個神經(jīng)元 ， ，若輸人層神經(jīng)元 與隱層神經(jīng)元 之間的連接權(quán)值為 ，且隱層神經(jīng)元 的閾值為 ，則隱層神經(jīng)元 的輸出為
(l)
式中 是神經(jīng)元的激勵函數(shù)，一般選取單調(diào)遞增的有界非線性函數(shù)，這里選用Sigmoid函數(shù)：
(2)
由此，隱層神經(jīng)元的輸出為：
(3)
同理可得輸出層神經(jīng)元的輸出為：
(4)
1.3學習算法
本網(wǎng)絡采用BP學習算法，它是一種有教師的學習算法，其學習過程由信號的正向傳播和誤差的反向傳播組成。基本原理是：設輸人學習樣本為 個，即輸人矢量 ，已知其對應的期望輸出矢量(教師信號)為 ，正向傳播過程將學習樣本輸人模式 從輸人層經(jīng)隱含單元層逐層處理，并傳向輸出層，得到實際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉(zhuǎn)人反向傳播，將 與 的誤差信號通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而調(diào)整各神經(jīng)元之間的連接權(quán)值，這種信號正向傳播與誤差反向傳播得各層權(quán)值調(diào)整過程是周而復始地進行的，直到網(wǎng)絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數(shù)為止。
網(wǎng)絡的具體學習算法的計算模型如下：
對某一學習樣本 ，誤差函數(shù)為
（5）
式中： 、 分別為該樣本的輸出期望值和實際值。
對于所有學習樣本 ，網(wǎng)絡的總誤差為
（6）
網(wǎng)絡學習算法實際上就是求誤差函數(shù)的極小值。利用非線性規(guī)劃中的梯度下降法(最速下降法)，使權(quán)值沿著誤差函數(shù)的負梯度方向改變。
隱層與輸出層之間的權(quán)值(及閾值) 的更新量 可表示為
（7）
式中： 為學習率，可取 。
將式（6）和（4）代入式（7），并利用復合函數(shù)求導的連鎖規(guī)則，得
（8）
式中： 為迭代次數(shù)， 為誤差信號
（9）
類似的，輸入層與隱層之間的權(quán)值（及閾值）修正為
（10）
同理可得
式中 為誤差信號
（11）
為了改善收斂性，提高網(wǎng)絡的訓練速度，避免訓練過程發(fā)生振蕩，對BP算法進行改進，在權(quán)值調(diào)整公式中增加一動量項，即從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中，即：
（12）
（13）
式中 為動量因子，一般有 。
1.4模糊集合
評估指標集由表征一類評估決策問題的若干性能指標組成。由于指標的量化含有不確定性，故用模糊方法加以處理[13]。評估指標的模糊集合 可表示為
（14）
式中： 是評估指標， 是相應指標的評價滿意度， 。
評估指標集用其滿意度表示，取值在[0，1]之間，作為模糊神經(jīng)網(wǎng)絡系統(tǒng)中神經(jīng)網(wǎng)絡的輸人向量，這正好符合神經(jīng)網(wǎng)絡對輸人向量特征化的要求。實踐表明，經(jīng)過對輸人向量的特征化處理，可大大減少網(wǎng)絡的學習時間，加速網(wǎng)絡訓練的收斂。
2隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡
2.1指標體系與神經(jīng)網(wǎng)絡劃分
實踐證明，一個好的隧道施工系統(tǒng)安全評價方法應滿足以下要求：評價指標能全面準確地反映出隧道施工系統(tǒng)的狀況與技術(shù)質(zhì)量特征；評價模式簡單明了，可操作性強，易掌握；評價結(jié)論能反映隧道施工系統(tǒng)的合理性、經(jīng)濟性及安全可靠性；評價中所采用的數(shù)據(jù)易于獲取，數(shù)據(jù)處理工作量??；頂層輸出即為系統(tǒng)的專家評估，而每層各評估項目的子系統(tǒng)都可以用子結(jié)構(gòu)表示。
每個子結(jié)構(gòu)具有輸人輸出關(guān)系可表達為
（15）
其中 是子系統(tǒng)的輸出， 是子系統(tǒng)的輸人矢量， 為相應的專家(加權(quán))知識。
評估專家系統(tǒng)中各子系統(tǒng)的評估由各自的模糊神經(jīng)網(wǎng)絡來完成。
這種對評估系統(tǒng)的結(jié)構(gòu)分解和組合具有如下特點：
（1）每個子系統(tǒng)可以采用較少的神經(jīng)元來實現(xiàn)神經(jīng)網(wǎng)絡的自學習和知識推理，這樣既減少了學習樣本數(shù)、提高了樣本訓練速度，又能夠獨立完成某一推理任務。
（2）分解的各子系統(tǒng)具有相對獨立性，便于系統(tǒng)的修改、擴展和子系統(tǒng)的刪除，從而具有良好的維護性。
（3）子系統(tǒng)的評估項目即為節(jié)點，在系統(tǒng)進行評估推理時產(chǎn)生的評估表示式可以很好地解釋評估系統(tǒng)的推理過程，避免了神經(jīng)網(wǎng)絡權(quán)值難以理解所致的推理過程難以理解的弱點。
2.2網(wǎng)絡的設計
評估問題是前向處理問題，所以選用如前所述的前向型模糊神經(jīng)網(wǎng)絡來實現(xiàn)。
（1）輸人層
輸人層是對模糊信息進行預處理的網(wǎng)層，主要用于對來自輸人單元的輸人值進行規(guī)范化處理，輸出由系統(tǒng)模糊變量基本狀態(tài)的隸屬函數(shù)所確定的標準化的值，以便使其適應后面的處理。根據(jù)評價指標體系，對應20個指標構(gòu)建BP網(wǎng)絡的輸入層為20個節(jié)點，將指標轉(zhuǎn)換為相應指數(shù)后作為樣本進入網(wǎng)絡進行計算。
（2）隱層(模糊推理層)
該層是前向型模糊神經(jīng)網(wǎng)絡的核心，用以執(zhí)行模糊關(guān)系的映射，將指標狀態(tài)輸入與評估結(jié)果輸出聯(lián)系起來。采用試探法選取模型的隱含層神經(jīng)元數(shù)，即首先給定一個較小的隱含層神經(jīng)元數(shù)，代入模型觀察其收斂情況，然后逐漸增大，直至網(wǎng)絡穩(wěn)定收斂。通過計算該模型的隱含層神經(jīng)元數(shù)為28個。
（3）輸出層
輸出層是求解模糊神經(jīng)網(wǎng)絡的結(jié)果，也是最后的評估結(jié)果。我們把評價因素論域中的每一因素分成5個評價等級，即
={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}
對應這5個等級，確定輸出層為5個節(jié)點。這樣就構(gòu)建了一個“20―28―5”的3層BP網(wǎng)絡作為評價體系的網(wǎng)絡模型。
2.3模糊神經(jīng)網(wǎng)絡訓練
網(wǎng)絡設計好后,須對其進行訓練，使網(wǎng)絡具有再現(xiàn)專家評估的知識和經(jīng)驗的能力。樣本數(shù)據(jù)來自我省已經(jīng)建成的高速公路隧道施工的現(xiàn)場數(shù)據(jù)庫，從中選取30組，其中20組數(shù)據(jù)作為訓練樣本，余下的10組作為測試樣本。實際網(wǎng)絡訓練表明，當訓練步數(shù)為12875時，達到了目標要求的允差，獲得模糊神經(jīng)網(wǎng)絡各節(jié)點的權(quán)值和閾值，網(wǎng)絡訓練學習成功。根據(jù)最大隸屬度原則進行比較，與期望結(jié)果相符，其準確率為100%。這說明所建立的隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡模型及訓練結(jié)果可靠。
3 工程應用實例
利用所訓練好的模糊神經(jīng)網(wǎng)絡模型，對江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統(tǒng)進行安全評價測定，評價出系統(tǒng)的安全狀況與3座隧道施工實際情況完全相符。同時，實際系統(tǒng)的評價結(jié)果又可作為新的學習樣本輸入網(wǎng)絡模型，實現(xiàn)歷史經(jīng)驗和新知識相結(jié)合,在發(fā)展過程中動態(tài)地評價系統(tǒng)的安全狀態(tài)。
4 結(jié)論
（1）本文對模糊理論與神經(jīng)網(wǎng)絡融合技術(shù)進行了研究，建立了一種公路隧道施工系統(tǒng)安全模糊神經(jīng)網(wǎng)絡評價模型，利用歷史樣本數(shù)據(jù)進行學習訓練和測試，并對工程實例進行了評價。結(jié)果顯示，該評價方法可行，評價精度滿足工程應用要求,為公路隧道施工安全評價探索了一種新的評價方法。
（2）運用模糊神經(jīng)網(wǎng)絡知識存儲和自適應性特征，通過適當補充學習樣本，可以實現(xiàn)歷史經(jīng)驗與新知識完美結(jié)合，在發(fā)展過程中動態(tài)地評價公路隧道施工系統(tǒng)的安全狀態(tài)，可及時評估出施工系統(tǒng)的安全狀況，盡早發(fā)現(xiàn)安全隱患。
參考文獻：
[1]徐德蜀.安全科學與工程導論[M].北京:化學工業(yè)出版社,2005.
[2]劉鐵民,張興凱,劉功智.安全評價方法應用指南[M].北京:化學工業(yè)出版社,2005.
[3]田建,李志強,張斌.交通建設工程安全評價技術(shù)現(xiàn)狀及趨勢研究[J].中國安全科學學報,2008,18(6):171-176.
[4]張鴻,劉優(yōu)平,黎劍華等.基于模糊理論的隧道施工安全預警模型研究及應用[J].中國安全科學學報,2009.19(4):5-10.
[5]劉輝,王海寧,呂志飛.模糊神經(jīng)網(wǎng)絡技術(shù)在礦山安全評價中的適應性研究[J].中國安全生產(chǎn)科學技術(shù),2005,1(3):54-59.
[6]張吉禮.模糊-神經(jīng)網(wǎng)絡控制原理與工程應用[M].哈爾濱:哈爾濱工業(yè)大學出版社,2004.
[7]葛淑杰,李彥峰,姜天文等.基于模糊神經(jīng)網(wǎng)絡的煤礦安全評價綜合評判[J].黑龍江科技學院學報,2007,17(4):321-325.
[8]鄭恒,汪佩蘭.模糊神經(jīng)網(wǎng)絡在火工品生產(chǎn)系統(tǒng)安全評價中的應用[J].安全與環(huán)境學報,2004,4:159-162.
[9田軍.基于模糊神經(jīng)網(wǎng)絡的隧道圍巖分級系統(tǒng)[J].湖南交通科技,2007,34(4):104-107.
[10]郭宇航,王保國.兩類新型神經(jīng)網(wǎng)絡及其在安全評價中的應用[J].中國安全科學學報,2008,18(7):28-33.
[11]宋瑞,鄧寶.神經(jīng)元網(wǎng)絡在安全評價中的應用[J].中國安全科學學報,2005,15(3):78-81.
[12]韓力群.人工神經(jīng)網(wǎng)絡理論、設計及應用[M].北京:化學工業(yè)出版社,2007.
[13]楊綸標,高英儀.模糊數(shù)學原理及應用[M].廣州:華南理工大學,2005.
第6篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：渦輪增壓系統(tǒng)；故障診斷；BP神經(jīng)網(wǎng)絡；RBF神經(jīng)網(wǎng)絡；Elman神經(jīng)網(wǎng)絡
中圖分類號：U472 文獻標識碼：A
在現(xiàn)代生產(chǎn)過程中，柴油機作為常見的機械設備之一，廣泛應用于動力發(fā)電、工程機械等各種領域，其動力性和可靠性的好壞直接影響著整個系統(tǒng)的工作狀況。因此，對柴油機進行故障診斷和狀態(tài)監(jiān)測，及時發(fā)現(xiàn)并排除故障，對增加柴油機工作狀態(tài)下的安全性與可靠性，減少經(jīng)濟損失，避免事故發(fā)生具有重大的意義。傳統(tǒng)的柴油機故障診斷與處理方法包括油法、振動噪聲法等，但都是以定期保養(yǎng)和事后維修為主，這些方法缺乏事故預見能力、成本高、效率低[1]。隨著計算機技術(shù)、信號分析處理技術(shù)、人工智能的迅猛發(fā)展，柴油機故障診斷技術(shù)的水平也在不斷地提高。以非線性并行分布處理為主的神經(jīng)網(wǎng)絡為柴油機故障診斷技術(shù)的研究開辟了新的途徑[2]。經(jīng)過對柴油機的故障資料進行分析，柴油機的渦輪增壓系統(tǒng)發(fā)生的故障較多，本文只研究柴油機渦輪增壓系統(tǒng)故障的診斷，利用MATLAB神經(jīng)網(wǎng)絡工具箱，分別基于BP、RBF和Elman網(wǎng)絡進行柴油機的故障診斷，并對三種網(wǎng)絡方法診斷結(jié)果的可靠性和適用性進行比較和分析。
1 渦輪增壓系統(tǒng)的故障分析
根據(jù)對柴油機工作過程的分析和實際運行經(jīng)驗，可以確定渦輪增壓系統(tǒng)的出現(xiàn)的工作故障的原因和部位主要有：增壓器效率下降、空冷器傳熱惡化、透平保護格柵阻塞、透平通流部分、空氣濾清器阻塞、空冷器空氣測流阻塞增大和廢熱鍋爐流阻增大。其中后三項故障可以直接由部件特性參數(shù)診斷得出，系統(tǒng)的工作狀況和前四項故障原因作為網(wǎng)絡輸出變量由建立的神經(jīng)網(wǎng)絡進行故障診斷，確定柴油機渦輪增壓系統(tǒng)是否處于安全運行中。柴油機渦輪增壓系統(tǒng)工作狀況下可以得到的征兆變量包括排氣總管溫度、掃氣箱壓力、平均燃燒最大爆發(fā)壓力、掃排氣道壓損系數(shù)、增壓器轉(zhuǎn)速、壓氣機出口溫度、掃氣箱溫度、空冷器壓損系數(shù)、濾網(wǎng)壓損系數(shù)、廢氣鍋爐壓損系數(shù)和柴油機工作負荷參數(shù)，共11項可以作為網(wǎng)絡的輸入變量。
根據(jù)某型號柴油機技術(shù)規(guī)范要求，可以得到柴油機無故障時的數(shù)據(jù)，如下所示[3,4]。
氣缸排氣溫度： 30K
掃氣箱壓力： 0.06MPa
最大爆發(fā)壓力： 1MPa
濾網(wǎng)壓損系數(shù)： 0.1
增壓器轉(zhuǎn)速： 1500r/min
空冷器壓損系數(shù)： 0.1
廢氣鍋爐壓損系數(shù)： 0.1
掃排氣道壓損系數(shù)： 0.06
壓氣機出口溫度： 30K
掃氣箱溫度： 40K
其中，由于濾網(wǎng)壓損系數(shù)、空冷器壓損系數(shù)和廢氣鍋爐壓損系數(shù)可以作為部件特性系數(shù)，直接進行診斷，所以，排氣總管溫度、掃氣箱壓力、最大爆發(fā)壓力、增壓器轉(zhuǎn)速、掃排氣道壓損系數(shù)、壓氣機出口溫度、掃氣箱溫度和柴油機負荷作為網(wǎng)絡的輸入變量。由神經(jīng)網(wǎng)絡診斷出的數(shù)據(jù)參數(shù)上下偏差超過以上數(shù)據(jù)時，則認為柴油機有故障。
2 神經(jīng)網(wǎng)絡模型
2.1 BP神經(jīng)網(wǎng)絡
BP學習算法的基本原理是梯度最快速下降法，通過梯度搜索使網(wǎng)絡的實際輸出值和期望輸出值的誤差均方值為最小。BP神經(jīng)網(wǎng)絡是誤差反向傳播算法的學習過程，如圖1所示，輸入層各神經(jīng)元負責接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負責信息變換，根據(jù)信息變化能力的需求；傳遞到輸出層各神經(jīng)元的信息，完成學習的正向傳播處理過程，由輸出層向外界輸出信息處理[5,6]。
圖1 BP神經(jīng)網(wǎng)絡結(jié)構(gòu)
2.2 RBF神經(jīng)網(wǎng)絡
RBF神經(jīng)網(wǎng)絡屬于前向神經(jīng)網(wǎng)絡類型，如圖2所示。第一層為輸入層，由信號源結(jié)點組成；第二層是隱含層，隱含層中神經(jīng)元的變換函數(shù)是非線性函數(shù)，傳遞函數(shù)為radbas；第三層為輸出層，傳遞函數(shù)為線性函數(shù)purelin,對輸入模式作出響應[7]。
RBF神經(jīng)網(wǎng)絡的基本原理是前饋式神經(jīng)網(wǎng)絡，它具有最佳逼近性能和全局最優(yōu)特性，并且結(jié)構(gòu)簡單，訓練速度快，在模式識別、非線性函數(shù)逼近等領域的神經(jīng)網(wǎng)絡模型方面應用廣泛[8]。
2.3 Elman神經(jīng)網(wǎng)絡
Elman神經(jīng)網(wǎng)絡是一個具有局部記憶單元和反饋連接的局部前向回歸網(wǎng)絡，主要結(jié)構(gòu)是前饋連接，包括輸入層、隱含層、承接層和輸出層，其中承接層從隱含層接收反饋信號，用來記憶隱含層神經(jīng)元的輸出值，經(jīng)過延遲和存儲，在輸入到隱含層中，這樣對歷史數(shù)據(jù)具有敏感性，增強了網(wǎng)絡的動態(tài)信息處理能力[9]。
圖2 RBF網(wǎng)絡結(jié)構(gòu)
3 網(wǎng)絡設計
3.1 樣本數(shù)據(jù)選取與處理
確定正確的訓練樣本集是神經(jīng)網(wǎng)絡能夠準確故障診斷的一個關(guān)鍵環(huán)節(jié)，柴油機渦輪增壓系統(tǒng)的每一種故障都對應著一個樣本，樣本的目標值取0,0.5和1來表示診斷出故障的嚴重程度。確定訓練樣本，分別取滿負荷運行、90%負荷運行、70%負荷運行和半負荷運行四種狀況下的數(shù)據(jù)集，現(xiàn)抽取其中的9組數(shù)據(jù)作為訓練樣本，3組數(shù)據(jù)作為測試樣本。由于原始數(shù)據(jù)幅值不同，甚至相差很大，直接在網(wǎng)絡中使用學習速率會變得很慢，無法反應出小的測量值變化，所以要先將訓練樣本進行歸一化處理，處理后的數(shù)據(jù)對于網(wǎng)絡更容易訓練和學習[10]。歸一化函數(shù)如下所示：
Xi =(xi-A)/B
式中：Xi表示歸一化后的測試數(shù)據(jù)，xi表示原始的測試數(shù)據(jù)，A表示相應的無故障情況下的基準值，B表示最大偏差值的絕對值。
3.2 建立網(wǎng)絡并故障診斷
3.2.1 BP神經(jīng)網(wǎng)絡
根據(jù)試湊法，選取隱含層節(jié)點數(shù)為12，第一層傳遞函數(shù)使用tansig函數(shù)，第二層傳遞函數(shù)使用logsig函數(shù)，訓練函數(shù)為trainlm函數(shù)，訓練次數(shù)3000，訓練目標0.01，學習速率為0.1。
net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');
net.trainParam.epochs=1000;
net.trainParam.goal=0.01;
LP.lr=0.1;
net=train(net,P,T);
如圖3所示, 經(jīng)過32次訓練后，網(wǎng)絡的性能達到了要求。
圖3 BP網(wǎng)絡訓練結(jié)果
利用訓練好的BP網(wǎng)絡對測試樣本進行測試，測試代碼為yi=sim(net,pi) i=0,1,2測試結(jié)果為：y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000測試結(jié)果表明，經(jīng)過訓練后，網(wǎng)絡可以滿足柴油機渦輪系統(tǒng)故障診斷的要求。
3.2.2 RBF神經(jīng)網(wǎng)絡
由于樣本數(shù)目比較小，將徑向基分布常數(shù)設定為1.2，由此，利用MATLAB創(chuàng)建一個RBF神經(jīng)網(wǎng)絡如下：spread=1.2;net=newrbe(P,T,spread);經(jīng)過訓練后，對策是樣本進行測試，測試結(jié)果如下：y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028測試結(jié)果表明，網(wǎng)絡成功診斷出了所有故障。
3.2.3 Elman神經(jīng)網(wǎng)絡
創(chuàng)建單隱層的Elman神經(jīng)網(wǎng)絡，最影響函數(shù)性能的是隱含層節(jié)點數(shù)，通過考慮網(wǎng)絡的速度與性能，將隱含層節(jié)點數(shù)定為15，創(chuàng)建網(wǎng)絡如下所示：net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);
如圖4所示，經(jīng)過訓練和對數(shù)據(jù)測試后，結(jié)果如下所示：y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204
圖4 Elman神經(jīng)網(wǎng)絡訓練結(jié)果
測試結(jié)果雖然誤差較大，但可以測試樣本的故障診斷結(jié)果。
4 結(jié)語
(1)采用神經(jīng)網(wǎng)絡建立故障診斷模型，能夠客觀的反映柴油機是否故障及嚴重情況，三種網(wǎng)絡均能夠滿足故障診斷的要求；(2) BP網(wǎng)絡具有很強的非線性映射能力，在柴油機故障診斷中應用很成功，但由于BP網(wǎng)絡是前向的神經(jīng)網(wǎng)絡，所以收斂速度比較慢，而且有可能收斂到局部極小點；RBF神經(jīng)網(wǎng)絡收斂速度快，當函數(shù)的擴展速度spread越大，函數(shù)擬合就越平滑，如果數(shù)值過大，會使傳遞函數(shù)的作用擴大到全局，喪失了局部收斂的優(yōu)勢，所以在網(wǎng)絡設計中需要嘗試確定最優(yōu)解；Elman網(wǎng)絡的訓練誤差曲線比BP網(wǎng)絡要平滑，收斂速度很快，能準確的識別所有故障類型，但相對于BP網(wǎng)絡和RBF網(wǎng)絡，Elman網(wǎng)絡的識別誤差更大，但并沒有影響所建立模型的應用。(3) 由于樣本量比較小，對于和訓練數(shù)據(jù)相差很大的數(shù)據(jù)，所建立的網(wǎng)絡可能無法正確診斷。在實際應用中要采用大容量的訓練樣本，并對樣本數(shù)據(jù)進行分析和檢查，如利用小波方法處理非正常的高峰值波動數(shù)值等[11]。
參考文獻
[1]張蕾. 融合技術(shù)在柴油機故障診斷中的應用[J]. 小型內(nèi)燃機與摩托車，2002，31（3）：33-36.
[2]汪云，張幽彤.神經(jīng)網(wǎng)絡在電控柴油機實時的故障診斷[J].汽車工藝與材料，2001，（1）：38-40.
[3]馬旭凱，谷立臣，李世龍. 基于SOM神經(jīng)網(wǎng)絡的柴油機故障診斷[J]. 機械制造與研究，726-731.81-83.
[4]丁艷君，吳占松．鍋爐煙氣排放檢測軟件傳感器[N]. 清華大學學報（自然科學版），2002，42（12）：1636-1638.
[5]李玉峰，劉玫.基于動量BP網(wǎng)絡的柴油機故障診斷[J].控制工程，2007.
[6]傅薈璇，趙紅等.MATLAB神經(jīng)網(wǎng)絡應用設計 [M].北京：機械工業(yè)出版社，2010.
[7]朱大奇，史慧．人工神經(jīng)網(wǎng)絡原理及應用[M]. 北京：科學出版社，2006.
[8]Luce H，Govind R．Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.
第7篇：神經(jīng)網(wǎng)絡的前向傳播范文
[關(guān)鍵詞] 船舶供應商 評價體系 遺傳算法 神經(jīng)網(wǎng)絡
選擇合適的供應商直接關(guān)系到船舶企業(yè)降低成本、提高企業(yè)競爭力?，F(xiàn)有的平價方法在確定指標權(quán)重時存在主觀隨意性，評價結(jié)果缺乏客觀與公正。BP神經(jīng)網(wǎng)絡具有容錯性、自適應性等特點，解決了評價過程中指標權(quán)重隨意性和人為因素。本文構(gòu)建了BP神經(jīng)網(wǎng)絡的船舶供應商評價模型，并針對BP神經(jīng)網(wǎng)絡收斂速度慢的缺點，采用遺傳算法對構(gòu)建的BP神經(jīng)網(wǎng)絡模型進行優(yōu)化，從而構(gòu)建評價船舶供應商遺傳神經(jīng)網(wǎng)絡模型。
一、船舶供應商評價指標體系的構(gòu)建
原材料供應商和船舶配套企業(yè)的產(chǎn)品質(zhì)量性能以及管理水平等都會對船舶企業(yè)的正常運行帶來重大影響，直接關(guān)系到企業(yè)的盈利能力。因此，構(gòu)建科學的合理的供應商評價體系，是船舶制造企業(yè)綜合評價供應商的依據(jù)。
周期長、成本高等特點決定了船舶是一種特殊的產(chǎn)品，需要結(jié)合船舶自身的特點來構(gòu)建船舶供應商評價指標體系。綜合學者的研究成果與船舶公司實際狀況，本文認為應該從質(zhì)量、成本、交貨、柔性、財務與信譽狀況以及服務與管理水平6個方面構(gòu)建船舶供應商的評價指標體系。
二、基于遺傳神經(jīng)網(wǎng)絡的船舶供應商評價模型
1.BP神經(jīng)網(wǎng)絡在船舶供應商評價中的應用
BP神經(jīng)網(wǎng)絡模型是一個分層型網(wǎng)絡，具有輸入層、中間層和輸出層。供應商評價指標由輸入層到輸出層的傳遞是一個前向傳播的過程，若輸出結(jié)果與期望結(jié)果的誤差超過允許范圍，則誤差反向傳播，并根據(jù)各層誤差的大小來調(diào)節(jié)權(quán)值,尋找最佳權(quán)集，實現(xiàn)正確輸出。基于BP神經(jīng)網(wǎng)絡的船舶供應商評價模型結(jié)構(gòu)及學習原理如圖2所示。
2.基于遺傳算法改進的BP神經(jīng)網(wǎng)絡模型
BP算法是沿梯度下降(平方誤差函數(shù))來指導搜索的，學習過程收斂速度慢，易陷入局部極小點。而遺傳算法對于全局搜索具有較強的魯棒性和較高的效率，克服了BP網(wǎng)絡的局限性。將遺傳算法與BP網(wǎng)絡相結(jié)合,可以達到全局尋優(yōu)和快速高效的目的。
遺傳算法改進BP神經(jīng)網(wǎng)絡模型的步驟是:（1)確定網(wǎng)絡參數(shù)；（2）設定的種群規(guī)模N，產(chǎn)生初始種群;（3)求N組網(wǎng)絡權(quán)系數(shù),得到具有相同結(jié)構(gòu)的N個網(wǎng)絡;（4)求N組網(wǎng)絡權(quán)值對應的N個網(wǎng)絡輸出;（5）網(wǎng)絡性能評價;（6)若不滿足評價條件，由對染色體進行遺傳選擇、變異和交叉操作，產(chǎn)生新的染色體，直到滿足評價函數(shù);（7)選擇一個最優(yōu)染色體作為網(wǎng)絡權(quán)重，進行網(wǎng)絡的訓練和評價。其工作流程如圖3所示。
三、應用仿真算例
以中船公司的25家供應商數(shù)據(jù)為基礎，采用matlab7.0編程，建立三層遺傳神經(jīng)網(wǎng)絡模型。
將前15家供應商作為訓練集，訓練該網(wǎng)絡；其余10家供應商作為測試集，模擬待評價的對象。設置誤差精度為0.00001。首先用遺傳算法，經(jīng)過450次優(yōu)化，得到全局最優(yōu)的網(wǎng)絡權(quán)值。然后以前15家供應商的二級評價指標為樣本，經(jīng)過BP神經(jīng)網(wǎng)絡4700次訓練，得出對應的6個一級評價指標的訓練樣本;再以所得出的輸出值為樣本，經(jīng)過BP神經(jīng)網(wǎng)絡4450次訓練,訓練出最終的遺傳神經(jīng)網(wǎng)絡模型，并用于綜合評價工作。輸入后10家供應商二級評價指標值，得到其一級評價指標的輸出值,以該輸出值為輸入，計算出10家供應商的綜合評價結(jié)果。見表。
四、結(jié)束語
基于遺傳神經(jīng)網(wǎng)絡的船舶供應商評價模型借助BP神經(jīng)網(wǎng)絡的容錯性和自適應自學習能力克服了傳統(tǒng)評價方法在指標權(quán)重賦值時存在的主觀隨意性問題，并用遺傳算法的優(yōu)化解決了BP存在的收斂速度慢的問題，為評價船舶供應商提供了一條新的途徑。
參考文獻:
[1]金朝光 紀卓尚 林 焰:船舶企業(yè)選擇供應商的策略研究[J]. 計算機集成制造系統(tǒng),2003,9(10):886～890
[2]馬士華 林 勇 陳志祥:供應鏈管理[M].北京:機械工業(yè)出版,2004
第8篇：神經(jīng)網(wǎng)絡的前向傳播范文
關(guān)鍵詞：山區(qū)高速公路；填石路堤；人工神經(jīng)網(wǎng)絡；沉降
中圖分類號：U412.36+6文獻標識碼： A
1 引言
在山區(qū)高速公路修筑中，存在大量的石質(zhì)挖方路段和隧道路段，怎樣利用大量的石質(zhì)填料填筑路堤，使其不出現(xiàn)工程質(zhì)量事故，同時避免一方面大量借石填筑路堤，另一方面又造成大量的石質(zhì)棄方占用農(nóng)田耕地的不合理現(xiàn)象，成為山區(qū)高速公路建設中迫切需要解決的問題。在高等級公路逐漸進入山區(qū)的今天，在云南省乃至全國范圍內(nèi)還將遇到更多的填石路堤修筑技術(shù)問題。填石路堤的壓實工藝和檢測手段及檢測標準，粗粒料的壓實特性，填石路堤的沉降、穩(wěn)定性評價是填石路堤面臨的主要難題[1]。
2 沉降分析方法
本文采用神經(jīng)網(wǎng)絡方法對某山區(qū)高速公路填石路堤沉降進行分析計算，以便科學合理的評價公路填石路堤穩(wěn)定性與沉降規(guī)律。
2.1神經(jīng)網(wǎng)絡模型
BP神經(jīng)網(wǎng)絡通常是指基于誤差反向傳播算法（BP算法）的多層前向神經(jīng)網(wǎng)絡，它是目前應用最廣泛也是發(fā)展最成熟的一種神經(jīng)網(wǎng)絡模型，它是按層次結(jié)構(gòu)構(gòu)造的，包括一個輸入層、一個輸出層和一個或多個隱藏層（圖中只畫出一層），一層內(nèi)的節(jié)點（神經(jīng)元）只和與該層緊鄰的下一層各節(jié)點相連。這個網(wǎng)絡學習過程由正向傳播和反向傳播兩個過程組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱藏層逐層處理，然后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到希望的輸出，則轉(zhuǎn)向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小[2]。
網(wǎng)絡學習的過程首先從給出一組隨機的權(quán)值開始，然后選取學習樣本集中的一個模式（輸入和期望輸出對）作為輸入，接著按前饋方式計算輸出值。這時的輸出值和期望值之間的誤差一般比較大，這就迫使權(quán)值必須改變。利用反向傳播過程，計算所有的權(quán)值的改變量。對所有的模式和所有的權(quán)值重復計算，修正權(quán)值后又以前饋方式重新計算輸出值。實際輸出和目標輸出之間的偏差和權(quán)值改變量又一次在計算中產(chǎn)生。在學習樣本中的所有模式進行計算后得到一組新的權(quán)值，在接下來的前饋過程中便得到一組新的輸出值，如此循環(huán)下去。在一次成功的學習中，系統(tǒng)誤差或單個輸入模式的誤差將隨著迭代次數(shù)的增加而減小，而過程將收斂到一組穩(wěn)定的權(quán)值。
實際上，BP模型把一組樣本的輸入輸出問題變?yōu)橐粋€非線性優(yōu)化問題。我們可以把這種模型看成一個從輸入到輸出的映射，這個映射是高度非線性的。如果輸入節(jié)點數(shù)為n，輸出節(jié)點數(shù)為m，則神經(jīng)網(wǎng)絡表示的是從n維歐式空間到m維歐式空間的映射。
2.2 神經(jīng)網(wǎng)絡模型的改進
BP算法的主要缺點是：收斂速度慢、局部極值、難以確定隱層和隱層節(jié)點的個數(shù)。在實際應用中，BP算法很難勝任，因此出現(xiàn)了許多改進算法。BP算法的改進主要有兩種途徑：一種是采用啟發(fā)式學習算法，另一種則是采用更有效的優(yōu)化算法。
啟發(fā)式學習算法，就是對于表現(xiàn)函數(shù)梯度加以分析，從而改進算法，其中包括：有動量的梯度下降法（traingdm）、有自適應lr的梯度下降法（traingda）、有動量和自適應lr的梯度下降法（traingdx）和能復位的BP訓練法（trainrp）等。另一種是基于數(shù)值最優(yōu)化理論的訓練算法，其中包括共軛梯度法、高斯－牛頓法和Levenberg-Marquardt方法等。
本文采用共軛梯度法進行改進。共軛梯度法是梯度法的一種改進方法，可以改進梯度法振蕩和收斂性差的缺陷。其基本思路是尋找與負梯度方向和上一次搜索方向共軛的方向作為新的搜索方向，從而加快訓練速度，并提高訓練精度。所有的共軛梯度法，都采用負梯度方向作為初始搜索方向：
然后沿著該方向作一維搜索：
接下來，就利用共軛方向作為新一輪的搜索方向，通常在當前負梯度上附加上一次搜索方向：
共軛梯度法通常比自適應lr的梯度下降法速度快，有時候也優(yōu)于彈性梯度下降法。同時由于共軛梯度法占有較少的存儲空間，因此在訓練復雜網(wǎng)絡的時候，通常選用共軛梯度法[3]。
2.3程序的實現(xiàn)
本文采用Matlab，進行程序的編制，算法如下：
%%神經(jīng)網(wǎng)絡預測_BP神經(jīng)網(wǎng)絡模型
% n：原始數(shù)據(jù)個數(shù) x：填石路堤沉降實測值 y：填石路堤沉降預測值
clc;clear all;
clf;
%%讀數(shù)據(jù)；
load x1.txt;load x2.txt;
P=x2;x=x1;
%%NEWFF——生成新的線性神經(jīng)網(wǎng)絡
%%TRIAN——對線性神經(jīng)網(wǎng)絡進行訓練
%%SIM——對線性神經(jīng)網(wǎng)絡進行仿真
%P——為輸入矢量；
%x——為目標矢量；
%創(chuàng)建網(wǎng)絡
net=newff(minmax(P),[1,1],{'tansig','purelin'},'traingdm');
%當前網(wǎng)絡層的權(quán)值與閾值
layerWights=net.LW{2,1};
layerbias=net.b{2};
%設置訓練參數(shù)
net.trainParam.show=50;
net.trainParam.lr=0.05;
net.trainParam.mc=0.9;
net.trainParam.epochs=100;
net.trainParam.goal=0.1;
%%對BP神經(jīng)網(wǎng)絡進行訓練
[net,tr]=train(net,P,x);
%對線性網(wǎng)絡進行仿真
y=sim(net,P);
y
x
3 填石路堤沉降計算分析結(jié)果
以現(xiàn)場監(jiān)測數(shù)據(jù)與網(wǎng)絡預測值進行比較如表1所示。應用該模型進行預測精度很高，這進一步證明了該BP神經(jīng)網(wǎng)絡擬合效果好，泛化能力強，收斂快。所以，該法在填石路堤最終沉降預測中十分有效和可行。
表1 網(wǎng)絡預測與實際值比較
4 結(jié)輪
本文將人工神經(jīng)網(wǎng)絡引入到填石路堤的沉降計算，利用實測資料，直接建模，更好的反映了填石路堤的沉降規(guī)律，工程實例研究表明，網(wǎng)絡預測值與實測值吻合較好，可信度較高，并且隨著學習樣本的不斷補充，網(wǎng)絡的預測精度將進一步提高。
（1）一個良好的神經(jīng)網(wǎng)絡模型，可以不斷學習，使求解的范圍不斷擴大，同時人工神經(jīng)網(wǎng)絡的抗干擾能力較強，個別測點的誤差將不會對結(jié)果產(chǎn)生大的影響。
（2）工程實例研究表明，實測值與神經(jīng)網(wǎng)絡預測值吻合較好，但也有個別點偏差較大，主要原因是訓練的數(shù)據(jù)太少，隨著訓練數(shù)據(jù)的增加，網(wǎng)絡的預測精度還會進一步提高。
（3）人工神經(jīng)網(wǎng)絡方法避免了傳統(tǒng)方法的許多弊病，具有自組織、自適應、容錯性等特點，計算精度高，操作簡便，適應性強，因而具有廣闊的工程應用前景。
參考文獻：
第9篇：神經(jīng)網(wǎng)絡的前向傳播范文
摘要：旅游需求的預測預報研究一直是旅游學研究的一個重要課題。本文在對到訪澳門地區(qū)中國內(nèi)地游客量分析的基礎上,運用人工神經(jīng)網(wǎng)絡(ANN)的理論和方法,構(gòu)建了ANN模型分析中的3層BP模型,以澳門近10年（1996-20__）入境來訪的中國內(nèi)地旅游人數(shù)為例進行模型驗證，模擬結(jié)果表明,BP神經(jīng)網(wǎng)絡預測的結(jié)果能夠高程度的吻合原始數(shù)據(jù)，在旅游市場預測中，BP神經(jīng)網(wǎng)絡預測是一種有效的預測方法。一．問題的提出與分析近年來，對澳門地區(qū)的旅游業(yè)來說，中國內(nèi)地旅客是旅游收入的主要來源。目前旅游業(yè)已成為澳門地區(qū)經(jīng)濟發(fā)展特別是第二產(chǎn)業(yè)發(fā)展的支柱。建立科學的可操作的旅游預測模型是實現(xiàn)澳門地區(qū)旅游業(yè)持續(xù)健康穩(wěn)定發(fā)展的理論基石和前提。由于影響某地旅游人數(shù)的因素各異，還不存在普遍適用的神經(jīng)網(wǎng)絡模型。基于此，本文擬用3層BP神經(jīng)網(wǎng)絡模型來仿真模擬分析和預測澳門地區(qū)旅游需求,以此為旅游需求預測提供一種新的方法。二．模型的假設與符號說明1．基本假設1）交通在旅游中通常不是重要的，為了研究的方便（主要是無法獲得交通數(shù)據(jù)），把交通這個影響忽略。2）假設澳門的接待能力都滿足需求。3）在本例旅游需求預測模型中，我們考慮的主要因素有：客源地的人口，客源地的總收入，客源地的消費水平，旅游目的地的生活水平。4）為了研究的方便，假定以上四因子之間相互獨立，本例旅游需求即為上述四因子的函數(shù)，即y=f(GDI,POP,GDE,M-GP)。就用這四個因素作為人工神經(jīng)網(wǎng)絡模型輸入層的神經(jīng)元。2．符號說明T澳門內(nèi)地游客量GDI中國內(nèi)地國民總收入POP中國內(nèi)地人口總數(shù)GDE中國內(nèi)地國民消費水平M-GP澳門生產(chǎn)總值三．模型的建立與求解1．人工神經(jīng)網(wǎng)絡模型理論原理
人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork）是由大量的、簡單元件（神經(jīng)元）廣泛相互聯(lián)結(jié)而成的非線性的、動態(tài)的復雜網(wǎng)絡信息處理系統(tǒng)，它是在現(xiàn)代神經(jīng)學研究成果基礎上提出的，能模擬人腦的若干基本功能[1]。它具有并行分布的信息處理結(jié)構(gòu)，可以通過“自學習”或“訓練”的方式完成某一特定的工作。它可以從積累的工作案例中學習知識，盡可能多地把各種定性或定量的因素作為變量加以輸入，從而建立各種影響因素與結(jié)論之間的高度非線性映射，采用自適應模式識別方法來完成預測工作[2]。人工神經(jīng)網(wǎng)絡模型尤其是對處理內(nèi)部規(guī)律不甚了解、不能用一組規(guī)則或方程進行描述的復雜的、開放的非線性系統(tǒng)顯得較為優(yōu)越。人工神經(jīng)網(wǎng)絡模型一般由處理單元、激活狀態(tài)、單元輸出、連接模式、激活規(guī)則、學習規(guī)則等6個部分組成。一個多層神經(jīng)網(wǎng)絡中包含有很多個信息處理單元,分布于不同的層次中。根據(jù)每項輸入和相應的權(quán)重獲取一個綜合信號，當信號超過閾值則激活神經(jīng)元而產(chǎn)生輸出。各類影響因素和最終輸出結(jié)果之間可以假定存在一種映射,即輸出結(jié)果＝F（影響因素）。為了尋求最佳的映射關(guān)系F，將訓練樣本集合和輸入、輸出轉(zhuǎn)化為一種非線性關(guān)系，通過對簡單非線性函數(shù)的復合，從而建立一個高度的非線性映射關(guān)系F,最終實現(xiàn)輸出值的最優(yōu)逼近［3］。在人工神經(jīng)網(wǎng)絡的實際應用中，80~90的人工神經(jīng)網(wǎng)絡是采用前饋反向傳播網(wǎng)絡（back-propagation-network,簡稱BP網(wǎng)絡）或它的變化形式。BP神經(jīng)網(wǎng)絡（如圖一）是一種單項傳播的多層前向神經(jīng)網(wǎng)絡，分為輸入層、隱含層和輸出層，層與層之間采用全連接方式，同一層單元之間不存在相互連接。它是前向網(wǎng)絡的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡最精華的部分[4]。標準的BP網(wǎng)絡是根據(jù)W-H學習規(guī)則，采用梯度下降算法，對非線性可微函數(shù)進行權(quán)值訓練的多層網(wǎng)絡。圖一：BP神經(jīng)網(wǎng)絡的每一層的權(quán)值通過學習來調(diào)節(jié)，其基本處理單元為非線性輸入－輸出關(guān)系，選用S型作用函數(shù)：其中：xj為該神經(jīng)元第i個輸入；wij為前一層第i個神經(jīng)元至該神經(jīng)元j的連接權(quán)值，i＝0時的權(quán)值為閾值。其計算步驟如下：（1）給定一組隨機的權(quán)值和閾值初始值及步長系數(shù)η與勢態(tài)因子α；（2）取學習樣本數(shù)據(jù)，根據(jù)學習樣本、權(quán)值及閥值計算輸出，并與學習期望輸出比較，當誤差滿足要求時結(jié)束訓練，否則將誤差向后逐層傳播，并修正各層連接權(quán)值，調(diào)整公式為：其中：k取j結(jié)點所在層的前一層所有結(jié)點。5）澳門內(nèi)地旅客人數(shù)神經(jīng)網(wǎng)絡模型的建立(一)BP網(wǎng)絡設計網(wǎng)絡設計是一個綜合性問題，它應滿足多種不同要求，例如，希望所涉及的網(wǎng)絡有較好的推理能力，易于硬件實現(xiàn)，訓練速度快等，其中有較好的推理能力是最主要的。一般來說，推廣能力決定于3個主要因素，即問題本身的復雜程度、網(wǎng)絡結(jié)構(gòu)以及樣本量大小。在一般情況下，旅游需求預測研究中樣本的數(shù)量是一定的，因此可歸結(jié)為在樣本量一定的情況下，如何選擇網(wǎng)絡規(guī)模的問題。在進行BP網(wǎng)絡預測模型設計中，我們主要考慮以下因素：網(wǎng)絡的層數(shù)、每層中的神經(jīng)元個數(shù)、初始值的選擇、學習速率和期望誤差。i)網(wǎng)絡的層數(shù)已證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網(wǎng)絡，能夠逼近任何有理函數(shù)。所以，本文選擇一個3層的BP網(wǎng)絡。ii)每層中神經(jīng)元的個數(shù)輸入層和輸出層神經(jīng)元的個數(shù)根據(jù)解決具體問題的復雜程度而定。為了提高網(wǎng)絡訓練的精度，可以通過采用一個隱含層，再加上1到2個神經(jīng)元以加快誤差的下降速度即可。因此，本文輸入層神經(jīng)元個數(shù)選擇為4個，隱含層神經(jīng)元個數(shù)分別選擇了9、12、15個，輸出層神經(jīng)元個數(shù)選擇為1個。iii)初始值的選擇由于人工神經(jīng)網(wǎng)絡是一個非線性系統(tǒng)，初始值的選擇對于網(wǎng)絡學習是否達到局部最小、是否能夠收斂以及訓練時間的長短都有較大影響。在初始值的選擇上一般是使經(jīng)過初始值加權(quán)后的每個神經(jīng)元的輸出值都接近零，這樣可以保證每一個神經(jīng)元的連接權(quán)值都能夠在它們的S型激活函數(shù)變化最大處進行調(diào)解。所以，初始值一般選擇在（-1,1）之間的隨機數(shù)。本文的初始值為默認值。iv)學習速率對于任何一個網(wǎng)絡都對應一個合適的學習速率。學習速率決定每一次循環(huán)訓練中所產(chǎn)生的權(quán)值的變化量。大的學習速率可以導致網(wǎng)絡的不穩(wěn)定，但是小的學習速率又會導致訓練時間延長，收斂速度較慢，不能保證網(wǎng)絡的誤差能最終趨于最小。綜合上述考慮，在學習速率的選擇上傾向于選擇較小的學習速率以保證網(wǎng)絡的穩(wěn)定性，本文選擇的學習速率為0.01。v)期望誤差值期望誤差值的確定也是通過網(wǎng)絡對不同誤差值分別進行訓練比較后確定的最適合值。所謂的最適合值是相對于所需要的隱含層的節(jié)點數(shù)來確定的，一個較小的誤差值的獲得需要增加隱含層的節(jié)點以及訓練時間。本文經(jīng)過不斷測試，選擇0.0001為期望誤差值。（二）1．網(wǎng)絡訓練模式的選擇訓練網(wǎng)絡有兩類模式：逐變模式和批變模式。在逐變模式中，每一個輸入被作用于網(wǎng)絡后，權(quán)重和偏置量被更新一次。在批變模式中，所有的輸入被應用于網(wǎng)絡后，權(quán)重和偏置量才被更新 一次。使用批變模式不需要為每一層的權(quán)重和偏置量設定訓練函數(shù)，而只需為整個網(wǎng)絡制定一個訓練函數(shù)，使用起來相對方便，因此，本文在進行網(wǎng)絡訓練時采用批變模式。表格一：年度
澳門的內(nèi)地游客量(T)（千人）中國內(nèi)地國民總收入(GDI)（億元）中國內(nèi)地人口數(shù)(POP)（萬人）中國內(nèi)地居民消費水平（GDE）（元）澳門生產(chǎn)總值（M-GP）(億美元)1996604．270142.5122389278966.31997529．877653.1123626300266.71998816．883024.3124761315961.919991645．288189.0125786334659.220__2274．798000.5126743363261.020__3005．7108068.2127627386961.920__4240．4119095.7128453410668.220__5742．0135174.0129227441179.220__9529．7159586.71299884925103.320__10463183956.11307565439115.62．數(shù)據(jù)和模型的建立神經(jīng)網(wǎng)絡模型要求數(shù)據(jù)具有：A、易獲得性B、可靠性C、可測度性。本項研究采用很可靠的官方發(fā)表的數(shù)據(jù)作為分析的數(shù)據(jù)源（見表1），主要來自于中國統(tǒng)計局網(wǎng)。用3層BP網(wǎng)絡模型對本例旅游需求進行模擬，根據(jù)BP網(wǎng)絡的映射原理，對于樣本集合X和輸出Y，可以假設存在一映射F。為了尋求F的最佳映射值，BP網(wǎng)絡模型將樣本集合的輸入、輸出轉(zhuǎn)化為非線性優(yōu)化，通過對簡單的非線性函數(shù)的復合，建立一個高度的非線性映射關(guān)系，實現(xiàn)F值的最優(yōu)逼近。對于本例旅游需求模型的模擬：其輸入層結(jié)點數(shù)（4個神經(jīng)元）：中國內(nèi)地國民總收入（GDI）、中國內(nèi)地人口總數(shù)（POP）、中國內(nèi)地國民消費水平（GDE）、澳門生產(chǎn)總值（M-GP）。把澳門內(nèi)地游客量（T）作為輸出結(jié)點。從而得出3層前饋反向傳播神經(jīng)網(wǎng)絡模型。四．模型結(jié)果及分析1網(wǎng)絡訓練性能的檢查。不同個數(shù)的隱層單元組成的BP網(wǎng)絡訓練曲線如圖1，2，3所示。通過比較發(fā)現(xiàn)，中間層神經(jīng)元個數(shù)為9和12時，網(wǎng)絡的收斂速度比較快。2網(wǎng)絡預測性能的考查。在數(shù)據(jù)列表中選取1996年到20__年的數(shù)據(jù)作為網(wǎng)絡的測試數(shù)據(jù)。20__、20__年的(文秘站:)游客量檢驗誤差曲線如圖4。其仿真結(jié)果令人滿意，達到預期的效果。圖1圖2圖3圖4五．模型的應用與評價（優(yōu)缺點與改進）從上面的分析可以看出，3層BP神經(jīng)網(wǎng)絡模型的仿真模擬效果是鄰人滿意的?？梢钥闯?，人工神經(jīng)網(wǎng)絡的擬合精度比較高，主要是基于人工神經(jīng)網(wǎng)絡抗干擾能力強，穩(wěn)定性好，能自動準確地找出各種輸入和輸出之間的線性或非線性關(guān)系，具有較強的模擬適應能力等特點。在本例對于澳門的內(nèi)地游客量的旅游預測中BP神經(jīng)網(wǎng)絡模型是一種有效的預測方法。這一研究方法為旅游學的定量預測研究提供了一種新的思路，也為工程實踐問題中的一些研究工作提供了一種非常好的指導方法。雖然BP網(wǎng)絡得到了廣泛應用，但其自身也存在一些缺陷和不足，主要包括幾個方面的問題。首先，由于學習速率是固定的，因此，網(wǎng)絡的收斂速度慢，需要較強的訓練時間。再次，網(wǎng)絡隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導，一般是根據(jù)應驗或者通過反復試驗確定的。因此，網(wǎng)絡往往存在很大的冗余性，在一定上也增加了網(wǎng)絡學習的負擔。六．原題附帶問題簡析通過對本例旅游需求模型的分析，我們認為在利用數(shù)學建模的方法對旅游需求進行預測預報時，對于數(shù)據(jù)的采集和整理工作需要認真做好。對于數(shù)據(jù)的分析有助于我們尋求變量間的關(guān)系，以形成初步的想法。如何獲得數(shù)據(jù)以及如何獲得準確的數(shù)據(jù)對于我們研究實際問題具有相當重大的意義。收集數(shù)據(jù)并非多多益善，而是要弄清究竟需要哪些數(shù)據(jù)，剔除不必要的數(shù)據(jù)，從而減少冗余的工作。同時，需要什么形式的數(shù)據(jù)也是我們應該思考的一個問題，這與建立模型的目的和所選擇的模型的特點有關(guān)。[參考文獻][1]王士同，等．問題求解的人工智能：神經(jīng)網(wǎng)絡方法[M].北京：氣象出版社，1995.[2]HillT,MarquezO’connorM,RemusW.ArtificialNeuralNetworkMedelsfor
ForecastingandDecisionMaking[J].InternationalJournalofForecasting,1993,
