神經(jīng)網(wǎng)絡(luò)反向傳播過程精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)反向傳播過程主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

關(guān)鍵詞：網(wǎng)格；資源調(diào)度；人工神經(jīng)網(wǎng)絡(luò)；BP算法

中圖分類號(hào)：TP183

Grid resources schedule model based on the BP algorithm

ZHOU Fei-fei，HU Yan-xia

Ministry of Education’s major laboratory of Lanzhou Jiaotong University, Lanzhou,730070

ZhengZhou Urban and Rural Planning Bureau ,Zhengzhou,45000

Abstract: The grid is the main direction of high-performance. The major factor affects the grid functional and the performance is grid resource management and scheduling. Because of the complexity of the grid, its resource management compared with traditional distributed networks becomes more complex. The efficient grid resources management algorithms are hot and difficult of grid study. The neural network has intelligence and can get the best results in complex circumstances. this paper uses BP algorithm to solve the problem of grid resource scheduling. And introduced the concept of grid, back propagation algorithm, and proposed grid scheduling of resources result based on the BP algorithm.

Keywords：grid; resource scheduling；artificial neural network；Back propagation algorithm;

0 引言

網(wǎng)格作為新一代的互聯(lián)網(wǎng)，是今后高性能計(jì)算的主要方向，而有效的資源調(diào)度直接影響到網(wǎng)格的功能和性能，因此，對(duì)網(wǎng)格資源調(diào)度問題的研究具有重要的理論意義和巨大的實(shí)踐價(jià)值。人工神經(jīng)網(wǎng)絡(luò)是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型，善于在復(fù)雜環(huán)境下，快速獲得滿足多種約束條件問題的最優(yōu)化答案，把神經(jīng)網(wǎng)絡(luò)的思想引入到網(wǎng)格的資源調(diào)度當(dāng)中，將二者有效結(jié)合，能夠更好的解決網(wǎng)格的資源調(diào)度問題。

1 網(wǎng)格的基本概念

網(wǎng)格又被稱為“下一代互聯(lián)網(wǎng)”，用于集成或共享在地理上分布的各種資源(包括計(jì)算機(jī)系統(tǒng)、存儲(chǔ)系統(tǒng)、通信系統(tǒng)、文件、數(shù)據(jù)庫(kù)、程序等)，使之成為一個(gè)邏輯整體，實(shí)現(xiàn)資源在網(wǎng)絡(luò)中的全面共享。

目前，網(wǎng)格技術(shù)已經(jīng)在科學(xué)計(jì)算領(lǐng)域得到了廣泛的應(yīng)用，很好的解決了分布式超級(jí)計(jì)算、高吞吐率計(jì)算、數(shù)據(jù)密集型計(jì)算等問題?？梢灶A(yù)見，隨著共享的資源越來越豐富，網(wǎng)格的應(yīng)用領(lǐng)域?qū)⒌玫礁蟮耐卣埂?/p>

2 網(wǎng)格中的資源調(diào)度

網(wǎng)格中的資源指所有能夠通過網(wǎng)格遠(yuǎn)程使用的實(shí)體，包括：計(jì)算機(jī)軟件(比如操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)、應(yīng)用軟件、數(shù)據(jù)等)，計(jì)算機(jī)硬件(比如CPU、內(nèi)存、硬盤、光盤感器、磁帶等)，設(shè)備和儀器(比如通信介質(zhì)、天文望遠(yuǎn)鏡、顯微鏡、傳感器、PDA、儀器儀表等)等物理資源以及人類資源(人的知識(shí)與能力)。【1】

由于網(wǎng)格是一個(gè)開放、動(dòng)態(tài)的互聯(lián)網(wǎng)并行環(huán)境,用戶可以從網(wǎng)格的任何地方向網(wǎng)格平臺(tái)提交應(yīng)用,而且由于網(wǎng)格所固有的分布性、動(dòng)態(tài)性、異構(gòu)性以及自治性等特征,使得網(wǎng)格資源、可能隨時(shí)發(fā)生改變。因此，網(wǎng)格資源管理系統(tǒng)是網(wǎng)格的核心組成部分，也是網(wǎng)格的重要研究方向。

2.1 網(wǎng)格資源調(diào)度策略

傳統(tǒng)的分布式系統(tǒng)中資源管理的主要任務(wù)是將多個(gè)用戶提交的程序調(diào)度到一個(gè)計(jì)算集群中以最大化系統(tǒng)的利用率。即將一個(gè)復(fù)雜的程序中的多個(gè)子程序調(diào)度到并行的計(jì)算機(jī)中以提高計(jì)算效率，減少運(yùn)行時(shí)間。

而在網(wǎng)格中，由于網(wǎng)格系統(tǒng)的分布性、異構(gòu)性和動(dòng)態(tài)性，網(wǎng)格資源管理必須為用戶提供可靠的、一致的以及廉價(jià)的資源，而不用考慮資源訪問點(diǎn)的物理位置。[2]

我們使用有層的層次模型實(shí)現(xiàn)資源調(diào)度算法。此模型類似于網(wǎng)絡(luò)的五層沙漏模型。在邏輯上分為三層：用戶層、資源管理層及網(wǎng)格資源層。

用戶層是網(wǎng)格資源的使用者。各種應(yīng)用均在這一層實(shí)現(xiàn)，該層的需求即網(wǎng)格系統(tǒng)提供的服務(wù)，是網(wǎng)格所要達(dá)到的目標(biāo)。在本層中，用戶或應(yīng)用系統(tǒng)通過面向服務(wù)的視圖向下層中的各種發(fā)送用戶請(qǐng)求，描述自愿選擇、任務(wù)進(jìn)程創(chuàng)建和任務(wù)控制等。

資源管理層是本模型的核心層。由各種組成，是網(wǎng)格資源管理的執(zhí)行者。能夠發(fā)現(xiàn)、收集和存儲(chǔ)不同領(lǐng)域的資源信息；接收用戶請(qǐng)求，并按分配策略將所需要的資源分配給用戶。

網(wǎng)格資源層是網(wǎng)格系統(tǒng)中的硬件基礎(chǔ)，包括各種資源，它是網(wǎng)格資源管理的對(duì)象。其基本功能就是控制區(qū)域內(nèi)的資源，向上提供訪問這些資源的接口。

由以上分析可以看出，網(wǎng)格資源調(diào)度的實(shí)質(zhì)，就是將多個(gè)相互獨(dú)立的任務(wù)由各種分配到可用資源上，使得資源得到充分利用并且任務(wù)的完成時(shí)間最小。

調(diào)度算法的目標(biāo)是將所有的獨(dú)立的應(yīng)用任務(wù)通過調(diào)度到可獲得的計(jì)算資源中去，從可利用的資源中選取最佳的資源，并盡量減少由于網(wǎng)格的動(dòng)態(tài)性而對(duì)網(wǎng)格整體性能的影響。不好的資源調(diào)度算法，將會(huì)增加任務(wù)的執(zhí)行時(shí)間并降低整個(gè)網(wǎng)格系統(tǒng)的吞吐量。因此，一個(gè)好的源調(diào)度算法，需要具有高效性和一定的智能性，使網(wǎng)格用戶能夠獲得所需要的資源，并且確保網(wǎng)格用戶不會(huì)過量使用資源。

由于神經(jīng)網(wǎng)絡(luò)能夠模擬人腦的思維模式，具有很好的自適應(yīng)性和學(xué)習(xí)能力，能夠?qū)崿F(xiàn)難以用數(shù)字計(jì)算和技術(shù)實(shí)現(xiàn)的最優(yōu)信號(hào)處理算法。因此，很適合網(wǎng)格資源調(diào)度算法。

3 BP神經(jīng)網(wǎng)絡(luò)原理

神經(jīng)網(wǎng)絡(luò)是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)能根據(jù)系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

3.1 神經(jīng)網(wǎng)絡(luò)的概念

國(guó)際著名的神經(jīng)網(wǎng)絡(luò)專家Hecht-Nielson給神經(jīng)網(wǎng)絡(luò)的定義是：“神經(jīng)網(wǎng)絡(luò)是一個(gè)以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對(duì)連續(xù)或斷續(xù)式的輸入作為狀態(tài)響應(yīng)而進(jìn)行信息處理”。【3】

神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的，同時(shí)也是很簡(jiǎn)單的處理單元（稱為神經(jīng)元），通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。雖然每個(gè)神經(jīng)元的結(jié)構(gòu)和功能十分簡(jiǎn)單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為卻是豐富多彩和十分復(fù)雜的。

神經(jīng)網(wǎng)絡(luò)適合于解決實(shí)際問題，它不僅可以廣泛應(yīng)用于模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、機(jī)器人控制等工程領(lǐng)域，也可以廣泛應(yīng)用于醫(yī)學(xué)、商業(yè)、金融和文學(xué)領(lǐng)域。隨著神經(jīng)網(wǎng)絡(luò)理論本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用定將更加深入。[4]

3.2 BP神經(jīng)網(wǎng)絡(luò)的概念

BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，全稱為基于誤差反向傳播算法的人工神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是目前研究最多、應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型。

BP神經(jīng)網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它使用自適應(yīng)學(xué)習(xí)算法，通過反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。

BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱含層(hide layer)和輸出層(output layer)。

通過圖可看出，層與層之間的神經(jīng)元采用全互連的連接方式，通過相應(yīng)的權(quán)系數(shù)相互聯(lián)系，隱含層內(nèi)的神經(jīng)元之間沒有連接。因此BP網(wǎng)絡(luò)可以看成是從輸入到輸出的一種高度非線性映射，映射中保持拓?fù)洳蛔冃?，如果隱含層中神經(jīng)元數(shù)目足夠多，則BP網(wǎng)絡(luò)就能模擬任何有理函數(shù)。由于BP網(wǎng)絡(luò)可在多個(gè)連續(xù)的輸入和一個(gè)或多個(gè)連續(xù)的輸出之間建立非線性映射這一特性，它常被用于智能預(yù)測(cè)。從而，我們使用BP神經(jīng)網(wǎng)絡(luò)模擬網(wǎng)格資源調(diào)度過程。

3.2.1 BP神經(jīng)網(wǎng)絡(luò)的工作過程

BP神經(jīng)網(wǎng)絡(luò)由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成：

信息的正向傳播過程：

輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給隱含層各神經(jīng)元；隱含層負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，傳遞到輸出層。各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程；輸出層向外界輸出信息處理結(jié)果。

誤差的反向傳播過程：

當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱含、輸入層逐層反傳。

周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者達(dá)到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。[5]

4 使用BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)格資源調(diào)度模型

由于BP神經(jīng)網(wǎng)絡(luò)算法響應(yīng)時(shí)間較快，適合大規(guī)模分布式的網(wǎng)格資源調(diào)度。為了能夠最大效率的調(diào)用網(wǎng)格資源，我們結(jié)合BP神經(jīng)網(wǎng)絡(luò)算法思想，提出了基于BP網(wǎng)絡(luò)的網(wǎng)格資源調(diào)度模型。

模型流程如下：

(1)將用戶提交的任務(wù)請(qǐng)求(包含任務(wù)的任務(wù)量、通信量、任務(wù)提交時(shí)間、時(shí)間限度等參數(shù))加入到網(wǎng)格中的任務(wù)隊(duì)列排隊(duì)。任務(wù)隊(duì)列可以根據(jù)不同用戶的不同需求(用戶等級(jí)、任務(wù)時(shí)間相應(yīng)要求等)對(duì)進(jìn)入隊(duì)列的任務(wù)進(jìn)行排序。

(2) 調(diào)度系統(tǒng)中的計(jì)時(shí)器，每隔一定時(shí)間就從任務(wù)隊(duì)列中取出待處理的任務(wù)，并從監(jiān)視器中獲得當(dāng)前系統(tǒng)資源分配列表。

(3) 根據(jù)待處理任務(wù)及系統(tǒng)資源，使用BP算法產(chǎn)生一個(gè)最優(yōu)化的任務(wù)分配表。

(4) 執(zhí)行任務(wù)分配表中的任務(wù)。如果任務(wù)順利完成，則將任務(wù)占有的資源釋，如果任務(wù)失敗，則釋放該任務(wù)所占有的系統(tǒng)資源，并將失敗的任務(wù)插入到任務(wù)隊(duì)列中，以待下次調(diào)度。

(5) 當(dāng)不能從任務(wù)隊(duì)列中獲得任務(wù)時(shí)，表明所有任務(wù)都已經(jīng)完成。

5總結(jié)

在網(wǎng)格環(huán)境中，資源調(diào)度是一項(xiàng)非常復(fù)雜且極具挑戰(zhàn)性的工作。計(jì)算資源調(diào)度的好壞，效率的高低直接關(guān)系到網(wǎng)格系統(tǒng)的性能。相對(duì)別的網(wǎng)格計(jì)算資源調(diào)度算法與模型，本文提出使用BP算法的分層資源調(diào)度模型。

該模型由調(diào)度主程序負(fù)責(zé)全局資源調(diào)度，監(jiān)控程序監(jiān)控每個(gè)資源任務(wù)的完成情況，這種方法在能保證任務(wù)完成的前提下，靈活地對(duì)網(wǎng)格資源進(jìn)行配置，充分發(fā)揮網(wǎng)格中各節(jié)點(diǎn)計(jì)算機(jī)的計(jì)算能力。

參考文獻(xiàn)：

1崔飛.基于市場(chǎng)的網(wǎng)格資源調(diào)度算法研究[J].中國(guó)科技論文在線

2都至輝，陳渝，劉鵬. 網(wǎng)格計(jì)算.[M]. 清華大學(xué)出版社, 2002

3黨建武，王陽萍，趙庶旭. 神經(jīng)網(wǎng)絡(luò)理論.[M]. 蘭州大學(xué)出版社，2005,9

第2篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

現(xiàn)通過對(duì)時(shí)用水量變化規(guī)律的研究，提出以神經(jīng)網(wǎng)絡(luò)法預(yù)測(cè)城市短期用水量。

1城市供水管網(wǎng)用水量變化規(guī)律

在我國(guó)城市供水系統(tǒng)中，用水量一般包括居民生活用水、工礦企業(yè)生產(chǎn)用水和公共事業(yè)用水等。同一城市在一天內(nèi)的不同時(shí)段，用水量會(huì)發(fā)生顯著變化。

雖然城市用水量的變化受氣候、生活習(xí)慣、生產(chǎn)和生活條件等諸多因素的影響，變化情況也較為復(fù)雜，但通過分析不難發(fā)現(xiàn)：城市用水量曲線呈現(xiàn)三個(gè)周期性的變化，即：一天(24h)為一個(gè)周期、一星期(7d)為一個(gè)周期、一年(365d)為一個(gè)周期，并受增長(zhǎng)因素(人口增長(zhǎng)，生產(chǎn)發(fā)展)的影響。若將預(yù)測(cè)時(shí)段取為1h，則季節(jié)因素和增長(zhǎng)因素的影響就顯得十分緩慢，因此管網(wǎng)時(shí)用水量的變化具有兩個(gè)重要特征：隨機(jī)性和周期性。

2人工神經(jīng)網(wǎng)絡(luò)模型

采用目前應(yīng)用最廣泛的多層前饋神經(jīng)網(wǎng)絡(luò)模型(BP模型)來預(yù)測(cè)用水量。BP網(wǎng)絡(luò)由輸入層、輸出層及隱含層組成，隱含層可有一個(gè)或多個(gè)，每層由若干個(gè)神經(jīng)元組成。最基本的三層BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。隱含單元與輸入單元之間、輸出單元與隱含單元之間通過相應(yīng)的傳遞強(qiáng)度逐個(gè)相互聯(lián)結(jié)，用來模擬神經(jīng)細(xì)胞之間的相互聯(lián)結(jié)［1～4］。

BP神經(jīng)網(wǎng)絡(luò)采用誤差反饋學(xué)習(xí)算法，其學(xué)習(xí)過程由正向傳播(網(wǎng)絡(luò)正算)和反向傳播(誤差反饋)兩部分組成。在正向傳播過程中，輸入信息經(jīng)隱含單元逐層處理并傳向輸出層，如果輸出層不能得到期望的輸出，則轉(zhuǎn)入反向傳播過程，將實(shí)際值與網(wǎng)絡(luò)輸出之間的誤差沿原來的聯(lián)結(jié)通路返回，通過修改各層神經(jīng)元的聯(lián)系權(quán)值而使誤差減小，然后再轉(zhuǎn)入正向傳播過程，反復(fù)迭代，直到誤差小于給定的值為止。

假設(shè)BP網(wǎng)絡(luò)每層有N個(gè)處理單元，訓(xùn)練集包括M個(gè)樣本模式對(duì)(Xk，Yk)。對(duì)第p個(gè)訓(xùn)練樣本p，單元j的輸入總和記為netpj,輸出記為Opj，則：

如果任意設(shè)置網(wǎng)絡(luò)初始權(quán)值，那么對(duì)每個(gè)輸入模式p，網(wǎng)絡(luò)輸出與期望輸出一般總有誤差，定義網(wǎng)絡(luò)誤差EP：

式中dPj——對(duì)第p個(gè)輸入模式輸出單元j的期望輸出

可改變網(wǎng)絡(luò)的各個(gè)權(quán)重Wij以使EP盡可能減小，從而使實(shí)際輸出值盡量逼近期望輸出值，這實(shí)際上是求誤差函數(shù)的極小值問題，可采用梯度最速下降法以使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。

BP算法權(quán)值修正公式可以表示為：

式中δpj——訓(xùn)練誤差

t——學(xué)習(xí)次數(shù)

η——學(xué)習(xí)因子

f′——激發(fā)函數(shù)的導(dǎo)數(shù)

η取值越大則每次權(quán)值的改變?cè)絼×?，這可能導(dǎo)致學(xué)習(xí)過程發(fā)生振蕩，因此為了使學(xué)習(xí)因子的取值足夠大而又不致產(chǎn)生振蕩，通常在權(quán)值修正公式中加入一個(gè)勢(shì)態(tài)項(xiàng)［5］，得：

式中α——常數(shù)，勢(shì)態(tài)因子

α決定上一次學(xué)習(xí)的權(quán)值變化對(duì)本次權(quán)值新的影響程度。

3時(shí)用水量預(yù)測(cè)

3.1方法

利用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)時(shí)用水量分為三大步驟：第一步為訓(xùn)練樣本的準(zhǔn)備和歸一化，第二步為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，第三步是利用訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對(duì)用水量進(jìn)行預(yù)測(cè)［6］。

由于用水量的數(shù)值較大，應(yīng)對(duì)其進(jìn)行一定的預(yù)處理，一般可采用初值化、極值化或等比變換。通過這些變換可有效地縮短神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間，從而加快網(wǎng)絡(luò)收斂速度。

3.2實(shí)例

采用華北某市2000年24h用水量的實(shí)測(cè)數(shù)據(jù)進(jìn)行預(yù)測(cè)。在應(yīng)用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型預(yù)測(cè)時(shí)用水量時(shí)，建立了時(shí)用水量數(shù)據(jù)庫(kù)，共收集了240個(gè)樣本，每個(gè)樣本包括24h的時(shí)用水量資料。

通過選取不同的輸入樣本數(shù)及不同的隱層單元個(gè)數(shù)來比較其訓(xùn)練與預(yù)測(cè)結(jié)果的最大相對(duì)誤差、均方差、程序運(yùn)行時(shí)間以決定網(wǎng)絡(luò)的結(jié)構(gòu)。經(jīng)過比較，最后決定采用一個(gè)隱層、12個(gè)隱層單元、24個(gè)輸出單元的BP網(wǎng)進(jìn)行訓(xùn)練,訓(xùn)練過程中均采用24h的時(shí)用水量作為輸入與輸出節(jié)點(diǎn)(即Opi與Opj)。

由于時(shí)用水量變化具有趨勢(shì)性、周期性及隨機(jī)擾動(dòng)性的特點(diǎn)，故預(yù)測(cè)樣本的變化規(guī)律將直接影響預(yù)測(cè)結(jié)果的變化趨勢(shì)，所以在預(yù)測(cè)時(shí)應(yīng)根據(jù)預(yù)測(cè)對(duì)象的情況，選擇適當(dāng)?shù)臉颖具M(jìn)行預(yù)測(cè)。

①預(yù)測(cè)次日24h的時(shí)用水量(或某一時(shí)刻的用水量)

a.如果這一天處于工作日則選取上一工作日的用水量作為輸入樣本進(jìn)行訓(xùn)練，然后預(yù)測(cè)次日的時(shí)用水量。預(yù)測(cè)結(jié)果見圖2，與實(shí)際用水量的相對(duì)誤差為-0.02%～0.01%。

b.如果預(yù)測(cè)日為周末(即周六或周日)則選取前一周(包括上周周末)的實(shí)測(cè)數(shù)據(jù)進(jìn)行訓(xùn)練以使預(yù)測(cè)更加準(zhǔn)確，預(yù)測(cè)結(jié)果見圖3。與實(shí)際用水量的相對(duì)誤差為-2%～1%。

②預(yù)測(cè)一個(gè)月的時(shí)用水量

可以選取上個(gè)月的數(shù)據(jù)進(jìn)行訓(xùn)練，也可以選取去年或連續(xù)幾年同月的時(shí)用水量進(jìn)行預(yù)測(cè)，不過訓(xùn)練樣本數(shù)越大、訓(xùn)練時(shí)間越長(zhǎng)則預(yù)測(cè)精度越高。預(yù)測(cè)結(jié)果見圖4，與實(shí)際用水量的相對(duì)誤差在±1%以內(nèi)。

3.3預(yù)測(cè)效果比較

為了考察神經(jīng)網(wǎng)絡(luò)模型對(duì)城市時(shí)用水量的預(yù)測(cè)效果，同時(shí)采用時(shí)間序列三角函數(shù)分析法、灰色系統(tǒng)理論預(yù)測(cè)法、小波分析法對(duì)上述實(shí)例進(jìn)行了預(yù)測(cè)，結(jié)果表明：時(shí)間序列三角函數(shù)分析法的預(yù)測(cè)誤差一般為±5%～±7%；灰色系統(tǒng)理論預(yù)測(cè)法的預(yù)測(cè)誤差大一些，為±5%～±50%；小波分析法誤差范圍為0%～±25%；而神經(jīng)網(wǎng)絡(luò)的最大誤差不超過±1%。

可見，神經(jīng)網(wǎng)絡(luò)方法對(duì)城市時(shí)用水量的預(yù)測(cè)效果明顯好于其他方法。

4結(jié)語

人工神經(jīng)網(wǎng)絡(luò)是一門新興的交叉學(xué)科，利用BP網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)能擬合任意的非線性函數(shù)并且具有準(zhǔn)確、簡(jiǎn)單等特點(diǎn)，實(shí)際應(yīng)用結(jié)果表明，用它來預(yù)測(cè)時(shí)用水量是可行的。

參考文獻(xiàn)：

［1］HaganMT,MenhajMB.TrainingfeedforwardnetworkswithMarquartalgorithm［J］.IEEETransonNeuralNetworks,1994,5(6):989-993.

［2］KanadChakraborty,ChilukuriKMohan.Forecastingthebehaviorofmultivariatetimeseriesusingneuralnetworks［J］.NeuralNetworks,1992，(5)：961-970.

［3］SietsmaJ，DowRJF.Backpropagationnetworksthatgeneralize［J］.NeuralNetworks,1999，(12)：65-69.

［4］邵良彬，高樹林.基于人工神經(jīng)網(wǎng)絡(luò)的投資預(yù)測(cè)［J］.系統(tǒng)工程理論與實(shí)踐，1997，17(2)：67-71.

第3篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

Abstract: Tourist quantity prediction has an important role in development of tourist industry, so it is benefit to make development planning and policy of tourist site. Aiming at the defects of BP artificial neural network, combined with Differential Evolution Algorithm, the paper proposes a tourist quantity prediction model based on DE-BP neural network. We analyse and forecast the data change trend of China's inbound tourists, and get satisfactory results.

關(guān)鍵詞：差異演化算法；神經(jīng)網(wǎng)絡(luò)；入境游客；預(yù)測(cè)

Key words: Differential Evolution（DE）；neural network；inbound tourist；prediction

中圖分類號(hào)：F59 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1006-4311（2010）34-0155-01

0引言

在現(xiàn)代旅游管理的研究中，隨著旅游經(jīng)濟(jì)量化水平的不斷提高，使得眾多學(xué)者開始利用數(shù)學(xué)模型對(duì)旅游行業(yè)的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)，客源預(yù)測(cè)就是其中一個(gè)重要的方面。本文在BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[1]中引入差異演化算法[2,3]，構(gòu)造出基于DE-BP神經(jīng)網(wǎng)絡(luò)的旅游客源預(yù)測(cè)模型，為旅游客源預(yù)測(cè)提供一種新的求解途徑。

1BP神經(jīng)網(wǎng)絡(luò)模型和DE算法

BP算法，也稱為反向傳播算法。它是一種具有三層或者三層以上的階層型前向神經(jīng)網(wǎng)絡(luò)（輸入層、中間層、輸出層），其主要思想是從后向前（反向）逐層傳播輸出層的誤差，以間接算出隱層誤差。算法分為兩個(gè)階段：第一階段（正向過程）輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值；第二階段（反向傳播過程）輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權(quán)值，本文采用三層結(jié)構(gòu)網(wǎng)絡(luò)。

DE算法是基于實(shí)數(shù)編碼的演化算法，它的整體結(jié)構(gòu)類似于遺傳算法（GA），與遺傳算法的主要區(qū)別在于變異操作上，DE的變異操作是基于染色體的差異向量講行的，其余操作和遺傳算法類似，也包括生成初始種群、變異操作、交叉操作和選擇操作。運(yùn)用DE對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值講行優(yōu)化，較GA能有效地跳出局部最優(yōu)值，克服GA的早熟現(xiàn)象。

2DE-BP神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用

將DE和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，主要思想是運(yùn)用DE操作保證搜索是在整個(gè)解空間進(jìn)行的，同時(shí)尋優(yōu)討程不依賴于種群初始值的選擇，將權(quán)值和閾值精確到一個(gè)很小的范圍，然后用BP操作保證得到精確的網(wǎng)絡(luò)權(quán)值。

針對(duì)我國(guó)入境游人數(shù)進(jìn)行預(yù)測(cè)，采用1995年-2004年的數(shù)據(jù)[4]作為BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。首先對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)，預(yù)測(cè)2005年的入境游人數(shù)，然后將訓(xùn)練樣本向前推進(jìn)一個(gè)，用1996年-2005年的數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)2006年的數(shù)據(jù)進(jìn)行預(yù)測(cè)；依次直至預(yù)測(cè)到2012年為止。

DE-BP神經(jīng)網(wǎng)絡(luò)參數(shù)取值為：神經(jīng)網(wǎng)絡(luò)輸入結(jié)點(diǎn)數(shù)8；中間層結(jié)點(diǎn)數(shù)6；輸出層結(jié)點(diǎn)1；種群大小50；交叉概率0.7；變異概率0.02；最大進(jìn)化代數(shù)100。

采用DE-BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與BP神經(jīng)網(wǎng)絡(luò)、一元多項(xiàng)式回歸法預(yù)測(cè)結(jié)果對(duì)比，如表1所示。

同時(shí)，我們采用平均絕對(duì)誤差（MAE）、平方差（SSE）、均方差（MSE）和預(yù)測(cè)精度（PA）等四個(gè)指標(biāo)對(duì)不同方法得到的預(yù)測(cè)數(shù)據(jù)進(jìn)行評(píng)價(jià)，如表2所示。

3結(jié)論

在BP人工神經(jīng)網(wǎng)絡(luò)和差異演化算法的基礎(chǔ)上，構(gòu)造了DE-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，并采用該算法對(duì)旅游客源講行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果與BP神經(jīng)網(wǎng)絡(luò)以及一元多項(xiàng)式回歸模型預(yù)測(cè)結(jié)果講行對(duì)比，表明該算法在預(yù)測(cè)精度上較其他兩種算法有明顯的提高。本文所提出的DE-BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型不僅可以預(yù)測(cè)旅游客源，還可以對(duì)旅游業(yè)中其它指標(biāo)進(jìn)行預(yù)測(cè)，同時(shí)對(duì)于其它行業(yè)類似問題也有一定的借鑒意義。

參考文獻(xiàn)：

[1]孫燕平，張琳，呂仁義.旅游客源預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)方法[J].人文地理，2002，17（6）：50-52.

[2]張文修.遺傳算法的數(shù)學(xué)基礎(chǔ)[M].西安：西安交通大學(xué)出版社，2003.

第4篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

［關(guān)鍵詞］BP神經(jīng)網(wǎng)絡(luò)農(nóng)業(yè)工程農(nóng)業(yè)管理農(nóng)業(yè)決策

一、引言

采用神經(jīng)網(wǎng)絡(luò)算法的信息處理技術(shù)，以其較強(qiáng)的計(jì)算性和學(xué)習(xí)性，現(xiàn)如今已經(jīng)在各工程領(lǐng)域內(nèi)得到了廣泛應(yīng)用。隨著科技不斷的發(fā)展和研究的不斷深入，農(nóng)業(yè)系統(tǒng)中采用的傳統(tǒng)分析和管理的方法已經(jīng)不能滿足農(nóng)業(yè)工程領(lǐng)域快速發(fā)展的需要。在農(nóng)業(yè)系統(tǒng)中采用神經(jīng)網(wǎng)絡(luò)技術(shù)可在一定程度上可彌補(bǔ)傳統(tǒng)方法的不足，現(xiàn)已成為實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化的一個(gè)重要途徑。神經(jīng)網(wǎng)絡(luò)現(xiàn)已在農(nóng)業(yè)生產(chǎn)的各個(gè)環(huán)節(jié)得到廣泛的應(yīng)用，從作物營(yíng)養(yǎng)控制、作物疾病診斷、產(chǎn)量預(yù)測(cè)到產(chǎn)品分級(jí)，顯示了巨大的潛力，并正以很快的速度與生產(chǎn)實(shí)際相結(jié)合。目前應(yīng)用比較多的BP神經(jīng)網(wǎng)絡(luò)，可通過學(xué)習(xí)以任意精度逼近任何連續(xù)映射，在農(nóng)業(yè)生產(chǎn)與科研中展示出了廣闊的應(yīng)用前景。

BP人工神經(jīng)網(wǎng)絡(luò)方法。人工神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)化和模擬的一種信息處理系統(tǒng)，具有很強(qiáng)的信息存貯能力和計(jì)算能力，屬于一種非經(jīng)典的數(shù)值算法。通?？煞譃榍跋蛏窠?jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織映射神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)(Backpropugation Neura1 Network)是一種單向傳播的多層前向神經(jīng)網(wǎng)絡(luò)，可通過連續(xù)不斷的在相對(duì)于誤差函數(shù)斜率下降的方向上計(jì)算網(wǎng)絡(luò)權(quán)值以及偏差的變化而逐漸逼近目標(biāo)值，每一次數(shù)字和偏差的變化都與網(wǎng)絡(luò)誤差的影響成正比，并以反向傳播的方式傳遞到每一層，從而實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程。BP人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示，BP神經(jīng)網(wǎng)絡(luò)可分為輸入層、中間層(隱含層)和輸出層，其中輸入和輸出都只有一層，中間層可有一層或多層。同層的網(wǎng)絡(luò)結(jié)點(diǎn)之間沒有連接。每個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)表示一個(gè)神經(jīng)元，其傳遞函數(shù)通常采用Sigmoid型函數(shù)。BP神經(jīng)網(wǎng)絡(luò)相當(dāng)于從輸入到輸出的高度非線性映射，對(duì)于樣本輸入和輸出，可以認(rèn)為存在某一映射函數(shù)g，使得y0=g(xi)，i＝1，2，3，…，m，其中m為樣本數(shù)，xi為輸入樣本，yo為輸出結(jié)果。

BP神經(jīng)網(wǎng)絡(luò)的一個(gè)顯著優(yōu)點(diǎn)就是其可進(jìn)行自學(xué)習(xí)，能夠通過訓(xùn)練得到預(yù)期的效果。其學(xué)習(xí)過程由正向傳播和反向傳播組成，神經(jīng)網(wǎng)絡(luò)的輸入值經(jīng)過非線性變換從輸入層經(jīng)隱含層神經(jīng)元的逐層處理傳向輸出層，此為正向傳播過程。每一層神經(jīng)元的狀態(tài)將影響到下一層神經(jīng)元狀態(tài)。如果輸出層得到的數(shù)值與期望輸出有一定的偏差，則轉(zhuǎn)入反向傳播過程。神經(jīng)網(wǎng)絡(luò)通過對(duì)輸入值和希望的輸出值(教師值)進(jìn)行比較，根據(jù)兩者之間的差的函數(shù)來調(diào)整神經(jīng)網(wǎng)絡(luò)的各層的連接權(quán)值和各個(gè)神經(jīng)元的閾值，最終使誤差函數(shù)達(dá)到最小。其調(diào)整的過程是由后向前進(jìn)行的，稱為誤差反向傳播BP算法。具體學(xué)習(xí)過程如下：

（1)隨機(jī)給各個(gè)權(quán)值賦一個(gè)初始權(quán)值，要求各個(gè)權(quán)值互不相等，且均為較小的非零數(shù)。

（2)輸入樣本集中每一個(gè)樣本值，確定相應(yīng)的網(wǎng)絡(luò)實(shí)際輸出值。

（3)計(jì)算實(shí)際的輸出值與相應(yīng)的樣本集中的相應(yīng)輸出值的差值。

（4)按極小誤差方式調(diào)整權(quán)值矩陣。

（5)判斷網(wǎng)絡(luò)誤差是否小于訓(xùn)練前人為設(shè)定的一個(gè)較小的值，若小于，則跳出運(yùn)算，此時(shí)的結(jié)果為神經(jīng)網(wǎng)絡(luò)的最終訓(xùn)練結(jié)果；若大于，則繼續(xù)計(jì)算。

（6）判斷最大迭代次數(shù)是否大于預(yù)先設(shè)定的數(shù)，若小于，返回（2）;若大于，則中止運(yùn)算，其結(jié)果為神經(jīng)網(wǎng)絡(luò)的最終訓(xùn)練結(jié)果。

上述的計(jì)算過程循環(huán)進(jìn)行，直到完成給定的訓(xùn)練次數(shù)或達(dá)到設(shè)定的誤差終止值。

二、BP神經(jīng)網(wǎng)絡(luò)在農(nóng)業(yè)工程領(lǐng)域中的應(yīng)用

1.在農(nóng)業(yè)生產(chǎn)管理與農(nóng)業(yè)決策中的應(yīng)用

農(nóng)業(yè)生產(chǎn)管理受地域、環(huán)境、季節(jié)等影響較大，用產(chǎn)生式規(guī)則完整描述實(shí)際系統(tǒng)，可能會(huì)因組合規(guī)則過多而無法實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)的一個(gè)顯著的優(yōu)點(diǎn)就是其具有較強(qiáng)的自學(xué)習(xí)、自適應(yīng)、自組織能力，通過對(duì)有代表性的樣本的學(xué)習(xí)可以掌握學(xué)習(xí)對(duì)象的內(nèi)在規(guī)律，從而可以在一定程度上克服上述信息量大的問題。神經(jīng)網(wǎng)絡(luò)在農(nóng)業(yè)生產(chǎn)管理方面可用于農(nóng)作物生長(zhǎng)過程中對(duì)農(nóng)作物生長(zhǎng)需求進(jìn)行預(yù)測(cè)，從而通過對(duì)養(yǎng)分、水分、溫度、以及PH值的優(yōu)化控制達(dá)到最優(yōu)的生長(zhǎng)狀況。采用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)算法的主要思想可描述為：（1）收集一定規(guī)模的樣本集，采用BP算法進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)收斂到預(yù)定的精度；（2）將網(wǎng)絡(luò)權(quán)值矩陣保存到一存儲(chǔ)介質(zhì)中，例如文本文件或數(shù)據(jù)庫(kù)中；（3）對(duì)于待預(yù)測(cè)數(shù)據(jù)的輸入部分，從存儲(chǔ)介質(zhì)中讀出網(wǎng)絡(luò)連接權(quán)值矩陣，然后通過BP神經(jīng)網(wǎng)絡(luò)的前向傳播算法計(jì)算網(wǎng)絡(luò)輸出，輸出結(jié)果既是預(yù)測(cè)出來的數(shù)值向量。如霍再林等針對(duì)油葵不同階段的相對(duì)土壤含鹽濃度對(duì)其產(chǎn)量的影響有一定的規(guī)律的現(xiàn)象，以油葵的6個(gè)成長(zhǎng)階段的土壤溶液含鹽的相對(duì)濃度為輸入樣本，相對(duì)產(chǎn)量為輸出樣本，通過比較發(fā)現(xiàn)，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)能較好預(yù)測(cè)油葵產(chǎn)量，采用此方法可補(bǔ)充傳統(tǒng)模型的不足，為今后進(jìn)一步的研究開辟了新路。

在農(nóng)業(yè)決策方面，主要將農(nóng)業(yè)專家面對(duì)各種問題時(shí)所采取的方法的經(jīng)驗(yàn)，作為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本，從而采用神經(jīng)網(wǎng)絡(luò)建立的專家系統(tǒng)將從一定程度上彌補(bǔ)了傳統(tǒng)方法的不足，將農(nóng)業(yè)決策智能化。如何勇、宋海燕針對(duì)傳統(tǒng)專家系統(tǒng)自學(xué)習(xí)能力差的缺點(diǎn)，利用神經(jīng)網(wǎng)絡(luò)可自我訓(xùn)練的優(yōu)點(diǎn)，將神經(jīng)網(wǎng)絡(luò)引入專家系統(tǒng)中。將小麥缺素時(shí)的田間宏觀表現(xiàn)，葉部、莖部、果實(shí)癥狀及引起缺素的原因這五個(gè)方面的可信度值作為神經(jīng)網(wǎng)絡(luò)的輸入量，將農(nóng)業(yè)專家診斷的結(jié)論作為輸出量，將這些數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。實(shí)際應(yīng)用表明此系統(tǒng)自動(dòng)診斷的結(jié)果與專家現(xiàn)場(chǎng)診斷的結(jié)果基本一致，從而采用該系統(tǒng)能夠取代專家，實(shí)現(xiàn)作物的自我診斷，為農(nóng)業(yè)管理方面提供了極大的幫助。如馬成林等針對(duì)于傳統(tǒng)施肥決策方法中非線性關(guān)系描述不足的問題，基于數(shù)據(jù)包分析和BP神經(jīng)網(wǎng)絡(luò)，建立了施肥決策模型，應(yīng)用表明，在有限的范圍內(nèi)，模型預(yù)測(cè)結(jié)果較為合理，可以反映玉米的需肥特性。劉鋮等人提出采用神經(jīng)網(wǎng)絡(luò)應(yīng)用在農(nóng)業(yè)生產(chǎn)決策中，以莜麥播種方式?jīng)Q策為例，通過對(duì)產(chǎn)生式規(guī)則的分析導(dǎo)出神經(jīng)網(wǎng)絡(luò)輸入、輸出單元數(shù)，并通過多次試驗(yàn)確定隱層單元數(shù)，用MATLAB方針結(jié)果表明，采用神經(jīng)網(wǎng)絡(luò)作為農(nóng)業(yè)生產(chǎn)決策的方法，取得了較好的效果。譚宗琨提出將基于互聯(lián)網(wǎng)環(huán)境下的神經(jīng)網(wǎng)絡(luò)應(yīng)用在玉米智能農(nóng)業(yè)專家系統(tǒng)中，根據(jù)農(nóng)作物發(fā)育進(jìn)程分成若干個(gè)發(fā)育期，分別對(duì)各個(gè)發(fā)育期建立管理模型，依照作物各發(fā)育期進(jìn)程時(shí)間間隔，由計(jì)算機(jī)系統(tǒng)自動(dòng)選取相應(yīng)的模型進(jìn)行決策。應(yīng)用分析的結(jié)果表明采用神經(jīng)網(wǎng)絡(luò)的玉米智能專家系統(tǒng)已初步接近農(nóng)業(yè)生產(chǎn)的實(shí)際。

2.在農(nóng)產(chǎn)品外觀分析和品質(zhì)評(píng)判

農(nóng)產(chǎn)品的外觀，如形狀、大小、色澤等在生產(chǎn)過程中是不斷變化的，并且受人為和自然等復(fù)雜因素的影響較大。農(nóng)產(chǎn)品的外觀直接影響到農(nóng)產(chǎn)品的銷售，研究出農(nóng)作物外觀受人為和自然的影響因素，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行生產(chǎn)預(yù)測(cè)，可解決農(nóng)產(chǎn)品由于不良外觀而造成的損失。如Murase 等針對(duì)西紅柿表皮破裂的現(xiàn)象，西紅柿表皮應(yīng)力的增長(zhǎng)與西紅柿果肉靠近表皮部分水分的增加有關(guān)，當(dāng)表皮應(yīng)力超過最大表皮強(qiáng)度時(shí)，將導(dǎo)致表皮破裂。用人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，預(yù)測(cè)在環(huán)境溫度下的表皮應(yīng)力，可通過控制環(huán)境變量來減少西紅柿表皮破裂所造成的損失。

在農(nóng)業(yè)科研和生產(chǎn)中，農(nóng)產(chǎn)品的品質(zhì)評(píng)判大多是依賴于對(duì)農(nóng)產(chǎn)品外觀的辨識(shí)。例如對(duì)果形尺寸和顏色等外觀判別果實(shí)的成熟度，作物與雜草的辨別，種子的外觀質(zhì)量檢測(cè)。由于農(nóng)業(yè)環(huán)境的復(fù)雜性和生物的多樣性，農(nóng)產(chǎn)品的外觀不具有較確定的規(guī)律性和可描述性，單一采用圖像處理技術(shù)辨識(shí)農(nóng)產(chǎn)品的外觀時(shí)不宜過多采取失真處理和變換，否則則增加圖像處理的復(fù)雜性，特征判別也相對(duì)困難。人工神經(jīng)網(wǎng)絡(luò)由于其具有自學(xué)習(xí)、自組織的能力，比較適宜解決農(nóng)業(yè)領(lǐng)域中許多難以用常規(guī)數(shù)學(xué)方法表達(dá)的復(fù)雜問題，與圖像處理技術(shù)相結(jié)合后，可根據(jù)圖像特征進(jìn)行選擇性判別。采用此方法可以部分替代人工識(shí)別的工作，提高了生產(chǎn)效率，也有利于實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化。如Liao等將玉米籽粒圖像用34個(gè)特征參數(shù)作為神經(jīng)網(wǎng)絡(luò)的輸入變量，將輸出的種粒形態(tài)分為5類，經(jīng)過學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)對(duì)完整籽粒分類的準(zhǔn)確率達(dá)到93％，破籽粒分類的準(zhǔn)確率達(dá)91％。

3.蔬菜、果實(shí)、谷物等農(nóng)產(chǎn)品的分級(jí)和鑒定

在農(nóng)業(yè)生產(chǎn)中，蔬菜、果實(shí)、谷物等農(nóng)產(chǎn)品的分級(jí)和鑒定是通過對(duì)農(nóng)產(chǎn)品外觀的辨識(shí)進(jìn)行的。傳統(tǒng)的農(nóng)產(chǎn)品外觀的辨識(shí)方法費(fèi)時(shí)費(fèi)力、預(yù)測(cè)可靠度很低，而且多采用人工操作，評(píng)價(jià)受到操作者主觀因素的影響，評(píng)判的精度難以保證。利用人工神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合圖像處理技術(shù)可部分代替以往這些主要依靠人工識(shí)別的工作，從而大大提高生產(chǎn)效率，實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)與管理的自動(dòng)化和智能化。

利用BP神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)農(nóng)產(chǎn)品果形尺寸和顏色等外觀評(píng)判，目前國(guó)內(nèi)外已有不少成果用于實(shí)際生產(chǎn)中。何東健等以計(jì)算機(jī)視覺技術(shù)進(jìn)行果實(shí)顏色自動(dòng)分級(jí)為目的，研究了用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行顏色分級(jí)的方法。分別用120個(gè)著色不同的紅星和紅富士蘋果作為訓(xùn)練樣本集對(duì)網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練。兩個(gè)品種的蘋果先由人工依據(jù)標(biāo)準(zhǔn)按著色度分成4級(jí)，對(duì)每一個(gè)品種分別求出7個(gè)模式特征值作為BP網(wǎng)絡(luò)的輸入，用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行分級(jí)。結(jié)果表明紅富士和紅星果實(shí)的平均分級(jí)一致率分別為94.2％和94.4％。劉禾等用對(duì)稱特征、長(zhǎng)寬特征、寬度特征、比值特征等一系列特征值來描述果形。采用BP網(wǎng)絡(luò)與人工智能相結(jié)合，建立果形判別人工神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)。試驗(yàn)水果品種為富士和國(guó)光。試驗(yàn)表明系統(tǒng)對(duì)富士學(xué)習(xí)率為80％，對(duì)非學(xué)習(xí)樣本的富士蘋果的果形判別推確率為75％，系統(tǒng)對(duì)國(guó)光學(xué)習(xí)率為89％，對(duì)非學(xué)習(xí)樣本的國(guó)光蘋果果形判別系統(tǒng)的難確率為82％。

三、未來的發(fā)展方向

人工神經(jīng)網(wǎng)絡(luò)的信息處理技術(shù)現(xiàn)已在農(nóng)業(yè)工程領(lǐng)域內(nèi)得到了迅速的應(yīng)用，采用人工神經(jīng)網(wǎng)絡(luò)算法的農(nóng)業(yè)系統(tǒng)能夠從一定程度上改善控制效果，但此技術(shù)在農(nóng)業(yè)范圍內(nèi)還不夠成熟，有待于進(jìn)一步的研究。今后科研的方向大體上可以從以下幾方面著手：

1.人工神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)

人工神經(jīng)網(wǎng)絡(luò)算法由于本身具有一定的缺點(diǎn)，從而采用人工神經(jīng)網(wǎng)絡(luò)的算法的信息處理技術(shù)在應(yīng)用過程中具有一定的局限性。在今后的研究中，可以從人工神經(jīng)網(wǎng)絡(luò)方向著手，改進(jìn)人工神經(jīng)網(wǎng)絡(luò)算法，從而實(shí)現(xiàn)其在農(nóng)業(yè)領(lǐng)域內(nèi)更好的應(yīng)用。近年來隨著模糊算法、蟻群算法等算法的相繼出現(xiàn)，將神經(jīng)網(wǎng)絡(luò)與其他算法結(jié)合在一起已經(jīng)成為了研究的熱門話題，也是未來算法研究的主要方向之一。

2.應(yīng)用領(lǐng)域的擴(kuò)展

人工神經(jīng)網(wǎng)絡(luò)算法在農(nóng)業(yè)工程方面現(xiàn)已得到了迅速的發(fā)展，擴(kuò)展其在農(nóng)業(yè)工程領(lǐng)域的應(yīng)用范圍是未來的一個(gè)主要研究方向。人工神經(jīng)網(wǎng)絡(luò)由于其具有自學(xué)習(xí)能力，可對(duì)農(nóng)業(yè)系統(tǒng)的非線形特性進(jìn)行較好的描述，采用人工神經(jīng)網(wǎng)絡(luò)可解決傳統(tǒng)方法的不足，從而實(shí)現(xiàn)農(nóng)業(yè)現(xiàn)代化。如何將神經(jīng)網(wǎng)絡(luò)較好地引入到農(nóng)業(yè)系統(tǒng)，解決農(nóng)業(yè)工程中的部分問題，已是今后農(nóng)業(yè)科研中的一個(gè)方向。

四、結(jié)束語

神經(jīng)網(wǎng)絡(luò)作為一種人工智能范疇的計(jì)算方法，具有良好的自學(xué)習(xí)與數(shù)學(xué)計(jì)算的能力，可通過計(jì)算機(jī)程序進(jìn)行模擬運(yùn)算，現(xiàn)已廣泛用于模式識(shí)別、管理決策等方面。隨著計(jì)算機(jī)硬件和軟件的不斷發(fā)展與農(nóng)業(yè)工程方面的研究的不斷深入，神經(jīng)網(wǎng)絡(luò)將在農(nóng)業(yè)管理、農(nóng)業(yè)決策、農(nóng)作物外觀分類、品質(zhì)評(píng)判等方面充分發(fā)揮其自學(xué)習(xí)能力強(qiáng)，計(jì)算能力強(qiáng)的優(yōu)勢(shì)，通過對(duì)樣本數(shù)據(jù)的學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)可較好地解決農(nóng)作物生長(zhǎng)過程中的作物分類、預(yù)測(cè)等非線形的問題。在農(nóng)業(yè)工程領(lǐng)域內(nèi)，神經(jīng)網(wǎng)絡(luò)擁有廣闊的科研前景。

參考文獻(xiàn):

[1]余英林李海洲:神經(jīng)網(wǎng)絡(luò)與信號(hào)分析[M]. 廣州: 華南理工大學(xué)出版社,1996:45

[2]霍再林史海濱孔東等: 基于人工神經(jīng)網(wǎng)絡(luò)的作物水―鹽響應(yīng)初步研究[J].內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)，2003，24（3）：66～70

[3]何勇宋海燕:基于神經(jīng)網(wǎng)絡(luò)的作物營(yíng)養(yǎng)診斷專家系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào),2005,21（1）:110～113

[4]馬成林吳才聰張書慧等:基與數(shù)據(jù)包絡(luò)分析和人工神經(jīng)網(wǎng)絡(luò)的變量施肥決策方法研究[J].農(nóng)業(yè)工程學(xué)報(bào),2006，20（2）:152～155

[5]劉鋮楊盤洪: 莜麥播種方式?jīng)Q策的BP神經(jīng)網(wǎng)絡(luò)模型[J]. 太原理工大學(xué)學(xué)報(bào)，2006,37(5):119～121

[6]譚宗琨: BP人工神經(jīng)網(wǎng)絡(luò)在玉米智能農(nóng)業(yè)專家系統(tǒng)中的應(yīng)用[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2004(10):9～1

[7]Liao K,Li Z,Reid J F,et al.Knoledge-based color discrimination of corn kernels[J].ASAE paper[C].92～3579

第5篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

關(guān)鍵字：小波分析；去噪處理；神經(jīng)網(wǎng)絡(luò)；股票預(yù)測(cè)

一、引言

從股票產(chǎn)生起，人們就開始對(duì)它進(jìn)行各種各樣的研究，研究表明股票市場(chǎng)是一個(gè)極其復(fù)雜的動(dòng)力學(xué)系統(tǒng)。高噪聲、嚴(yán)重非線性和投資者的盲目任意性等因素決定了股票預(yù)測(cè)的復(fù)雜與困難。針對(duì)股票市場(chǎng)表現(xiàn)的不同特點(diǎn)，人們提出了多種多樣的預(yù)測(cè)方法，常用的預(yù)測(cè)方法有下面幾種：

1.證券投資分析法。這是分析和預(yù)測(cè)股價(jià)變化方向和趨勢(shì)的方法，可分為基本分析法、技術(shù)分析法和組合分析法三大類。

2.時(shí)間序列分析法。這種方法主要是通過建立股價(jià)及綜合指數(shù)之間的時(shí)間序列相關(guān)辨識(shí)模型。

3.其它預(yù)測(cè)方法。如專家評(píng)估法和市場(chǎng)調(diào)查法等定性方法，季節(jié)變動(dòng)法、馬爾柯夫法和判別分析等定量預(yù)測(cè)方法。

4.神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法。人工神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的信息處理特點(diǎn)在許多領(lǐng)域得到了成功應(yīng)用。它不僅具有強(qiáng)大的非線性映射能力，可以實(shí)現(xiàn)復(fù)雜的因果關(guān)系，而且還具有許多優(yōu)秀品質(zhì)，如：自適應(yīng)、自學(xué)習(xí)和糾錯(cuò)性等。BP神經(jīng)網(wǎng)絡(luò)模型作為證券市場(chǎng)預(yù)測(cè)的基本因果模型，收到良好的效果。

5.小波神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法。小波神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)，它融合了神經(jīng)網(wǎng)絡(luò)和小波的優(yōu)點(diǎn)。與一般的神經(jīng)網(wǎng)絡(luò)相比它對(duì)高頻信號(hào)的適應(yīng)能力更強(qiáng)，預(yù)測(cè)效果更好[1]-[2]。

由于神經(jīng)網(wǎng)絡(luò)具有可任意逼近非線性連續(xù)函數(shù)的學(xué)習(xí)能力和對(duì)雜亂信息的綜合能力，國(guó)內(nèi)外眾多學(xué)者都曾使用其對(duì)股票數(shù)據(jù)進(jìn)行預(yù)測(cè)。White（1992）嘗試用神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)IBM普通股每日的收益率；吳華星（1998）根據(jù)自組織模式理論建立了基于前饋神經(jīng)網(wǎng)絡(luò)的股票價(jià)格預(yù)測(cè)系統(tǒng)；宋軍等（2007）采用Elman回歸神經(jīng)網(wǎng)絡(luò)分析方法，通過對(duì)股票市場(chǎng)的技術(shù)指標(biāo)的建模， 尋求股票價(jià)格的變化規(guī)律， 實(shí)現(xiàn)對(duì)股票價(jià)格的預(yù)測(cè)。但是經(jīng)過研究發(fā)現(xiàn)，使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)一旦陷入局部最小值就會(huì)使其預(yù)測(cè)結(jié)果大打折扣。王建偉（2004）運(yùn)用Haar和dbN小波對(duì)鞍山信托的收盤價(jià)和成交量進(jìn)行變換再用神經(jīng)網(wǎng)絡(luò)對(duì)股票價(jià)格預(yù)測(cè)取得了較好的預(yù)測(cè)結(jié)果；蘭秋軍等（2004）[4]和鄧凱旭、宋寶瑞（2006）討論了小波變換在金融時(shí)間序列中的應(yīng)用，得出小波方法可有效消除金融時(shí)間序列中的噪聲，并能充分保留原信號(hào)的特征；李萍（2010）結(jié)合小波變換與神經(jīng)網(wǎng)絡(luò)對(duì)匯率等一些經(jīng)濟(jì)數(shù)據(jù)進(jìn)行預(yù)測(cè)也收到了很好的效果。[5]可見把小波與神經(jīng)網(wǎng)絡(luò)相結(jié)合的分析預(yù)測(cè)方法在經(jīng)濟(jì)數(shù)據(jù)預(yù)測(cè)中能夠收到很好的效果。開盤價(jià)是股票當(dāng)天第一筆成交價(jià)格，是市場(chǎng)各方對(duì)當(dāng)天股價(jià)的一個(gè)預(yù)期，對(duì)股價(jià)的走勢(shì)具有一定的預(yù)測(cè)作用。本文通過小波對(duì)股票每日最高價(jià)、最低價(jià)以及開盤價(jià)進(jìn)行去噪處理，然后用BP神經(jīng)網(wǎng)絡(luò)對(duì)開盤價(jià)進(jìn)行預(yù)測(cè)。避免了非正常價(jià)格對(duì)股票的影響，提高了預(yù)測(cè)的精度。

二、小波消噪的基本原理

小波分析方法是一種窗口大小固定但其形狀可以改變，時(shí)間窗和頻率都可以改變的時(shí)頻局部化分析方法。即在低頻部分具有較高的頻率分辨率和較低的時(shí)間分辨率，在高頻部分具有較高的時(shí)間分辨率和較低的頻率分辨率，所以被譽(yù)為數(shù)學(xué)顯微鏡，正是這種特性，使小波變換具有對(duì)信號(hào)的自適應(yīng)性。小波分析有兩個(gè)顯著特點(diǎn)：一是在時(shí)域都具有緊支集或近似緊支集；二是正負(fù)交替的波動(dòng)性。小波分析是將信號(hào)分解成一系列小波函數(shù)的疊加，而這些小波函數(shù)都是由一個(gè)母小部進(jìn)行比較，獲取的是信號(hào)的高頻部分。小波分析理論有一個(gè)重要的特色就是可以進(jìn)行多分辨率分析。信號(hào)可以通過多層次分解為反映高頻信息的細(xì)節(jié)部分和反映低頻信息的概貌部分，通過這種多分辨率分解，信號(hào)和噪聲通常會(huì)有不同的表現(xiàn)，從而可達(dá)到信噪分離的目的。綜上所述我們可以利用小波函數(shù)去除股票價(jià)格信息中包含的噪聲因素。

三、BP神經(jīng)網(wǎng)絡(luò)

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱含層（hide layer）和輸出層（output layer）。它是利用非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)，具有極強(qiáng)的容錯(cuò)性、自組織和自學(xué)習(xí)性，有著較好的函數(shù)逼近和泛化能力[6]。

BP神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。[7]-[9]

在金融數(shù)據(jù)分析預(yù)測(cè)中經(jīng)常會(huì)遇到一些復(fù)雜的非線性系統(tǒng)，這些系統(tǒng)狀態(tài)方程復(fù)雜，難以用數(shù)學(xué)方法準(zhǔn)確建模。在這種情況下，可以建立BP神經(jīng)網(wǎng)絡(luò)表達(dá)這些非線性系統(tǒng)。該方法把未知系統(tǒng)看成是一個(gè)黑箱，首先用系統(tǒng)輸入輸出數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠表達(dá)該未知函數(shù)，然后就可以用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)系統(tǒng)的輸出。本文將把股票每日的最高價(jià)和最低價(jià)作為輸入，股票每日的開盤價(jià)作為輸出訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)能夠預(yù)測(cè)股票開盤價(jià)的輸出。

四、實(shí)例分析與結(jié)果

第6篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

關(guān)鍵詞：中藥水提液；膜污染；BP神經(jīng)網(wǎng)絡(luò)；隱含層神經(jīng)元；遺傳算法

DOI：10.3969/j.issn.1005-5304.2017.04.023

中圖分類號(hào)：R2-05；R284.2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-5304（2017）04-0092-05

Study on Forecasting Ceramic Membrane Fouling in TCM Extracts Based on Improved BP Neural Network DOU Peng-wei， WANG Zhen， SHE Kan-kan， FAN Wen-ling （Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing 210023， China）

Abstract： Objective To prevent and treat of ceramic membrane purification of membrane fouling process of TCM extracts； To explore new methods of forecasting membrane fouling degree. Methods BP neural network model was improved. Methods to fast determine the optimal number of neurons in the hidden layer and fast algorithm for optimizing the weight and threshold of BP neural network were studied. Data of 207 groups of TCM extracts were under network training and prediction. Results Compared with the models of multiple regression analysis， basic BP neural network and RBF neural network， the error of the improved BP neural network model was less than that of the BP neural network model， and the mean square error was only 0.005 7. In addition， the improved BP neural network model performance was more stable. In the 20 random running experiments， the goal of the success rate achieved up to 95%. Conclusion The improved model has a good network performance， the fitting effect and prediction ability， and can forecast the fouling degree of membrane stably and accurately.

Key words： TCM extracts； membrane fouling； BP neural network； hidden layer neuron； genetic algorithm

中藥水提液的純化技術(shù)是中藥制劑前處理中應(yīng)用最多的工藝方法之一。陶瓷膜因具有耐高溫、化學(xué)性質(zhì)穩(wěn)定、抗污染性強(qiáng)、機(jī)械強(qiáng)度高等優(yōu)點(diǎn)[1]，被廣泛應(yīng)用于中藥水提液的純化過程。然而，膜污染是制約陶瓷膜精制中藥的關(guān)鍵問題。

膜污染是指由于被過濾液中的微粒、膠體離子、溶質(zhì)分子與膜存在物理化學(xué)作用而引起的各種粒子在膜表面或膜孔內(nèi)吸附或沉積，造成膜孔堵塞或變小并使膜的透過流量與分離特性產(chǎn)生不可逆變化的一種現(xiàn)象[2]。中藥水提液組成復(fù)雜，是一種含有懸浮的固體微粒、膠體粒子和完全溶解溶質(zhì)分子的復(fù)雜混懸體，在分離過濾操作時(shí)膜極易被污染，造成膜通量銳減[3-4]。目前，中藥水提液陶瓷膜膜污染機(jī)理尚不明確，過濾過程缺乏系統(tǒng)性理論指導(dǎo)及有效的膜污染控制手段。

中藥水提液陶瓷膜膜污染是多種復(fù)雜因素綜合作用的結(jié)果，具有較強(qiáng)的不確定性，難以采用特定函數(shù)模型描述。要實(shí)現(xiàn)對(duì)膜污染的準(zhǔn)確預(yù)測(cè)，需要建立合理實(shí)用的預(yù)測(cè)模型。BP神經(jīng)網(wǎng)絡(luò)是近年被廣泛應(yīng)用的一種模擬人腦神經(jīng)系統(tǒng)結(jié)構(gòu)和功能的人工智能方法，是一種解決非線性、不確定性問題的數(shù)學(xué)模型，具有連續(xù)傳遞函數(shù)的多層前饋人工神經(jīng)網(wǎng)絡(luò)，訓(xùn)練方式為誤差反向傳播算法，并以均方誤差最小化為目標(biāo)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，最終能高精度地?cái)M合數(shù)據(jù)[5]。BP神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的學(xué)習(xí)和適應(yīng)能力，適合針對(duì)中藥水提液復(fù)雜系統(tǒng)建模，在處理具有非線性特點(diǎn)的中藥水提液陶瓷膜膜污染預(yù)測(cè)問題方面，比一般的線性、非線性模型更有優(yōu)勢(shì)。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 拓?fù)浣Y(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，通過訓(xùn)練樣本來學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，無需事先揭示及描述映射關(guān)系的數(shù)學(xué)方程。學(xué)習(xí)規(guī)則采用最速下降法，通過誤差反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的整體誤差最小[6-8]。

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)包括輸入層、隱含層和輸出層，其中可包含1個(gè)或多個(gè)隱含層。各層次的神經(jīng)元之間形成全互連接，同層神經(jīng)元之間無反饋連接，見圖1。

1.2 基本原理及其缺陷

BP神網(wǎng)絡(luò)由信號(hào)的正向傳播和誤差的逆向傳播2部分組成[9]。設(shè)輸入層神經(jīng)元為P=[p1，p2，…pi]，隱含層神經(jīng)元為S=[s1，s2，…sk]，輸出層神經(jīng)元為A=[a1，a2，…，aj]， 表示輸入層第i個(gè)神經(jīng)元與隱含層第k個(gè)神經(jīng)元之間的連接權(quán)值， 表示隱含層第k個(gè)神經(jīng)元與輸出層第j個(gè)神經(jīng)元之間的連接權(quán)值；隱含層的激勵(lì)函數(shù)為f1，輸出層的激勵(lì)函數(shù)為f2， 表示隱含層中各神經(jīng)元的閾值， 表示輸出層中各神經(jīng)元的閾值。

1.2.1 信息的正向傳遞 輸入層各神經(jīng)元與隱含層各神經(jīng)元之間以相應(yīng)的權(quán)重連接，隱含層的第1個(gè)神經(jīng)元 ，從輸入層的每個(gè)神經(jīng)元處得到輸出值，加權(quán)求和 ，加上閾值 ，通過激勵(lì)函數(shù)f1，得到該神經(jīng)元的輸出值為 。

輸出層第1個(gè)神經(jīng)元a1接收隱含層每個(gè)神經(jīng)元輸出值，并加權(quán)求和得 ，加上閾值 ，通過激勵(lì)函數(shù)f2，得到輸出層該神經(jīng)元的輸出值為 。

1.2.2 誤差的反向傳播 N個(gè)數(shù)據(jù)樣本進(jìn)入輸入層正向傳播，經(jīng)過隱含層各神經(jīng)元處理，傳向輸出層，得到實(shí)際輸出值A(chǔ)，將實(shí)際輸出值A(chǔ)與期望輸出值T進(jìn)行誤差分析，比較并計(jì)算實(shí)際輸出與期望輸出的均方誤差 。

如果MSE未達(dá)到精度要求ε，則進(jìn)入反向傳播過程，把均方誤差信號(hào)MSE以梯度形式，按原來正向傳遞的通路逐層進(jìn)行反向傳播，并將誤差信號(hào)MSE分?jǐn)偨o各層的所有神經(jīng)元，從而獲得各層神經(jīng)元的誤差信號(hào)MSEj（j=1，2，3），將此誤差信號(hào)MSEj作為修正各連接權(quán)值和閾值的依據(jù)，并對(duì)其修改。

重復(fù)進(jìn)行網(wǎng)絡(luò)信息的正向傳遞和網(wǎng)絡(luò)誤差的反向傳播過程，直至均方誤差MSE達(dá)到精度要求或者訓(xùn)練達(dá)到最大迭代次數(shù)。

BP神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中存在一些缺陷[10]，其中在中藥分析領(lǐng)域有2個(gè)較明顯的缺陷：第一，BP神經(jīng)網(wǎng)絡(luò)的建模過程必須構(gòu)造一定的隱含層結(jié)構(gòu)，但尚無合適的方法確定隱含層的神經(jīng)元數(shù)，而隱含層神經(jīng)元數(shù)過少或過多都會(huì)造成模型預(yù)測(cè)結(jié)果不準(zhǔn)確；第二，BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)產(chǎn)生的，權(quán)值和閾值的取值情況又決定著數(shù)據(jù)擬合的效果，因此該模型具有不穩(wěn)定性。

2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型

2.1 隱含層神經(jīng)元數(shù)

利用區(qū)間估算方法快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)。具有單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠映射所有連續(xù)函數(shù)，在不約束隱含層神經(jīng)元數(shù)的情況下，單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)任意的非線性映射[11]。因此，本研究選用單隱層模型。

隱含層神經(jīng)元數(shù)的確定是BP神經(jīng)網(wǎng)絡(luò)模型中非常關(guān)鍵和復(fù)雜的問題，目前尚無標(biāo)準(zhǔn)方法來確定最佳隱含層神經(jīng)元數(shù)。如果隱含層神經(jīng)元數(shù)過少，會(huì)使得BP神經(jīng)網(wǎng)絡(luò)性能不佳，不能產(chǎn)生足夠的連接權(quán)組合來滿足網(wǎng)絡(luò)對(duì)樣本的學(xué)習(xí)需求；如果隱含層神經(jīng)元數(shù)過多，極易陷入局部最小值，達(dá)不到最優(yōu)點(diǎn)，出現(xiàn)過擬合現(xiàn)象[12]。許多學(xué)者通過試湊法[13-15]歸納出了確定隱含層神經(jīng)元數(shù)目的一些經(jīng)驗(yàn)性公式，如 、 、 ，其中k為隱含層神經(jīng)元數(shù)目，n為輸入層神經(jīng)元數(shù)目，m為輸出層神經(jīng)元數(shù)目，a為常數(shù)（一般a∈[1，10]）。

實(shí)踐表明，最佳隱含層神經(jīng)元數(shù)常介于 和 之間，因此本研究采用區(qū)間估算來快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的方法。具體步驟：①構(gòu)建一個(gè)單隱層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)目為n，輸出層神經(jīng)元數(shù)目為m，初始隱含層神經(jīng)元數(shù)目 ；②初始化BP神經(jīng)網(wǎng)絡(luò)，通過權(quán)值直接確定法[16]設(shè)置網(wǎng)絡(luò)各層的連接權(quán)值、閾值，并設(shè)置精度要求ε；③網(wǎng)絡(luò)訓(xùn)練，計(jì)算均方誤差MSE；④若 ，隱含層增加1個(gè)神經(jīng)元數(shù)目，返回步驟③，否則停止運(yùn)算；⑤比較不同隱含層神經(jīng)元數(shù)下的網(wǎng)絡(luò)均方誤差，選擇最小均方誤差所對(duì)應(yīng)的隱含層神經(jīng)元數(shù)作為最佳隱含層神經(jīng)元數(shù)。

2.2 初始權(quán)值和閾值

針對(duì)BP神經(jīng)網(wǎng)絡(luò)存在的“網(wǎng)絡(luò)初始權(quán)值和閾值隨機(jī)性”問題，本研究采用遺傳算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。遺傳算法[17-18]是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法。遺傳算法從1組隨機(jī)產(chǎn)生的初始解（稱為群體）開始搜索過程。群體中的每個(gè)個(gè)體都是問題的1個(gè)解，稱為染色體；染色體在后續(xù)迭代中不斷進(jìn)化，生成下一代染色體。染色體的優(yōu)劣通過適應(yīng)度函數(shù)衡量。根據(jù)適應(yīng)度的大小從上一代和后代中選擇一定數(shù)量的個(gè)體作為下一代群體繼續(xù)進(jìn)化，直至發(fā)現(xiàn)最好的染色體，即問題的最優(yōu)解。

遺傳算法的目標(biāo)是尋找所有進(jìn)化代中能夠使網(wǎng)絡(luò)均方誤差最小的網(wǎng)絡(luò)權(quán)重，但由于遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的方向進(jìn)行，所以本研究采用均方誤差的倒數(shù)作為適應(yīng)度函數(shù)。當(dāng)該適應(yīng)度函數(shù)取得最大值時(shí)，BP神經(jīng)網(wǎng)絡(luò)獲得最佳權(quán)值和閾值。計(jì)算公式： 。式中 表示第i條染色體的適應(yīng)度值；MSEi表示根據(jù)第i條染色體確定的BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值時(shí)預(yù)測(cè)值A(chǔ)與期望值T的均方誤差。

利用遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)模型權(quán)值和閾值快速尋優(yōu)的具體步驟：①通過編碼方式生成初始種群；②設(shè)置適應(yīng)度函數(shù)；③計(jì)算群體中所有個(gè)體的適應(yīng)值；④選擇適應(yīng)度高的個(gè)體執(zhí)行遺傳操作；⑤若達(dá)到終止條件，則返回最佳個(gè)體，即BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值；若未達(dá)到終止條件，則以指定的最大遺傳步數(shù)為終止計(jì)算準(zhǔn)則。基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)流程圖見圖2。

3 中藥水提液陶瓷膜膜污染預(yù)測(cè)實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

3.1.1 參數(shù)體系 根據(jù)膜科學(xué)原理和經(jīng)驗(yàn)規(guī)律，中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布等情況會(huì)對(duì)膜過程產(chǎn)生影響，是引起膜污染的重要因素?？紤]到實(shí)際測(cè)量的可行性，選擇測(cè)定5種高分子物質(zhì)（固含含量、果膠含量、淀粉含量、蛋白含量和鞣質(zhì)含量）、6種物化性質(zhì)（pH值、電導(dǎo)率、鹽度、濁度、黏度、密度）及3種阻力分布特征量（膜自身阻力、濃差極化阻力和表面沉積阻力），建立中藥水提液膜過程參數(shù)體系。

3.1.2 數(shù)據(jù)樣本 根據(jù)中藥水提液膜過程參數(shù)體系，通過實(shí)驗(yàn)測(cè)定了207組中藥水提液數(shù)據(jù)，其中145組數(shù)據(jù)（70%）作為訓(xùn)練集，62組數(shù)據(jù)（30%）作為測(cè)試集。

本實(shí)驗(yàn)?zāi)康臑橥ㄟ^對(duì)中藥水提液的共性高分子含量、物化性質(zhì)和阻力分布特征量的分析來預(yù)測(cè)膜污染度，因此輸入向量為固含含量等14個(gè)屬性值，輸出向量為膜污染度，見表1。

3.1.3 數(shù)據(jù)歸一化 由于輸入向量的數(shù)量級(jí)相差較大，直接將原始數(shù)據(jù)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練將使網(wǎng)絡(luò)性能和收斂性較差，因此需要對(duì)輸入向量進(jìn)行歸一化處理，把數(shù)據(jù)限定在區(qū)間[0，1]。而輸出向量的數(shù)值符合該區(qū)間，故無需進(jìn)行歸一化處理。數(shù)據(jù)歸一化處理公式：X=（X0-Xmin）/（Xmax-Xmin）。其中X為歸一化后的數(shù)值，X0為歸一化前的原始數(shù)據(jù)，Xmax和Xmin分別為該屬性原始數(shù)據(jù)的最大值和最小值。

3.2 預(yù)測(cè)模型

3.2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 根據(jù)BP神經(jīng)網(wǎng)絡(luò)原理，構(gòu)建單隱層的網(wǎng)絡(luò)模型。由于輸入向量有14個(gè)屬性元素，輸出向量是1個(gè)屬性元素，故設(shè)置網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)為14，網(wǎng)絡(luò)輸出層的神經(jīng)元數(shù)為1。采用“2.1”項(xiàng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的快速確定方法，估算出隱含層神經(jīng)元數(shù)目區(qū)間為3～13。為了確定最佳隱含層神經(jīng)元數(shù)目，設(shè)計(jì)對(duì)比實(shí)驗(yàn)比較不同神經(jīng)元數(shù)目的網(wǎng)絡(luò)誤差，實(shí)驗(yàn)偽代碼見圖3，其中P、T、S、O分別為訓(xùn)練輸入值、訓(xùn)練目標(biāo)值、預(yù)測(cè)輸入值和預(yù)測(cè)目標(biāo)值。實(shí)驗(yàn)結(jié)果見表2。

表2表明，在其他條件相同的情況下，模型的隱含層神經(jīng)元數(shù)目設(shè)置為9時(shí)，網(wǎng)絡(luò)均方誤差最小，模型的預(yù)測(cè)效果最佳，即最佳網(wǎng)絡(luò)結(jié)構(gòu)為14∶9∶1。

根據(jù)遺傳算法原理設(shè)計(jì)優(yōu)化模型。遺傳算法的編碼采用實(shí)數(shù)編碼，編碼串由4個(gè)部分組成：輸入層與隱含層的連接權(quán)值、隱含層與輸出層的連接權(quán)值、隱含層閾值和輸出層閾值。設(shè)定種群初始規(guī)模為50，最大遺傳代數(shù)為100，交叉操作采用單點(diǎn)交叉，變異操作采用均勻變異，交叉因子為0.6，變異因子為0.3。

3.2.2 預(yù)測(cè)結(jié)果分析 根據(jù)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練特點(diǎn)，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練參數(shù)：BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元激勵(lì)函數(shù)采用S型正切函數(shù)，輸出層神經(jīng)元激勵(lì)函數(shù)采用S型對(duì)數(shù)函數(shù)。應(yīng)用模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試，具體預(yù)測(cè)結(jié)果見表3。

實(shí)驗(yàn)均方誤差僅為0.005 7，表明基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測(cè)模型能夠有效地對(duì)膜污染度進(jìn)行預(yù)測(cè)。也證明中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布特征確實(shí)是影響膜污染的重要因素。

為分析模型的精度，將本研究實(shí)驗(yàn)結(jié)果與近年來中藥水提液膜污染數(shù)據(jù)建模相關(guān)文獻(xiàn)[19-21]進(jìn)行對(duì)比，見表4。結(jié)果表明，與多元回歸分析、基本BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)比較，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力，擬合效果和預(yù)測(cè)精度均有較大提高。

3.2.3 模型性能評(píng)價(jià) 由于BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機(jī)產(chǎn)生的，網(wǎng)絡(luò)模型性能與其相關(guān)，也是隨機(jī)變化的，因此為了對(duì)模型進(jìn)行評(píng)價(jià)，令基本BP神經(jīng)網(wǎng)絡(luò)模型和改進(jìn)模型均隨機(jī)運(yùn)行20次，分別考察達(dá)到預(yù)設(shè)目標(biāo)的情況。設(shè)定平均相對(duì)誤差為10%，即均方誤差MSE為0.01，進(jìn)行對(duì)比分析，見表5。

表5表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)穩(wěn)定性更佳，說明改進(jìn)算法實(shí)現(xiàn)了結(jié)構(gòu)、權(quán)值和閾值的同步優(yōu)化，避免了BP神經(jīng)網(wǎng)絡(luò)初始化的隨機(jī)性和盲目性，提高了計(jì)算精度和效率。

4 小結(jié)

本研究表明，基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測(cè)模型能夠適應(yīng)中藥水提液陶瓷膜純化過程中采集到的多維、非線性數(shù)據(jù)，能夠穩(wěn)定準(zhǔn)確地預(yù)測(cè)膜污染度，為中藥水提液陶瓷膜膜污染的預(yù)測(cè)和防治提供了有效方法。

參考文獻(xiàn)：

[1] SISKENS C A M. Fundamental of inorganic membrane science and technology[M]. Holland：Elsevier Science B V，1996：619-639.

[2] 劉忠洲，續(xù)曙光，李鎖定.微濾超濾過程中的膜污染與清洗[J].水處理技術(shù)，1997（4）：3-9.

[3] 樊文玲，郭立瑋，林瑛.不同預(yù)處理方法對(duì)陶瓷膜澄清中藥水提液過程的影響研究[J].中成藥，2008，30（11）：1709-1710.

[4] 賀立中.藥液超濾過程中的膜污染及其防治[J].膜科學(xué)與技術(shù)，2000， 20（5）：49-54.

[5] 劉春艷，凌建春，寇林元，等.GA-BP神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)性能比較[J].中國(guó)衛(wèi)生統(tǒng)計(jì)，2013，30（2）：173-176.

[6] HOLLAND J H. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control， and artificial intelligence[M]. Cambridge：MIT Press，1992：89.

[7] 王元章，譴夯，周笛青，等.基于BP神經(jīng)網(wǎng)絡(luò)的光伏陣列故障診斷研究[J].電力系統(tǒng)保護(hù)與控制，2013（16）：108-114.

[8] 張國(guó)翊，胡錚.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型及其穩(wěn)定性分析[J].中南大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，42（1）：115-124.

[9] 郝曉弘，段曉燕，李恒杰.基于BP神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)初始控制策略研究[J].計(jì)算機(jī)應(yīng)用，2009，29（4）：1025-1027，1031.

[10] 夏玫，陳立潮，王新波.一種提高BP神經(jīng)網(wǎng)絡(luò)泛化能力的改進(jìn)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2009，19（9）：62-64，68.

[11] CHEN T， CHEN H， LIU R W. Approximation capability in C（Rn） by multilayer feedforward networks and related problems[J].IEEE Transactions on Neural Network，1995，6（1）：25-30

[12] 范佳妮，王振雷，錢鋒.BP人工神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)設(shè)計(jì)的研究進(jìn)展[J].控制工程，2005，12（S1）：109-113.

[13] 沈花玉，王兆霞，高成耀，等.BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定[J].天津理工大學(xué)學(xué)報(bào)，2008，24（5）：13-15.

[14] 褚輝，賴惠成.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].計(jì)算機(jī)仿真，2007，24（4）：75-77.

[15] 張慶慶，賀興時(shí).BP神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)數(shù)選取的改進(jìn)方法及其應(yīng)用[J].西安工程大學(xué)學(xué)報(bào)，2008，22（4）：502-505.

[16] 張雨濃，李巍，蔡炳煌，等.切比雪夫正交基神經(jīng)網(wǎng)絡(luò)的權(quán)值直接確定法[J].計(jì)算機(jī)仿真，2009，26（1）：157-161.

[17] 范青武，王普，高學(xué)金.一種基于有向交叉的遺傳算法[J].控制與決策，2009，24（4）：542-546.

[18] 莊健，楊清宇，杜海峰，等.一種高效的復(fù)雜系統(tǒng)遺傳算法[J].軟件學(xué)報(bào)，2010，21（11）：2790-2801.

[19] 洪弘.數(shù)據(jù)挖掘技術(shù)在中藥水提液膜分離中的應(yīng)用研究[D].南京：南京中醫(yī)藥大學(xué)，2012.

第7篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

［關(guān)鍵詞］人工神經(jīng)網(wǎng)絡(luò)湖南人均GDP預(yù)測(cè)

GDP反應(yīng)某地區(qū)在核算期內(nèi)生產(chǎn)活動(dòng)的最終成果及衡量國(guó)民經(jīng)濟(jì)發(fā)展規(guī)模、速度、結(jié)構(gòu)、效益的代表性指標(biāo)，也是制定經(jīng)濟(jì)發(fā)展戰(zhàn)略目標(biāo)的主要指標(biāo)。湖南省作為中部的一個(gè)省份，通過對(duì)“十一五”期間湖南省人均GDP的預(yù)測(cè)，可以分析全省的勞動(dòng)量、資本量和技術(shù)知識(shí)的存量，利用GDP的存量功能，可以獲得資源與要素的信息，并據(jù)此推算湖南省的經(jīng)濟(jì)增長(zhǎng)的潛力，從而有利于政府部門制定更合理的經(jīng)濟(jì)政策。

一、問題的分析與模型的建立

經(jīng)濟(jì)預(yù)報(bào)是一個(gè)復(fù)雜的非線性系統(tǒng),且系統(tǒng)的內(nèi)部時(shí)時(shí)刻刻在發(fā)生變化,我們希望能夠建立一個(gè)參數(shù)隨預(yù)測(cè)環(huán)境的變化而改變的非線性模型,國(guó)內(nèi)外對(duì)經(jīng)濟(jì)的預(yù)測(cè)進(jìn)行了大量的研究，提出了許多預(yù)測(cè)的方法，其中神經(jīng)網(wǎng)絡(luò)被認(rèn)為是一種較好的非線性預(yù)測(cè)方法，尤其是BP神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，非線性處理能力卻很強(qiáng)大。

1.BP網(wǎng)絡(luò)模型

BP網(wǎng)絡(luò)是一種單向傳播的多層前向網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1

BP網(wǎng)絡(luò)是一種具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層。上、下層之間實(shí)現(xiàn)聯(lián)接，而每層神經(jīng)元之間無聯(lián)接。當(dāng)一對(duì)學(xué)習(xí)樣本提供給網(wǎng)絡(luò)后，神經(jīng)元的激活值，從輸入層經(jīng)各中間層，向輸出層傳播，在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。接下來，按照減少目標(biāo)輸出與實(shí)際值的誤差的方向，從輸出層經(jīng)過各中間層逐層修正各聯(lián)接權(quán)值，最后回到輸入層，這種算法稱為“誤差逆?zhèn)鞑ニ惴ā?，即BP算法。隨著這種誤差逆?zhèn)鞑バ拚粩噙M(jìn)行，網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷上升。

圖1為常用的三層BP網(wǎng)絡(luò)結(jié)構(gòu),如果輸入層、隱含層和輸出層的單元個(gè)數(shù)分別為n、q、m，則該三層網(wǎng)絡(luò)可表示BP（n，q，m），利用該網(wǎng)絡(luò)可實(shí)現(xiàn)n維輸入向量Xn=(X1,X2…Xn)到m維輸出向量Ym=(Y1,Y2…Ym)T的非線性映射。m,n根據(jù)具體問題確定，而隱含層單元數(shù)q的確定尚無成熟的方法，一般可設(shè)定不同的q值，根據(jù)訓(xùn)練結(jié)果進(jìn)行選擇。網(wǎng)絡(luò)結(jié)構(gòu)BP（n，q，m）確定后，網(wǎng)絡(luò)參數(shù)包括輸入層第i單元到隱含層第j單元的權(quán)重Wij(i=1...n,j=1...q)，隱層第i單元到輸出層第k單元的權(quán)重Wiko（j=1...q,k=1...m）；隱含層第j單元的激活閾值(j=1...q)及輸出層第k單元的激活閾值(k=1...m)，以上權(quán)值和閾值的初值在網(wǎng)絡(luò)訓(xùn)練之前隨機(jī)生成；假設(shè)共有p個(gè)訓(xùn)練樣本，輸入的第p個(gè)訓(xùn)練樣本信息首先向前傳播到隱含層單元上，經(jīng)過激活函數(shù)f(u)的作用得到隱含層的輸出信息: (1)

激活函數(shù)f(u)采用s(0,1)型函數(shù)，即 (2)

隱含層的輸出信息傳到輸出層，可得到最終輸入結(jié)果為

BP算法的基本思想是學(xué)習(xí)過程由信號(hào)的正向傳播與誤差的反向傳播兩個(gè)過程組成。以上過程為網(wǎng)絡(luò)學(xué)習(xí)的信息正向傳播過程；如果網(wǎng)絡(luò)輸出與期望輸出存在誤差，則將誤差反向傳播，誤差的反射傳播是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，以誤差信號(hào)作為修正各單元權(quán)值的依據(jù)，可以利用（4）來調(diào)節(jié)網(wǎng)絡(luò)權(quán)重和閾值。

其中為W(t)次訓(xùn)練，η,α分別為比例系數(shù)和動(dòng)量系數(shù)，E為誤差平方和反復(fù)運(yùn)用以上兩個(gè)過程，一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可接近的程度或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止（）。

通常，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)還應(yīng)該進(jìn)行性能的測(cè)試，測(cè)試的方面就是選擇樣本向量，將其提供給網(wǎng)絡(luò)，檢驗(yàn)網(wǎng)絡(luò)對(duì)其分類的正確性，測(cè)試樣本向量中應(yīng)包括今后網(wǎng)絡(luò)應(yīng)用過程中可能的主要典型模式；樣本可以直接測(cè)取得到，也可以通過仿真得到，在樣本數(shù)據(jù)較少或者較難得到時(shí)，也可以通過對(duì)學(xué)習(xí)樣本加上適當(dāng)?shù)脑肼暬虬凑找欢ǖ囊?guī)則插值得到，總之，一個(gè)良好的測(cè)試樣本集中，不應(yīng)該包括和學(xué)習(xí)完全相同的模式。

2.BP神經(jīng)網(wǎng)絡(luò)在經(jīng)濟(jì)預(yù)報(bào)模型中的應(yīng)用

采用神經(jīng)網(wǎng)絡(luò)進(jìn)行經(jīng)濟(jì)預(yù)測(cè),以湖南省1978～1999年的經(jīng)濟(jì)數(shù)據(jù)作為訓(xùn)練樣本,2000年～2004年GDP進(jìn)行預(yù)測(cè)仿真試驗(yàn)。

GDP預(yù)測(cè)指標(biāo)體系就包含第一產(chǎn)業(yè)（x1）、第二產(chǎn)業(yè)（x2）、第三產(chǎn)業(yè)（x3）。在考慮諸年數(shù)據(jù)的可比性，在應(yīng)用神經(jīng)網(wǎng)絡(luò)之前，采用如下方法對(duì)數(shù)據(jù)環(huán)比處理：

式中，x為指標(biāo)的環(huán)比值；y為指標(biāo)的原始數(shù)據(jù)值；w為物價(jià)指數(shù)，t和t-1分別代表當(dāng)年度和上年度。采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，即用上一年的經(jīng)濟(jì)數(shù)據(jù)作為輸入，下一年的GDP作為輸出。因此GDP預(yù)測(cè)模型可以描述為:

y1=f(x1(t-1),x2(t-1),x3(t-1))

設(shè)置L―M算法BP神經(jīng)網(wǎng)絡(luò)的計(jì)算誤差為10-4，最大計(jì)算步數(shù)為10000，計(jì)算結(jié)果見圖2：

預(yù)測(cè)的結(jié)果見下表

從表中預(yù)測(cè)的結(jié)果,可以看出,模型擬合得到的數(shù)據(jù)與真實(shí)值是比較吻合的,預(yù)測(cè)的效果比較好,完全能滿足實(shí)際應(yīng)用的需要。如果我們對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的精度作更高的要求，還可進(jìn)一步降低預(yù)測(cè)的誤差。

參考文獻(xiàn)：

[1]Martin T.Hagan.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì).機(jī)械工業(yè)出版社,2005

[2]王振龍:時(shí)間序列分析.中國(guó)統(tǒng)計(jì)出版社.2003

[3]伍衛(wèi)國(guó):數(shù)值方法和Matlab實(shí)現(xiàn)與應(yīng)用.機(jī)械工業(yè)出版社,2004

第8篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

關(guān)鍵詞:金融生態(tài);組合賦權(quán);BP神經(jīng)網(wǎng)絡(luò);層次分析法

金融生態(tài),又可稱之為金融生態(tài)體系,是各種金融組織為了生存和發(fā)展,與其生存環(huán)境之間及內(nèi)部金融組織相互之間在長(zhǎng)期的密切聯(lián)系和相互作用過程中,通過分工、合作所形成的具有一定結(jié)構(gòu)特征,執(zhí)行一定功能作用的動(dòng)態(tài)平衡系統(tǒng)。國(guó)內(nèi)較早系統(tǒng)闡釋金融生態(tài)理論的是周小川(2004),他在深刻認(rèn)識(shí)到我國(guó)金融改革的艱巨性和復(fù)雜性的前提下提出改善金融生態(tài)的思想。

本文結(jié)合目前區(qū)域金融生態(tài)評(píng)估方法研究的現(xiàn)狀和實(shí)際要求,在BP人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,采用一種基于組合賦權(quán)的輸入變量加權(quán)分層處理方法。改進(jìn)后的方法根據(jù)層次型指標(biāo)體系,通過組合賦權(quán)法確定原始指標(biāo)層和子項(xiàng)目層中各元素的相對(duì)權(quán)重,并以子項(xiàng)目層法治環(huán)境、經(jīng)濟(jì)基礎(chǔ)、信用環(huán)境、金融運(yùn)行四個(gè)方面作為BP神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn),建立加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)模型。

一、基于加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)的區(qū)域金融生態(tài)組合評(píng)估模型的構(gòu)建

徐諾金(2005)將金融生態(tài)概括為各種金融組織為了生存和發(fā)展,與其生存環(huán)境之間及內(nèi)部金融組織相互之間在長(zhǎng)期的密切聯(lián)系和相互作用過程中,通過分工、合作所形成的具有一定結(jié)構(gòu)特征,執(zhí)行一定功能作用的動(dòng)態(tài)平衡系統(tǒng)。結(jié)合區(qū)域金融生態(tài)的復(fù)雜巨系統(tǒng)的特征和評(píng)估目的,本文在借鑒湖南省金融生態(tài)評(píng)價(jià)課題組對(duì)株洲所轄縣域金融生態(tài)評(píng)估時(shí)構(gòu)建的金融生態(tài)評(píng)價(jià)指標(biāo)體系的基礎(chǔ)上,考慮用組合評(píng)估方法進(jìn)行區(qū)域金融生態(tài)評(píng)估。

1.加權(quán)分層BP人工神經(jīng)網(wǎng)絡(luò)基本思想

1985年Rumelhart和McCelland等提出的誤差反向傳播(Back Propagation)算法,是目前人工神經(jīng)網(wǎng)絡(luò)理論中最重要的一種學(xué)習(xí)算法,其學(xué)習(xí)過程是由信息正向傳播和誤差反向傳播兩個(gè)反復(fù)交替的過程所組成。在信息正向傳播過程中,輸入信息經(jīng)隱含單元逐層處理轉(zhuǎn)向輸出層,可簡(jiǎn)單地表征為ykj=fkj(∑n(k-1)i=1Wk-1ijyk-1i-θkj)

j=1,2,…nk, ;k=1,2,…,m

式中,Wk-1ij為第(k-1)層中第i個(gè)神經(jīng)元到第j個(gè)神經(jīng)元的連接權(quán)因子;θkj為該神經(jīng)元的閾值。

如果輸出層不能得到所期望的輸出,則轉(zhuǎn)入反向傳播過程。將實(shí)際值與網(wǎng)絡(luò)輸出之間的誤差沿原來的連接通路返回,通過修改各層神經(jīng)元的連接權(quán)重使誤差減少,然后再轉(zhuǎn)入正向傳播過程。如此反復(fù)計(jì)算,直至誤差小于設(shè)定值為止。該過程可描述為:

E=12∑pp=1∑kk=1(Tpk-Opk)2≤ε

式中Tpk,Opk分別表示輸入訓(xùn)練樣本為P時(shí)輸出節(jié)點(diǎn)K的計(jì)算輸出和期望輸出;ε為允許的最大誤差。

由于標(biāo)準(zhǔn)化處理后的輸入變量沒有了量綱的區(qū)別,每個(gè)變量對(duì)輸出變量的影響所占比例均等,當(dāng)各類變量的個(gè)數(shù)差別較大,變量多的幾類將削弱其它類變量對(duì)輸出結(jié)果的影響,導(dǎo)致模型評(píng)估誤差增大。且只能得到最終的評(píng)估值,無法看到金融生態(tài)各子系統(tǒng)的狀態(tài)分值。

如圖1所示,為提高模型的評(píng)估精度,根據(jù)層次性區(qū)域金融生態(tài)評(píng)估指標(biāo)體系,以項(xiàng)目層的四個(gè)方面,分別是法治環(huán)境、經(jīng)濟(jì)基礎(chǔ)、信用環(huán)境、金融運(yùn)行,作為BP神經(jīng)網(wǎng)絡(luò)的四個(gè)輸入節(jié)點(diǎn),取代傳統(tǒng)的直接將48個(gè)原始指標(biāo)作為輸入節(jié)點(diǎn)。

2.組合賦權(quán)方法的基本原理

指標(biāo)賦權(quán)是評(píng)估過程中的重要環(huán)節(jié),權(quán)重的確定方法主要有兩種:一種是主觀賦權(quán)法中,如綜合指數(shù)法、專家評(píng)價(jià)法、AHP法等;另一種是客觀賦權(quán)法,即根據(jù)各指標(biāo)之間的相關(guān)關(guān)系或各項(xiàng)指標(biāo)值的變異程度來確定權(quán)數(shù),如主成分分析法、因子分析法、復(fù)相關(guān)系數(shù)法、熵值法等。為科學(xué)、合理地給每個(gè)指標(biāo)賦權(quán),使其具有較好的實(shí)際應(yīng)用效果,本文采用組合賦權(quán)法,通過對(duì)不同的層次設(shè)計(jì)不同的賦權(quán)方法實(shí)現(xiàn)主觀賦權(quán)與客觀賦權(quán)相結(jié)合,具體為:原始指標(biāo)層因指標(biāo)個(gè)數(shù)較多,采用客觀賦權(quán)法,子項(xiàng)目層采用主觀賦權(quán)法;并且原始指標(biāo)層的將熵值法和復(fù)相關(guān)系數(shù)法兩種客觀賦權(quán)法相結(jié)合,既考慮各指標(biāo)之間的變異程度又考慮各指標(biāo)的相關(guān)性以削減指標(biāo)間信息重疊現(xiàn)象,以達(dá)到最大限度地提取并利用指標(biāo)數(shù)據(jù)包含的相關(guān)信息。

熵(Entropy)的概念源于熱力學(xué),后來香農(nóng)(C.E.Shannon)引入信息論。在信息論中,熵是一種不確定性的度量,信息量越大,不確定性就越小,熵也越小;信息量越小,不確定性就越大,熵也越大。一般而言,指標(biāo)的離散程度越強(qiáng),熵值就越大;反之,熵值就越小?？梢愿鶕?jù)各項(xiàng)指標(biāo)的變異程度,利用信息熵這個(gè)工具,計(jì)算出各項(xiàng)指標(biāo)的權(quán)數(shù),為多指標(biāo)綜合評(píng)價(jià)提供依據(jù)。

復(fù)相關(guān)系數(shù)法認(rèn)為如果某指標(biāo)與其他指標(biāo)重復(fù)的信息越多,在綜合評(píng)價(jià)中所起的作用就越小,應(yīng)賦予較小的權(quán)數(shù),反之則賦予較大的權(quán)數(shù),即根據(jù)指標(biāo)獨(dú)立性大小來分配權(quán)數(shù);同時(shí)采用指標(biāo)的復(fù)相關(guān)系數(shù)來衡量與其他指標(biāo)的重復(fù)信息量大小。

層次分析法的基本原理是將所要研究的復(fù)雜問題看作一個(gè)大系統(tǒng),根據(jù)系統(tǒng)所涉及的因素和所要達(dá)到的目標(biāo),通過對(duì)系統(tǒng)內(nèi)的因素及其相互關(guān)系的分析,劃分出各因素格互聯(lián)系的有序?qū)哟谓Y(jié)構(gòu)體系,再對(duì)結(jié)構(gòu)體系中的每一層次按某一給定的準(zhǔn)則,根據(jù)專家對(duì)每一層次中的各因素所作的較客觀的逐對(duì)比較和判斷,相應(yīng)地給出各因子相對(duì)重要性的定量表示,進(jìn)而建立數(shù)學(xué)模型,并計(jì)算出每一層次全部的相對(duì)重要性的權(quán)重,并加以排序,最后,根據(jù)排序結(jié)果進(jìn)行決策并選擇解決問題的方法。

3.實(shí)施步驟

基于加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)模型的區(qū)域金融生態(tài)評(píng)估過程分為三個(gè)階段:原始指標(biāo)同度量化,由原始指標(biāo)層向項(xiàng)目層的逐層歸總,將項(xiàng)目層分值輸入BP人工神經(jīng)網(wǎng)絡(luò)模型最終得到某區(qū)域的金融生態(tài)評(píng)估值。具體如下:

(1)原始指標(biāo)數(shù)據(jù)同度量化

不同的指標(biāo)是從不同的側(cè)面反映區(qū)域金融生態(tài),指標(biāo)之間無法進(jìn)行比較,因此為了統(tǒng)一評(píng)價(jià)的有效性,需對(duì)各指標(biāo)進(jìn)行無量綱化處理。正態(tài)化變換(分布打分)是一種非線性變化,使得變換后的分?jǐn)?shù)呈現(xiàn)標(biāo)準(zhǔn)正態(tài)分布。

(2)由原始指標(biāo)層向項(xiàng)目層的逐層歸總

原始指標(biāo)層采用熵值法與復(fù)相關(guān)系統(tǒng)數(shù)法的組合定權(quán),組合的權(quán)重為熵值法和復(fù)相關(guān)系數(shù)法所定的權(quán)重的簡(jiǎn)均,以此組合權(quán)重計(jì)算得到各子項(xiàng)目的相對(duì)分值;子項(xiàng)目層采用層次分析法定權(quán),計(jì)算歸總得到各項(xiàng)目的相對(duì)分值。

(3)將項(xiàng)目層分值輸入BP人工神經(jīng)網(wǎng)絡(luò)模型

以法治環(huán)境、經(jīng)濟(jì)基礎(chǔ)、信用基礎(chǔ)、金融運(yùn)行四個(gè)項(xiàng)目作為四個(gè)輸入節(jié)點(diǎn)建立三層BP人工神經(jīng)網(wǎng)絡(luò),隱層節(jié)點(diǎn)為1,輸出節(jié)點(diǎn)數(shù)為1,即某區(qū)域金融生態(tài)的最終評(píng)估值。利用MATLAB 7.0中的神經(jīng)網(wǎng)絡(luò)工具箱編寫程序,得到各待評(píng)區(qū)域的金融生態(tài)評(píng)估值及相對(duì)排序。

二、實(shí)證分析與比較

以某省某五縣(分別是A縣、B縣、C縣、D縣、E縣)2007年數(shù)據(jù)為例,說明上述區(qū)域金融生態(tài)綜合評(píng)估方法,并與幾種典型組合方法進(jìn)行比較,以分析該方法評(píng)價(jià)結(jié)果的準(zhǔn)確性和合理性。

由表1知,由組合評(píng)價(jià)方法一得出的五縣金融生態(tài)排名與這五縣實(shí)際情況相符;得分上總體得分都不高,有很大改進(jìn)空間,其中最高分A縣及最低分E縣差距較大,居于中間檔次的B縣、C縣和D縣得分較接近。

表1 六種組合方法結(jié)果比較

表2 六種方法結(jié)果的描述性分析

極差 最小值 最大值 均值 標(biāo)準(zhǔn)差

方法一24.08 41.28 65.36 53.50 8.54

方法二 22.11 39.87 61.98 51.72 8.67

方法三 25.13 40.98 66.11 52.81 9.02

方法四 22.71 41.70 64.41 54.07 8.39

方法五 24.45 38.22 62.67 51.09 9.32

方法六 19.78 41.52 61..30 52.34 8.074

考察比較所選的六種組合方法,從以下幾個(gè)方面:

(1)方法的區(qū)分度。由表2知,方法三和方法五的標(biāo)準(zhǔn)差較大,方法一和方法二次之,方法四和方法六的較小。這一差異的原因在于原始指標(biāo)層的客觀賦權(quán)法不同:信息熵權(quán)法其本質(zhì)是利用評(píng)價(jià)指標(biāo)樣本集的分布特征確定權(quán)重,將指標(biāo)數(shù)據(jù)的差異大小作為權(quán)重確定的依據(jù),但沒有考慮指標(biāo)的信息重疊和獨(dú)立性;復(fù)相關(guān)系數(shù)法則根據(jù)指標(biāo)的獨(dú)立性大小分配權(quán)數(shù),而對(duì)指標(biāo)的變異程度沒有涉及。方法三和方法五的原始指標(biāo)層的客觀賦權(quán)法采用信息熵權(quán)法,得出的最終分值的差異較大,而方法四和方法六采用復(fù)相關(guān)系數(shù)法,得出的最終分值差異較小,方法三和方法四是信息熵權(quán)和復(fù)相關(guān)系數(shù)的組合賦權(quán),綜合考慮了指標(biāo)的變異程度和獨(dú)立性,最終分值差異介于上述兩組之間。

(2)方法的一致性。對(duì)標(biāo)化后的綜合評(píng)價(jià)值作組間一致性檢驗(yàn),檢驗(yàn)方法采用組內(nèi)相關(guān)系數(shù)(ICC)法。利用SPSS軟件Scale下的Reliability Analysis功能對(duì)六組得分值作一致性檢驗(yàn),ICC=0.9875,ICC的95%的可信區(qū)間為0.9645～0.9896,可認(rèn)為這六組綜合評(píng)價(jià)值一致性很好,比較貼近五縣金融生態(tài)相對(duì)優(yōu)劣的實(shí)際。

(3)方法的互補(bǔ)性。每種方法都有其自身的優(yōu)點(diǎn)和缺點(diǎn),它們的適用場(chǎng)合也并不完全相同。通過將具有同種性質(zhì)綜合評(píng)價(jià)方法組合在―起,就能夠使各種方法的缺點(diǎn)得到彌補(bǔ),而同時(shí)兼有各方法的優(yōu)點(diǎn)。基于加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)模型通過對(duì)各種方法的組合,可以達(dá)到取長(zhǎng)補(bǔ)短的效果。通過兩組比較,其一為方法一與方法三、方法四,其二為方法二與方法五、方法六,可發(fā)現(xiàn),原始指標(biāo)層采用組合賦權(quán)所得分值介于原始指標(biāo)層采用熵值法和復(fù)相關(guān)系數(shù)法所得分值之間,更接近于實(shí)際。

對(duì)某省某五縣2007年度指標(biāo)數(shù)據(jù)的實(shí)證結(jié)果表明,基于熵值法和復(fù)相關(guān)系數(shù)法的層次BP神經(jīng)網(wǎng)絡(luò)模型在方法的區(qū)分度、一致性及互補(bǔ)性方面都有較好的表現(xiàn),能夠有效地綜合各方法的優(yōu)點(diǎn),反映這五縣金融生態(tài)的真實(shí)情況。

三、結(jié)論

本文將組合賦權(quán)法和神經(jīng)網(wǎng)絡(luò)模型綜合評(píng)價(jià)有機(jī)結(jié)合運(yùn)用在區(qū)域金融生態(tài)的綜合評(píng)估中,不僅結(jié)合了區(qū)域金融生態(tài)影響因素的多層次和復(fù)雜性,將以往分別使用的層次分析法與神經(jīng)網(wǎng)絡(luò)綜合評(píng)價(jià)法結(jié)合在一個(gè)分析模型中,而且將多層次與復(fù)雜性的分析模型首次應(yīng)用于區(qū)域金融生態(tài)評(píng)估,以便為改善區(qū)域金融環(huán)境提供可靠的決策依據(jù)。

基于加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)模型的區(qū)域金融生態(tài)評(píng)估方法能夠充分利用樣本指標(biāo)的有關(guān)信息,通過高度的非線性映射,揭示區(qū)域金融生態(tài)狀況與其相關(guān)影響因素之間的內(nèi)在作用機(jī)理,從根本上克服傳統(tǒng)線性加權(quán)的過于簡(jiǎn)化和單一方法的顧此失彼。此方法具有自學(xué)習(xí)性、自適應(yīng)性和很強(qiáng)的容錯(cuò)性,而且整個(gè)評(píng)價(jià)過程和步驟非常容易實(shí)現(xiàn)編程并在計(jì)算機(jī)上進(jìn)行運(yùn)算分析,具有較高的合理性和適用性,使評(píng)估結(jié)果更有效、更客觀。但是樣本數(shù)據(jù)本身的真實(shí)性、層次分析法專家打分、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本的選取等問題,也應(yīng)當(dāng)引起高度重視。只要能采取有效的措施和算法處理好這幾個(gè)問題,那么基于加權(quán)分層的BP神經(jīng)網(wǎng)絡(luò)模型的區(qū)域金融生態(tài)評(píng)估方法不失為區(qū)域金融生態(tài)評(píng)估方法中較好的一種。

參考文獻(xiàn):

[1]白欽先等.金融可持續(xù)發(fā)展研究導(dǎo)論[M].北京: 中國(guó)金融出版社,2001.

[2]周小川.完善法律制度,改進(jìn)金融生態(tài)[N]. 金融時(shí)報(bào), 2004,12.

[3]徐諾金.論我國(guó)的金融生態(tài)問題[J].金融研究,2005,(2).

[4]匡國(guó)建.完善金融生態(tài)法律制度的思考[J].金融研究,2005,(8).

[5]湖南大學(xué)金融管理研究中心. 2007年度株洲市縣域金融生態(tài)評(píng)估報(bào)告[N]. 株洲日?qǐng)?bào). 2008,09.

[6]李揚(yáng)等.中國(guó)城市金融生態(tài)評(píng)估[M].北京:人民出版社,2005.

[7]程亞男等.區(qū)域金融生態(tài)評(píng)估指標(biāo)體系研究[J].金融理論與實(shí)踐,2006, (1).[8]

[8]郭金龍.復(fù)雜系統(tǒng)范式視角下的金融演進(jìn)與發(fā)展[M].北京:中國(guó)金融出版社,2007.

[9]周志平等. 金融生態(tài)的層次結(jié)構(gòu)與金融資源均衡配置:張家界個(gè)案分析[J]. 金融研究,2005,(11).

[10]杜棟等.現(xiàn)代綜合評(píng)估方法與案例精選[M].北京:清華大學(xué)出版社,2008.

[11]謝慶健.區(qū)域金融生態(tài)現(xiàn)狀分析:來自安徽、江西、山東等省的調(diào)查報(bào)告[J]. 中國(guó)金融, 2006,(4).

[12]徐小林.區(qū)域金融生態(tài)評(píng)估方法[J].金融研究,2005,(11).

[13]馬經(jīng)等.廣東區(qū)域金融生態(tài)實(shí)證研究[J].南方金融,2006,(11)

[14]楊子強(qiáng),商業(yè)銀行要重視對(duì)金融生態(tài)的研究利用[N].金融時(shí)報(bào),2005-01-11.

[15]周小川.法治金融生態(tài)[J].中國(guó)經(jīng)濟(jì)周刊,2005,(3).[17]

[16]Detragiache, Enrica&Demirguc-Kunt,Asli.Monitoring banking sector fragility: a multivariate logic approach with an application to the 1996 - 1997 banking crises [J].Policy ResearchWorking Paper Series 2085, TheWorld Bank. 1999.

[17]Jiang Yaping,Xu Zuxin,Yin Hailong.STUDY ON IMPROVED BP ARTIFICIAL NEURAL NETWORKS IN EUTROPHICATION ASSESSMENT OF CHINA EASTERN LAKES.Conference of Global Chinese Scholars on Hydrodynamics.

[18]張瑞懷.基于BP神經(jīng)網(wǎng)絡(luò)模型的農(nóng)村金融生態(tài)綜合評(píng)估[J].金融理論與實(shí)踐,2006,(10) .

[19]張志元等.區(qū)域金融可持續(xù)發(fā)展的城市金融生態(tài)研究[J]. 金融研究,2006,(6).

[20]柳林, 楊竹清. MATLAB6.5輔助神經(jīng)網(wǎng)絡(luò)設(shè)計(jì). 北京: 電子工業(yè)出版社,2003.

第9篇：神經(jīng)網(wǎng)絡(luò)反向傳播過程范文

水工隧洞一般都有過水要求，加上其復(fù)雜的地質(zhì)條件，因此正確的進(jìn)行圍巖分類后采取相應(yīng)的支護(hù)措施將對(duì)保證隧洞穩(wěn)定性起決定性的作用。圍巖分類是一類非線性的綜合判定問題，用人工神經(jīng)網(wǎng)絡(luò)方法來判別水工隧洞圍巖類別是一種新的嘗試和新的方法。

1．圍巖分類的判定依據(jù)

水工隧洞圍巖工程地質(zhì)分類應(yīng)以控制圍巖穩(wěn)定的巖石強(qiáng)度、巖體完整程度、張開度、地下水力狀態(tài)和主要結(jié)構(gòu)面產(chǎn)狀等五項(xiàng)因素綜合評(píng)分為依據(jù)，圍巖強(qiáng)度應(yīng)力比為限定依據(jù)，見表1。

表1圍巖工程地質(zhì)分類依據(jù)

指標(biāo)名稱評(píng)價(jià)因素

巖石強(qiáng)度（A1）采用巖塊的單軸抗壓強(qiáng)度（MPa）

巖體完整程度（A2）采用完整性系數(shù)Kv

張開度（A3）考慮結(jié)構(gòu)面的連續(xù)性、粗糙度和充填物

地下水狀態(tài)（A4）考慮地下水的發(fā)育程度，用單位洞長(zhǎng)單位時(shí)間的涌水量

主要結(jié)構(gòu)面產(chǎn)狀（A5）采用結(jié)構(gòu)面走向與洞軸線的夾角

以上五個(gè)因素是控制圍巖穩(wěn)定性的主要因素，圍巖的分類標(biāo)準(zhǔn)見表2。

表2圍巖工程地質(zhì)分類標(biāo)準(zhǔn)

評(píng)價(jià)因素圍巖類別

Ⅰ（穩(wěn)定）Ⅱ（基本穩(wěn)定）Ⅲ（局部穩(wěn)定性差）Ⅳ（不穩(wěn)定）Ⅴ（極不穩(wěn)定）

A1（MPa）>200100~20050~10025~50<25

A20.9~1.00.75~0.90.5~0.750.25~0.5<0.25

A3（mm）<0.50.5~11~33~5>5

A4(L/min·10m)<2525~5050~100100~125>125

A5(o)90~7575~6060~4545~30<30

2.水工隧洞圍巖分類的人工神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的、簡(jiǎn)單的處理單元廣泛的互相連接而形成的復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)模型最基本的有兩大類：一類是以Hopfield網(wǎng)絡(luò)模型為代表的反饋型模型，它具有非線性和動(dòng)態(tài)性；另一類是以多層感知器為基礎(chǔ)的前饋模型。其中BP(BackPropagation)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的多層前饋神經(jīng)網(wǎng)絡(luò)模型。本文采用BP網(wǎng)絡(luò)模型。

2．1BP神經(jīng)網(wǎng)絡(luò)模型及其算法

BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層三層感知器組成，每層由若干個(gè)神經(jīng)元組成。輸入層接受信息，傳入到隱含層，經(jīng)過作用函數(shù)后，再把隱結(jié)點(diǎn)的輸出信號(hào)傳到輸出層輸出結(jié)果。節(jié)點(diǎn)的作用函數(shù)選用Sigmoid函數(shù)，即：

（1）

BP神經(jīng)網(wǎng)絡(luò)采用誤差逆?zhèn)鞑シ磳W(xué)習(xí)算法。學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信號(hào)由輸入層經(jīng)隱含層處理后傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層得不到一個(gè)期望的輸出，則轉(zhuǎn)向反傳播，將輸出信號(hào)的誤差按原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小，得到合適的網(wǎng)絡(luò)連接權(quán)后，便可對(duì)新的樣本進(jìn)行識(shí)別。BP網(wǎng)絡(luò)學(xué)習(xí)過程具體步驟如下：

（1）初始化，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)，賦初始權(quán)值；

（2）為網(wǎng)絡(luò)提供一組學(xué)習(xí)樣本，包括M個(gè)樣本對(duì)（），輸入向量，輸出向量，n、m分別為輸入層和輸出層神經(jīng)元個(gè)數(shù)，；

（3）對(duì)每個(gè)學(xué)習(xí)樣本P進(jìn)行（4）~（8）；

（4）逐層正向計(jì)算網(wǎng)絡(luò)各節(jié)點(diǎn)的實(shí)際輸出：

(2)

其中，為神經(jīng)元i、j之間的權(quán)值；為前層第i個(gè)神經(jīng)元的實(shí)際輸出，為式（1）給出的函數(shù)；

（5）計(jì)算網(wǎng)絡(luò)輸出誤差：

第P個(gè)樣本的輸出誤差為(3)

其中，，分別為輸出層第j個(gè)神經(jīng)元的期望輸出和實(shí)際輸出。

網(wǎng)絡(luò)總誤差為；(4)

（6）當(dāng)E小于允許誤差或達(dá)到指定迭代次數(shù)時(shí)，學(xué)習(xí)過程結(jié)束，否則進(jìn)行誤差逆向傳播，轉(zhuǎn)向（7）；

（7）逆向逐層計(jì)算網(wǎng)絡(luò)各節(jié)點(diǎn)誤差：

對(duì)于輸出層，(5)

對(duì)于隱含層，(6)

其中代表后層第個(gè)神經(jīng)元。

（8）修正網(wǎng)絡(luò)連接權(quán)：，其中為學(xué)習(xí)次數(shù)，為學(xué)習(xí)因子，值越大，產(chǎn)生的振蕩越大。通常在權(quán)值修正公式中加入一個(gè)勢(shì)態(tài)項(xiàng)，變成：

(7)

其中，a稱為勢(shì)態(tài)因子，它決定上次學(xué)習(xí)的權(quán)值變化對(duì)本次權(quán)值更新的影響程度。

2．2圍巖分類的BP模型

在以表2中數(shù)據(jù)為基礎(chǔ)進(jìn)行網(wǎng)絡(luò)訓(xùn)練前，須對(duì)表中指標(biāo)作如下處理：Ⅰ、Ⅴ類對(duì)應(yīng)的指標(biāo)取其界限值或平均值；Ⅱ、Ⅲ、Ⅳ類對(duì)應(yīng)的指標(biāo)取其平均值。作上述處理后，可以得到網(wǎng)絡(luò)訓(xùn)練模型的5個(gè)學(xué)習(xí)樣本，如表3。

表3圍巖類別識(shí)別模型的學(xué)習(xí)樣本

類別樣本類別A1A2A3A4A5

P1Ⅰ2000.950.52582.5

P2Ⅱ1500.8250.7537.567.5

P3Ⅲ750.62527552.5

P4Ⅳ37.50.3754112.537.5

P5Ⅴ250.25512530

以上表中5個(gè)類別樣本作為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本，在輸入層和隱含層各設(shè)置一個(gè)特殊單元作為閾值單元，其值設(shè)為1。模型結(jié)構(gòu)如下圖1所示。

圖1圍巖類別分類的BP網(wǎng)絡(luò)模型

設(shè)圍巖類別為P1、P2、P3、P4、P5這5個(gè)類別樣本的預(yù)期輸出矢量，各分量定義為

網(wǎng)絡(luò)訓(xùn)練時(shí)，當(dāng)所有樣本在網(wǎng)絡(luò)輸出節(jié)點(diǎn)的實(shí)際輸出與網(wǎng)絡(luò)期望輸出之間的最大誤差小于預(yù)先給定的常數(shù)，即時(shí)學(xué)習(xí)結(jié)束。

網(wǎng)絡(luò)經(jīng)過15000次訓(xùn)練，每個(gè)樣本的網(wǎng)絡(luò)輸出與期望輸出最大誤差為0.2，絕大部分在0.1之內(nèi)。應(yīng)用訓(xùn)練后的BP模型劃分新的圍巖類別樣本，等判定圍巖類別樣本W(wǎng)經(jīng)網(wǎng)絡(luò)變換后輸出O與各期望輸出比較，設(shè)，。

如果，則，，即隧洞圍巖類別樣本屬于級(jí)。

3．沙灣隧洞的圍巖分類應(yīng)用實(shí)例

東深供水改造工程沙灣隧洞位于深圳市北東面內(nèi)15公理處，區(qū)域地勢(shì)東高西低。工程區(qū)域周圍沉積巖、巖漿巖和變質(zhì)巖三大巖類均有出露。隧洞線路地帶分布的地層，除洞口溝谷部位為第四系松散堆積層外，其余均為侏羅系中統(tǒng)塘夏群碎屑巖，基本為單斜構(gòu)造，但末端因受深圳斷裂帶影響，巖層產(chǎn)狀較為紊亂，地質(zhì)條件復(fù)雜多變。

隧洞開挖后，測(cè)得三種圍巖地段的力學(xué)性質(zhì)和環(huán)境條件，取三個(gè)樣本為a、b、c。用BP人工神經(jīng)網(wǎng)絡(luò)判定該工程隧洞圍巖類別。

根據(jù)水利水電工程地質(zhì)勘察規(guī)范，隧洞圍巖類別分為5級(jí)：Ⅰ（穩(wěn)定）、Ⅱ（基本穩(wěn)定）、Ⅲ（局部穩(wěn)定性差）、Ⅳ（不穩(wěn)定）、Ⅴ（極不穩(wěn)定）。對(duì)照學(xué)習(xí)樣本各特征變量，用訓(xùn)練好的BP模型對(duì)a、b、c三個(gè)樣本進(jìn)行判定，其結(jié)果見表4。

表4沙灣隧洞三組樣本實(shí)測(cè)指標(biāo)與圍巖類別判定結(jié)果

指標(biāo)名稱實(shí)測(cè)指標(biāo)值

abc

巖石強(qiáng)度（A1）2845100

巖體完整程度（A2）0.220.50.55

張開度（A3）341

地下水狀態(tài)（A4）1208025

主要結(jié)構(gòu)面產(chǎn)狀（A5）305060

圍巖類別判定結(jié)果ⅤⅣⅢ

4．結(jié)論

水工隧洞圍巖類別判定，不僅影響因素多，而且具有很大的模糊性和不確定性。人工神經(jīng)網(wǎng)絡(luò)是一門新興的交叉學(xué)科，它具有聯(lián)想、記憶功能和判別識(shí)別的模糊性等優(yōu)點(diǎn)，用它來進(jìn)行圍巖類別分類，不需對(duì)輸入輸出指標(biāo)的關(guān)系作任何假設(shè)，這種關(guān)系是神經(jīng)網(wǎng)絡(luò)從實(shí)例中自適應(yīng)學(xué)習(xí)而獲得的，大大減少了人為因素的影響，省去了事后的經(jīng)驗(yàn)判斷。實(shí)踐證明，它在理論和應(yīng)用上都是可行的和有實(shí)際意義的。

參考文獻(xiàn)