前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的bp神經(jīng)網(wǎng)絡(luò)主題范文,僅供參考,歡迎閱讀并收藏。
[關(guān)鍵詞]有機碳含量評價 神經(jīng)網(wǎng)絡(luò)
中圖分類號:TP183 文獻標(biāo)識碼:A 文章編號:1009-914X(2015)45-0356-01
1 bp神經(jīng)網(wǎng)絡(luò)基本原理
BP神經(jīng)網(wǎng)絡(luò),即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程,由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息,并傳遞給中間層各神經(jīng)元;中間層是內(nèi)部信息處理層,負(fù)責(zé)信息變換,根據(jù)信息變化能力的需求,中間層可以設(shè)計為單隱層或者多隱層結(jié)構(gòu);最后一個隱層傳遞到輸出層各神經(jīng)元的信息,經(jīng)進一步處理后,完成一次學(xué)習(xí)的正向傳播處理過程,由輸出層向外界輸出信息處理結(jié)果。當(dāng)實際輸出與期望輸出不符時,進入誤差的反向傳播階段。誤差通過輸出層,按誤差梯度下降的方式修正各層權(quán)值,向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程,是各層權(quán)值不斷調(diào)整的過程,也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程,此過程一直進行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度,或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。
2 BP神經(jīng)網(wǎng)絡(luò)工作機理
2.1 正向傳播
圖中,表示神經(jīng)元的輸入,表示輸入層與隱含層之間權(quán)值,為隱含層與輸出層之間的權(quán)值,f()為傳遞函數(shù),為第k個神經(jīng)元輸出。假設(shè)BP神經(jīng)網(wǎng)絡(luò)輸入層有n個節(jié)點,隱含層有q個節(jié)點,輸出層m個節(jié)點。
隱含層第k個神經(jīng)元的輸入:
經(jīng)過傳遞函數(shù)f()后,則隱含層第k個神經(jīng)元的輸出:
其中f()為單調(diào)遞增且有界,所以一定有最大值。
輸出層第j個神經(jīng)元輸出:
2.2 反向傳播
輸入P個學(xué)習(xí)樣本,通過傳入網(wǎng)絡(luò)后,輸出,第P個樣本誤差:
式中:期望
全局誤差E:
輸出層權(quán)值的變化,通過調(diào)整,使得全局誤差E最小,得出輸出層神經(jīng)元權(quán)值調(diào)整公式:
隱含層神經(jīng)元的調(diào)整公式:
3 應(yīng)用實例
選擇AC,DEN,CNL,GR,PE,RD作為輸入曲線。XX井的53個點的巖心數(shù)據(jù),從中選出30個點作為訓(xùn)練樣本,23個點作為預(yù)測,構(gòu)建網(wǎng)絡(luò),對全井段處理。結(jié)果對比(如圖3-1),發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)計算的TOC比傳統(tǒng)的法計算的TOC效果好。其中TOC_NN為神經(jīng)網(wǎng)絡(luò)預(yù)測TOC,TOC_DaltalogR_AC為法計算的TOC。
4 結(jié)論
BP神經(jīng)網(wǎng)絡(luò)預(yù)測TOC克服了常規(guī)解釋模型的缺陷,不用選擇解釋參數(shù),計算結(jié)果與解釋人員經(jīng)驗無關(guān),預(yù)測結(jié)果精度有較大幅度的提高。利用多種測井解釋數(shù)據(jù)及巖心分析資料作為網(wǎng)絡(luò)訓(xùn)練樣本,通過網(wǎng)絡(luò)的訓(xùn)練、學(xué)習(xí),建立了BP網(wǎng)絡(luò)TOC模型,并利用該模型預(yù)測該地區(qū)新井的TOC值,實驗證明用該模型進行TOC預(yù)測是可行的。
參考文獻
[1]楊斌.神經(jīng)網(wǎng)絡(luò)及其在石油測井中的應(yīng)用[M].北京:石油工業(yè)出版,2005:111-115.
[2]羅利,姚聲賢.神經(jīng)網(wǎng)絡(luò)及模式識別技術(shù)在測井解釋中的應(yīng)用[J].測井技術(shù),2002.
關(guān)鍵詞: 時間序列; BP神經(jīng)網(wǎng)絡(luò); EMD; 本征模函數(shù); 預(yù)測模型
中圖分類號:TP311.1 文獻標(biāo)志碼:A 文章編號:1006-8228(2014)02-01-04
0 引言
時間序列是將某種現(xiàn)象某一個統(tǒng)計指標(biāo)在不同時間上的各個數(shù)值,按時間先后順序排列而形成的序列。時間序列分析是一種動態(tài)的數(shù)列分析[1],出發(fā)點是承認(rèn)數(shù)據(jù)的有序性和相關(guān)性,通過數(shù)據(jù)內(nèi)部的相互關(guān)系來辨識系統(tǒng)的變化規(guī)律。常用的時間序列分析法主要是建立在回歸――移動平均模型(ARMA)[2-3]之上,被用來對股價(最高價、最低價、開盤價、收盤價)及綜合指數(shù)進行預(yù)測[4-5]。然而,這些經(jīng)典回歸分析暗含著一個重要假設(shè):數(shù)據(jù)是平穩(wěn)的。如果數(shù)據(jù)非平穩(wěn),往往導(dǎo)致出現(xiàn)“虛假回歸”,嚴(yán)重影響預(yù)測效果。股票等金融數(shù)據(jù)是典型的非平穩(wěn)時間序列,一般地說,股票價格的變化主要包括經(jīng)濟性因素、政治性因素、人為操縱因素、有關(guān)行業(yè)及投資者心理等多種因素的影響,各因素的影響程度、時間范圍和方式也不盡相同;且股市各因素間相互關(guān)系錯綜復(fù)雜,主次關(guān)系變化不定,數(shù)量關(guān)系難以提取及定量分析[6]。因此,需要尋找一種好的方法來避免或減弱這些因素的影響,于是學(xué)者研究小波分析[6]和神經(jīng)網(wǎng)絡(luò)[7-8]用于時間序列分析預(yù)測。小波變換可以使非平穩(wěn)數(shù)據(jù)中的有效成分和噪聲呈現(xiàn)出各自不同的特征,但小波變換中小波基的選取會對數(shù)據(jù)去噪的效果產(chǎn)生很大的影響,因此利用小波變換對非平穩(wěn)數(shù)據(jù)分析的方法缺乏自適應(yīng)性。Zhaohua Wu[11]等人通過大量的實驗,證實經(jīng)驗?zāi)B(tài)分解(EMD,Empirical mode decomposition)具有類似小波變換中的二進濾波器特性,通過分解、數(shù)據(jù)重組后實現(xiàn)了數(shù)據(jù)的去噪,汲取了小波變換優(yōu)勢,同時又克服了小波變換中的小波基選擇難的問題。
本文將經(jīng)驗?zāi)B(tài)分解和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合,構(gòu)建了一種基于EMD-BP神經(jīng)網(wǎng)絡(luò)的預(yù)測模型,通過對中國石化股票進行預(yù)測模擬仿真,實驗結(jié)果得出結(jié)論,將EMD用于時間序列的預(yù)測分析,大大降低了擾動因素的影響,提高了預(yù)測精度。
1 時間序列的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練
神經(jīng)網(wǎng)絡(luò)具有較強的學(xué)習(xí)能力和適應(yīng)能力,在非線性系統(tǒng)中的預(yù)測方面得到了廣泛的應(yīng)用。考慮到金融數(shù)據(jù)是一類非線性較強的時間序列,本文選用BP神經(jīng)網(wǎng)絡(luò)作為預(yù)測工具。BP網(wǎng)絡(luò)[9-10]是一種多層前饋型神經(jīng)網(wǎng)絡(luò),其神經(jīng)采用的傳遞函數(shù)一般都是Sigmoid(S形彎曲)型可微函數(shù),是嚴(yán)格的遞增函數(shù),在線性和非線性之間顯現(xiàn)出較好的平衡,所以可實現(xiàn)輸入和輸出間的任意非線性映射,適用于中長期的預(yù)測;逼近效果好,計算速度快,不需要建立數(shù)學(xué)模型,精度高;理論依據(jù)堅實,推導(dǎo)過程嚴(yán)謹(jǐn),所得公式對稱優(yōu)美,具有強非線性擬合能力。目前,已經(jīng)有一些比較成熟的神經(jīng)網(wǎng)絡(luò)軟件包,其中MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱應(yīng)用最為廣泛。
在網(wǎng)絡(luò)訓(xùn)練中,最重要的三個參數(shù)是權(quán)值、學(xué)習(xí)率和單元數(shù)。權(quán)值可能變得很大,這會使神經(jīng)元的輸入變得很大,從而使得其激活函數(shù)的導(dǎo)函數(shù)在輸入點的取值很小,這樣訓(xùn)練的步長就會變得非常小,進而導(dǎo)致訓(xùn)練的速度下降到很小的程度,最終可能使得網(wǎng)絡(luò)停止收斂,即網(wǎng)絡(luò)癱瘓。因此在對網(wǎng)絡(luò)的連接權(quán)矩陣進行初始化時,隨機給定各層之間的權(quán)值與閾值的初始值比單純地隨機給定某一部分層的收斂速度更快。學(xué)習(xí)率的選擇,其合理與否是網(wǎng)絡(luò)是否穩(wěn)定的關(guān)鍵:太高的學(xué)習(xí)率,可以減少網(wǎng)絡(luò)訓(xùn)練的時間,但是容易導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定與訓(xùn)練誤差的增加;太低的學(xué)習(xí)率,需要較長的訓(xùn)練時間。在一定的條件下,較少的單元數(shù)目往往能夠提高網(wǎng)絡(luò)的收斂速度,而較多的單元數(shù)目有可能在規(guī)定的訓(xùn)練長度里不能滿足要求。因此,對于參數(shù)數(shù)目的選擇,并沒有一個固定的模型,往往根據(jù)更多的經(jīng)驗成分。
2.1 經(jīng)驗?zāi)B(tài)分解(EMD)
經(jīng)驗?zāi)B(tài)分解法EMD[11]是由美國NASA的黃鍔博士提出的一種信號分析方法。它適合于分析非線性、非平穩(wěn)信號序列,具有很高的信噪比。該方法的關(guān)鍵是經(jīng)驗?zāi)J椒纸?,它能使?fù)雜信號分解為有限個本征模函數(shù)(Intrinsic Mode Function,簡稱IMF),所分解出來的各IMF分量包含了原信號的不同時間尺度的局部特征信號。
EMD是基于以下假設(shè)條件:①數(shù)據(jù)至少有一個最大值和一個最小值兩個極值點;②數(shù)據(jù)極值點間的時間尺度惟一確定局部時域特性;③如果數(shù)據(jù)沒有極值點但必須有拐點,通過對數(shù)據(jù)微分一次或多次求得極值,再通過積分來獲得分解結(jié)果。
2.2 數(shù)據(jù)重構(gòu)
對原始數(shù)據(jù)進行EMD分解后,得到有限個IMF分量。為了降低原始數(shù)據(jù)中的非平穩(wěn)性,需要對得到的各分量進行相關(guān)系數(shù)分析,篩選出有用的IMF分量,對其進行重構(gòu),以得到一個與原始數(shù)據(jù)近似的新數(shù)據(jù)進行預(yù)測實驗。
數(shù)據(jù)重組的方法有多種,本文采用相關(guān)系數(shù)分析法進行數(shù)據(jù)的篩選。由于篇幅有限,關(guān)于EMD分解與重構(gòu)的代碼不在本文提供。
2.3 應(yīng)用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對合成數(shù)據(jù)預(yù)測
對于非線性系統(tǒng),BP神經(jīng)網(wǎng)絡(luò)預(yù)測有著明顯的優(yōu)勢。但是在復(fù)雜的非線性系統(tǒng)中,非平穩(wěn)因素給預(yù)測帶來了一定的困難。正是因為EMD分解降低了各個分量的平穩(wěn)性[12],才得到了廣泛應(yīng)用[13-15]。金融數(shù)據(jù)等時間序列隨著時間,以及在多種因素的影響下會隨之改變,所以數(shù)據(jù)本質(zhì)上是非平穩(wěn)的,因此利用神經(jīng)網(wǎng)絡(luò)對該數(shù)據(jù)進行預(yù)測,數(shù)據(jù)的平穩(wěn)性使得其預(yù)測結(jié)果不是很理想,為了提高預(yù)測精度,我們用EMD方法對數(shù)據(jù)進行分解,以降低其非平穩(wěn)性對預(yù)測精度的影響。然后對分解后的各分量進行相關(guān)系數(shù)分析比較,選取有用的IMF分量,進行數(shù)據(jù)的合成,從而得到一個與原始數(shù)據(jù)近似的新數(shù)據(jù)。將重組后的擬合數(shù)據(jù)輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)進行預(yù)測。預(yù)測過程如圖1所示。
3 應(yīng)用實例和分析
3.1 股票數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練
將中國石化股票從2011年6月至2011年12月共130天的股票價格數(shù)據(jù)進行樣本劃分。用前60天的數(shù)據(jù)來預(yù)測后5天的數(shù)據(jù),作為網(wǎng)絡(luò)訓(xùn)練集。選取剩下的60天數(shù)據(jù)預(yù)測最后的5天,作為測試集。
3.3 數(shù)據(jù)合成及預(yù)測
本文對中國石化股票數(shù)據(jù)(圖3)進行EMD分解后得到4個IMF分量和1個剩余分量。對4個分量分別進行與剩余分量的相關(guān)系數(shù)分析。分析結(jié)果表明,IMF3和IMF4相關(guān)性較大,并與剩余分量的相關(guān)性也較大(相關(guān)門限值選取0.3)。所以選取IMF3和IMF4兩個分量與剩余分量進行重構(gòu),得到與原始數(shù)據(jù)近似的較平滑的新數(shù)據(jù)如圖9所示。
經(jīng)過比較可知,對于具有非平穩(wěn)強烈的股票時間序列的預(yù)測,基于EMD的BP神經(jīng)網(wǎng)絡(luò)預(yù)測要比直接BP神經(jīng)網(wǎng)絡(luò)預(yù)測更為準(zhǔn)確。
對于非平穩(wěn)的時間序列,BP神經(jīng)網(wǎng)絡(luò)預(yù)測有著明顯的優(yōu)勢,但是對于影響因素復(fù)雜的非平穩(wěn)數(shù)據(jù),多種因素的干擾給預(yù)測帶來了一定的困難。EMD分解分離了各個不同因素的相互干擾,通過對各分量單獨預(yù)測再合成的處理,從而提高了預(yù)測精度。從表1可以看出最終的預(yù)測誤差經(jīng)過EMD分解的信號要精確于直接神經(jīng)網(wǎng)絡(luò)預(yù)測。從圖4中可以看出影響信號平穩(wěn)性程度最大的是IMF1,如果再對其進行分解處理,整個系統(tǒng)的預(yù)測精度會得到更大的改善。
4 結(jié)束語
對于非平穩(wěn)的時間序列,BP神經(jīng)網(wǎng)絡(luò)預(yù)測有著明顯的優(yōu)勢,但是對于影響因素復(fù)雜的非平穩(wěn)數(shù)據(jù),多種因素的干擾給預(yù)測帶來了一定的困難。EMD分解分離了各個不同因素的相互干擾,通過對各分量分析再合成的處理,提高了預(yù)測精度。目前EMD方法主要用于模擬信號和大氣數(shù)據(jù)分析[13-15],用于金融數(shù)據(jù)預(yù)測還較為少見。本文將其與BP神經(jīng)網(wǎng)絡(luò)結(jié)合,構(gòu)建了EMD-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型。從本文的預(yù)測過程和仿真結(jié)果可以看到,利用EMD分解的BP神經(jīng)網(wǎng)絡(luò)預(yù)測優(yōu)于直接BP神經(jīng)網(wǎng)絡(luò)預(yù)測,相比其精確度有了明顯的提高。
參考文獻:
[1] 劉瑛慧,曹家璉.時間序列分析理論與發(fā)展趨勢[J].電腦知識與技術(shù),2010.2:257-258
[2] 劉佳,趙文慧,劉光榮.基于SAS的非平穩(wěn)時間序列分析及實證研究[J].汕頭大學(xué)學(xué)報.2010.2(1):48-53.
[3] 李海林,郭崇慧,時間序列數(shù)據(jù)挖掘征表示與相似性度量研究綜述[J].計算機應(yīng)用研究,2013.5(30):1285-1290
[4] 魏宇.中國股票市場的最優(yōu)波動率預(yù)測模型研究[J].管理學(xué)報,2010.6(6):936-942
[5] 方啟東,溫鑫,蔣佳靜等.基于時間序列的股價預(yù)測[J].宿州學(xué)院學(xué)報,2010.8(8):71-74
[6] 杜建衛(wèi),王超峰.小波分析方法在金融股票數(shù)據(jù)中的應(yīng)用[J].數(shù)學(xué)的實踐與認(rèn)識,2008.7(38-7):68-75
[7] 劉海,白艷萍.時間序列模型和神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測中的分析[J].數(shù)學(xué)的實踐與認(rèn)識,2011.2(4):14-19
[8] 張媛,劉紅忠.基于行為金融的神經(jīng)網(wǎng)絡(luò)模型在股票價格預(yù)測中的有效性研究[J].世界經(jīng)濟情況,2011.2(2):62-67
[9] 焦淑華,夏冰,徐海靜,劉瑩.BP神經(jīng)網(wǎng)絡(luò)預(yù)測的MATLAB實現(xiàn)[J].哈爾濱金融高等??茖W(xué)校學(xué)報,2009.3(97):55-56
[10] 李萍,曾令可,稅安澤,金雪莉,劉艷春,王慧.基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)預(yù)測系統(tǒng)的設(shè)計[J].計算機應(yīng)用與軟件,2008.4(25-4):149-151
[11] Zhaohua Wu, Norden E. Huang. A study of the characteristics of white noise using the empirical mode decomposition method[J].The Royal Society,2004.3(10):1597-1611
[12] 劉慧婷,倪志偉,李建洋.經(jīng)驗?zāi)B(tài)分解方法及其應(yīng)用[J].計算機工程及應(yīng)用,2006.1(32):44-47
[13] 徐世艷.經(jīng)驗?zāi)B(tài)分解的時頻分析方法及其應(yīng)用[J].吉林大學(xué)學(xué)報,2009.9(27-5):487-492
關(guān)鍵詞: BP神經(jīng)網(wǎng)絡(luò);生存分析;賁門癌
Abstract:Objective To explore the application of BP neural network in the survival analysis.Method Three approaches have been illustrated how to fit survival model for carcinoma of the gastric cardia.Results The neural network models have good predictive ability.Conclusion BP neural network is very flexible without making assumption of proportionality of hazards,it can allow non-linear predictors and the effect of the covariates to vary over time,so it has broad application prospects.
Key words:BP neural network; survival analysis; carcinoma of the gastric cardia
生存分析(survival analysis)起源于19世紀(jì)對壽命表的分析,目前已廣泛應(yīng)用到臨床研究中,可以處理含有刪失值的數(shù)據(jù),可以同時考慮事件發(fā)生的結(jié)局及發(fā)生結(jié)局的時間。目前處理生存資料的方法有參數(shù)模型、非參數(shù)模型及半?yún)?shù)模型。參數(shù)模型對生存時間的分布要求非常嚴(yán)格,醫(yī)學(xué)資料中很少能滿足;生存分析中傳統(tǒng)的回歸模型,例如:Cox比例風(fēng)險模型、加速失效時間模型也要求模型滿足一定的假設(shè)前提,而實際數(shù)據(jù)往往難以滿足這些假設(shè)。神經(jīng)網(wǎng)絡(luò)近年來受到普遍的關(guān)注,在醫(yī)學(xué)領(lǐng)域中的應(yīng)用主要預(yù)測與分類,與傳統(tǒng)回歸模型不同,它可以克服這些缺點,在模型中可以容納非線性效應(yīng),交互效應(yīng)、協(xié)變量的效應(yīng)可以隨時間變化。目前國內(nèi)研究神經(jīng)網(wǎng)絡(luò)在生存分析中的應(yīng)用尚較少,本文擬探討幾種不同的神經(jīng)網(wǎng)絡(luò)生存模型在賁門癌預(yù)后中的應(yīng)用。
1 方法
BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最多的神經(jīng)網(wǎng)絡(luò),一般由一個輸入層(input layer)、一個輸出層(output layer)、一個或幾個中間層(隱層)組成,每一層可包含一個或多個神經(jīng)元,其中每一層的每個神經(jīng)元和前一層相連接,同一層之間沒有連接。輸入層神經(jīng)元傳遞輸入信息到第一隱層或直接傳到輸出層,隱層的神經(jīng)元對輸入層的信息加權(quán)求和,加一個常數(shù)后,經(jīng)傳遞函數(shù)運算后傳到下一個隱層(或輸出層),常用的傳遞函數(shù)是logistic函數(shù),即φh=1/(1+exp (-z)),輸出層神經(jīng)元對前一層的輸入信息加權(quán)求和經(jīng)傳遞函數(shù)φ0(線性或logistic函數(shù)或門限函數(shù))運算后輸出,例如:如果輸入為xi,對于含一個隱層的神經(jīng)網(wǎng)絡(luò)可以得到:
g(xi,θ)=φ0(αk+∑i≠kwikxi+∑jwjkφh(αj+∑iwijxi))(1)
θ表示未知的參數(shù)矢量(即各層的網(wǎng)絡(luò)權(quán)值),BP神經(jīng)網(wǎng)絡(luò)一般采用BP算法訓(xùn)練網(wǎng)絡(luò),訓(xùn)練開始時選擇初始值0,BP算法通過梯度下降法得到估計值,使得g(x,)能很好地估計實測值,關(guān)于BP算法及改進可參考相關(guān)文獻[1]。
利用BP神經(jīng)網(wǎng)絡(luò)模型建立生存分析模型,常用的方法有:連續(xù)時間模型(continuous time models)與離散時間模型(discrete time models)。
1.1 連續(xù)時間模型(continuous time models)
最常用的是Faraggi和Simon[2]提出的方法,在Cox比例風(fēng)險模型中,風(fēng)險函數(shù)與時間、協(xié)變量有如下關(guān)系:
h(t,xi)=h0(t)exp (βxi)(2)
通過最大化偏似然函數(shù),使用Newton-Raphson法得到參數(shù)的估計值,現(xiàn)在使用神經(jīng)網(wǎng)絡(luò)的輸出值g(xi,θ)來代替(2)中的線性項 βxi,比例風(fēng)險模型變成h(t,xi)=h0(t)exp [g(xi,θ)],有偏似然函數(shù):
Lc(θ)=∏i∈uexp ∑jwjk/(1+exp (-wijxi))/∑j∈Riexp ∑jwjk/(1+exp (-wijxj))(3)
g(xi,θ)可以依賴時間和協(xié)變量變化,也就是說協(xié)變量的效應(yīng)可以隨時間而變化,這給我們提供了一個可以處理刪失變量但又不需要滿足比例風(fēng)險模型的PH假定的可供選擇的方法。
1.2 離散時間模型(discrete time models)
常用的模型有[3]:(1)直接預(yù)測患者是否可以存活到某年(例如5年),是最簡單的神經(jīng)網(wǎng)絡(luò)模型,模型的輸出層只有一個神經(jīng)元結(jié)點,如欲預(yù)測多個時間點,則需建立多個神經(jīng)網(wǎng)絡(luò)模型(每個模型對應(yīng)一個時間區(qū)間);(2)多個輸出結(jié)點的單個神經(jīng)網(wǎng)絡(luò)模型。
1.2.1 輸出層有單個結(jié)點的神經(jīng)網(wǎng)絡(luò)模型 是一個標(biāo)準(zhǔn)的分類神經(jīng)網(wǎng)絡(luò)模型,生存時間被分成2個區(qū)間,例如生存時間是否大于5年。其似然函數(shù)為:
∏patientsptii(1-pi)(1-ti)
其對數(shù)似然函數(shù)為:
∑patientstilog pi+(1-ti)log (1-pi)
pi:第i個病人死亡的概率,ti:第i個觀測在某時間點(例如5年)的結(jié)果,如觀測死亡,取值為1,否則取值為0。對于刪失的觀測不能簡單地排除,這樣會造成偏性,我們使用Cox線性比例風(fēng)險模型產(chǎn)生的個體預(yù)測值對刪失值做填補?!?.2.2 輸出層有多個結(jié)點的神經(jīng)網(wǎng)絡(luò)模型 將生存時間分成幾個離散的區(qū)間,估計某個區(qū)間事件發(fā)生的概率。
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò);函數(shù)逼近
1.緒論
人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)是模仿生物神經(jīng)網(wǎng)絡(luò)功能的一種經(jīng)驗?zāi)P?。生物神?jīng)元受到傳入的刺激,其反應(yīng)又從輸出端傳到相聯(lián)的其它神經(jīng)元,輸入和輸出之間的變換關(guān)系一般是非線性的。
1.1 BP神經(jīng)網(wǎng)絡(luò)定義
BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。相鄰層之間各神經(jīng)元進行全連接,而每層各神經(jīng)元之間無連接,網(wǎng)絡(luò)按有教師示教的方式進行學(xué)習(xí),當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后,各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)產(chǎn)生連接權(quán)值(Weight)。此過程反復(fù)交替進行,直至網(wǎng)絡(luò)的全局誤差趨向給定的極小值,即完成學(xué)習(xí)的過程。
1.2 BP神經(jīng)網(wǎng)絡(luò)模型及其基本原理
網(wǎng)絡(luò)的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元,它接收輸入樣本信號。輸入信號經(jīng)輸入層輸入, 通過隱含層的復(fù)雜計算由輸出層輸出,輸出信號與期望輸出相比較,若有誤差,再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中,誤差通過梯度下降算法,分?jǐn)偨o各層的所有單元,從而獲得各單元的誤差信號,以此誤差信號為依據(jù)修正各單元權(quán)值,網(wǎng)絡(luò)權(quán)值因此被重新分布。此過程完成后, 輸入信號再次由輸入層輸入網(wǎng)絡(luò),重復(fù)上述過程。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程周而復(fù)始地進行著,直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度,或進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。權(quán)值不斷調(diào)整的過程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。
2.BP網(wǎng)絡(luò)在函數(shù)逼近中的應(yīng)用
2.1 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù)
步驟1:假設(shè)頻率參數(shù)k=1,繪制要逼近的非線性函數(shù)的曲線。
步驟2:網(wǎng)絡(luò)的建立
應(yīng)用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。隱層神經(jīng)元數(shù)目n可以改變,暫設(shè)為n=3,輸出層有一個神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分別為tansig函數(shù)和purelin函數(shù),網(wǎng)絡(luò)訓(xùn)練的算法采用Levenberg Marquardt算法trainlm。
同時繪制網(wǎng)絡(luò)輸出曲線,并與原函數(shù)相比較,結(jié)果如圖3.3所示。
其中 “――” 代表要逼近的非線性函數(shù)曲線;
“……” 代表未經(jīng)訓(xùn)練的函數(shù)曲線;
因為使用newff( )函數(shù)建立函數(shù)網(wǎng)絡(luò)時,權(quán)值和閾值的初始化是隨機的,所以網(wǎng)絡(luò)輸出結(jié)構(gòu)很差,根本達不到函數(shù)逼近的目的,每次運行的結(jié)果也有時不同。
步驟3:網(wǎng)絡(luò)訓(xùn)練
應(yīng)用train()函數(shù)對網(wǎng)絡(luò)進行訓(xùn)練之前,需要預(yù)先設(shè)置網(wǎng)絡(luò)訓(xùn)練參數(shù)。訓(xùn)練后得到的誤差變化過程如圖2.1所示。
步驟4: 網(wǎng)絡(luò)測試
對于訓(xùn)練好的網(wǎng)絡(luò)進行仿真:
其中 “――” 代表要逼近的非線性函數(shù)曲線;
“” 代表未經(jīng)訓(xùn)練的函數(shù)曲線;
“” 代表經(jīng)過訓(xùn)練的函數(shù)曲線;
從圖中可以看出,得到的曲線和原始的非線性函數(shù)曲線很接近。這說明經(jīng)過訓(xùn)練后,BP網(wǎng)絡(luò)對非線性函數(shù)的逼近效果比較好。
3.結(jié)束語
神經(jīng)網(wǎng)絡(luò)在近幾年的不斷發(fā)展,在人工智能、自動控制、計算機科學(xué)、信息處理、機器人、模式識別等眾多方面都取得了不錯的成績,給人們帶來了很多應(yīng)用上的方便,和一些解決問題的方法,期待神經(jīng)網(wǎng)絡(luò)可以應(yīng)在在更多的領(lǐng)域,為人類做出更大的貢獻。
參考文獻:
[1] 劉煥海,汪禹.《計算機光盤軟件與應(yīng)用》. 北京: 高等教育出版社,2011.10:15-30.
關(guān)鍵詞:BP;神經(jīng)網(wǎng)絡(luò);PID控制器
1 分層調(diào)整學(xué)習(xí)速率的改進BP算法
BP算法本質(zhì)上是梯度下降法。若要改進BP算法,首先要熟悉了解梯度下降法的原理。
設(shè)函數(shù)f(x)具有一階連續(xù)導(dǎo)數(shù),假設(shè)在x=x*處取得函數(shù)極小值,用xk代表在第k次接近極小值點,則在第k+1次接近極小值點為xk+1=xk+λpk,對函數(shù)f(x)在xk+1處進行泰勒級數(shù)展開:
f(xk+1)=f(xk+λpk)=f(xk)+λ?犖f(xk)Tpk+o(λ)(1-1)
上式中?犖f(xk)為函數(shù)f(x)在xk處的梯度,當(dāng)λ取得非常小的值時,o(λ)為λ的高階無窮小。如果有
?犖f(xk)Tpk<0 (1-2)
能推出
f(xk+λpk)<f(xk) (1-3)
這就表明在第k+1次迭代時的函數(shù)值小于第k次迭代的函數(shù)值。為了使?犖f(xk)Tpk取得最小值,對其求模變化:
?犖f(xk)Tpk=||?犖f(xk)||?||pk||?cosθ (1-4)
上式中,θ為向量?犖f(xk)與pk的夾角。
假設(shè)||pk||為固定值,當(dāng)θ=0時,即向量?犖f(xk)與pk同向,則cosθ=1,?犖f(xk)Tpk取得最大值;反之,當(dāng)θ=180時,即向量?犖f(xk)與pk反向,則cosθ=-1,?犖f(xk)Tpk<0,所以向量pk的正方向就是梯度的負(fù)方向。沿其負(fù)梯度方向進行搜索能夠使f(x)函數(shù)值減小的速率加快,能夠快速地找到極小點。
根據(jù)式(1-1)可知,λ作為梯度?犖f(xk)與向量pk的系數(shù),稱為步長,同時影響著網(wǎng)絡(luò)在負(fù)梯度方向上的搜索能力。選取最佳步長的計算公式如下:
λk=(1-5)
把求得最佳步長代入式(1-3)得
f(xk-λkpk)<f(xk) (1-6)
我們在最佳步長的計算中能夠發(fā)現(xiàn),公式(1-5)的計算增加了網(wǎng)絡(luò)計算量,可以通過使用學(xué)習(xí)速率η替代步長來降低計算量。在文章中我們提出了一種分層調(diào)整學(xué)習(xí)速率的方法,它能夠同時調(diào)整輸入層與隱含層及隱含層與輸出層之間的網(wǎng)絡(luò)連接權(quán)值的學(xué)習(xí)速率。
設(shè)定網(wǎng)絡(luò)的學(xué)習(xí)速率η為一個較小的值,當(dāng)滿足f(xk-λkpk)<f(xk)條件時,則學(xué)習(xí)速率的改變趨勢為:
η?坩2η (1-7)
當(dāng)滿足f(xk-λkpk)>f(xk)條件時,則學(xué)習(xí)速率的改變趨勢為:
η?坩0.5η (1-8)
2 以改進的BP神經(jīng)網(wǎng)絡(luò)參數(shù)為基礎(chǔ)的自整定PID控制器
相比較其他而言,BP神經(jīng)網(wǎng)絡(luò)主要優(yōu)勝點在于能夠?qū)⒕W(wǎng)絡(luò)連接權(quán)值不斷代入計算來修正誤差,使之可以不斷接近適應(yīng)度函數(shù)。學(xué)習(xí)算法的實現(xiàn)難度比較小,所以在構(gòu)建PID控制器時,用BP網(wǎng)絡(luò)結(jié)構(gòu)來構(gòu)建是比較常見的。以BP算法為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)能夠通過自學(xué)及自適應(yīng)能力找到一組最優(yōu)PID參數(shù),使系統(tǒng)的性能達到最優(yōu)。
①常規(guī)的PID控制器:閉環(huán)控制被控對象,在線整定KP、KI、KD參數(shù);
②BP神經(jīng)網(wǎng)絡(luò):BP神經(jīng)網(wǎng)絡(luò)通過自學(xué)習(xí)和自適應(yīng)能力不斷更新整定網(wǎng)絡(luò)的連接權(quán)值,通過不斷整定使輸出值極限接近目標(biāo)值。當(dāng)輸出值為KP、KI、KD時,系統(tǒng)的性能為最佳。
假定BP神經(jīng)網(wǎng)絡(luò)優(yōu)化PID控制器是一個由三層網(wǎng)絡(luò)構(gòu)成的,且其輸入層節(jié)點有M個,隱含層節(jié)點Q個、輸出層節(jié)點3個。
輸出節(jié)電輸出對應(yīng)KP、KI、KD可調(diào)參數(shù)值,隱含層的激發(fā)函數(shù)可以取Sigmoid函數(shù),可正可負(fù)。然而輸出層的激發(fā)函數(shù)為非負(fù)。
BP神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點的輸出為
公式中,g′(x)=g(x)?(1-g(x)),f′(x)=(1-f2(x))/2。
以改進的BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的PID控制器算法:
一是對BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行明確,在明確了網(wǎng)絡(luò)結(jié)構(gòu)的同時也就明確了輸出層及隱含層的節(jié)點個數(shù)。并對各層的(0)初始化,k=1;
二是為計算e(k)=r(k)-y(k),可以通過樣本采集得到的r(k)及y(k)代入計算;
三是在將r(i),y(i),u(i-1),e(i)(i=k,k-1,...,k-p)輸入到神經(jīng)網(wǎng)絡(luò)之前進行統(tǒng)一化處理;
四是通過式(2-2)和(2-3)將各層神經(jīng)元的輸入輸出計算出來,輸出層輸出的數(shù)據(jù)就是PID控制器的KP(k)、K1(k)、KD(k);
五是PID的控制輸出u(k)可以由式u(t)=KP[e(t)]得到;
六是當(dāng)所有網(wǎng)絡(luò)權(quán)值刷新一次之后,若誤差e(k+1)滿足e(k+1)<
e(k),那么按照式(1-7)對其學(xué)習(xí)速率增大,當(dāng)誤差不再變化時,此時記錄連接權(quán)值。若誤差e(k+1)滿足e(k+1)>e(k),那么按照式(1-8)對其學(xué)習(xí)速率減小,當(dāng)誤差減小時,記錄連接權(quán)值
七是將k賦值為k+1,返回第二步。
3 改進的BP神經(jīng)網(wǎng)絡(luò)PID仿真
將被控對象假定為:
網(wǎng)絡(luò)結(jié)構(gòu)采用4-5-3結(jié)構(gòu),輸入信號為γ(k)=1.0,此信號是階躍信號。網(wǎng)絡(luò)結(jié)構(gòu)中的4代表輸入層有四個輸入,為給定輸入r(k)、
e(k)=r(k)-y(k)、y(k)和1。網(wǎng)絡(luò)結(jié)構(gòu)中的3代表輸出層有三個參數(shù),為KP、KI、KD。η=0.01,加權(quán)系數(shù)初值在[-1,1]區(qū)間內(nèi)隨機賦值。經(jīng)過仿真得到的曲線圖如圖1和圖2所示。
圖1 單位階躍響應(yīng)曲線圖
圖2 誤差變化曲線
被控對象是二階的,所以階躍響應(yīng)曲線以正弦的方式衰減,并在系統(tǒng)穩(wěn)定水平線上下振蕩。從圖1和圖2可以看出,剛啟動時系統(tǒng)振蕩幅度較大,誤差也比較大,系統(tǒng)在0.2s左右時振蕩幅度變小,誤差也迅速變小,在0.3s之后系統(tǒng)達到穩(wěn)定運行,誤差幾近于0。由圖可知在單位階躍響應(yīng)中改進的BP神經(jīng)網(wǎng)絡(luò)相較BP神經(jīng)網(wǎng)絡(luò)而言,超調(diào)量小,收斂速度快。
4 總結(jié)
提出了一種分層調(diào)整學(xué)習(xí)速率的BP神經(jīng)網(wǎng)絡(luò)改進方法,并把改進的方法與傳統(tǒng)的PID結(jié)合。并基于MATLAB平臺建立了模型進行仿真驗證,仿真結(jié)果驗證了改進的BP神經(jīng)網(wǎng)絡(luò)PID具有更快的響應(yīng)速度、更高的精度,且穩(wěn)定性更強。
參考文獻:
[1]李楠.基于神經(jīng)網(wǎng)絡(luò)直流無刷電機控制策略的研究[D].蘭州理工大學(xué),2005.
[2]黃家圣.人工神經(jīng)網(wǎng)絡(luò)在無刷直流電動機中的應(yīng)用研究[D].上海海事大學(xué),2005.
[3]王國玲,李振宇,范自道.無刷直流電機自適應(yīng)模糊PID控制系統(tǒng)[J].機電工程技術(shù),2013(2):30~33.
【關(guān)鍵詞】GPS;高程異常;BP神經(jīng)網(wǎng)絡(luò);擬合模型
Research on the Models of GPS Height Fitting Based on BP Neural Network
Li Yongquan
【Abstract】International and domestic multifarious control nets in use of GPS’s positioning techniques are only to solve the horizontal coordinates, but the height still follow to use the geometric leveling.Therefore, The basic theory of neural network and algorithm of BP are described, Discuss the problem of GPS height fitting based on BP neural network by trials. BP neural network is a kind of nonlinear mapping for its inputs and outputs,BP neural network is a high precise method for translating height.
【Key words】GPS;height anomaly;back propagation neural networks; fitting models
1. 引言
GPS平面定位的精度目前已經(jīng)可以達到毫米級,但相對于平面定位精度,GPS在高程方面的定位精度較低。 神經(jīng)網(wǎng)絡(luò)是一種高度自適應(yīng)的非線性動力系統(tǒng),神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論本質(zhì)上是非線性數(shù)學(xué)理論,通過BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可以得到輸入和輸出之間的高度非線性映射,因此,使用神經(jīng)網(wǎng)絡(luò)可以建立起輸入和輸出之間的非線性關(guān)系。BP神經(jīng)網(wǎng)絡(luò)本身也是一種高精度的高程轉(zhuǎn)換方法。
2. 神經(jīng)網(wǎng)絡(luò)的模型及BP算法
2.1 神經(jīng)網(wǎng)絡(luò)的模型
(1)生物神經(jīng)元模型。神經(jīng)元模型是基于生物神經(jīng)元的特點提出的,人腦由大量的生物神經(jīng)元組成,神經(jīng)元之間互相有連接,從而構(gòu)成一個龐大而復(fù)雜的神經(jīng)元網(wǎng)絡(luò)。神經(jīng)元是大腦處理信息的基本單元,結(jié)構(gòu)如圖1。神經(jīng)元由細(xì)胞體、樹突和軸突三部分組成,其中突觸是神經(jīng)元之間的連接。細(xì)胞體是由很多分子形成的綜合體,內(nèi)部含有細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。細(xì)胞體的作用是接受和處理信息。樹突是細(xì)胞體向外延伸的纖維體,是接受從其他神經(jīng)元傳入信息的入口。軸突是神經(jīng)元的信息通道,是細(xì)胞體向外延伸最長、最粗的樹枝纖維體,也叫神經(jīng)纖維。(2)神經(jīng)元模型。神經(jīng)元一般表現(xiàn)為一個多輸入(多個樹突和細(xì)胞體與其他多個神經(jīng)元軸突末梢突觸連接)、單輸出(每個神經(jīng)元只有一個軸突作為輸出通道)的非線性器件,通用的結(jié)構(gòu)模型如圖2所示。
(3)神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的互連模式有前向網(wǎng)絡(luò)、有反饋的前向網(wǎng)絡(luò)、層內(nèi)有相互結(jié)合的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)四種。
前向網(wǎng)絡(luò)神經(jīng)元分層排列,組成輸入層、中間層(隱含層)和輸出層。每一層的神經(jīng)元只接受來自前一層神經(jīng)元的輸入,后面的層對前面的層沒有信號反饋。輸入模式經(jīng)過各層次的順序傳播,最后在輸出層上得到輸出。目前對前向網(wǎng)絡(luò)得出的一致的結(jié)論是:甚至是單中間層網(wǎng)絡(luò),只要隱節(jié)點數(shù)目足夠多,前向網(wǎng)絡(luò)就可以通過訓(xùn)練學(xué)習(xí)樣本,以任意精度逼近(或表達)期望目標(biāo)。
2.2 神經(jīng)網(wǎng)絡(luò)BP算法
(1)BP(Back Propagation)網(wǎng)絡(luò)模型結(jié)構(gòu)。BP網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示,BP網(wǎng)絡(luò)具有三層或三層以上神經(jīng)元的神經(jīng)網(wǎng)絡(luò),包括輸入層、中間層(隱層)和輸出層。上下層之間實現(xiàn)全連接,而每層神經(jīng)元之間沒有連接。當(dāng)一對學(xué)習(xí)樣本提供給網(wǎng)絡(luò)后,神經(jīng)元的激活值從輸入層經(jīng)各中間層向輸出層傳播,在輸出層的各神經(jīng)元獲得網(wǎng)絡(luò)的輸入響應(yīng)。接下來,按照減少目標(biāo)輸出和實際輸出之間的方向,從輸出層反向經(jīng)過各中間層回到輸入層,從而逐層修正各連接權(quán)值,這種算法稱為“誤差反向傳播算法”,即BP算法。
(2)BP算法的數(shù)學(xué)描述。BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導(dǎo)層的誤差,再用這個誤差估計更前一層的誤差,如此一層一層的反傳下去,就獲得了所有其他各層的誤差估計。
BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的指導(dǎo)思想是:對網(wǎng)絡(luò)權(quán)值和閾值的修正要沿著表現(xiàn)函數(shù)下降最快的方向――負(fù)梯度方向。
xk+1=xk-akgk(1)
其中xk是當(dāng)前的權(quán)值和閾值矩陣,gk是當(dāng)前表現(xiàn)函數(shù)的梯度,ak是學(xué)習(xí)速率。
三層BP網(wǎng)絡(luò),輸入節(jié)點xi,中間層節(jié)點yi,輸出節(jié)點zl。輸入節(jié)點與中間層節(jié)點間的網(wǎng)絡(luò)權(quán)值為wji,中間層節(jié)點與輸出節(jié)點間的網(wǎng)絡(luò)權(quán)值為vlj。當(dāng)輸出節(jié)點的期望值為tl時,模型計算公式如下。
中間層節(jié)點的輸出:
yi=f(∑iwjixi-θj)=f(netj)(2)
輸出節(jié)點的計算輸出:
zl=f(∑jvljyj-θl)=f(netl)(3)
3. BP神經(jīng)網(wǎng)絡(luò)用于GPS高程擬合
3.1 山區(qū)高程異常擬合實例:以本溪GPS和水準(zhǔn)資料作為樣本來源,進行BP高程異常擬合。
通過山區(qū)高程異常擬合實例,對數(shù)據(jù)分析可以得到如下結(jié)論,學(xué)習(xí)樣本數(shù)與測試樣本數(shù)之比在1/4之間時網(wǎng)絡(luò)穩(wěn)定性較好。高程擬合的精度與學(xué)習(xí)樣本數(shù)量有關(guān),學(xué)習(xí)樣本數(shù)越多,擬合精度就越高。
3.2 平原地區(qū)高程異常擬合實例:以某市D級GPS部分?jǐn)?shù)據(jù)進行實驗研究
通過平原地區(qū)高程異常擬合實例,對數(shù)據(jù)分析可以得到如下結(jié)論,學(xué)習(xí)樣本數(shù)與測試樣本數(shù)之比在 1/3 之間時網(wǎng)絡(luò)穩(wěn)定性較好。學(xué)習(xí)樣本數(shù)對測試對象的精度也有著重要的影響,一般隨著學(xué)習(xí)樣本數(shù)的增多,中誤差會有所改善。這主要是更多的學(xué)習(xí)樣本就更能表述出所研究問題的一些基本特征,進而仿真的效果就能更好。
4. 結(jié)束語
重點研究基于BP神經(jīng)網(wǎng)絡(luò)的GPS高程異常擬合算法,詳細(xì)介紹了人工神經(jīng)網(wǎng)絡(luò)基本理論,重點討論了基于BP神經(jīng)網(wǎng)絡(luò)的GPS高程擬合,包括BP神經(jīng)網(wǎng)絡(luò)的基本原理、主要特點。分析了神經(jīng)網(wǎng)絡(luò)的BP算法,包括其數(shù)學(xué)模型、網(wǎng)絡(luò)結(jié)構(gòu)。構(gòu)造了基于BP神經(jīng)網(wǎng)絡(luò)的GPS高程擬合模型,結(jié)合具體工程數(shù)據(jù)進行了神經(jīng)網(wǎng)絡(luò)性能分析。
參考文獻
[1] 國家測繪局測繪發(fā)展研究中心.測繪發(fā)展研究動態(tài)[R].北京:國家測繪局,2008,8:1-7
[2] 李征航、黃勁松.GPS測量與數(shù)據(jù)處理[M].武漢:武漢大學(xué)出版社,2005,277-278
[3] 曹先革.基于人工神經(jīng)網(wǎng)絡(luò)的GPS高程異常擬合方法研究[D],北京:中國地質(zhì)大學(xué),2008
[4] 徐紹銓.GPS高程擬合系統(tǒng)的研究[J],武漢:武漢測繪科技大學(xué)學(xué)報,1999,24(4),11-15
[5] 閻平凡.人工神經(jīng)網(wǎng)絡(luò)與模擬進化計算[M],北京:清華大學(xué)出版社,2000,5-6
[6] 徐麗娜.神經(jīng)網(wǎng)絡(luò)控制[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1999,1-40
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò);變形檢測;沉降預(yù)報最佳值為7;輸入層和隱層的傳遞函數(shù)(Tfi)用缺省的正切S形函數(shù)(tansig),輸出層用線形函數(shù)(purelin);網(wǎng)絡(luò)訓(xùn)練函數(shù)(BTF)使用動量批梯度下降函數(shù)(traingdm),它具有更快的收斂速度,而且引入了一個動量項mc,避免了局部最小問題的出現(xiàn);網(wǎng)絡(luò)權(quán)值、閾值學(xué)習(xí)函數(shù)(BLF)和性能函數(shù)(PF)采用MATLAB缺省值;對輸入數(shù)據(jù)、目標(biāo)數(shù)據(jù)、輸出數(shù)據(jù)的處理,使用MATLAB提供的歸一化函數(shù)(premnmx)和反歸一化函數(shù)(postmnmx)。運行程序時先用訓(xùn)練樣本對網(wǎng)絡(luò)進行訓(xùn)練,然后利用訓(xùn)練好的網(wǎng)絡(luò)對預(yù)報樣本進行預(yù)報?;疑碚揋M(1,1)模型同樣利用MATLAB編程實現(xiàn)。
2.3結(jié)果分析
首先用MATLAB編寫的灰色理論GM(1,1)模型和BP神經(jīng)網(wǎng)絡(luò)模型分別處理訓(xùn)練樣本,得到相應(yīng)的擬合誤差。其中GM(1,1)相對模型擬合誤差主要為18.97、4.48、9.07、33.71、7.63、4.08、9.50等,等維BP網(wǎng)絡(luò)模型擬合誤差主要為6.66、0.97、0.29、6.16、2.06、4.44.并且通過之前得到的模擬數(shù)據(jù)可以得出BP神經(jīng)網(wǎng)絡(luò)模型擬合的平均誤差以及GM(1,1)模型擬合的平均誤差為11.82%。BP神經(jīng)網(wǎng)絡(luò)模型擬合的誤差小于GM(1,1)模型擬合的誤差為3.10%,其擬合精度高于灰色理論GM(1,1)模型。為了進一步檢測灰色理論GM(1,1)模型和BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)報精度,再分別用兩種模型對監(jiān)測點的沉降數(shù)據(jù)的預(yù)報樣本進行預(yù)報,并可從中得出BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)報精度遠(yuǎn)高于灰色GM(1,1)模型的結(jié)果。
三、結(jié)論
本文引入灰色理論中新陳代謝思想構(gòu)造神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本,建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型,并用該模型進行了實際的沉降預(yù)測。工程模擬實例表明:用等維BP神經(jīng)網(wǎng)絡(luò)模型進行沉降預(yù)測是可行的,預(yù)報精度遠(yuǎn)高于灰色GM(1,1)模型。為了提高BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精度,一方面需要有足夠的觀測數(shù)據(jù)序列,以保證神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所需的樣本數(shù)。另一方面需要恰當(dāng)?shù)卮_定輸入層神經(jīng)元的個數(shù),目前尚無據(jù)可依,只能通過根據(jù)試算確定。
參考文獻
關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);電力負(fù)荷;短期預(yù)測
中圖分類號:TP183 文獻標(biāo)識碼:A文章編號:1007-9599 (2010) 09-0000-02
Power Load Short-term Forecasting Based on BP Neural Network
Wang Jing,Yang Xiao
(School of Economics&Management,North China Electric Power University,Beijing102206,China)
Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.
Keywords:BP Neural Network;Power Load;Short-term Forecast
一、引言
目前,全國供電緊張,部分嚴(yán)重地區(qū)經(jīng)常缺電,造成許多發(fā)電設(shè)備不能及時檢修,處于超負(fù)荷的運轉(zhuǎn)狀態(tài)。會導(dǎo)致機組老化加速,出現(xiàn)不可預(yù)見的事故,造成人員、財產(chǎn)的傷亡。因此對未來電網(wǎng)內(nèi)負(fù)荷變化趨勢的預(yù)測,是電網(wǎng)調(diào)度部門和設(shè)計部門所必須具備的基本信息之一。
電力系統(tǒng)負(fù)荷預(yù)測是電力生產(chǎn)部門的重要工作,通過精確的預(yù)測電力負(fù)荷,可以經(jīng)濟的調(diào)度發(fā)電機組,合理安排機組啟停、機組檢修計劃,降低發(fā)電成本,提高經(jīng)濟效益。負(fù)荷預(yù)測對電力系統(tǒng)控制、運行和計劃都有著重要的意義。電力系統(tǒng)負(fù)荷變化受多方面的影響,包括不確定性因素引起的隨機波動和周期性變化規(guī)律。并且,由于受天氣、節(jié)假日等特殊情況影響,又使負(fù)荷變化出現(xiàn)差異。神經(jīng)網(wǎng)絡(luò)具有較強非線性的映射功能,用神經(jīng)網(wǎng)絡(luò)來預(yù)測電力負(fù)荷越來越引起人們的關(guān)注。
二、BP網(wǎng)絡(luò)理論
(一)BP網(wǎng)絡(luò)結(jié)構(gòu)
BP神經(jīng)網(wǎng)絡(luò)全稱為Back-Propagation Network,即反向傳播網(wǎng)絡(luò),是一種多層前饋神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu)圖如圖1所示,根據(jù)圖示可以知道BP神經(jīng)網(wǎng)絡(luò)是一種有三層或三層以上的神經(jīng)網(wǎng)絡(luò),包括輸入層、中間層(隱層)和輸出層。前后層之間實現(xiàn)全連接,各層之間的神經(jīng)元不進行連接。當(dāng)學(xué)習(xí)樣本輸入后,神經(jīng)元的激活之經(jīng)由各層從輸入層向輸出層傳遞。之后,根據(jù)減少目標(biāo)輸出與實際輸出誤差的原則,從輸出層反向經(jīng)過各層至輸入層,逐級修正各連接的權(quán)值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進行,網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也不斷上升。
BP神經(jīng)網(wǎng)絡(luò)傳遞函數(shù)不同于感知器模型傳遞函數(shù),BP神經(jīng)網(wǎng)絡(luò)要求其必須是可微的,所以感知器網(wǎng)絡(luò)中所用到的硬閾值傳遞函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中并不適應(yīng)。BP神經(jīng)網(wǎng)絡(luò)中常用的傳遞函數(shù)有正切函數(shù)、Sigmoid型的對數(shù)或線性函數(shù)。由于這些函數(shù)均是可微的,所以BP神經(jīng)網(wǎng)絡(luò)所劃分的區(qū)域是一個非線性的超平面組成的區(qū)域,是一個比較平滑的曲面,它比線性劃分更加的精確。另外,網(wǎng)絡(luò)才有嚴(yán)格的梯度下降法進行學(xué)習(xí),權(quán)值修正的解析式分非常明確。
(二)BP網(wǎng)絡(luò)算法
(1)初始化。給沒給連接權(quán)值 、 、閾值 與 賦予區(qū)間 內(nèi)的隨機值
(2)確定輸入P和目標(biāo)輸出T。選取一組輸入樣本 和目標(biāo)輸出樣本 提供給網(wǎng)絡(luò)。
(3)用輸入樣本 、連接權(quán) 和閾值 計算中間層各單元的輸入 ,然后用 通過傳遞函數(shù)計算中間層各單元的輸出 。
(4)利用中間層的輸出 、連接權(quán) 和閾值 計算輸出層各單元的輸出 ,然后通過傳遞函數(shù)計算輸出層各單元的響應(yīng) 。
(5)利用目標(biāo)向量 和網(wǎng)絡(luò)的實際輸出 ,計算輸出層各單元的一般化誤差 。
(6)利用連接權(quán) 、輸出層的一般化誤差 和中間層的輸出 計算中間層各單元的一般化誤差 。
(7)利用輸出層各單元的一般化誤差 與中間呈個單元的輸出 來修正連接權(quán) 和閾值 。
(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權(quán) 和閾值 ,計算方法同(7)。
(9)達到誤差精度要求或最大訓(xùn)練步數(shù),輸出結(jié)果,否則返回(3)
三、實證研究
(一)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計
本文以南方某缺電城市的整點有功負(fù)荷值,在預(yù)測的前一天中,每隔2小時對電力負(fù)荷進行一次測量,這樣,可以得到12組負(fù)荷數(shù)據(jù)。此外電力負(fù)荷還和環(huán)境因素有關(guān),文章選取預(yù)測日最高氣溫、最低氣溫和降雨量氣象特征作為網(wǎng)絡(luò)輸入變量。所以設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)為:15個輸入層節(jié)點和12個輸出向量,根據(jù)Kolmogorov定理可知,網(wǎng)絡(luò)中間層的神經(jīng)元可以去31個。
(二)輸入數(shù)據(jù)歸一化處理
獲得輸入變量后,為了防止神經(jīng)元飽和現(xiàn)象,在BP神經(jīng)網(wǎng)絡(luò)輸入層進行歸一化,文章才有如下公式進行變換。
(三)實證分析
中間層神經(jīng)元傳遞函數(shù)和輸出層傳遞函數(shù)分別采用S型正切函數(shù)tansig和S型對數(shù)函數(shù)logsig,因為這連個函數(shù)輸出區(qū)間為[0,1],滿足網(wǎng)絡(luò)設(shè)計的需求。
利用以下代碼創(chuàng)建一個滿足上述要求的BP神經(jīng)網(wǎng)絡(luò)。
threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];
netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)
其中變量threshold用于規(guī)定輸入向量的最大值和最小值,規(guī)定了網(wǎng)絡(luò)輸入向量的最大值為1,最小值為0,?!皌rainlm”是為網(wǎng)絡(luò)設(shè)定的訓(xùn)練函數(shù),采用的是Levenberg-Marquardt算法進行網(wǎng)絡(luò)學(xué)習(xí)。該方法明顯優(yōu)于共軛梯度法及變學(xué)習(xí)效率的BP算法,LM算法可大大提高學(xué)習(xí)速度,縮短訓(xùn)練時間。
使用該地區(qū)2007年8月11日到20日的負(fù)荷和氣象數(shù)據(jù)作為輸入向量,8月12日至8月21日負(fù)荷數(shù)據(jù)作為目標(biāo)向量,對網(wǎng)絡(luò)進行訓(xùn)練,再用8月20日負(fù)荷數(shù)據(jù)和21日的氣象特征數(shù)據(jù)來預(yù)測21日用電負(fù)荷,檢驗預(yù)測誤差是否能帶到要求。
利用MATLAB進行仿真,經(jīng)過79次訓(xùn)練后達到誤差要求結(jié)果。如圖2
網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)定見下表
從圖3和圖4中可以看出運用BP神經(jīng)網(wǎng)絡(luò)方法很好的預(yù)測了負(fù)荷走勢,并且預(yù)測誤差較小,負(fù)荷工程預(yù)測的要求。四、結(jié)論
在進行電力負(fù)荷預(yù)測時,必須考慮氣象因素的影響。在不同的地區(qū)氣象因素對電力負(fù)荷的影響不同,因此本文在設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時,結(jié)合該地實際情況考慮氣象因素。本文研究了BP神經(jīng)網(wǎng)絡(luò)在電力負(fù)荷短期預(yù)測中的應(yīng)用,根據(jù)上述的預(yù)測結(jié)果可以說明BP神經(jīng)網(wǎng)絡(luò)對電力負(fù)荷進行短期預(yù)測是目前一種比較可行的方法。
參考文獻
[1]蔣平,鞠平.應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進行中期電力負(fù)荷預(yù)報[J].電力系統(tǒng)自動化,1995,6(19):15-17
[2]蘇寧.MATLAB軟件在電力負(fù)荷預(yù)測中的應(yīng)用[J].華北電力技術(shù),2007(8):16-19
[3]康重慶,夏清,張伯明.電力系統(tǒng)負(fù)荷預(yù)測研究綜述與發(fā)展方向的探討[J].電力系統(tǒng)自動化,2OO4,28(17):1-11
[4]姜勇.電力系統(tǒng)短期負(fù)荷預(yù)測的模糊神經(jīng)網(wǎng)絡(luò)方法[J].繼電器,2002,36(2):11-13
[5]田景文,高美娟.人工神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用[M].北京:北京理工大學(xué)出版社,2006
【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)模型; 煤相; 訓(xùn)練; 預(yù)測
煤相最早是由前蘇聯(lián)學(xué)者熱姆丘日尼科夫于1951年提出的,定義為煤的原始成因類型即一定泥炭沼澤環(huán)境下形成的煤成因類型和煤巖類型[1]。應(yīng)用煤相分析實現(xiàn)煤層氣潛力評價和生氣有利帶預(yù)測已成為煤層氣勘探開發(fā)中十分重要的方法,然而成煤環(huán)境中不同的層位(縱向上)和不同地區(qū)(平面上)的煤相特征存在明顯差異,野外露頭觀察、薄片分析等地質(zhì)方法工作量巨大,而傳統(tǒng)數(shù)學(xué)歸納統(tǒng)計方法又很難準(zhǔn)確描述,因此尋找到一種高效、準(zhǔn)確的方法成為亟待解決的問題。
1 煤相分析參數(shù)及類型劃分
1.1 煤相分析參數(shù)
不同煤相反映出泥炭沼澤的覆水深度水介質(zhì)的酸度氧化還原電位堆積方式和成煤植物種類等成煤環(huán)境的不同,可通過凝膠化指數(shù)(GI)、植物保存指數(shù)(TPI)、鏡惰比(V/I)、流動性指數(shù)(MI)和森林指數(shù)(WI)五個煤巖學(xué)參數(shù)反映。
凝膠化指數(shù)GI反映泥炭沼澤的覆水程度,高值表明環(huán)境相對潮濕,低值則相對干燥,一般以4為界。
植物保存系數(shù)TPI是古代植物遺體遭受微生物降解程度的反映,在一定程度上反映PH的高低。
一般鏡惰比(V/I)是成煤泥炭遭受氧化程度的參數(shù),小于1.0反映成煤泥炭層暴露于氧化環(huán)境。
流動性指數(shù)MI是水流動介質(zhì)和相對停滯介質(zhì)的比值,可以反映成煤環(huán)境水體的流動性,一般大于0.4表明為流動相。
森林指數(shù)WI反映了成煤環(huán)境的森林情況,大于0.5表示為森林沼澤[2]。
1.2 煤相類型劃分
根據(jù)成煤環(huán)境中煤相參數(shù)的劃分依據(jù),結(jié)合實際沉積環(huán)境的沉積相分析研究,將煤相特征劃分為如下三類:干燥泥炭沼澤、森林泥炭沼澤和活水泥炭沼澤。
干燥泥炭沼澤類型反映高位干燥森林沼澤,包括潛水條件或者水下短時間干燥的氧化沼澤,該煤相廣泛發(fā)育于辮狀河三角洲等沉積環(huán)境。
森林泥炭沼澤體現(xiàn)極為潮濕、覆水較深的森林面貌,植物遺體遭受分解破壞弱,水流活動差,該煤相廣泛發(fā)育于上三角洲平原等沉積環(huán)境。
活水泥炭沼澤反映處于流動的水動力條件,微生物活動強烈,強覆水的沼澤泥炭環(huán)境,該煤相廣泛發(fā)育于三角洲間灣等沉積環(huán)境[3]。
其中在森林泥炭沼澤相發(fā)育地帶,煤層厚度大且分布穩(wěn)定,是煤層氣生成有利地帶,同樣,煤儲層物性也發(fā)育良好,有利于煤層氣聚集成藏地帶。
2 BP神經(jīng)網(wǎng)絡(luò)概述
BP神經(jīng)網(wǎng)絡(luò)(Back-Propagation Neural Networks)是一種典型的多層神經(jīng)網(wǎng)絡(luò),由輸入層、中間層和輸出層組成,其學(xué)習(xí)過程包括正向傳播和反向傳播兩部分,在正向傳播中,信號從輸入神經(jīng)元傳入,傳播到各隱層神經(jīng)元,經(jīng)過激活函數(shù)輸出,傳播到輸出層;判斷誤差函數(shù)的最小值,如果達不到所要求的精度,則自動轉(zhuǎn)入反向傳播,通過修改學(xué)習(xí)率、學(xué)習(xí)步長等參數(shù),調(diào)整輸出層與隱層、隱層與輸入層之間的連接權(quán)值,重新進行正向傳播,反復(fù)訓(xùn)練,直到誤差函數(shù)達到所要求的精度為止,此時網(wǎng)絡(luò)模型自動將各層連接權(quán)值加以保存,用于對未訓(xùn)練樣本值進行預(yù)測[4-5](圖1)。
圖1 BP神經(jīng)網(wǎng)絡(luò)示意圖
Fig.1 Back-Propagation Neural Networks
BP神經(jīng)網(wǎng)絡(luò)模型中輸入層節(jié)點和輸出層節(jié)點根據(jù)需要求解的問題、數(shù)據(jù)而定,隱層數(shù)一般在1到3之間,隱層節(jié)點數(shù)目前只能根據(jù)經(jīng)驗公式獲得,根據(jù)Komogorov理論,一個具有n 個節(jié)點輸入層,隱層節(jié)點數(shù)為2n+1。
輸入層各節(jié)點數(shù)據(jù)的量綱差異往往對網(wǎng)絡(luò)訓(xùn)練和預(yù)測結(jié)果會產(chǎn)生影響,,因此首先要對數(shù)據(jù)進行歸一化處理,使數(shù)據(jù)經(jīng)過歸一化后全部分布在[0,1]區(qū)間內(nèi)。數(shù)據(jù)標(biāo)準(zhǔn)化處理有如下幾種:
(1)X’(i)=,(2)X’(i)=,(3)X’(i)=,本文采用方法(3)。
3 使用BP神經(jīng)網(wǎng)絡(luò)算法進行煤相預(yù)測
圖2 學(xué)習(xí)次數(shù)與誤差分析關(guān)系圖
Fig.2 Learning times and error analysis
3.1 BP神經(jīng)網(wǎng)絡(luò)模型建立
選取凝膠化指數(shù)(GI)、植物保存系數(shù)(TPI)、一般鏡惰比(V/I)、流動性指數(shù)(MI)、森林指數(shù)(WI)作為輸入層節(jié)點變量;輸出層劃分為三個節(jié)點:干燥泥炭沼澤相、活水泥炭沼澤相、森林泥炭沼澤相,分別賦予期望輸出值為0.99、0.66和0.33;隱層數(shù)設(shè)為1,隱層節(jié)點數(shù)為11;最大誤差精度要求在達到10-3數(shù)量級,最大訓(xùn)練次數(shù)為3500次。此外針對BP神經(jīng)算法收斂速度慢和易陷入局部極小的缺點,本文選擇采用改進的BP神經(jīng)網(wǎng)絡(luò)算法,通過加入動量常數(shù),可有效提高運算速度并避免不收斂情況的發(fā)生。
3.2 BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練
選取了西北地區(qū)柴達木盆地、鄂爾多斯盆地的不同地區(qū)、不同層位的25個樣點煤相分析結(jié)果作為訓(xùn)練樣本 [1],應(yīng)用專業(yè)軟件Matlab進行BP神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練,通過對學(xué)習(xí)率、學(xué)習(xí)步長、動量常數(shù)等參數(shù)的調(diào)整,使誤差精度達到了預(yù)期要求[6-8],實際的訓(xùn)練次數(shù)為1095次,并且沒有出現(xiàn)不收斂情況(圖2)。
將參與訓(xùn)練的樣本代回已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)模型進行驗證,驗證結(jié)果表明,訓(xùn)練值與期望值之間的相對誤差全部在10%以內(nèi),對于網(wǎng)絡(luò)輸出值小于1的神經(jīng)網(wǎng)絡(luò)模型,認(rèn)定訓(xùn)練成功,模型可用于煤相類型的神經(jīng)網(wǎng)絡(luò)預(yù)測(表1)。
表1 西北地區(qū)柴達木盆地、鄂爾多斯盆地的幾十個地區(qū)的
樣點的煤相分析
Tab.1 The coal facies analysis of samples in qaidam basin
and ordos basin
3.3 BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測
隨機選取8個未參與訓(xùn)練的樣點,將煤相參數(shù)代入已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中,進行網(wǎng)絡(luò)預(yù)測,結(jié)果表明8個預(yù)測樣本全部判別正確,判別效果非常好(表2)。
表2 樣本預(yù)測及預(yù)測結(jié)果
Tab.2 Prediction of samples and results
4 結(jié)論
4.1 不同煤相反映出泥炭沼澤的覆水深度水介質(zhì)的酸度氧化還原電位堆積方式和成煤植物種類等成煤環(huán)境的不同,通過凝膠化指數(shù)、植物保存指數(shù)、鏡惰比、流動性指數(shù)和森林指數(shù)五個煤巖學(xué)參數(shù)量化反映。根據(jù)成煤環(huán)境中煤相參數(shù)的劃分依據(jù),將煤相劃分為:干燥泥炭沼澤、森林泥炭沼澤和活水泥炭沼澤。
4.2 由于煤相類別與分析參數(shù)之間存在著較強的非線性關(guān)系,用傳統(tǒng)的地質(zhì)方法和數(shù)學(xué)歸納方法難以處理,而BP神經(jīng)網(wǎng)絡(luò)具有極強的自適應(yīng)學(xué)習(xí)能力,能準(zhǔn)確刻畫出兩者之間復(fù)雜的非線性關(guān)系,通過加入動量常數(shù),則有效地提高了運算速度并避免了不收斂的發(fā)生。
4.3 本文將煤相分析參數(shù)作為輸入層節(jié)點,典型煤相類別作為輸出層節(jié)點,建立了基于BP神經(jīng)網(wǎng)絡(luò)的煤相分析預(yù)測模型,通過模型訓(xùn)練和預(yù)測,BP神經(jīng)網(wǎng)絡(luò)預(yù)測煤相結(jié)果準(zhǔn)確,為開展區(qū)域上煤相研究提供了高效快速的方法。
【參考文獻】