談管線運(yùn)營(yíng)下的大數(shù)據(jù)分析平臺(tái)
前言：想要寫出一篇引人入勝的文章？我們特意為您整理了談管線運(yùn)營(yíng)下的大數(shù)據(jù)分析平臺(tái)范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。
［摘要］針對(duì)管線運(yùn)營(yíng)中產(chǎn)生的海量信息未被有效利用的問(wèn)題，文章總結(jié)分析了國(guó)內(nèi)外管線運(yùn)營(yíng)數(shù)據(jù)分析研究的現(xiàn)狀及存在的問(wèn)題。為達(dá)到管線運(yùn)營(yíng)數(shù)據(jù)合理分析應(yīng)用目的，總結(jié)了管線運(yùn)營(yíng)數(shù)據(jù)分析的主要研究?jī)?nèi)容，并提出了一套管線運(yùn)營(yíng)大數(shù)據(jù)平臺(tái)建設(shè)的總體方案，以達(dá)到對(duì)管線運(yùn)營(yíng)數(shù)據(jù)的挖掘分析，提升管線運(yùn)營(yíng)的安全監(jiān)控和預(yù)警預(yù)測(cè)能力。
［關(guān)鍵詞］大數(shù)據(jù);管線數(shù)據(jù)分析;城市地下管網(wǎng)信息化管理
1引言
隨著信息技術(shù)的快速發(fā)展和管線運(yùn)營(yíng)安全的迫切需要，以數(shù)據(jù)為驅(qū)動(dòng)、以IT技術(shù)為手段的智慧管線建設(shè)成為監(jiān)控管線安全、降低維修維護(hù)成本以及知識(shí)共享與傳承的有效途徑。城市地下管線隱蔽性強(qiáng)、種類繁多，包括供水、排水、燃?xì)?、熱力、電力、通信、廣播電視、工業(yè)8大類20余種管線，［1］在運(yùn)營(yíng)過(guò)程中產(chǎn)生海量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，迫切需要采用機(jī)器學(xué)習(xí)算法和大數(shù)據(jù)計(jì)算框架，建立相關(guān)大數(shù)據(jù)模型，打破業(yè)務(wù)界限，可多維度分析、挖掘以往常規(guī)手段無(wú)法發(fā)現(xiàn)的價(jià)值，［2］充分發(fā)揮數(shù)據(jù)在管線運(yùn)營(yíng)過(guò)程中的價(jià)值。運(yùn)用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)管線運(yùn)營(yíng)中海量數(shù)據(jù)的集中存儲(chǔ)、統(tǒng)一管理、高效計(jì)算、深度挖掘以及可視化應(yīng)用。
2國(guó)內(nèi)外研究現(xiàn)狀
在國(guó)外發(fā)達(dá)國(guó)家，城市地下管網(wǎng)信息化管理已經(jīng)成為城市發(fā)展建設(shè)的一項(xiàng)重要基礎(chǔ)工程，許多城市已經(jīng)建立了不同規(guī)模、不同利用目的的管網(wǎng)信息化管理系統(tǒng)，并且已經(jīng)進(jìn)入了專業(yè)化應(yīng)用和商品化生產(chǎn)階段，積累了豐富的研究與實(shí)施經(jīng)驗(yàn)。［3］中國(guó)的城市地下管線信息化自2000年后就已大規(guī)模展開，北京、上海、廣州、廈門、杭州、南京等多個(gè)城市已經(jīng)建立了地下管網(wǎng)信息化管理系統(tǒng)，［4］但大都在各行業(yè)內(nèi)部分散建立專業(yè)管理系統(tǒng)，缺少統(tǒng)一規(guī)劃、協(xié)調(diào)，信息管理系統(tǒng)是各自為政，系統(tǒng)之間信息不能交換、共享。［5］結(jié)合國(guó)內(nèi)外各領(lǐng)域數(shù)字化建設(shè)的發(fā)展情況，管線數(shù)字化發(fā)展和應(yīng)用存在以下不足:①管線基礎(chǔ)數(shù)據(jù)積累和共享不夠:傳統(tǒng)的給水、排水、燃?xì)狻崃?、電力、通信六大管線分屬不同的管理部門，［6］各部門的信息系統(tǒng)建設(shè)時(shí)間比較晚，而且相互之間比較離散孤立，這些互不兼容的數(shù)據(jù)格式難以互聯(lián)，從而無(wú)法在設(shè)計(jì)、施工、運(yùn)營(yíng)、檢測(cè)部門之間有效地實(shí)現(xiàn)信息共享與傳遞。②對(duì)管線運(yùn)營(yíng)數(shù)據(jù)的分析與挖掘不夠:缺少有效的數(shù)據(jù)整合和數(shù)據(jù)分析與挖掘技術(shù)及方法，限制了各專業(yè)領(lǐng)域的技術(shù)應(yīng)用和發(fā)展，制約了對(duì)管線運(yùn)營(yíng)風(fēng)險(xiǎn)和綜合檢測(cè)的分析。③數(shù)據(jù)采集頻率較低:管線運(yùn)營(yíng)管理過(guò)程中，大部分?jǐn)?shù)據(jù)采用人工檢測(cè)的方式，沒有依靠物聯(lián)設(shè)備對(duì)管線狀態(tài)信息、人員軌跡信息進(jìn)行實(shí)時(shí)的采集。
3研究目標(biāo)和內(nèi)容
3.1管線大數(shù)據(jù)平臺(tái)研究目標(biāo)
管線數(shù)據(jù)分析旨在通過(guò)對(duì)互聯(lián)網(wǎng)、移動(dòng)應(yīng)用等外部數(shù)據(jù)抓取和物聯(lián)傳感器實(shí)時(shí)檢測(cè)數(shù)據(jù)集成，加強(qiáng)管線運(yùn)營(yíng)數(shù)據(jù)與抓取數(shù)據(jù)、檢測(cè)數(shù)據(jù)的融合，構(gòu)建以管線運(yùn)營(yíng)數(shù)據(jù)為核心的數(shù)據(jù)資源池。在此基礎(chǔ)上，重點(diǎn)解決多源異構(gòu)數(shù)據(jù)融合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理及數(shù)據(jù)計(jì)算等方面的技術(shù)問(wèn)題，提高管線運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)與管理的集成度。通過(guò)對(duì)管線運(yùn)營(yíng)大數(shù)據(jù)挖掘分析模型的研究，提供多維度的管線運(yùn)營(yíng)數(shù)據(jù)分析，從而為管線運(yùn)營(yíng)過(guò)程中的決策提供輔助支持。
3.2管線大數(shù)據(jù)平臺(tái)研究?jī)?nèi)容
探索分析與管線運(yùn)營(yíng)相關(guān)的互聯(lián)網(wǎng)管線相關(guān)數(shù)據(jù)、物聯(lián)接入數(shù)據(jù)等外部數(shù)據(jù)，形成與管線運(yùn)營(yíng)相關(guān)的外部數(shù)據(jù)指標(biāo)體系表，并對(duì)各指標(biāo)的參考取值及對(duì)管線運(yùn)營(yíng)的影響進(jìn)行分析。建立大數(shù)據(jù)中心，通過(guò)數(shù)據(jù)交換平臺(tái)及相應(yīng)的主題數(shù)據(jù)庫(kù)實(shí)現(xiàn)管線運(yùn)營(yíng)數(shù)據(jù)的抓取，針對(duì)外部數(shù)據(jù)，重點(diǎn)研究數(shù)據(jù)采集、處理和分析，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)及半結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用。
3.2.1管線大數(shù)據(jù)采集與預(yù)處理技術(shù)研究數(shù)據(jù)采集通過(guò)網(wǎng)絡(luò)爬蟲工具、Kafka、Sqoop、Flume等大數(shù)據(jù)采集工具，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)管線輿情數(shù)據(jù)、物聯(lián)傳感器接入數(shù)據(jù)、管線運(yùn)營(yíng)業(yè)務(wù)管理數(shù)據(jù)、應(yīng)急指揮數(shù)據(jù)、安全監(jiān)管數(shù)據(jù)等結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的獲取。
3.2.2管線大數(shù)據(jù)存儲(chǔ)技術(shù)研究通過(guò)對(duì)并行存儲(chǔ)技術(shù)與數(shù)據(jù)倉(cāng)庫(kù)的研究，提高存儲(chǔ)系統(tǒng)的性能、擴(kuò)展性和可用性，為建立集中、統(tǒng)一的數(shù)據(jù)存儲(chǔ)中心提供支撐，解決了數(shù)據(jù)提取速度慢、查詢效率低等問(wèn)題。
3.2.3管線大數(shù)據(jù)計(jì)算框架研究由于需要對(duì)互聯(lián)網(wǎng)管線相關(guān)數(shù)據(jù)、物聯(lián)接入數(shù)據(jù)、管線運(yùn)營(yíng)業(yè)務(wù)管理數(shù)據(jù)、應(yīng)急指揮數(shù)據(jù)、安全監(jiān)管數(shù)據(jù)等數(shù)據(jù)的綜合分析，需要提供很高的計(jì)算能力，通過(guò)對(duì)大數(shù)據(jù)Ma-pReduce、Spark等并行計(jì)算模型和內(nèi)存計(jì)算框架中離線批量計(jì)算、內(nèi)存迭代計(jì)算、流式處理計(jì)算等大數(shù)據(jù)計(jì)算技術(shù)的研究，實(shí)現(xiàn)資源虛擬化與動(dòng)態(tài)調(diào)度，解決單機(jī)計(jì)算能力以及數(shù)據(jù)處理量有限的問(wèn)題。
3.2.4管線數(shù)據(jù)挖掘模型研究管線數(shù)據(jù)指標(biāo)體系自動(dòng)識(shí)別:傳統(tǒng)的管線數(shù)據(jù)分析包括人工分析和簡(jiǎn)單的程序分析，但隨著海量管線數(shù)據(jù)的采集和積累，傳統(tǒng)的分析方式都難以實(shí)現(xiàn)對(duì)管線大數(shù)據(jù)指標(biāo)識(shí)別?；诖髷?shù)據(jù)技術(shù)的管線數(shù)據(jù)對(duì)互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營(yíng)、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)進(jìn)行分析，可以實(shí)現(xiàn)對(duì)管線指標(biāo)體系自動(dòng)識(shí)別的效果，提升管線畫像的分析能力。管線數(shù)據(jù)高維分析:［7］管線數(shù)據(jù)指標(biāo)體系中的指標(biāo)數(shù)量眾多，指標(biāo)數(shù)據(jù)之間可能存在多種相關(guān)關(guān)系，指標(biāo)分析維度呈現(xiàn)多樣化分析。通過(guò)高維分析技術(shù)，可以將指標(biāo)維度進(jìn)行匯集、合并，自動(dòng)對(duì)維度與指標(biāo)關(guān)系進(jìn)行判斷，從而盡可能減少邊緣維度對(duì)關(guān)鍵維度可能出現(xiàn)安全隱患的管線提前預(yù)警，提高管線運(yùn)營(yíng)整體的工作效率，降低管線維修維護(hù)成本。管線安全狀態(tài)預(yù)測(cè)預(yù)警:通過(guò)對(duì)溫度、濕度、流速、壓力等管線物聯(lián)檢測(cè)數(shù)據(jù)與管線運(yùn)行時(shí)間、材質(zhì)等管線業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合分析和挖掘，可實(shí)現(xiàn)對(duì)管線運(yùn)行安全狀態(tài)實(shí)時(shí)監(jiān)控、趨勢(shì)走向進(jìn)行預(yù)測(cè)分析，提升管線指標(biāo)數(shù)據(jù)分析的準(zhǔn)確性和完整性。
4管線大數(shù)據(jù)平臺(tái)
管線大數(shù)據(jù)平臺(tái)主要解決面向大數(shù)據(jù)的采集、存儲(chǔ)、管理、計(jì)算和分析應(yīng)用等應(yīng)用。平臺(tái)總體架構(gòu)包括管線數(shù)據(jù)采集與處理平臺(tái)、管線數(shù)據(jù)存儲(chǔ)與管理平臺(tái)、管線分布式計(jì)算與挖掘平臺(tái)、管線大數(shù)據(jù)分析平臺(tái)模塊，以及用于管理軟件組件以及集群硬件的大數(shù)據(jù)平臺(tái)管理模塊。(1)基礎(chǔ)設(shè)施管理:包括服務(wù)器計(jì)算資源、存儲(chǔ)設(shè)備資源、網(wǎng)絡(luò)資源，為業(yè)務(wù)應(yīng)用系統(tǒng)和大數(shù)據(jù)分析提供基礎(chǔ)環(huán)境。(2)管線數(shù)據(jù)采集與處理平臺(tái):針對(duì)互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營(yíng)、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)的采集要求，平臺(tái)通過(guò)集成和開發(fā)等方式，設(shè)計(jì)了多種應(yīng)用場(chǎng)景下的數(shù)據(jù)采集工具，根據(jù)不同數(shù)據(jù)院特點(diǎn)對(duì)數(shù)據(jù)進(jìn)行采集、清洗、轉(zhuǎn)換和加載。(3)管線存儲(chǔ)與管理平臺(tái):提供對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)通過(guò)綜合應(yīng)用關(guān)系型數(shù)據(jù)庫(kù)、列式數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)運(yùn)算、并行數(shù)據(jù)庫(kù)等數(shù)據(jù)庫(kù)技術(shù)，支持海量異構(gòu)數(shù)據(jù)統(tǒng)一可靠的存儲(chǔ)管理，對(duì)外提供統(tǒng)一的分布式調(diào)用接口。(4)管線分布式計(jì)算與挖掘平臺(tái):優(yōu)化了分布式計(jì)算框架MapReduce和分布式內(nèi)存計(jì)算框架Spark。并在此基礎(chǔ)上構(gòu)建面向管線運(yùn)營(yíng)管理業(yè)務(wù)的文本處理引擎、流處理引擎、數(shù)據(jù)挖掘引擎、搜索引擎等，進(jìn)一步加強(qiáng)了管線數(shù)據(jù)分析能力的支撐。(5)管線大數(shù)據(jù)分析平臺(tái):利用強(qiáng)大的分析能力，從互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營(yíng)、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)大量基礎(chǔ)數(shù)據(jù)中分析、獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)，實(shí)現(xiàn)對(duì)管線數(shù)據(jù)進(jìn)行高維分析、安全隱患分析、應(yīng)急指揮分析、管線預(yù)警預(yù)測(cè)分析等。(6)大數(shù)據(jù)平臺(tái)管理模塊:可以實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的快速部署，包括平臺(tái)的安裝、部署、配置、運(yùn)維、監(jiān)控、數(shù)據(jù)操作等，以圖形化的方式可以將大數(shù)據(jù)平臺(tái)中各類服務(wù)、組建的使用情況進(jìn)行可視化展現(xiàn)。(7)主數(shù)據(jù)管理模塊:支撐大數(shù)據(jù)平臺(tái)中主數(shù)據(jù)的管理，包括元數(shù)據(jù)管理、主數(shù)據(jù)模型管理、主數(shù)據(jù)檢索、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)字典管理、數(shù)據(jù)接口管理和安全管理。
5管線運(yùn)營(yíng)數(shù)據(jù)分析應(yīng)用
(1)管線運(yùn)營(yíng)時(shí)空分析:運(yùn)用GIS手段對(duì)地下排水管線、給水管線、供熱管線、供氣管線等市政基礎(chǔ)設(shè)施管線不同時(shí)間點(diǎn)不同地理位置的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，通過(guò)對(duì)同一時(shí)間段不同地理位置的流量流速分析，適當(dāng)調(diào)配不同區(qū)域供水、供氣的水壓和氣壓，保障區(qū)域內(nèi)人民對(duì)水、氣、暖的正常使用。(2)管線老化預(yù)警分析:由于管線材質(zhì)、施工時(shí)間、表面防腐層的不同，直接影響了各類管線的老化程度各異，通過(guò)對(duì)各類管線基礎(chǔ)數(shù)據(jù)進(jìn)行分析，評(píng)價(jià)管線的老化情況，定量給出管線的老化級(jí)別，對(duì)于老化級(jí)別較高的管線進(jìn)行定期預(yù)警，形成管線預(yù)警分析報(bào)告，預(yù)防管線事故的發(fā)生。(3)管線事故影響分析:根據(jù)水、氣、暖等事故影響模型，在出現(xiàn)應(yīng)急事件時(shí)，通過(guò)獲取應(yīng)急事件的事件類型、發(fā)生時(shí)間、事故地點(diǎn)等參數(shù)信息，從而計(jì)算得出事故的影響范圍需要調(diào)配的物資、人員、車輛等資源信息，有力支撐應(yīng)急決策和執(zhí)行。
6結(jié)論
管線安全關(guān)乎社會(huì)民生和經(jīng)濟(jì)發(fā)展，管線運(yùn)營(yíng)數(shù)據(jù)分析意義重大。文章總結(jié)分析了國(guó)內(nèi)管線數(shù)據(jù)分析現(xiàn)狀，提出了管線數(shù)據(jù)分析的研究目的、研究?jī)?nèi)容，并規(guī)劃了管線大數(shù)據(jù)平臺(tái)的總體方案。管線大數(shù)據(jù)分析平臺(tái)的搭建、數(shù)據(jù)驅(qū)動(dòng)集成管控模式的研究以及應(yīng)用方面的需求亦具有廣泛性，對(duì)提高管線運(yùn)營(yíng)管理能力具有廣泛的參考和借鑒意義。
參考文獻(xiàn):
［1］楊瑛，劉濤.城市地下管線全壽命周期安全分析［J］．中國(guó)勘察設(shè)計(jì)，2015(4):83－87.
［2］徐建輝，聶中文，蔡珂.基于物聯(lián)網(wǎng)和大數(shù)據(jù)的全生命周期智慧管道實(shí)施構(gòu)想［J］．油氣田地面工程，2018，37(12):6－13.
［3］吳思，陳勇，張?jiān)?，等．城市地下管線共享平臺(tái)建設(shè)模式探討［J］．測(cè)繪通報(bào)，2015(12):77－80.
［4］鄭豐收，陶為翔，潘良波，等.城市地下管線智慧化管理平臺(tái)建設(shè)研究［J］．地下空間與工程學(xué)報(bào)，2015(11):378－382.
［5］王超，孫曉洪，李偉，等.基于頂層設(shè)計(jì)的地下管線信息管理新模式［J］．地下空間與工程學(xué)報(bào)，2010(6):1118－1124.
［6］朱能發(fā)，孫士輝，徐建江.建立城市地下管線動(dòng)態(tài)更新管理體系的探討［J］．測(cè)繪通報(bào)，2016(S1):127－129.
［7］賀玲，蔡益朝，楊征.高維數(shù)據(jù)聚類方法綜述［J］．計(jì)算機(jī)應(yīng)用研究，2010，27(1):23－31.
作者：吳艷林 朱玉明 侯風(fēng)巍 賈菲菲 單位：北京京航計(jì)算通訊研究所