煤炭交易數(shù)據(jù)分析平臺研究與實現(xiàn)

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了煤炭交易數(shù)據(jù)分析平臺研究與實現(xiàn)范文，希望能給你帶來靈感和參考，敬請閱讀。

早在二十世紀90年代初，我國就已經(jīng)開始了煤炭交易市場（中心）的探索。在我國一些煤炭資源豐富的地區(qū)、主要的煤炭消費城市以及煤炭運輸中轉(zhuǎn)站，相繼出現(xiàn)了區(qū)域性的煤炭交易中心，如上海、天津、秦皇島、東北（大連）、北京、太原、內(nèi)蒙古等地形式不同的交易市場陸續(xù)建成開業(yè)。此外，還有多家煤炭交易市場在籌建之中。然而，目前的煤炭信息主要屬于行業(yè)性、區(qū)域性的，分散在各交易市場和行業(yè)組織之中，相互之間信息不透明，更無法形成完整、準確的全國性信息。從國家層面來看，相關(guān)管理部門需要收集各地市場的交易數(shù)據(jù)，但數(shù)據(jù)的實時性、準確性、完整性達不到預期，也就無法更好地對全國范圍的煤炭市場交易情況作出預判、預警、預知及宏觀調(diào)控。對于參與到煤炭交易過程中的生產(chǎn)商、采購商、經(jīng)銷商等相關(guān)主體，也只能根據(jù)在不同市場的參與度，部分了解區(qū)域范圍內(nèi)的行情、價格、趨勢等，無法對全國范圍內(nèi)的煤炭交易情況作出一個宏觀的判斷。為了順利完成國家能源局提出的“服務能源企業(yè)科學發(fā)展，服務能源行業(yè)健康發(fā)展，服務國家能源安全發(fā)展、科學發(fā)展、可持續(xù)發(fā)展”的工作任務，中國電力傳媒集團積極探索研究煤炭與電力行業(yè)的新業(yè)務市場，提升服務政府、行業(yè)、企業(yè)的能力，提升在能源領(lǐng)域的影響力、權(quán)威性和競爭力，以構(gòu)建現(xiàn)代文化企業(yè)為核心目標，發(fā)揮自身電力行業(yè)龍頭媒體運營者的優(yōu)勢，整合內(nèi)外部各方面的力量，籌建全國煤炭交易數(shù)據(jù)分析平臺。

建設目標

依托互聯(lián)網(wǎng)+行業(yè)創(chuàng)新思維、大數(shù)據(jù)思維，建設集數(shù)據(jù)采集、數(shù)據(jù)融合、數(shù)據(jù)處理為一體的，采用成熟平臺+開源組件的大數(shù)據(jù)平臺。全國煤炭交易數(shù)據(jù)分析平臺的主要功能是以互聯(lián)網(wǎng)絡為載體和渠道，通過建立和應用互聯(lián)網(wǎng)+煤炭（能源）數(shù)據(jù)信息新模式，對分散在全國各地、不同體制的煤炭交易市場的交易數(shù)據(jù)進行鏈接和采集，對收集到的相關(guān)數(shù)據(jù)進行分類、聚類、一致與差異性分析與統(tǒng)計，結(jié)合地理信息系統(tǒng)對數(shù)據(jù)進行可視化轉(zhuǎn)換觀測，對采集大數(shù)據(jù)進行挖掘和分析，從而提煉出數(shù)據(jù)的價值，為國家能源局及時掌握煤炭交易情況、開展行業(yè)調(diào)研、進行戰(zhàn)略決策提供數(shù)據(jù)支持，為電力企業(yè)科學用煤、降低煤耗、減少排放提供更加全面的市場選擇，為煤炭生產(chǎn)、物流企業(yè)科學安排生產(chǎn)、調(diào)度運力提供準確信息。

技術(shù)路線

為滿足全國煤炭交易數(shù)據(jù)分析平臺系統(tǒng)項目的建設目標要求，保障系統(tǒng)的先進性，確保系統(tǒng)運行的穩(wěn)定可靠，系統(tǒng)架構(gòu)的設計需要滿足高性能、高可用、可擴展、低耦合高內(nèi)聚、前端動靜分離要求，選擇主流、成熟、穩(wěn)定的技術(shù)或組件。關(guān)鍵開發(fā)軟件選型見表1。

平臺系統(tǒng)設計

平臺軟件架構(gòu)設計

平臺軟件架構(gòu)設計如圖1所示。在系統(tǒng)軟件架構(gòu)設計方面，主要包含以下幾方面內(nèi)容。業(yè)務運營支撐系統(tǒng)：由平臺廣告管理系統(tǒng)、統(tǒng)一平臺會員管理系統(tǒng)、統(tǒng)一平臺權(quán)限管理系統(tǒng)、媒體文件管理系統(tǒng)及數(shù)據(jù)采集中心接口系統(tǒng)組成。以上各子系統(tǒng)完成平臺基礎數(shù)據(jù)的收集管理、對外交易中心數(shù)據(jù)的采集管理和存儲，以及大數(shù)據(jù)挖掘后產(chǎn)生的統(tǒng)計、分析數(shù)據(jù)指數(shù)、圖表、報表、報告等支撐數(shù)據(jù)體系。應用服務子系統(tǒng)：由會員管理系統(tǒng)、煤炭交易數(shù)據(jù)管理、煤炭行業(yè)信息管理系統(tǒng)、多媒體內(nèi)容管理系統(tǒng)、數(shù)據(jù)挖掘信息報告及商業(yè)咨詢服務管理子系統(tǒng)組成，提供對外的流程管理、數(shù)據(jù)管理、安全管理等多方面的業(yè)務管理過程。接入管理子系統(tǒng)：提供多種方式的對外的接入數(shù)據(jù)管理入口，對外提供系統(tǒng)處理后的煤炭交易實時數(shù)據(jù)內(nèi)容、煤炭行業(yè)信息新聞內(nèi)容、煤炭行業(yè)數(shù)據(jù)挖掘統(tǒng)計分析行情內(nèi)容、煤炭行業(yè)指數(shù)數(shù)據(jù)內(nèi)容等，通過多種接口方式提供包括HTTP、JOSN、XML及網(wǎng)站方式內(nèi)容。客戶端應用子系統(tǒng)：由于移動互聯(lián)網(wǎng)的發(fā)展，本子系統(tǒng)完成提供移動互聯(lián)網(wǎng)數(shù)據(jù)信息的終端展示應用，包括多操作系統(tǒng)的客戶端應用程序，同時根據(jù)移動終端自身的特性，更深入使用移動終端硬件功能，結(jié)合終端硬件的一些特殊功能，為用戶提供良好的用戶體驗和UI設計等，加入適合移動互聯(lián)應用的活躍元素。

平臺硬件架構(gòu)設計

平臺硬件架構(gòu)設計包含虛擬化服務器區(qū)、大數(shù)據(jù)服務器區(qū)、存儲及備份設備區(qū)和網(wǎng)絡及安全設備區(qū)四部分。其中，虛擬化服務器區(qū)部署平臺Web應用、移動應用、關(guān)系數(shù)據(jù)庫、核心應用等軟件服務；大數(shù)據(jù)服務器區(qū)部署支撐平臺系統(tǒng)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)檢索等功能。如圖2所示。

1.虛擬化服務器區(qū)。該區(qū)充分考慮私有云虛擬化環(huán)境的可用性設計，在網(wǎng)絡層面和存儲層面分別利用了虛擬化搭建內(nèi)置的網(wǎng)絡冗余和存儲多路徑控制確保高可用。在服務器高可用性上，利用虛擬化軟件內(nèi)置的功能應對本地站點多種虛擬機應用計劃內(nèi)和計劃外意外停機的問題。

2.大數(shù)據(jù)服務器區(qū)。為滿足大數(shù)據(jù)平臺軟件的部署，根據(jù)管理節(jié)點和計算節(jié)點的內(nèi)存使用及大數(shù)據(jù)平臺管理組件安裝所需硬盤空間，該區(qū)配置了10臺不同參數(shù)的X86架構(gòu)機架式服務器。

3.數(shù)據(jù)存儲及備份設備區(qū)。該區(qū)部署共享存儲設備和備份設備，其中存儲設備利用光纖連接到光纖交換機，滿足不少于10TB的存儲容量；備份平臺需滿足IT系統(tǒng)復雜性和兼容性需求，支持針對操作系統(tǒng)、數(shù)據(jù)庫應用、虛擬化環(huán)境、數(shù)據(jù)加密、壓縮、重復數(shù)據(jù)刪除、自動備份管理等功能。備份介質(zhì)裸容量應滿足可保存數(shù)據(jù)的多副本。

4.網(wǎng)絡及安全設備區(qū)。該區(qū)根據(jù)網(wǎng)絡安全等級保護要求，進行了網(wǎng)絡安全等級保護三級系統(tǒng)設計，并通過了測評。

平臺系統(tǒng)實現(xiàn)

該平臺歷時一年多完成第一期建設，系統(tǒng)運行界面如圖3、圖4所示。

結(jié)束語

本文分析了全國煤炭信息交易的現(xiàn)狀，并從項目建設單位的具體需求出發(fā)，利用新媒體、大數(shù)據(jù)、虛擬化、數(shù)據(jù)挖掘等技術(shù)，設計了全國煤炭交易數(shù)據(jù)分析平臺。目前，該平臺一期已上線，為國家能源局、煤炭(能源)企業(yè)、研究機構(gòu)，以及相關(guān)協(xié)會、社會人士、專家等提供高效的煤炭交易服務、物流服務、信息服務、數(shù)據(jù)分析服務和方便的煤炭物流金融服務。

作者：闞守輝 單位：中國電力傳媒集團有限公司