前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的大數(shù)據(jù)在云計(jì)算中的應(yīng)用主題范文,僅供參考,歡迎閱讀并收藏。
【關(guān)鍵詞】 大數(shù)據(jù) 云計(jì)算平臺 應(yīng)用
一、大數(shù)據(jù)與云計(jì)算平臺概述
1、大數(shù)據(jù)的特征。大數(shù)據(jù)又被IT業(yè)稱之為巨量數(shù)據(jù)集合,具體是指無法在某個特定時間范圍內(nèi)用常規(guī)的軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是一種海量、多樣化、高增長率的信息資產(chǎn)。大數(shù)據(jù)的特征主要體現(xiàn)在如下幾個方面:超大的容量、繁多的種類、獲取數(shù)據(jù)的高速、數(shù)據(jù)質(zhì)量真實(shí)可靠、數(shù)據(jù)來源渠道復(fù)雜等等。信息時代到來的今天,數(shù)據(jù)信息在生產(chǎn)生活中的重要性日益凸顯,大數(shù)據(jù)的發(fā)展速度也變得越來越快,對信息處理提出了更高的要求,即需要在短時間內(nèi)對數(shù)據(jù)庫進(jìn)行有關(guān)的操作與處理,為滿足這一需求,大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。
2、云計(jì)算平臺的優(yōu)勢。云計(jì)算是以網(wǎng)絡(luò)為平臺,利用遠(yuǎn)程連接的計(jì)算機(jī)獲取所需計(jì)算服務(wù),該計(jì)算機(jī)可供給彈性伸縮的計(jì)算資源,可提高資源利用效率,節(jié)省因重復(fù)配置資源增加的成本。云計(jì)算的優(yōu)點(diǎn):1.計(jì)算能力強(qiáng)。云計(jì)算可對計(jì)算機(jī)集群中的CPU進(jìn)行遠(yuǎn)程調(diào)用,使其具備強(qiáng)大的計(jì)算能力,每秒高達(dá)10萬億次運(yùn)算。2.可靠性高。云計(jì)算使用數(shù)據(jù)容錯技術(shù)和計(jì)算節(jié)點(diǎn)同構(gòu)可互換措施,能夠保證云計(jì)算服務(wù)的可靠性。3.使用成本低。云計(jì)算采用自動化集中式管理,按需分配使用硬件資源,無需支付數(shù)據(jù)管理成本。
3、大數(shù)據(jù)與云計(jì)算平臺的關(guān)系。大數(shù)據(jù)與云計(jì)算的聯(lián)系緊密,兩者均能夠?yàn)閿?shù)據(jù)資源提供存儲、訪問和計(jì)算的平臺。對于云計(jì)算而言,其核心技術(shù)為數(shù)據(jù)處理技術(shù),最終目的是為國家、企業(yè)和個人提供便捷服務(wù),這與大數(shù)據(jù)的發(fā)展目的一致。大數(shù)據(jù)擁有豐富的數(shù)據(jù)資源,能夠與云計(jì)算平臺共同一個平臺,進(jìn)行大數(shù)據(jù)分析與計(jì)算,兩者的相似度極高。
二、大數(shù)據(jù)和云計(jì)算平臺的應(yīng)用
大數(shù)據(jù)和云計(jì)算平臺的應(yīng)用現(xiàn)已遍及多個領(lǐng)域,其在各個領(lǐng)域中均具有其它技術(shù)不可替代的作用。下面本文重點(diǎn)對其中的關(guān)鍵技術(shù)及具體應(yīng)用進(jìn)行分析。
2.1 Hadoop技術(shù)及其應(yīng)用
1、Hadoop技術(shù)。這是一個開源軟件框架,具有海量數(shù)據(jù)分布式處理的能力,其支持PB級海量數(shù)據(jù),并且可擴(kuò)展性極強(qiáng)。該技術(shù)的高效性、可擴(kuò)展性、可靠性、開源特性,使其獲得了快速發(fā)展,并在很多平臺中得到了應(yīng)用。
2、具體應(yīng)用。①在百度中的應(yīng)用。百度是提供數(shù)據(jù)搜索服務(wù)的重要平臺,在海量數(shù)據(jù)中百度能夠通過語義分析精準(zhǔn)搜索到關(guān)鍵字以及用戶想要的結(jié)果。百度的海量數(shù)據(jù)處理平臺基于Hadoop而建立,每天處理的數(shù)據(jù)量十分龐大,約為20PB,處理的任務(wù)數(shù)超過120000個。百度數(shù)據(jù)處理平臺主要應(yīng)用于以下方面:分析挖掘商業(yè)數(shù)據(jù),如展示與點(diǎn)擊廣告;存儲、分析、搜索日志;分析、爬取網(wǎng)頁;用戶行為挖掘,如用戶關(guān)聯(lián)與推薦。②在騰訊中的應(yīng)用。騰訊是我國互聯(lián)網(wǎng)行業(yè)先進(jìn)技術(shù)與平臺的代表,涵蓋電子商務(wù)、社交網(wǎng)絡(luò)、新聞門戶、網(wǎng)絡(luò)游戲、搜索等服務(wù)項(xiàng)目,其擁有自主研發(fā)的云計(jì)算平臺,即臺風(fēng)(Typhoon),能夠大批量處理在線數(shù)據(jù)與離線數(shù)據(jù)。此外,騰訊基于Hadoop建立了海量數(shù)據(jù)處理平臺,用以解決數(shù)據(jù)挖掘、網(wǎng)頁分析等特殊問題。騰訊進(jìn)一步擴(kuò)展了Hyphoon平臺,使其能夠支持Hadoop程序運(yùn)行,既發(fā)揮了Hadoop的優(yōu)勢,又提高了資源利用率。
2.2 Spark技術(shù)及其應(yīng)用
1、Spark技術(shù)。這是一款基于內(nèi)存計(jì)算的分布式計(jì)算系統(tǒng),通過它可對大數(shù)據(jù)進(jìn)行快速地分析處理。由于該技術(shù)是基于內(nèi)存計(jì)算實(shí)現(xiàn),從而使得數(shù)據(jù)的分析處理速度獲得了大幅度提升,對于實(shí)時性要求較高的數(shù)據(jù)分析處理,該技術(shù)非常適用。不僅如此,Spark對Hadoop還具有高度的兼容性。
2、具體應(yīng)用。①在雅虎中的應(yīng)用。雅虎對Spark技術(shù)的應(yīng)用主要體現(xiàn)在利用該技術(shù)實(shí)現(xiàn)Audience Expansion 算法,這是一種在廣告中尋找目標(biāo)用戶的算法,借助Spark集群,可以實(shí)現(xiàn)對目標(biāo)用戶的快速尋找及交互式查詢。現(xiàn)階段,在雅虎上部署的Spark集群有112臺節(jié)點(diǎn),內(nèi)存為9.2TB。②在優(yōu)酷土豆中的應(yīng)用。優(yōu)酷土豆原本使用的是Hadoop集群,在使用中存發(fā)現(xiàn)以下幾個方面的問題:一是在BI方面,分析師提交相關(guān)任務(wù)之后,需要較長時間才能收到分析結(jié)果;二是在大數(shù)據(jù)量的計(jì)算方面效率不高;三是迭代運(yùn)算耗費(fèi)的資源過多且速度較慢。通過Spark技術(shù)的應(yīng)用,可以使上述問題獲得有效解決。Spark技術(shù)的交互查詢響應(yīng)速度快,其性能要高出Hadoop當(dāng)叮在模擬廣告投放的計(jì)算上,效率更高、延遲更小,迭代計(jì)算基本不會占用過多的資源,大幅度提升了計(jì)算性能。正因如此,使Spark技術(shù)在優(yōu)酷土豆的視頻推薦及廣告業(yè)務(wù)中獲得了廣泛應(yīng)用。
結(jié)論:綜上所述,大數(shù)據(jù)與云計(jì)算平臺以自身所具備的諸多優(yōu)越性,在多個重要領(lǐng)域中獲得越來越廣泛的應(yīng)用,這對于促進(jìn)各個領(lǐng)域的發(fā)展具有重要的現(xiàn)實(shí)意義。在未來一段時期,應(yīng)當(dāng)進(jìn)一步加大對其的研究力度,在現(xiàn)有的基礎(chǔ)上使大數(shù)據(jù)與云計(jì)算平臺更加完善,為大范圍推廣應(yīng)用奠定基礎(chǔ)。
參 考 文 獻(xiàn)
在海量數(shù)據(jù)時代環(huán)境下,以往的主流軟件工具已經(jīng)無法滿足大規(guī)模數(shù)據(jù)的存儲和計(jì)算要求,對于醫(yī)療行業(yè)來講同樣面臨著大數(shù)據(jù)的挑戰(zhàn)。云計(jì)算和大數(shù)據(jù)是相輔相成的,云計(jì)算技術(shù)為海量的、復(fù)雜的、多樣化的大數(shù)據(jù)的存儲和計(jì)算提供了有效平臺,該平臺下的數(shù)據(jù)挖掘技術(shù)可以在不受其他因素影響的條件下快捷地收集到可靠真實(shí)的醫(yī)療信息,而且云環(huán)境下的數(shù)據(jù)集存儲具有較強(qiáng)的穩(wěn)定性,進(jìn)一步優(yōu)化了數(shù)據(jù)挖掘模式。
2大數(shù)據(jù)與云計(jì)算
隨著醫(yī)療信息化的發(fā)展,醫(yī)療數(shù)據(jù)規(guī)模迅速擴(kuò)大,數(shù)據(jù)的種類和數(shù)量的變化令人難以置信,不論是病理分析圖還是醫(yī)療影像都產(chǎn)生了大量的醫(yī)療數(shù)據(jù)。區(qū)域醫(yī)療數(shù)據(jù)雖然是醫(yī)療大數(shù)據(jù)的組成各個部分,但其數(shù)據(jù)來自百家醫(yī)療機(jī)構(gòu)和百萬人口的區(qū)域,一個患者的信息資料要保留50年以上,而且數(shù)據(jù)量呈不斷增長趨勢。醫(yī)療數(shù)據(jù)中每個患者的數(shù)據(jù)不僅包括臨床診斷以及用藥建議、醫(yī)療影像以及分析決策、(非)結(jié)構(gòu)化文檔,還包括患者大量的在線實(shí)時數(shù)據(jù),僅僅一個社區(qū)醫(yī)院就可以生成多個TB級甚至PB級的(非)結(jié)構(gòu)化數(shù)據(jù),所以說海量醫(yī)療數(shù)據(jù)名副其實(shí)。云計(jì)算技術(shù)是被稱為是21世紀(jì)的技術(shù)和商業(yè)革命,如今已成為IT行業(yè)主流技術(shù)。云計(jì)算技術(shù)是在大數(shù)據(jù)環(huán)境下數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算以及數(shù)據(jù)動態(tài)分析要求越來越高的背景下產(chǎn)生的一種基礎(chǔ)構(gòu)架和商業(yè)模式,該模式可以為用于提供便捷的、快速的、可用的、足量的計(jì)算資源,并且用戶按照用量付費(fèi),只需要進(jìn)行少量的管理工作以及與云計(jì)算供應(yīng)商進(jìn)行必要的互動。云計(jì)算技術(shù)是在大數(shù)據(jù)背景下產(chǎn)生的,對于云計(jì)算來講,大數(shù)據(jù)是一種重要應(yīng)用環(huán)境,而對于大數(shù)據(jù)來講,云計(jì)算則是其IT基礎(chǔ)和驅(qū)動力,兩者之間是相輔相成的。隨著大數(shù)據(jù)規(guī)應(yīng)用的廣泛推廣,云計(jì)算技術(shù)的重要性也越來越突出。在醫(yī)療數(shù)據(jù)規(guī)模以幾何級形式增長的情況下,數(shù)據(jù)挖掘平臺是醫(yī)療數(shù)據(jù)中病歷數(shù)據(jù)、診斷檢驗(yàn)數(shù)據(jù)、影像數(shù)據(jù)等內(nèi)在數(shù)據(jù)得到有效應(yīng)用的關(guān)鍵所在,所以基于云計(jì)算的醫(yī)療數(shù)據(jù)挖掘平臺是醫(yī)療信息化的一個重要研究方向。
3云計(jì)算在醫(yī)療數(shù)據(jù)挖掘平臺中的應(yīng)用分析
數(shù)據(jù)挖掘技術(shù)的概念可定義為“從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的過程,能夠發(fā)現(xiàn)隱含在大規(guī)模數(shù)據(jù)中的知識,從而指導(dǎo)決策,主要涉及特征化、區(qū)分、關(guān)聯(lián)或相關(guān)分析、分類、聚類、演變分析等?!睌?shù)據(jù)挖掘在金融、交通、軍事、電子商務(wù)、醫(yī)療等等領(lǐng)域中得到廣泛應(yīng)用。相同其他領(lǐng)域,醫(yī)療領(lǐng)域中數(shù)據(jù)挖掘技術(shù)的應(yīng)用有很大不同,因?yàn)獒t(yī)療數(shù)據(jù)包括患者診療過程中的所有相關(guān)信息資料,例如診斷記錄、影像資料、治療決策、用藥方案等等,這些數(shù)據(jù)除了包括結(jié)構(gòu)化數(shù)據(jù)之外還包括大量的非結(jié)構(gòu)化數(shù)據(jù),因此醫(yī)療數(shù)據(jù)挖掘的應(yīng)用效益和收獲最大。基于醫(yī)療數(shù)據(jù)的復(fù)雜性,醫(yī)療數(shù)據(jù)挖掘也存在極大難度,這主要體現(xiàn)在兩個方面,一是診斷記錄、治療決策、護(hù)理過程等復(fù)雜的醫(yī)療程序?qū)е铝酸t(yī)療數(shù)據(jù)的海量性特點(diǎn);二是醫(yī)療數(shù)據(jù)類型多樣化,不僅包括數(shù)值型數(shù)據(jù),還包括圖像、語音、視頻等等類型數(shù)據(jù)。總之,醫(yī)療數(shù)據(jù)的海量性和異構(gòu)性為醫(yī)療數(shù)據(jù)挖掘帶來極大難度,需要具有強(qiáng)大數(shù)據(jù)處理能力的技術(shù)提高數(shù)據(jù)挖掘的效率和準(zhǔn)確性,這就是云計(jì)算。
3.1基于云計(jì)算的醫(yī)療數(shù)據(jù)挖掘平臺架構(gòu)
云計(jì)算是一種基于大數(shù)據(jù)的商業(yè)模式,其強(qiáng)大的數(shù)據(jù)存儲、數(shù)據(jù)處理以及數(shù)據(jù)管理能力讓大數(shù)據(jù)豐富的信息積淀不再是鏡花水月,云計(jì)算在改變計(jì)算機(jī)運(yùn)行模式的同時也正在改變這個世界。云計(jì)算以及其分布式結(jié)構(gòu)是實(shí)現(xiàn)云構(gòu)架的重要途徑,云計(jì)算的應(yīng)用實(shí)現(xiàn)了網(wǎng)格計(jì)算并行計(jì)算、分布式計(jì)算等概念,通過互連的計(jì)算機(jī)來完成計(jì)算任務(wù),并根據(jù)應(yīng)用需要獲取各種資源和服務(wù)。中國電子學(xué)會將云計(jì)算技術(shù)定義為“云計(jì)算是一種基于互聯(lián)網(wǎng)的、大眾參與的計(jì)算模式,其計(jì)算資源(包括計(jì)算能力、存儲能力、交互能力等)是動態(tài)、可伸縮、被虛擬化的,并以服務(wù)的方式提供”。云計(jì)算環(huán)境下的醫(yī)療數(shù)據(jù)挖掘平臺的設(shè)計(jì)結(jié)構(gòu)主要包括云計(jì)算環(huán)境、數(shù)據(jù)采集、數(shù)據(jù)清洗以及并行分析4關(guān)鍵個部分。海量數(shù)據(jù)挖掘技術(shù)對云計(jì)算的應(yīng)用主要是其低成本分布式并行計(jì)算環(huán)境,云計(jì)算的應(yīng)用不僅極大減少了應(yīng)用成本,同時也為海量數(shù)據(jù)挖掘提供更多的解決方案和途徑。
3.2云計(jì)算環(huán)境下的醫(yī)療數(shù)據(jù)挖掘的應(yīng)用
醫(yī)療大數(shù)據(jù)挖掘技術(shù)應(yīng)用主要表現(xiàn)正在臨床決策支持系統(tǒng)、醫(yī)學(xué)圖像挖掘、生物信息學(xué)研究以及促進(jìn)公眾健康等方面。1)數(shù)據(jù)挖掘技術(shù)在臨床決策支持系統(tǒng)的應(yīng)用:云環(huán)境下的數(shù)據(jù)分析、處理技術(shù)得到大幅度提升,這使醫(yī)療數(shù)據(jù)中非結(jié)構(gòu)化數(shù)據(jù)的分析和處理分析是難題(例如圖像分析和識別技術(shù)),對臨床決策支持系統(tǒng)功能的進(jìn)一步優(yōu)化提高系統(tǒng)智能性??梢詾獒t(yī)生對患者的診療提出有效建議,同時也可以將診療醫(yī)生的大部分工作內(nèi)容和時間流向護(hù)理人員,讓醫(yī)生擺脫繁瑣咨詢,有利于規(guī)范醫(yī)療工作流程,提高診療效率。2)醫(yī)學(xué)圖像挖掘:醫(yī)學(xué)圖像時醫(yī)療數(shù)據(jù)的重要組成部分,如今醫(yī)學(xué)圖像在醫(yī)療領(lǐng)域中的應(yīng)用價值越來越高,例如CT、MRI、PET等等影像學(xué)資料為人體各種疾病或者損傷的診斷和治療提供了有效手段。3)生物信息學(xué)-DNA分析:生物學(xué)研究領(lǐng)域開展的基因組計(jì)劃產(chǎn)生了大量的基因組信息,基因信息的識別以及鑒定是基于工程的重要研究內(nèi)容,將高效的數(shù)據(jù)挖掘技術(shù)應(yīng)用于基因工程有利于進(jìn)行基因信息分析,可挖掘潛在的更高價值的信息,為基因工程的研究提供決策支持。4)促進(jìn)公眾健康:利用醫(yī)療大數(shù)據(jù)分析技術(shù)可以對傳染疾病進(jìn)行快速檢測,對疫情的發(fā)展態(tài)勢進(jìn)行實(shí)時監(jiān)測、評估,并在此基礎(chǔ)上提出有效應(yīng)對策略。另外,利用大數(shù)據(jù)挖掘技術(shù)建立可以覆蓋全國的患者電子病歷數(shù)據(jù)庫并及時準(zhǔn)確地提供公眾健康咨詢,提高健康風(fēng)險意識,這將有利于改善公眾健康監(jiān)控,降低傳染病感染率,創(chuàng)造了極大的社會效益。
4結(jié)論
大數(shù)據(jù)時代的到來和發(fā)展,為云計(jì)算的進(jìn)一步應(yīng)用提供了數(shù)據(jù)基礎(chǔ),大數(shù)據(jù)時代背景下的云計(jì)算,是一種動靜狀態(tài)的結(jié)合,云計(jì)算重在計(jì)算,屬于動態(tài),而大數(shù)據(jù)作為計(jì)算對象,屬于靜態(tài)。在實(shí)際應(yīng)用過程中,大數(shù)據(jù)主要強(qiáng)調(diào)信息存儲的能力,而云計(jì)算則注重實(shí)際計(jì)算能力。大數(shù)據(jù)對數(shù)據(jù)處理能力的需求,在某種意義上也是一種計(jì)算能力;而云計(jì)算需要在數(shù)據(jù)的基礎(chǔ)上進(jìn)行計(jì)算,實(shí)際數(shù)據(jù)是其進(jìn)行計(jì)算的前提。云計(jì)算的技術(shù)關(guān)鍵在于“云”,通過集中各個終端的非結(jié)構(gòu)性、分散性的網(wǎng)絡(luò)數(shù)據(jù),在云平臺中進(jìn)行統(tǒng)一處理,利用云平臺中的超大量服務(wù)處理器計(jì)算各種數(shù)據(jù)[2]。云計(jì)算技術(shù)的規(guī)模相對比較大,虛擬性比較強(qiáng),根據(jù)實(shí)際需求提供服務(wù),可靠性比較高。大數(shù)據(jù)與云計(jì)算技術(shù),是一種相互作用的關(guān)系,在大數(shù)據(jù)背景下,海量數(shù)據(jù)的處理,必須依靠云計(jì)算的虛擬化、云存儲、分布式數(shù)據(jù)庫、分布式數(shù)據(jù)處理等技術(shù)來實(shí)現(xiàn)。
2云計(jì)算技術(shù)
(1)分布式文件系統(tǒng)。云計(jì)算中的分布式文件系統(tǒng),是Google公司根據(jù)云計(jì)算處理海量數(shù)據(jù)的過程而設(shè)計(jì)的一個特定系統(tǒng)。一個分布式文件系統(tǒng)的集群,是由一個主節(jié)點(diǎn)與多個從屬節(jié)點(diǎn)共同組成,用戶訪問系統(tǒng)的途徑主要是通過客戶端,利用該系統(tǒng)完成日常的文件處理工作。在云計(jì)算中,大量的數(shù)據(jù)文件被劃分為固定大小的多個數(shù)據(jù)塊,在相應(yīng)的從屬節(jié)點(diǎn)中進(jìn)行存儲,此外,這些數(shù)據(jù)塊也會在多個節(jié)點(diǎn)進(jìn)行備份存儲,避免數(shù)據(jù)丟失等問題。(2)分布式并行數(shù)據(jù)庫。云計(jì)算中的分布式并行數(shù)據(jù)庫的設(shè)計(jì),主要是為大規(guī)模結(jié)構(gòu)化數(shù)據(jù)的管理提供服務(wù),這種分布式的存儲系統(tǒng),能夠?qū)崿F(xiàn)PB級數(shù)據(jù)以及上千臺服務(wù)器的擴(kuò)展。在Google的許多項(xiàng)目中,都有分布式并行數(shù)據(jù)庫的應(yīng)用,而分布式并行數(shù)據(jù)庫在Google項(xiàng)目中的應(yīng)用,在規(guī)模、時延方面的要求也有進(jìn)一步的提高。分布式并行數(shù)據(jù)庫的應(yīng)用,為Google產(chǎn)品提供了高性能、靈活、有效的解決方案。(3)分布式計(jì)算框架。Google公司于2012年推出了分布式計(jì)算框架大數(shù)據(jù)計(jì)算機(jī)技術(shù)處理框架,通過優(yōu)化內(nèi)部數(shù)據(jù)網(wǎng)絡(luò)計(jì)算方式,實(shí)現(xiàn)計(jì)算機(jī)技術(shù)挖掘的革新和計(jì)算機(jī)設(shè)備數(shù)據(jù)海量處理性能的提高。計(jì)算機(jī)的工作水平越高,網(wǎng)絡(luò)環(huán)境的可靠性就會越高。而在計(jì)算機(jī)操作過程中,影響計(jì)算機(jī)網(wǎng)絡(luò)處理速度的因素,主要包括軟件安全問題和硬件配置水平。光纖網(wǎng)絡(luò)的鋪設(shè)情況會對計(jì)算機(jī)網(wǎng)絡(luò)的可靠性帶來直接影響,通過分布式計(jì)算框架大數(shù)據(jù)軟件處理方式的編寫,完成復(fù)雜計(jì)算機(jī)函數(shù)算法的革新工作。
3大數(shù)據(jù)時代背景下云計(jì)算技術(shù)對媒介發(fā)展的影響
三年前,中國電信把大數(shù)據(jù)確定為戰(zhàn)略性的方向,成立了大數(shù)據(jù)運(yùn)營中心,把大數(shù)據(jù)定位成中國電信大數(shù)據(jù)基礎(chǔ)設(shè)施的提供者和大數(shù)據(jù)產(chǎn)品與應(yīng)用的參與者。如今,中國電信形成了三大產(chǎn)品品牌,覆蓋了風(fēng)險防控、精準(zhǔn)營銷以及大數(shù)據(jù)云PaaS平臺,提供了15類子產(chǎn)品,為各類產(chǎn)品均可提品開發(fā)、數(shù)據(jù)分析、精準(zhǔn)營銷和風(fēng)險防護(hù)的能力。
“云計(jì)算與大數(shù)據(jù)息息相關(guān),相輔相成?!敝袊娦殴煞萦邢薰驹朴?jì)算分公司總經(jīng)理吳湘東在接受《通信產(chǎn)業(yè)報》(網(wǎng))記者采訪時表示,“將大數(shù)據(jù)與云計(jì)算深度捆綁,對我們而言多了一個抓手,以云網(wǎng)結(jié)合的基礎(chǔ)設(shè)施為中國電信大數(shù)據(jù)服務(wù)提供支撐?!?/p>
與云計(jì)算深度捆綁
“大數(shù)據(jù)對以往的基礎(chǔ)設(shè)施提出新的要求,全網(wǎng)變得異常重要,突破以往全網(wǎng)計(jì)算、存儲、網(wǎng)絡(luò)一體化的目標(biāo),大數(shù)據(jù)所需的敏捷、可編程等特征,讓我們更多去考慮網(wǎng)絡(luò)支持,形成結(jié)合大數(shù)據(jù)時代的網(wǎng)絡(luò)機(jī)制?!眳窍鏂|表示。
具體而言,大數(shù)據(jù)對基礎(chǔ)設(shè)施的新要求體現(xiàn)在多個方面。首先,變革中的行業(yè)互聯(lián)網(wǎng),要求對原有基礎(chǔ)設(shè)施的升級,實(shí)現(xiàn)平滑的遷移和過渡。新興的IT服務(wù)帶來的最大的難點(diǎn)就是應(yīng)用在平臺間的遷移,帶來成本增加的同時,還不可避免地引入安全問題。其次,應(yīng)用和數(shù)據(jù)特征的多樣性,不同應(yīng)用類型對故障的包容程度都是以往無法想象的:要區(qū)別數(shù)據(jù)熱度,對熱數(shù)據(jù)和冷數(shù)據(jù)的處理要采用不同方法;當(dāng)多種系統(tǒng)集中后,原來某一部分系統(tǒng)要求最嚴(yán)苛的部分,變成了對于整個系統(tǒng)的要求。最后,創(chuàng)意一體化的進(jìn)程在加速,云計(jì)算等技術(shù)能夠帶來成本的降低和效率的提升,進(jìn)一步帶來網(wǎng)絡(luò)升級的要求。
在2015年9月國際電信聯(lián)盟批準(zhǔn)的由中國電信主導(dǎo)的首個大數(shù)據(jù)標(biāo)準(zhǔn)ITU Y.3600中,對大數(shù)據(jù)與云計(jì)算的關(guān)系提出了這樣的定義:大數(shù)據(jù)需要高性能的數(shù)據(jù)處理、分布式存儲以及各種所需的工具來完成上述所提到的大數(shù)據(jù)生態(tài)系統(tǒng),而云計(jì)算則是起到了大數(shù)據(jù)技術(shù)和服務(wù)推動者的作用,工作負(fù)載的突發(fā)性使得云計(jì)算技術(shù)更加適合大數(shù)據(jù)應(yīng)用,基于云計(jì)算的大數(shù)據(jù)生態(tài)系統(tǒng)能夠很有效地支持大數(shù)據(jù),為大數(shù)據(jù)應(yīng)用帶來更多的好處。
與之呼應(yīng),中國電信云計(jì)算公司從2015年起對于云計(jì)算與大數(shù)據(jù)業(yè)務(wù)的發(fā)展做出了重要轉(zhuǎn)變。一方面,規(guī)劃大數(shù)據(jù)PaaS服務(wù),向客戶按需提供大數(shù)據(jù)應(yīng)用所需的計(jì)算、存儲資源以及數(shù)據(jù)匯集、處理、展現(xiàn)等專業(yè)服務(wù),客戶可依據(jù)自身大數(shù)據(jù)應(yīng)用需要租用大數(shù)據(jù)PaaS基礎(chǔ)能力,亦可進(jìn)行大數(shù)據(jù)分析、處理、應(yīng)用的定制化開發(fā)。另一方面,向更多行業(yè)開放數(shù)據(jù)資源,不僅作數(shù)據(jù)提供商,而是作數(shù)據(jù)產(chǎn)品的提供商,在天翼大數(shù)據(jù)品牌下形成了精準(zhǔn)營銷、風(fēng)險防控、區(qū)域洞察、咨詢報告四類數(shù)據(jù)型產(chǎn)品。
“云+CDN”兩大支撐網(wǎng)
前不久,中國電信云計(jì)算公司副總經(jīng)理王興剛在2016年大數(shù)據(jù)產(chǎn)業(yè)峰會上介紹了中國電信最新的大數(shù)據(jù)服務(wù)能力。中國電信利用現(xiàn)有的云、管、端三類數(shù)據(jù)進(jìn)行匯聚,在三年的進(jìn)展中,已經(jīng)匯聚了四門七類數(shù)據(jù)源,形成了每天200TB以上的數(shù)據(jù)處理能力,覆蓋2000臺以上的服務(wù)節(jié)點(diǎn)。
在這樣的服務(wù)能力的背后,是中國電信云計(jì)算資源池的強(qiáng)大支撐。
2015年,為了全面承載“互聯(lián)網(wǎng)+”和“一帶一路”,中國電信改變原來的“4+2”云數(shù)據(jù)中心布局,升級為覆蓋全國的“8+2+X”云資源策略,擁有全國370多個大型的IDC數(shù)據(jù)中心,在內(nèi)蒙古、呼和浩特和貴陽建設(shè)了全國超大型的數(shù)據(jù)中心。
“大規(guī)模云資源的高端互聯(lián)已經(jīng)成為中國電信大數(shù)據(jù)兩大支撐網(wǎng)絡(luò)的一大重要組成部分,而另一部分則是CDN內(nèi)容分發(fā)網(wǎng)絡(luò)。”吳湘東表示,“大數(shù)據(jù)采集等方面的滯后性,使得如何把流量內(nèi)容最終承接過來到最終回送到用戶成為一個大工程。因此中國電信不斷構(gòu)建起來的CDN全網(wǎng)統(tǒng)一的服務(wù)能力成為進(jìn)一步提升大數(shù)據(jù)產(chǎn)品效率與服務(wù)質(zhì)量的關(guān)鍵保證。”
利用這兩大網(wǎng)絡(luò),中國電信實(shí)現(xiàn)大數(shù)據(jù)和云能力的組合,為各個專業(yè)提供了公有云、行業(yè)云、私有云、混合云等各類云服務(wù)能力與大數(shù)據(jù)產(chǎn)品。
全國集約形成“一套體系”
早在2014年,中國電信就把解決數(shù)據(jù)資源整合匯聚、集團(tuán)平臺建設(shè)作為重點(diǎn)戰(zhàn)略。
2015年啟動的中國電信集團(tuán)大數(shù)據(jù)匯聚平臺項(xiàng)目,更是被視為中國電信集團(tuán)實(shí)施大數(shù)據(jù)經(jīng)營戰(zhàn)略所需構(gòu)建的核心軟件平臺項(xiàng)目之一。據(jù)了解,該項(xiàng)目通過采集和一點(diǎn)匯聚集團(tuán)數(shù)據(jù)資源,以實(shí)現(xiàn)中國電信集團(tuán)層面的大數(shù)據(jù)一點(diǎn)集中,面向內(nèi)外部應(yīng)用,提供大數(shù)據(jù)整合和基礎(chǔ)數(shù)據(jù)加工、處理能力,滿足大數(shù)據(jù)對內(nèi)、對外數(shù)據(jù)經(jīng)營的需求。
關(guān)鍵詞:大數(shù)據(jù);云計(jì)算;職業(yè)教育
中圖分類號:G424 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2014)09-1853-01
2012年,聯(lián)合國大數(shù)據(jù)政務(wù)白皮書,提出了各國政府(包括聯(lián)合國在內(nèi))的一個歷史性機(jī)遇:利用豐富的大數(shù)據(jù)對社會經(jīng)濟(jì)做出具體的分析,幫助政府更好的運(yùn)行經(jīng)濟(jì)服務(wù)社會。同年,奧巴馬在美國白宮宣布將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志,將大數(shù)據(jù)定義為“未來的新石油”并加大投資拉動相關(guān)產(chǎn)業(yè)。2013年12月5日-5日,由中國計(jì)算機(jī)學(xué)會主辦,中國CCF大數(shù)據(jù)專家委員會承辦的主題為“應(yīng)用驅(qū)動的架構(gòu)與技術(shù)”的中國大數(shù)據(jù)技術(shù)大會,這次大會成為大數(shù)據(jù)技術(shù)與應(yīng)用深度結(jié)合的新起點(diǎn),成為產(chǎn)業(yè)界、科技界與政府部門密切合作的新平臺,進(jìn)一步推動我國大數(shù)據(jù)的產(chǎn)學(xué)研。2014年3月1日,在北京舉行的貴州?北京大數(shù)據(jù)產(chǎn)業(yè)推介會上,貴州共獲投730.2億元用于大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,這一偉大的壯舉將全面推動貴州互聯(lián)網(wǎng),網(wǎng)絡(luò)營銷發(fā)展進(jìn)而影響貴州經(jīng)濟(jì)發(fā)展。百年大計(jì),教育為本,在貴州“后發(fā)趕超,跨越發(fā)展”的過程中,教育的改善提升成了社會發(fā)展步伐是否穩(wěn)健的重心,隨著大數(shù)據(jù)的到來,貴州的教育正張開騰飛的羽翼迎接新一輪的跨越趕超,貴州在全國率先完成中小學(xué)生學(xué)習(xí)信息管理系統(tǒng),學(xué)生學(xué)籍信息入庫。為加快推進(jìn)職業(yè)人才培養(yǎng)體系建設(shè),促進(jìn)經(jīng)濟(jì)工作穩(wěn)定快速發(fā)展,省教育廳、人社廳等多家單位攜手并進(jìn),聯(lián)合出臺了加快職業(yè)人才教育培養(yǎng)的實(shí)施方案,以貴陽為中心,打造職業(yè)教育核心發(fā)展區(qū),規(guī)劃高職辦學(xué)規(guī)模達(dá)到25萬人,為貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提供充足的人才保障,建成具有貴州特色的現(xiàn)代職業(yè)教育體系。在大數(shù)據(jù)背景的前提下,貴州的職業(yè)教育發(fā)展將踏上更加非凡和精彩的跨越之旅。
1 大數(shù)據(jù)、云計(jì)算簡介
麥肯錫公司在2011年了一個前沿領(lǐng)域的研究:大數(shù)據(jù)。雖然到現(xiàn)在為止沒有一個明確的定義,但是,大數(shù)據(jù)不是海量數(shù)據(jù)的表面理解,具有數(shù)據(jù)體量巨大,數(shù)據(jù)類型繁多,價值密度低,處理速度快等特點(diǎn)。 “云計(jì)算是通過網(wǎng)絡(luò)提供可伸縮的廉價的分布式計(jì)算能力”。云計(jì)算代表了以虛擬化技術(shù)為核心、以低成本為目標(biāo)的動態(tài)可擴(kuò)展網(wǎng)絡(luò)應(yīng)用基礎(chǔ)設(shè)施,是近幾年來最有代表性的網(wǎng)絡(luò)計(jì)算技術(shù)與模式。從技術(shù)上看,大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。
2 高職院校大數(shù)據(jù)條件下云計(jì)算的應(yīng)用
云計(jì)算的應(yīng)用使得高校在信息工具化的時代能夠脫離原始的“信息孤島”現(xiàn)象,集中了原本分散的國內(nèi)及世界的教育資源,讓社會與學(xué)校,學(xué)校與教師,教師與學(xué)生之間有了更深的互動和相互帶動,把社會各行各業(yè)對教育有利的資源通過計(jì)算機(jī)與網(wǎng)絡(luò)終端帶動教育的發(fā)展。高職教育與傳統(tǒng)的本科教育不同,重點(diǎn)是培養(yǎng)學(xué)生的實(shí)際操作能力,通過資源庫的分析和選取并優(yōu)化應(yīng)用,可以提高高職教育的目標(biāo)性。
2.1 依據(jù)社會人才需求信息,調(diào)整專業(yè)設(shè)置
目前的社會公開招聘信息都是通過互聯(lián)網(wǎng)至少在全國范圍內(nèi)進(jìn)行公開招考的,近幾年,百度等各大網(wǎng)站都可以輕易的分析出
招聘的條件和專業(yè)。各大中型企業(yè)招聘的專業(yè)類型等都可以通過數(shù)據(jù)提取,數(shù)據(jù)分析得到各專業(yè)的需求狀況,通過這些計(jì)算、分析這些大數(shù)據(jù),可以適當(dāng)迅速的調(diào)整專業(yè)設(shè)置和專業(yè)學(xué)習(xí)計(jì)劃,以適應(yīng)信息瞬息萬變的時代需求。
2.2 利用數(shù)據(jù)庫優(yōu)秀教育資源,提高教學(xué)效果
近年來,各大高校,職院都在進(jìn)行重點(diǎn)專業(yè)的課改工作,很多優(yōu)秀的課程教學(xué)視頻和配套資源等上網(wǎng),通過相關(guān)網(wǎng)站對教育資源的數(shù)據(jù)進(jìn)行搜索,在相應(yīng)的學(xué)院,教研室,進(jìn)行數(shù)據(jù)的分析和研討,經(jīng)過相應(yīng)的更改后可以直接應(yīng)用我們的教學(xué)和管理中,可以充分吸取網(wǎng)絡(luò)教育資源的精華,變成自己教學(xué)工作進(jìn)步的工具。
2.3 充分利用電子圖書館,擴(kuò)展“校企合作”的形式
貴州是教育相對落后的地區(qū),首先,經(jīng)濟(jì)基礎(chǔ)決定上層建筑,資金配套的硬件措施是制
約學(xué)校教學(xué)工作前進(jìn)的橋梁,近幾年,國家的西部發(fā)展計(jì)劃和貴州省對教育尤其是職業(yè)教育的大力支持,使得,學(xué)校的教學(xué)環(huán)境有了很大的改善,很多學(xué)校都配套修建了電子圖書館和電子信息實(shí)訓(xùn)室?!靶F蠛献鳌笔紫仍诎l(fā)達(dá)地區(qū)開展,在貴州,合作項(xiàng)目近三年才開始試行,以貴州職業(yè)技術(shù)學(xué)院為例,2012年,由政府搭臺的“中興網(wǎng)絡(luò)學(xué)院”項(xiàng)目達(dá)成協(xié)議,中興在貴州職院第一次投入一千萬元建立實(shí)訓(xùn)室并開始招生,除了學(xué)校教學(xué)計(jì)劃必須完成的課程外,中興選派有實(shí)戰(zhàn)經(jīng)驗(yàn)的一線老師加強(qiáng)學(xué)生實(shí)訓(xùn)的教學(xué)和指導(dǎo),讓學(xué)生更深入的練習(xí)自己的職業(yè)技能,除了學(xué)習(xí)學(xué)校扎實(shí)的基礎(chǔ)理論,更吸收了中興企業(yè)信息化的優(yōu)勢。
3 高職教改的新方向
面向大數(shù)據(jù)的云計(jì)算主要是為學(xué)院提供基于云架構(gòu)的知識、信息的存貯,但對于這些數(shù)據(jù)的科學(xué)性分析和研究并不完備,尤其是職業(yè)院校需要的不僅僅是可以相對容易驗(yàn)證真理的理論知識,主要是一線的先進(jìn)生產(chǎn)力和技術(shù)的學(xué)習(xí)和研究資料,所以認(rèn)真學(xué)習(xí)和研究大數(shù)據(jù)的處理方式,將是未來高職在大數(shù)據(jù)方面的發(fā)展新方向,當(dāng)然事物兩面性的原則,大數(shù)據(jù)的網(wǎng)絡(luò)環(huán)境也為學(xué)院的發(fā)展帶來負(fù)面的影響,比如,隨處可見的傳感器和攝像頭等,都可能會泄露學(xué)校和學(xué)生的私人隱私信息,暴露學(xué)校的科研痕跡和學(xué)生的行蹤軌跡,從而對學(xué)生的個人安全等起到威脅作用,所以,隱私信息保護(hù)系統(tǒng)也是當(dāng)下研究的熱點(diǎn)問題。
一、大數(shù)據(jù)背景下會計(jì)數(shù)據(jù)具有較強(qiáng)的特殊性
首先,會計(jì)數(shù)據(jù)的粘合性、無形性比較突出。會計(jì)數(shù)據(jù)的類型比較復(fù)雜,并且都是直接的黏合在相應(yīng)的業(yè)務(wù)數(shù)據(jù)之中,不能獨(dú)立于業(yè)務(wù)數(shù)據(jù)而存在。會計(jì)數(shù)據(jù)收集及處理工作雖然相對簡單,但要求其具備較高的準(zhǔn)確度,信息量較大而且輸出極為頻繁,輸出的形式也呈現(xiàn)出多樣化的特點(diǎn),這些因素的存在都使得會計(jì)數(shù)據(jù)表現(xiàn)出了較強(qiáng)的黏合性以及無形性的特點(diǎn)。
其次,會計(jì)數(shù)據(jù)面臨著嚴(yán)重的安全威脅。由于會計(jì)數(shù)據(jù)的存儲需要云環(huán)境的支持,因而安全性、完整性難以得到較好的保障。據(jù)統(tǒng)計(jì),目前大約有70%的企業(yè)都不愿意將會計(jì)數(shù)據(jù)的相關(guān)信息存儲在云環(huán)境之下,擔(dān)心會泄露企業(yè)的會計(jì)數(shù)據(jù),造成企業(yè)的巨大損失。
再次,在大數(shù)據(jù)的背景下,企業(yè)更關(guān)注會計(jì)數(shù)據(jù)的分析結(jié)果。在小數(shù)據(jù)的時代之中因?yàn)樾畔⒈容^貧乏,因而對數(shù)據(jù)準(zhǔn)確度的要求更高。而在大數(shù)據(jù)的影響下,某個會計(jì)數(shù)據(jù)的精準(zhǔn)度并不會影響整個會計(jì)數(shù)據(jù)的分析。大數(shù)據(jù)下進(jìn)行會計(jì)數(shù)據(jù)的分析所帶來的收益明顯要比小數(shù)據(jù)下注重?cái)?shù)據(jù)精確度帶來的獲得的收益多。
二、大數(shù)據(jù)下云會計(jì)的主要特征
(一)能夠及時獲取所需的會計(jì)數(shù)據(jù)
在大數(shù)據(jù)環(huán)境中,企業(yè)所需的會計(jì)數(shù)據(jù)借助網(wǎng)絡(luò)在相應(yīng)的云計(jì)算平臺就可以取得,而且比較快捷、簡單、方便,能夠較好的對會計(jì)信息進(jìn)行移動管理,并實(shí)現(xiàn)會計(jì)信息的共享。除此以外,實(shí)行異地辦公的會計(jì)人員還可以通過平臺隨時隨地的完成對會計(jì)業(yè)務(wù)的處理,打破空間、時間對其的限制,及時的、有效的做出科學(xué)的決策。
(二)空間分離的現(xiàn)象普遍存在
大數(shù)據(jù)下的會計(jì)數(shù)據(jù)與信息并不是存儲在企業(yè)歸屬地的計(jì)算機(jī)中,而是存儲在云儲存的平臺上或者互聯(lián)網(wǎng)的相關(guān)數(shù)據(jù)中心,因而導(dǎo)致企業(yè)存儲的會計(jì)數(shù)據(jù)與企業(yè)物理位置的空間分離[2]。在大數(shù)據(jù)背景下,只需通過網(wǎng)絡(luò)進(jìn)入到云會計(jì)系統(tǒng)中就可以獲得會計(jì)信息,并不受空間的限制。在大數(shù)據(jù)的影響下,會計(jì)數(shù)據(jù)的主要形式發(fā)生了巨大的變化,由原先的結(jié)構(gòu)為主的數(shù)據(jù)轉(zhuǎn)化成了非結(jié)構(gòu)為主的數(shù)據(jù),如圖像以及文檔等。
(三)高度重視會計(jì)數(shù)據(jù)及信息的相關(guān)性
大數(shù)據(jù)下進(jìn)行會計(jì)數(shù)據(jù)分析的目的是通過對其相關(guān)性的分析以對企業(yè)經(jīng)濟(jì)事項(xiàng)的主要發(fā)展趨勢進(jìn)行有效的、合理的預(yù)測,并不是分析其經(jīng)濟(jì)事項(xiàng)出現(xiàn)的原因。相比之下,小數(shù)據(jù)下的云會計(jì)更注重會計(jì)數(shù)據(jù)對企業(yè)經(jīng)營成效、資金流向以及財(cái)務(wù)狀況的反映,而大數(shù)據(jù)的云會計(jì)則關(guān)注對會計(jì)數(shù)據(jù)及信息的結(jié)果分析,并與企業(yè)產(chǎn)品研發(fā)、產(chǎn)品供應(yīng)與銷售、發(fā)展規(guī)劃等緊密聯(lián)系起來,從而保證企業(yè)的綜合競爭力得到不斷的提高。
三、大數(shù)據(jù)背景下云會計(jì)的有效應(yīng)用
(一)云會計(jì)在企業(yè)信息化發(fā)展建設(shè)中的應(yīng)用
大數(shù)據(jù)背景下,云會計(jì)在企業(yè)信息化發(fā)展建設(shè)中的應(yīng)用比較廣泛。企業(yè)云會計(jì)的信息化處理平臺中的運(yùn)算資源主要部署在平臺的云端,使得企業(yè)全部會計(jì)信息分析與處理的需要都可在云會計(jì)的計(jì)算平臺中得到響應(yīng)。云會計(jì)的信息化處理平臺通過聯(lián)網(wǎng)的控制,可以較好的保持與會計(jì)準(zhǔn)則的一致性,還可以更好更快的實(shí)現(xiàn)銀行對賬、網(wǎng)上交易以及網(wǎng)上報稅等會計(jì)信息的系統(tǒng)化集成,為大數(shù)據(jù)背景下企業(yè)信息化發(fā)展建設(shè)外部協(xié)同的實(shí)現(xiàn)提供可靠保障。此外,云會計(jì)還能夠?qū)ζ髽I(yè)的財(cái)務(wù)核算給予有效的實(shí)時控制,促進(jìn)企業(yè)所需財(cái)務(wù)數(shù)據(jù)的及時生成,并實(shí)現(xiàn)企業(yè)財(cái)務(wù)信息的共享與同步。
(二)云會計(jì)在企業(yè)財(cái)務(wù)會計(jì)流程重構(gòu)中的應(yīng)用
將云會計(jì)科學(xué)合理的應(yīng)用到企業(yè)財(cái)務(wù)會計(jì)流程的重構(gòu)中,能夠使企業(yè)的財(cái)務(wù)規(guī)劃得以順利的、有序的實(shí)施。在大數(shù)據(jù)之下,通過云計(jì)算處理系統(tǒng)的支持,企業(yè)將會計(jì)數(shù)據(jù)存儲到云中,相應(yīng)的業(yè)務(wù)流程還可以將合同的生成、業(yè)務(wù)的記錄、產(chǎn)品購銷成本等信息存儲至云端,并自行進(jìn)行運(yùn)算,形成準(zhǔn)確的報表及各項(xiàng)數(shù)據(jù)指標(biāo),稅務(wù)部門或企業(yè)管理層等協(xié)同部門亦可以共享云計(jì)算處理系統(tǒng)中的各類數(shù)據(jù),以充分滿足自身的需要。對云計(jì)算進(jìn)行科學(xué)有效的應(yīng)用,可以使企業(yè)的管理層在重構(gòu)以上財(cái)務(wù)會計(jì)流程的同時,促使企業(yè)的發(fā)展戰(zhàn)略、財(cái)務(wù)會計(jì)戰(zhàn)略得到較好的實(shí)現(xiàn),進(jìn)而增加企業(yè)的市場份額,促進(jìn)企業(yè)的長遠(yuǎn)發(fā)展。
(三)云會計(jì)在企業(yè)會計(jì)成本核算系統(tǒng)中的應(yīng)用
關(guān)鍵詞:計(jì)算機(jī)工程,云環(huán)境,大數(shù)據(jù),信息安全
信息化建設(shè)速度不斷加快,計(jì)算機(jī)信息技術(shù)的應(yīng)用也越來越廣泛,要能夠在保證技術(shù)水平提升的同時,還要能夠正確的處理數(shù)據(jù),擴(kuò)大計(jì)算機(jī)處理技術(shù)的應(yīng)用范圍。所以,就需要能夠合理分析計(jì)算機(jī)處理技術(shù),以此來滿足云環(huán)境下發(fā)展需求
1大數(shù)據(jù)和計(jì)算機(jī)處理技術(shù)的特點(diǎn)
大數(shù)據(jù)技術(shù)。在人們生活、生產(chǎn)中所產(chǎn)生的數(shù)據(jù)較多,利用網(wǎng)絡(luò)來進(jìn)行整合和分析,進(jìn)而推動大數(shù)據(jù)的出現(xiàn)。以往人們的技術(shù)使得數(shù)據(jù)的,使用率較低,那么隨著當(dāng)前不斷發(fā)展互聯(lián)網(wǎng)得到廣泛應(yīng)用,人們的需求也在一定程度上得到滿足,知識需求的不斷增加,使得對于人們的生活和工作都產(chǎn)生較大的影響[1]。在這種情況下,大數(shù)據(jù)在各個行業(yè)都有很好的體現(xiàn),在計(jì)算機(jī)處理技術(shù)的幫助下,來更好地提高工作效率,推動自身更好向前發(fā)展。計(jì)算機(jī)處理技術(shù)。在人們的生活、工作中計(jì)算機(jī)得到廣泛應(yīng)用,在硬件上能夠給予支持,通過對計(jì)算機(jī)處理技術(shù)的應(yīng)用,還能夠更好的整合各類技術(shù),以此來為人們的生活、工作打下良好基礎(chǔ)。與此同時,計(jì)算機(jī)處理技術(shù)的涉及內(nèi)容也比較多,利用計(jì)算機(jī)為基礎(chǔ),對各類技術(shù)進(jìn)行綜合利用[2]。在當(dāng)前社會發(fā)展中,能夠很好地結(jié)合人與計(jì)算機(jī)軟硬件系統(tǒng),推動大數(shù)據(jù)向前發(fā)展,有效地提高人們的工作效率。通過對儲存方法的優(yōu)化,能夠及時輸入信息保存在計(jì)算機(jī)中。
2大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)的狀況
在云環(huán)境下,大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)的發(fā)展推動社會建設(shè),并且在當(dāng)前已經(jīng)成為社會發(fā)展的重要技術(shù),不僅能夠?yàn)槠涮峁┏渥愕男畔①Y源,而且還能夠更好的保證國家信息安全,為國家穩(wěn)定發(fā)展打下良好基礎(chǔ)[3]。以往在處理信息上都是人工操作的方法,這種方法不僅影響管理,而且還無法保證信息的安全。而在云環(huán)境下,計(jì)算機(jī)處理技術(shù)的應(yīng)用則是能很好地解決這一問題,優(yōu)化操作,還能夠?qū)崿F(xiàn)數(shù)據(jù)的共享,從而有針對性地進(jìn)行搜索和處理,有效提高數(shù)據(jù)的查詢速度,而且還不會受到外界因素的影響。云環(huán)境下計(jì)算機(jī)處理技術(shù)的問題。(1)處理層次低。當(dāng)前大多數(shù)計(jì)算機(jī)處理信息都沒有合理應(yīng)用大數(shù)據(jù)和云計(jì)算技術(shù),而且還會受到不同用戶主機(jī)的影響,導(dǎo)致數(shù)據(jù)不能夠?qū)崿F(xiàn)共享[4]。僅僅依靠拷貝、核算的方法,并不能夠滿足信息處理和儲存需求,而且還不能夠?qū)崿F(xiàn)跨區(qū)域傳播,這樣就無法滿足用戶數(shù)據(jù)運(yùn)行和管理需求。(2)服務(wù)能力有限。因?yàn)橛?jì)算機(jī)中的數(shù)據(jù)較多,所以在這其中有著一定的無用數(shù)據(jù)。那么,在積極開展數(shù)據(jù)采集、傳輸上,就應(yīng)該能夠先對數(shù)據(jù)加以處理,去除其中無用數(shù)據(jù),并且要能夠?qū)?shù)據(jù)進(jìn)行轉(zhuǎn)化,這樣才能更好地滿足不同用戶的實(shí)際需求。但在這其中依然還是有著一些問題,數(shù)據(jù)信息不能夠?qū)崿F(xiàn)服務(wù)功能,無法為其提供共享、支持等作用[5]。因此,針對數(shù)據(jù)的二次加工則成為當(dāng)前研究的重點(diǎn),也是處理計(jì)算機(jī)數(shù)據(jù)資源的重要問題,要能夠積極優(yōu)化大數(shù)據(jù)信息處理技術(shù)來對其進(jìn)行管理。(3)傳輸安全性有待完善。因?yàn)榛ヂ?lián)網(wǎng)信息的開放性特點(diǎn),所以用戶在訪問的時候并不會受到限制,這樣就可能會面臨外部的影響,例如出現(xiàn)數(shù)據(jù)泄露、丟失等問題。此外,在處理計(jì)算機(jī)數(shù)據(jù)過程中,還會留有瀏覽痕跡,或者是系統(tǒng)自身感染病毒。因此,計(jì)算機(jī)處理技術(shù)的安全性,則是能夠更好保證數(shù)據(jù)處理、傳輸順利完成的關(guān)進(jìn)。通過對大數(shù)據(jù)云計(jì)算控制模板的應(yīng)用,以此來更好地提高數(shù)據(jù)的處理和加密操作,這樣才能有效修復(fù)漏洞,保證數(shù)據(jù)安全。
3云環(huán)境與大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)
(1)信息采集加工。因?yàn)閿?shù)據(jù)資源龐大,所以針對需要收集和整理的信息較多,這就需要積極地利用計(jì)算機(jī)處理技術(shù)來對數(shù)據(jù)進(jìn)行查找和整理,以此來更好地提高數(shù)據(jù)的處理速度,實(shí)現(xiàn)對計(jì)算機(jī)信息的有效整合[6]。與此同時,通過對技術(shù)的有效處理,還能夠改變以往傳統(tǒng)處理上的問題,能夠利用相應(yīng)的軟件來分析和加工數(shù)據(jù),并實(shí)現(xiàn)傳輸數(shù)據(jù)。在云環(huán)境下,大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)的應(yīng)用較為多元化,能夠?qū)⒂杏脭?shù)據(jù)傳輸?shù)较鄳?yīng)的地方,從而更好地發(fā)揮自身的價值。(2)信息存儲技術(shù)。計(jì)算機(jī)網(wǎng)絡(luò)信息中的數(shù)據(jù)種類多,例如圖片、視頻等等,那么在完成收集后,針對數(shù)據(jù)的儲存需要加以重視。因此,在云環(huán)境下大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)就能夠很好的分析和整理數(shù)據(jù),進(jìn)而來有效的保證數(shù)據(jù)的安全。為了能夠滿足儲存要求,就需要從計(jì)算機(jī)自身實(shí)際情況出發(fā),積極的分析和運(yùn)用合理的儲存技術(shù),以此來更好的保證信息儲存的完整和安全。在這其中云環(huán)境下的云技術(shù)能夠有效提高儲存效率,而且還能夠?qū)崿F(xiàn)對信息的整合和收集,在相應(yīng)服務(wù)器的幫助下,實(shí)現(xiàn)對數(shù)據(jù)的處理,有效的解決以往在信息儲存上存在的問題,有效提高數(shù)據(jù)儲存效率。(3)云技術(shù)。隨著當(dāng)前信息化建設(shè)速度的不斷加快,將數(shù)據(jù)有效集中,進(jìn)而來確保計(jì)算機(jī)的穩(wěn)定運(yùn)行。與此同時,針對人們針對計(jì)算機(jī)的要求也越來越高,所以就需要能夠在這種情況下積極的為其匹配相應(yīng)的硬件。在云環(huán)境下,大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)也需要積極更新,最終發(fā)展成云數(shù)據(jù)。傳統(tǒng)的計(jì)算機(jī)已經(jīng)無法滿足當(dāng)前發(fā)展需求,通過對云數(shù)據(jù)的合理應(yīng)用,則是能夠滿足數(shù)據(jù)儲存要求,而且能夠幫助計(jì)算機(jī)更加高效的處理信息,為企業(yè)發(fā)展提供幫助[7-10]。這種技術(shù)的儲存空間較大,能夠很好地提高計(jì)算機(jī)的工作效率,有效的解決以往效率不高的問題。云計(jì)算的發(fā)展能夠讓計(jì)算機(jī)處理技術(shù)更好應(yīng)用,有效的保證工作效率。(4)信息安全技術(shù)。在計(jì)算機(jī)處理技術(shù)中,為了能夠更好地保證數(shù)據(jù)的安全,則是需要能夠積極地建立信息安全體系,配備相應(yīng)資金和人員,以此來為計(jì)算機(jī)安全體系的發(fā)展提供幫助。同時,需要能夠積極研究計(jì)算機(jī)安全技術(shù)相關(guān)產(chǎn)品,從而找到能夠更好為人們服務(wù)的產(chǎn)品,還應(yīng)該積極了解在數(shù)據(jù)運(yùn)行中所存在的問題,更好的保證產(chǎn)品的安全。積極審要數(shù)據(jù),以此高效、快速地整合和查詢數(shù)據(jù),針對重點(diǎn)數(shù)據(jù)要能夠深入分析,這樣才能夠更好地提高大數(shù)據(jù)處理技術(shù)的安全,還能夠推動大數(shù)據(jù)計(jì)算機(jī)處理技術(shù)更好向前發(fā)展。
4結(jié)語
在云環(huán)境下,大數(shù)據(jù)計(jì)算機(jī)處理及時必須要積極更新,要能夠迎合時展來不斷完善,這樣才能夠更好地推動互聯(lián)網(wǎng)向前發(fā)展,有效的為人們服務(wù),滿足人們的不同需求。在這其中必須要能夠保證數(shù)據(jù)的安全,要能夠合理地應(yīng)用信息儲存技術(shù),提高信息傳輸效率,并在采集和加工上能夠加以重視,以此來確保信息安全、完整,這樣才能夠讓大數(shù)據(jù)更好地發(fā)揮作用,為各個行業(yè)建設(shè)和發(fā)展提供幫助,推動我國更好向前發(fā)展。
參考文獻(xiàn)
[1]劉顏顏.大數(shù)據(jù)時代背景下計(jì)算機(jī)信息處理技術(shù)分析[J].浙江水利水電學(xué)院學(xué)報,2019,31(05):77-81.
[2]陳張榮.“大數(shù)據(jù)”時代的計(jì)算機(jī)信息處理技術(shù)研究[J].黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報,2016,29(03):23-25.
[3]毛鵬飛.大數(shù)據(jù)時代下計(jì)算機(jī)信息處理技術(shù)分析與思考[J].西南科技大學(xué)學(xué)報,2019,34(02):98-101.
[4]羅田琪.大數(shù)據(jù)時代背景下計(jì)算機(jī)信息處理技術(shù)的分析[J].電子元器件與信息技術(shù),2021,5(01):64-65.
[5]孫海燕,冶棟玉,曹娟.淺談“大數(shù)據(jù)”時代背景下計(jì)算機(jī)信息處理技術(shù)[J].信息系統(tǒng)工程,2016(04):112.
[6]吳恩生,王桂梅.大數(shù)據(jù)時代計(jì)算機(jī)信息處理技術(shù)分析[J].江蘇科技信息,2015(12):63-65.
[7]詹少強(qiáng).基于“大數(shù)據(jù)”時代剖析計(jì)算機(jī)信息處理技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2014(08):49-50.
[8]陳張榮.“大數(shù)據(jù)”時代的計(jì)算機(jī)信息處理技術(shù)研究[J].黑龍江生態(tài)工程職業(yè)學(xué)院學(xué)報,2016,29(03):23-25.
[9]毛鵬飛.大數(shù)據(jù)時代下計(jì)算機(jī)信息處理技術(shù)分析與思考[J].西南科技大學(xué)學(xué)報,2019,34(02):98-101.
關(guān)鍵詞: 大數(shù)據(jù); 4V特征; Hadoop; 云計(jì)算
中圖分類號:TP391 文獻(xiàn)標(biāo)志碼:A 文章編號:1006-8228(2015)01-13-02
Overview on big data technology
Yang Jing
(Department of Computer Science, Yunyang Teachers' College, Shiyan, Hubei 442000, China)
Abstract: Big data is a new technical wave after the network of things and cloud computing. To understand big data technology, the definition and 4V characteristics, the key technologies and main application fields are systematically analyzed in the paper. Through the introduction of the basic conception, characteristics, the main application fields with typical cases are summarized. The core technologies, key strategies of cloud computing, hadoop and data backup are analyzed. The potential information safety risks are pointed out. The countermeasures are given to provide some suggestions and references for wider application and study in the future.
Key words: big data; 4V characteristics; Hadoop; cloud computing
0 引言
物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)的迅速發(fā)展開啟了大數(shù)據(jù)時代的帷幕。大數(shù)據(jù)技術(shù)是指從各種各樣的海量數(shù)據(jù)中,快速獲取有價值信息的技術(shù),大數(shù)據(jù)的核心問題就是大數(shù)據(jù)技術(shù)。目前所說的“大數(shù)據(jù)”不僅指數(shù)據(jù)本身的規(guī)模大,還包括采集數(shù)據(jù)的工具、平臺和數(shù)據(jù)分析系統(tǒng)復(fù)雜程度大。大數(shù)據(jù)的研發(fā)目的是發(fā)展大數(shù)據(jù)技術(shù)并將其應(yīng)用到相關(guān)領(lǐng)域,解決實(shí)際生產(chǎn)、生活中的各種問題,從而推動信息技術(shù)健康地可持續(xù)發(fā)展。
1 大數(shù)據(jù)的定義及主要特征
與其他新興學(xué)科一樣,目前大數(shù)據(jù)沒有一個統(tǒng)一的標(biāo)準(zhǔn)和定義。一般認(rèn)為:大數(shù)據(jù)是由大量異構(gòu)數(shù)據(jù)組成的數(shù)據(jù)集合,可以應(yīng)用合理的數(shù)學(xué)算法或工具從中找出有價值的信息,并為人們帶來經(jīng)濟(jì)及社會效益的一門新興學(xué)科。大數(shù)據(jù)又被稱為海量數(shù)據(jù)、大資料、巨量數(shù)據(jù)等,指的是所涉及的數(shù)據(jù)量規(guī)模巨大,以至于無法在合理時間內(nèi)通過人工攫取、管理、處理并整理成為人類所能解讀的信息。這些數(shù)據(jù)來自方方面面,比如社交網(wǎng)絡(luò)、傳感器采集、安防監(jiān)控視頻、購物交易記錄等。盡管尚無統(tǒng)一定義,但這些無比龐大的數(shù)據(jù)被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下4V特性[1]:
⑴ 體量Volume,是指數(shù)據(jù)存儲量大,計(jì)算量大;
⑵ 多樣Variety,是指大數(shù)據(jù)的異構(gòu)和多樣性,比如數(shù)據(jù)來源豐富,數(shù)據(jù)格式包括多種不同形式,如網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等;
⑶ 價值Value,是指大數(shù)據(jù)價值密度相對較低,信息海量,但是要挖掘出真正有價值的數(shù)據(jù)難度較大,浪里淘沙卻又彌足珍貴;
⑷ 速度Velocity,是指數(shù)據(jù)增長速度快,處理速度要求快。
2 大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域
通過對海量數(shù)據(jù)進(jìn)行采集、分析與處理,挖掘出潛藏在數(shù)據(jù)海洋里的稀疏但卻彌足珍貴的信息,大數(shù)據(jù)技術(shù)正在對經(jīng)濟(jì)建設(shè)、醫(yī)療教育、科學(xué)研究等領(lǐng)域產(chǎn)生著革命性的影響,其所帶來的巨大使用價值正逐漸被各行各業(yè)的人們所感知。
2.1 金融領(lǐng)域
大數(shù)據(jù)的火熱應(yīng)用突出體現(xiàn)在金融業(yè),各大互聯(lián)網(wǎng)企業(yè)(谷歌、阿里巴巴等)紛紛掘金大數(shù)據(jù),開創(chuàng)了新的互聯(lián)網(wǎng)金融模式。目前阿里巴巴的互聯(lián)網(wǎng)金融做得如火如荼:基金、小額信貸、余額寶和理財(cái)保險產(chǎn)品等等,阿里巴巴之所以能夠做火金融服務(wù),其主要原因就在于阿里的大數(shù)據(jù),阿里巴巴的電商平臺存儲了大量微小企業(yè)客戶及數(shù)以億計(jì)的個人用戶行為信息、交易記錄、身份數(shù)據(jù)等,擁有最好、最全的數(shù)據(jù)以及最完整的產(chǎn)業(yè)鏈,做P2P及個人小額信貸,具有最大優(yōu)勢[2]。相反,傳統(tǒng)商業(yè)銀行早期就已推出的小額信貸業(yè)務(wù),開展得并不十分順利。
2.2 市場營銷
今天的數(shù)字化營銷與傳統(tǒng)市場營銷最大的區(qū)別就在于精準(zhǔn)定位及個性化。如今企業(yè)與客戶的交流渠道發(fā)生了革命性的變化,從過去的電話及郵件,發(fā)展到今天的博客、論壇、社交媒體賬戶等,從這些五花八門的渠道里跟蹤客戶,將他們的每一次點(diǎn)擊、加好友、收藏、轉(zhuǎn)發(fā)、分享等行為納入到企業(yè)的銷售漏斗中并轉(zhuǎn)化成一項(xiàng)巨大的潛在價值,就是所謂的360度客戶視角。例如谷歌的銷售策略主要著眼于在線的免費(fèi)軟件,用戶使用這些軟件時,無形中就把個人的喜好、消費(fèi)習(xí)慣等重要信息提交給了谷歌,因此谷歌的產(chǎn)品線越豐富,他們對用戶的理解就越深入,其廣告定位就越精準(zhǔn),廣告所攫取的價值就越高,這是正向的循環(huán)。
2.3 公眾服務(wù)
大數(shù)據(jù)的另一大應(yīng)用領(lǐng)域是公眾服務(wù)。如今數(shù)據(jù)挖掘已經(jīng)能夠預(yù)測海嘯、地震、疾病暴發(fā),理解交通模型并改善醫(yī)療和教育等。例如,可采用神經(jīng)網(wǎng)絡(luò)和基于地震時間序列的支持向量機(jī)方法來預(yù)測地震的大概方位、時間、震級大小等重要信息,為通用地震模擬程序提供關(guān)鍵的數(shù)據(jù),從而對地震進(jìn)行早期預(yù)警,以使防震抗災(zāi)部門可以提前做好應(yīng)對措施,避免大量的人員傷亡及財(cái)產(chǎn)損失;再如,將各個省市的城鎮(zhèn)醫(yī)療系統(tǒng)、新農(nóng)村合作醫(yī)療系統(tǒng)等全部整合起來,建立通用的電子病歷等基礎(chǔ)數(shù)據(jù)庫,實(shí)現(xiàn)醫(yī)院之間對病患信息的共享,提高患者就醫(yī)效率[3];電力管理系統(tǒng)通過記錄人們的用電行為信息(做飯、照明、取暖等),大數(shù)據(jù)智能電網(wǎng)就能實(shí)現(xiàn)優(yōu)化電的生產(chǎn)、分配及電網(wǎng)安全檢測與控制,包括大災(zāi)難預(yù)警與處理、供電與電力調(diào)度決策支持和更準(zhǔn)確的用電量預(yù)測等,并通過數(shù)據(jù)挖掘技術(shù)找出可行的節(jié)能降耗措施,以實(shí)現(xiàn)更科學(xué)的電力需求分配管理。
2.4 安防領(lǐng)域
安防領(lǐng)域中最重要的就是視頻監(jiān)控系統(tǒng),從早期看得見到現(xiàn)在看得遠(yuǎn)、看得清,視頻監(jiān)控是典型的數(shù)據(jù)依賴型業(yè)務(wù),依賴數(shù)據(jù)說話。尤其是高清、超高清監(jiān)控時代的到來,會產(chǎn)生巨量的視頻數(shù)據(jù)。這些巨量視頻監(jiān)控?cái)?shù)據(jù)中,多數(shù)是冗余無用的,只有少數(shù)是關(guān)鍵數(shù)據(jù),如何剔除這些無用數(shù)據(jù),一直是人們研究問題的焦點(diǎn)。在大數(shù)據(jù)技術(shù)的支撐下,通過對巨量視頻數(shù)據(jù)的分析與處理,可實(shí)現(xiàn)模糊查詢、精準(zhǔn)定位、快速檢索等,能夠?qū)Ω咔灞O(jiān)控視頻畫質(zhì)進(jìn)行細(xì)節(jié)分析,智能挖掘出類似行為及特征的數(shù)據(jù),從而為業(yè)務(wù)分析和事件決策判斷提供精準(zhǔn)依據(jù)。
3 大數(shù)據(jù)處理關(guān)鍵技術(shù)
3.1 數(shù)據(jù)備份技術(shù)
在大數(shù)據(jù)時代,如何做好數(shù)據(jù)的安全備份至關(guān)重要。數(shù)據(jù)備份是數(shù)據(jù)容災(zāi)的前提,具體是指當(dāng)出現(xiàn)某種突發(fā)狀況導(dǎo)致存儲系統(tǒng)中的文件、數(shù)據(jù)、片段丟失或者嚴(yán)重?fù)p壞時,系統(tǒng)可準(zhǔn)確而快速地將數(shù)據(jù)進(jìn)行恢復(fù)的技術(shù)。數(shù)據(jù)容災(zāi)備份是為防止偶發(fā)事件而采取的一種數(shù)據(jù)保護(hù)手段,其核心工作是數(shù)據(jù)恢復(fù),根本目的是數(shù)據(jù)資源再利用。
3.2 Hadoop
大數(shù)據(jù)時代對于數(shù)據(jù)分析、管理等都提出了更高層次的要求,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和數(shù)據(jù)分析處理技術(shù)已經(jīng)不能滿足大數(shù)據(jù)橫向擴(kuò)展的需求。為了給大數(shù)據(jù)處理、分析提供一個性能更好、可靠性更高的平臺,Apache基金會開發(fā)了一個開源平臺Hadoop[4],該平臺用Java語言編寫,可移植性強(qiáng),現(xiàn)在Hadoop已經(jīng)發(fā)展為一個包括HDFS(分布式文件系統(tǒng) )、HBase(分布式數(shù)據(jù)庫)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng),成為目前主流的大數(shù)據(jù)應(yīng)用平臺。
3.3 云計(jì)算
如果把各種各樣的大數(shù)據(jù)應(yīng)用比作在公路上行駛的各種汽車,那么支撐這些汽車快速運(yùn)行的高速公路就是云計(jì)算,云計(jì)算是大數(shù)據(jù)分析處理技術(shù)的核心。正是由于云計(jì)算在海量信息存儲、分析及管理方面的技術(shù)支持,大數(shù)據(jù)才有了如此廣闊的用武之地。谷歌的各種大數(shù)據(jù)處理技術(shù)和應(yīng)用平臺都是基于云計(jì)算,最典型的就是以UFS(UIT云存儲系統(tǒng))、MapReduce(批處理技術(shù))、BigTable(分布式數(shù)據(jù)庫)為代表的大數(shù)據(jù)處理技術(shù)以及在此基礎(chǔ)上產(chǎn)生的開源數(shù)據(jù)處理平臺Hadoop[5]。
4 大數(shù)據(jù)應(yīng)用帶來的信息安全隱患及應(yīng)對策略
大數(shù)據(jù)時代,海量數(shù)據(jù)通常存儲在大規(guī)模分布式的網(wǎng)絡(luò)節(jié)點(diǎn)中,管理相對分散,而且系統(tǒng)也無法控制用戶進(jìn)行數(shù)據(jù)交易的場所,因此很難辨別用戶的身份(合法及非法用戶),容易導(dǎo)致不合法用戶篡改或竊取信息;此外,大數(shù)據(jù)存儲系統(tǒng)中包含了海量的個人用戶隱私數(shù)據(jù)及各種行為的記錄信息,如何在大數(shù)據(jù)的挖掘利用中確定一個信息保護(hù)和開放的尺度, 是大數(shù)據(jù)面臨的又一難題。為了合理利用大數(shù)據(jù)并有效規(guī)避風(fēng)險,我們提出以下四點(diǎn)建議:
⑴ 國家出臺相關(guān)政策,加強(qiáng)頂層設(shè)計(jì),保障數(shù)據(jù)存儲安全;
⑵ 增強(qiáng)網(wǎng)絡(luò)安全防護(hù)能力,抵御網(wǎng)絡(luò)犯罪,確保網(wǎng)絡(luò)信息安全;
⑶ 提高警惕積極探索,加大個人隱私數(shù)據(jù)保護(hù)力度;
⑷ 深化云計(jì)算安全領(lǐng)域研究,保障云端數(shù)據(jù)安全。
5 結(jié)束語
在當(dāng)今信息知識爆炸的時代,大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用于商業(yè)金融、電力醫(yī)療、教育科研等領(lǐng)域。隨著數(shù)據(jù)挖掘技術(shù)的不斷進(jìn)步,相關(guān)信息行業(yè)競相從規(guī)模龐大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)海洋中攫取更多有價值的數(shù)據(jù)信息用于分析、解決現(xiàn)實(shí)生活中的各種實(shí)際問題,從而實(shí)現(xiàn)信息技術(shù)的快速健康發(fā)展。本文梳理了大數(shù)據(jù)的基本概念及4V特征,總結(jié)歸納了大數(shù)據(jù)技術(shù)的四大熱門應(yīng)用領(lǐng)域及三大核心處理技術(shù),分析了大數(shù)據(jù)技術(shù)帶來的諸如信息竊取及篡改、個人隱私數(shù)據(jù)泄露等信息安全隱患,并提出了相應(yīng)的解決措施及建議。當(dāng)然,目前大數(shù)據(jù)技術(shù)的研究尚處在起步階段,還有許多深層次的問題亟待解決,如大數(shù)據(jù)的存儲管理是通過硬件的簡單升級還是通過系統(tǒng)的重新設(shè)計(jì)來解決,大數(shù)據(jù)4V特征中起關(guān)鍵作用的是什么,大數(shù)據(jù)技術(shù)的應(yīng)用前景是什么,等等。就目前來看,未來大數(shù)據(jù)技術(shù)的研究之路還很長,需要我們用更加敏銳的洞察力來分析和研究。
參考文獻(xiàn):
[1] BARWICK H. The "four Vs" of big data. Implementing Information
Infrastructure Symposium[EB/OL]. [2012-10-02]. http://.au/article/396198/iiis_four_vs_big_data/.
[2] 韋雪瓊,楊嘩,史超.大數(shù)據(jù)發(fā)展下的金融市場新生態(tài)[Jl.時代金融,
2012.7:173-174
[3] 張敬誼,佘盼,肖筱華.基于云計(jì)算的區(qū)域醫(yī)療信息化服務(wù)平臺的研
究[J].計(jì)算機(jī)科學(xué),2013.40(10):360-365
云技術(shù)的迅猛發(fā)展和大數(shù)據(jù)的強(qiáng)勢崛起客觀上要求區(qū)域旅游產(chǎn)業(yè)的戰(zhàn)略選擇必須更新觀念,與時俱進(jìn),合理運(yùn)用現(xiàn)代信息技術(shù),創(chuàng)新機(jī)制體制,制定合理的旅游戰(zhàn)略,以促進(jìn)旅游產(chǎn)業(yè)的持續(xù)、快速健康發(fā)展。
2007年Google首次提出云計(jì)算的概念,在此后的10多年,云計(jì)算技術(shù)不但改變了信息產(chǎn)業(yè)及相關(guān)產(chǎn)業(yè)的格局,在旅游產(chǎn)業(yè)也得到廣泛應(yīng)用。在云計(jì)算技術(shù)向行業(yè)大范圍滲透的技術(shù)背景下,結(jié)合當(dāng)前智慧旅游建設(shè)的最新動態(tài),及時豐富智慧旅游信息現(xiàn)代化建設(shè)內(nèi)容,發(fā)揮云計(jì)算核心技術(shù)在智慧旅游中的優(yōu)勢,是目前提升旅游產(chǎn)業(yè)發(fā)展的有力切入點(diǎn)。
2012年達(dá)沃斯世界經(jīng)濟(jì)論壇把大數(shù)據(jù)作為重要議題之一進(jìn)行討論,很快大數(shù)據(jù)技術(shù)就已受到國際社會的普遍關(guān)注。大數(shù)據(jù)的本質(zhì)是海量數(shù)據(jù)存儲、傳輸和處理,其本質(zhì)在于迅速挖掘非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)在價值,是云計(jì)算技術(shù)發(fā)展的高級形態(tài)。對于智慧旅游而言,引入大數(shù)據(jù)的理念和技術(shù),可以使資源開發(fā)規(guī)劃、客源市場定位、營銷策略創(chuàng)新、旅游產(chǎn)品開發(fā)更具前瞻性和科學(xué)性,成為旅游產(chǎn)業(yè)轉(zhuǎn)型升級的助力。
2011年7月國家旅游局局長邵琪偉提出,爭取利用十年時間初步實(shí)現(xiàn)智慧旅游。智慧旅游的發(fā)展,必須要樹立數(shù)據(jù)思維、強(qiáng)化數(shù)據(jù)意識,各級旅游管理部門和旅游企業(yè)之間應(yīng)當(dāng)加強(qiáng)合作機(jī)制,整合數(shù)據(jù)資源,實(shí)現(xiàn)數(shù)據(jù)共享,喚醒處于睡眠狀態(tài)的數(shù)據(jù)。因此,江西智慧旅游的戰(zhàn)略選擇應(yīng)當(dāng)積極運(yùn)用云計(jì)算、大數(shù)據(jù)技術(shù),把大數(shù)據(jù)理念、技術(shù)與江西智慧旅游建設(shè)結(jié)合起來,制定合理的戰(zhàn)略方向。
二、云計(jì)算、大數(shù)據(jù)與智慧旅游的內(nèi)在聯(lián)系
云計(jì)算的本質(zhì)就是把計(jì)算分散在不同計(jì)算機(jī)構(gòu)成的集成系統(tǒng)之上,使各種請求根據(jù)所需分配計(jì)算能力、傳輸速度和存儲空間,以提高硬件資源的利用效率,與傳統(tǒng)的處理技術(shù)相比具有以下優(yōu)勢:首先,基于網(wǎng)絡(luò)技術(shù)建立一個服務(wù)器集成系統(tǒng),使多組用戶能夠共同支配和管理硬件資源;其次,利用分布式數(shù)據(jù)存儲技術(shù)在不同服務(wù)器和不同層級分散風(fēng)險,大幅度增強(qiáng)系統(tǒng)的安全性能;再次,使硬件資源和軟件系統(tǒng)相互分離,降低軟件對基礎(chǔ)設(shè)備的依賴程度;最后,云用戶能夠按照自身需求,合理訂制處理和應(yīng)用服務(wù),可以有效降低資金投入。
大數(shù)據(jù)(Big data)是指需要新型處理模式挖掘其價值的海量、高增長速度和結(jié)構(gòu)多樣化的信息資產(chǎn),通常也指代處理這種數(shù)據(jù)的相關(guān)技術(shù),包括數(shù)據(jù)的存儲、傳輸和處理技術(shù)。目前,大數(shù)據(jù)受到國際社會的普遍關(guān)注。通常認(rèn)為大數(shù)據(jù)具有四個特點(diǎn)(大數(shù)據(jù)的四個V):首先,規(guī)模性(Volume),數(shù)據(jù)規(guī)模超大,從TB躍遷到PB級別。其次,多樣性(Variety),數(shù)據(jù)類型繁多。再次,價值性(Value),價值密度低,商業(yè)價值高。最后,高速性(Velocity),處理速度快。2013年被稱為大數(shù)據(jù)元年,標(biāo)志著大數(shù)據(jù)技術(shù)的應(yīng)用將深入各個行業(yè)各個領(lǐng)域,產(chǎn)生巨大的變革力。
智慧旅游(Smarter Tourism,或稱智能旅游)的概念源于智慧地球(Smarter Planet)(IBM,2008)以及正在中國實(shí)踐的智慧城市(Smarter Cities)(住房和城鄉(xiāng)建設(shè)部,2012年),是指通過應(yīng)用新一代信息技術(shù),整合旅游相關(guān)信息資源,以促進(jìn)旅游信息共享和游客服務(wù)部門的業(yè)務(wù)協(xié)同,提高旅游服務(wù)的效率和質(zhì)量,實(shí)現(xiàn)促進(jìn)旅游業(yè)的健康發(fā)展。
大數(shù)據(jù)是智慧旅游的核心技術(shù)之一,為智慧旅游建設(shè)提供技術(shù)支持,智慧旅游是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域,符合大數(shù)據(jù)未來與產(chǎn)業(yè)結(jié)合的發(fā)展方向。智慧旅游是旅游信息化發(fā)展的新階段,智慧旅游建設(shè)在很大程度上是技術(shù)層面的問題,屬于信息技術(shù)范疇。所謂智慧旅游的智慧主要出自對大數(shù)據(jù)的處理,這才是推進(jìn)智慧旅游建設(shè)的核心問題。智慧來自大數(shù)據(jù),利用大數(shù)據(jù),才能獲得突破性改善,智慧旅游產(chǎn)業(yè)只有充分利用大數(shù)據(jù),才能發(fā)現(xiàn)創(chuàng)新升級的機(jī)會點(diǎn),進(jìn)而獲得先發(fā)優(yōu)勢。因此,云計(jì)算、大數(shù)據(jù)與智慧旅游的天然聯(lián)系體現(xiàn)了技術(shù)與產(chǎn)業(yè)實(shí)踐相結(jié)合并創(chuàng)造經(jīng)濟(jì)價值的客觀規(guī)律。
三、江西旅游產(chǎn)業(yè)的發(fā)展現(xiàn)狀
江西山奇水秀,文化底蘊(yùn)深厚,流傳千古的《滕王閣序》贊江西“物華天寶、人杰地靈”,贛鄱大地有著得天獨(dú)厚的自然、人文旅游資源。2014年,江西接待游客突破3億人次,旅游總收入2650億元,同比增長25%和39%。在過去10年,江西旅游產(chǎn)業(yè)規(guī)模穩(wěn)步增長,但是由于江西整體經(jīng)濟(jì)發(fā)展水平相對滯后,旅游規(guī)劃、開發(fā)和營銷投入不多,各種相關(guān)配套服務(wù)設(shè)施尚不健全,致使江西旅游的發(fā)展水平在全國處于落后地位。江西旅游產(chǎn)業(yè)的發(fā)展存在以下幾個方面的問題:
首先,旅游品牌的文化內(nèi)涵不夠深厚。從某種意義上說,旅游經(jīng)濟(jì)是一種知名度和美譽(yù)度經(jīng)濟(jì),是品牌與內(nèi)涵經(jīng)濟(jì),如何吸引游客眼球是區(qū)域旅游經(jīng)濟(jì)發(fā)展的決定因素。江西的旅游品牌建設(shè)過程中,還存在景點(diǎn)、景區(qū)資源開發(fā)與當(dāng)?shù)孛袼?、文化結(jié)合不夠緊密,特別是一些傳統(tǒng)文化內(nèi)涵沒有被充分釋放,出現(xiàn)景區(qū)與文化、名勝與佳話合力不強(qiáng)的現(xiàn)象。
其次,旅游宣傳力度不足。近幾年以來,江西對旅游宣傳的重視程度不斷提升,提出了江西風(fēng)景獨(dú)好的旅游宣傳口號,取得了一定成效。但是旅游宣傳的力度還有待提升,目前還存在投入不足、宣傳對象不夠細(xì)化,宣傳模式單一的問題,旅游宣傳尚存很大的提升空間。
最后,旅游服務(wù)的信息化建設(shè)有待加強(qiáng)。進(jìn)入二十一世紀(jì),科技文明的不斷進(jìn)步使得信息技術(shù)的應(yīng)用范圍不斷擴(kuò)散,已經(jīng)深入各各個行業(yè)各個領(lǐng)域,目前江西旅游服務(wù)的信息技術(shù)應(yīng)用方面還存在硬件設(shè)施配備不足、數(shù)據(jù)開發(fā)利用率較低和分析手段滯后,難以同步目前信息技術(shù)的快速發(fā)展等方面的問題,以現(xiàn)代信息技術(shù)為基礎(chǔ)的智慧旅游系統(tǒng)有待進(jìn)一步完善。
四、江西智慧旅游的戰(zhàn)略選擇
立足江西經(jīng)濟(jì)轉(zhuǎn)型、體制創(chuàng)新、產(chǎn)業(yè)結(jié)構(gòu)升級的社會經(jīng)濟(jì)背景,響應(yīng)省委、省政府旅游強(qiáng)省,綠色崛起的口號,順應(yīng)云計(jì)算、大數(shù)據(jù)等信息技術(shù)迅猛發(fā)展的時代潮流,把握江西智慧旅游發(fā)展的最新動態(tài),實(shí)現(xiàn)云計(jì)算、大數(shù)據(jù)與智慧旅游的有機(jī)融合,江西智慧旅游的戰(zhàn)略選擇應(yīng)當(dāng)注重以下幾個方面:
一是豐富品牌內(nèi)涵。以江西風(fēng)景獨(dú)好為中心,強(qiáng)化江西智慧旅游的品牌推廣和建設(shè),從江西旅游產(chǎn)品開發(fā)、配套服務(wù)設(shè)施建設(shè)、旅游營銷宣傳等方面入手,不斷提升江西旅游品牌的硬實(shí)力和軟實(shí)力。
二是積極創(chuàng)新營銷模式。重視新型媒體在營銷中的獨(dú)特優(yōu)勢,不斷擴(kuò)大江西景點(diǎn)、景區(qū)及旅游產(chǎn)品的影響力。特別是在以移動互聯(lián)網(wǎng)為時代特征的今天,創(chuàng)新營銷模式,豐富營銷手段,在舉辦有創(chuàng)新、有影響的大型創(chuàng)意營銷活動的同時,重視各種小微營銷策略,開展全方位的密集推介活動,有效提升江西旅游的品牌知名度和美譽(yù)度。
三是積極引用最新的信息化技術(shù)。在對信息技術(shù)的運(yùn)用方面,要時刻關(guān)注現(xiàn)代信息技術(shù)的發(fā)展動態(tài),有效運(yùn)用大數(shù)據(jù)技術(shù),加強(qiáng)江西智慧旅游的信息化建設(shè),喚醒沉睡的數(shù)據(jù),充分釋放旅游大數(shù)據(jù)的經(jīng)濟(jì)價值。(作者單位:1.江西應(yīng)用科技學(xué)院;2.江西科技師范大學(xué))
級別:統(tǒng)計(jì)源期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:省級期刊
榮譽(yù):中國期刊全文數(shù)據(jù)庫(CJFD)
級別:省級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:部級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:CSCD期刊
榮譽(yù):中國期刊全文數(shù)據(jù)庫(CJFD)