大數(shù)據(jù)分析方案精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的大數(shù)據(jù)分析方案主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：大壩 安全監(jiān)測 數(shù)據(jù) 分析

中圖分類號：P2 文獻標識碼：A 文章編號：1672-3791（2012）12（b）-0053-02

1 大壩安全監(jiān)測的意義

大壩所具有的潛在安全問題既是一個復(fù)雜的技術(shù)問題，也是一個日益突出的公共安全問題，因此，我國對大壩安全越來越重視。隨著壩工理論和技術(shù)的不斷發(fā)展與完善，為了更好地實現(xiàn)水資源的進一步開發(fā)利用，我國的大壩建設(shè)正向著更高更大方向發(fā)展，如三峽重力壩、小灣拱壩（最大壩高294.5 m）、拉西瓦拱壩（最大壩高250 m）、溪洛渡拱壩（最大壩高285.5 m）等，這些工程的建設(shè)將為我國的經(jīng)濟發(fā)展做出巨大貢獻，也將推動我國的壩工理論和技術(shù)水平上升到一個新的高度。但是，這些工程一旦失事，將是不可想象的毀滅性災(zāi)難，因此，大壩安全問題就顯得日益突出和重要。保證大壩安全的措施可分為工程措施和非工程措施兩種，兩者相互依存，缺一不可。

回顧大壩安全監(jiān)測的發(fā)展歷史，最早可追溯到19世紀90年代，1891年德國的挨施巴赫重力壩開展了大壩位移觀測，隨后于1903年美國新澤西州Boont。n重力壩開展了溫度觀測，1908年澳大利亞新南威爾士州巴倫杰克溪薄拱壩開展了變形觀測，1925年美國愛達荷州亞美尼加一佛爾茲壩開展了揚壓力觀測，1826年美國墾務(wù)局在Stevenson一creek試驗拱壩上開展了應(yīng)力及應(yīng)變觀測，這是最早開展安全監(jiān)測的幾個實例。我國從20世紀50年代開始進行安全監(jiān)測工作，大壩安全監(jiān)測的作用是逐漸被人們認識的，趙志仁將大壩安全監(jiān)測的發(fā)展歷程劃分為以下3個階段。

（1）1891年至1964年，原型觀測階段，原型觀測的主要目的是研究大壩設(shè)計計算方法，檢驗設(shè)計，改進壩工理論。（2）1964年至1985年，由原型觀測向安全監(jiān)測的過度階段，接連發(fā)生的大壩失事，讓人們逐漸認識到大壩安全的重要性，逐步把保證大壩安全運行作為主要目的。（3）1985年至今，安全監(jiān)測階段，此階段，大壩安全監(jiān)測已經(jīng)成為人們的共識，隨著監(jiān)測儀器、監(jiān)測技術(shù)和資料分析方法的不斷進步、發(fā)展與完善，將逐步實現(xiàn)大壩的安全監(jiān)控。

2 大壩安全監(jiān)測數(shù)據(jù)分析概述

大壩安全監(jiān)測取得的大量數(shù)據(jù)為評價大壩運行狀態(tài)提供了基礎(chǔ)，但是，原始觀測數(shù)據(jù)往往不能直觀清晰地展示大壩性態(tài)，需要對觀測數(shù)據(jù)進行分辨、解析、提煉和概括，從繁多的觀測資料中找出關(guān)鍵問題，深刻地揭示規(guī)律并作出判斷，這就需要進行監(jiān)測數(shù)據(jù)分析。

2.1 監(jiān)測數(shù)據(jù)分析的意義

大壩監(jiān)測數(shù)據(jù)分析可以從原始數(shù)據(jù)中提取包含的信息，為大壩的建設(shè)和運行管理提供有價值的科學(xué)依據(jù)。大量工程實踐表明：大壩監(jiān)測數(shù)據(jù)中蘊藏了豐富的反映壩體結(jié)構(gòu)性態(tài)的信息，做好觀測資料分析工作既有工程應(yīng)用價值又有科學(xué)研究意義。大壩安全監(jiān)測數(shù)據(jù)分析的意義表現(xiàn)在如下幾方面：（1）原始觀測數(shù)據(jù)本身既包含著大壩實際運行狀態(tài)的信息，又帶有觀測誤差及外界隨機因素所造成的干擾。必須經(jīng)過誤差分析及干擾辨析，才能揭示出真實的信息。（2）觀測值是影響壩體狀態(tài)的多種內(nèi)外因素交織在一起的綜合效應(yīng)，也必須對測值作分解和剖析，將影響因素加以分解，找出主要因素及各個因素的影響程度。（3）只有將多測點的多測次的多種觀測量放在一起綜合考察，相互補充和驗證，才能全面了解測值在空間分布上和時間發(fā)展上的相互聯(lián)系，了解大壩的變化過程和發(fā)展趨勢，發(fā)現(xiàn)變動特殊的部位和薄弱環(huán)節(jié)。（4）為了對大壩監(jiān)測數(shù)據(jù)作出合理的物理解釋，為了預(yù)測大壩未來的變化趨勢，也都離不開監(jiān)測數(shù)據(jù)分析工作。因此，大壩監(jiān)測資料分析是實現(xiàn)大壩安全監(jiān)測最終目的的一個重要環(huán)節(jié)。

2.2 監(jiān)測數(shù)據(jù)分析的內(nèi)容

監(jiān)測資料分析的內(nèi)容通常包括：認識規(guī)律、查找問題、預(yù)測變化、判斷安全。

（1）認識規(guī)律：分析測值的發(fā)展過程以了解其隨時間而變化的情況，如周期性、趨勢、變化類型、發(fā)展速度、變動幅度等；分析測值的空間分布以了解它在不同部位的特點和差異，掌握它的分布特點及代表性測點的位置；分析測值的影響因素以了解各種外界條件及內(nèi)部因素對所測物理量的作用程度、主次關(guān)系。通過這些分析，掌握壩的運行狀況，認識壩的各個部位上各種測值的變化規(guī)律。（2）查找問題：對監(jiān)測變量在發(fā)展過程和分布關(guān)系上發(fā)現(xiàn)的特殊或突出測值，聯(lián)系荷載條件及結(jié)構(gòu)因素進行考查，了解其是否符合正常變化規(guī)律或是否在正常變化范圍之內(nèi)，分析原因，找出問題。（3）預(yù)測變化：根據(jù)所掌握的規(guī)律，預(yù)測未來一定條件下測值的變化范圍或取值；對于發(fā)現(xiàn)的問題，估計其發(fā)展趨勢、變化速度和可能后果。（4）判斷安全：基于對測值的分析，判斷過去一段時期內(nèi)壩的運行狀態(tài)是否安全并對今后可能出現(xiàn)的最不利條件組合下壩的安全作出預(yù)先判斷。

一般來講，大壩監(jiān)測資料分析可分為正分析和反演分析兩個方面。正分析是指由實測資料建立原型物理觀測量的數(shù)學(xué)模型，并應(yīng)用這些模型監(jiān)控大壩的運行。反演分析是仿效系統(tǒng)識別的思想，以正分析成果為依據(jù)，通過相應(yīng)的理論分析，反求大壩材料的物理力學(xué)參數(shù)和項源（如壩體混凝土溫度、拱壩實際梁荷載等）。吳中如院士提到通過大壩監(jiān)測資料分析可以實現(xiàn)反饋設(shè)計，即“綜合原型觀測資料正分析和反演分析的成果，通過理論分析計算或歸納總結(jié)，從中尋找某些規(guī)律和信息，及時反饋到設(shè)計、施工和運行中去，從而達到優(yōu)化設(shè)計、施工和運行的目的，并補充和完善現(xiàn)行水工設(shè)計和施工規(guī)范”。綜上所述，大壩監(jiān)測資料正分析中數(shù)學(xué)模型的研究與應(yīng)用是實現(xiàn)大壩安全監(jiān)測及資料分析的目的和意義的基礎(chǔ)與根本。

3 監(jiān)測數(shù)據(jù)分析方法

大壩安全監(jiān)測數(shù)據(jù)分析涉及到多學(xué)科交叉的許多方法和理論，目前，常用的大壩監(jiān)測數(shù)據(jù)分析方法主要有如下幾種：多元回歸分析、時間序列分析、灰色理論分析、頻譜分析、Kalman濾波法、有限元法、人工神經(jīng)網(wǎng)絡(luò)法、小波分析法、系統(tǒng)論方法等等。（圖1）

3.1 多元回歸分析

多元回歸分析方法是大壩監(jiān)測數(shù)據(jù)分析中應(yīng)用最為廣泛的方法之一，最常用的方法就是逐步回歸分析方法，基于該方法的回歸統(tǒng)計模型廣泛應(yīng)用于各類監(jiān)測變量的分析建模工作。以大壩變形監(jiān)測的分析為例，取變形（如各種位移值）為因變量（又稱效應(yīng)量），取環(huán)境量（如水壓、溫度等）為自變量（又稱影響因子），根據(jù)數(shù)理統(tǒng)計理論建立多元線性回歸模型，用逐步回歸分析方法就可以得到效應(yīng)量與環(huán)境量之間的函數(shù)模型，然后就可以進行變形的物理解釋和預(yù)報。由于它是一種統(tǒng)計分析方法，需要因變量和自變量具有較長且一致性較好的觀測值序列。如果回歸模型的環(huán)境變量之間存在多重共線性，可能會引起回歸模型參數(shù)估計的不正確；如果觀測數(shù)據(jù)序列長度不足且數(shù)據(jù)中所含隨機噪聲偏大，則可能會引起回歸模型的過擬合現(xiàn)象，而破壞模型的穩(wěn)健性。

在回歸分析法中，當環(huán)境量之間相關(guān)性較大時，可采用主成分分析或嶺回歸分析，為了解決和改善回歸模型中因子多重相關(guān)性和欠擬合問題，則可采用偏回歸模型，該模型具有多元線性回歸、相關(guān)分析和主成分分析的性能，在某些情況下甚至優(yōu)于常用的逐步線性回歸模型，例如王小軍、楊杰、鄧念武等在應(yīng)用偏回歸模型進行大壩監(jiān)測數(shù)據(jù)分析時，還采用遺傳算法進行模型的參數(shù)估計，取得了較好的效果。

3.2 時間序列分析

大壩安全監(jiān)測過程中，各監(jiān)測變量的實測數(shù)據(jù)自然組成了一個離散隨機時間序列，因此，可以用時間序列分析理論與方法建立模型。一般認為時間序列分析方法是一種動態(tài)數(shù)據(jù)的參數(shù)化時域分析方法，它通過對動態(tài)數(shù)據(jù)進行模型階次和參數(shù)估計建立相應(yīng)的數(shù)學(xué)模型，以了解這些數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特性，從而對數(shù)據(jù)變化趨勢做出判斷和預(yù)測，具有良好的短期預(yù)測效果。進行時間序列分析時一般要求數(shù)據(jù)為平穩(wěn)隨機過程，否則，需要進行協(xié)整分析，對數(shù)據(jù)進行差分處理，或者采用誤差修正模型。例如，徐培亮利用時間序列分析方法，對大壩變形觀測資料進行分析建模得到一個AR（2）模型，并對大壩變形進行了預(yù)報，結(jié)果表明具有良好的預(yù)測精度。涂克楠、張利、鄭簫等也利用時間序列對大壩監(jiān)測數(shù)據(jù)進行分析，有效地提高了模型對實測數(shù)據(jù)的擬合能力和預(yù)測能力。

3.3 灰色理論分析

當觀測數(shù)據(jù)的樣本數(shù)不多時，不能滿足時間序列分析或者回歸分析模型對于數(shù)據(jù)長度的要求，此時，可采用灰色系統(tǒng)理論建模。該理論于20世紀80年代由鄧聚龍首次提出，該方法通過將原始數(shù)列利用累加生成法變換為生成數(shù)列，從而減弱數(shù)據(jù)序列的隨機性，增強規(guī)律性。例如，在大壩變形監(jiān)測數(shù)據(jù)分析時，也可以大壩變形的灰微分方程來提取趨勢項后建立組合模型。一般時間序列分析都是針對單測點的數(shù)據(jù)序列，如果考慮各測點之間的相關(guān)性而進行多測點的關(guān)聯(lián)分析，有可能會取得更好的效果。1991年，熊支榮等人詳述了灰色系統(tǒng)理論在水工觀測資料分析中的應(yīng)用情況，并對其應(yīng)用時的檢驗標準等問題進行了探討。同年，劉觀標利用灰色系統(tǒng)模型對某重力壩的實測應(yīng)力分析證明了灰色模型具有理論合理、嚴謹、成果精度較高的特點。

3.4 頻譜分析

大壩監(jiān)測數(shù)據(jù)的處理和分析主要在時域內(nèi)進行，利用Fourier變換將監(jiān)測數(shù)據(jù)序列由時域信號轉(zhuǎn)換為頻域信號進行分析，通過計算各諧波頻率的振幅，最大振幅所對應(yīng)的主頻可以揭示監(jiān)測量的變化周期，這樣，有時在時域內(nèi)看不清的數(shù)據(jù)信息在頻域內(nèi)可以很容易看清楚。例如，將測點的變形量作為輸出，相關(guān)的環(huán)境因子作為輸入，通過估計相干函數(shù)、頻率響應(yīng)函數(shù)和響應(yīng)譜函數(shù)，就可以通過分析輸入輸出之間的相關(guān)性進行變形的物理解釋，確定輸入的貢獻和影響變形的主要因子。將大壩監(jiān)測數(shù)據(jù)由時域信號轉(zhuǎn)換到頻域信號進行分析的研究應(yīng)用并不多，主要是由于該方法在應(yīng)用時要求樣本數(shù)量要足夠多，而且要求數(shù)據(jù)是平穩(wěn)的，系統(tǒng)是線性的，頻譜分析從整個頻域上對信號進行考慮，局部化性能差。

參考文獻

第2篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞:大數(shù)據(jù);金融投資;大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析技術(shù)其實就是一種現(xiàn)代化信息處理技術(shù)，目前它被應(yīng)用于各行各業(yè)中，并且發(fā)揮著無可取代的重要作用，特別是為企業(yè)在金融投資活動中提供了保障，很大程度上減少了企業(yè)的金融投資風(fēng)險。總的來說，大數(shù)據(jù)分析技術(shù)催生了新的運營管理模式，提高了企業(yè)的收益，增強了企業(yè)競爭力。本文將具體從大數(shù)據(jù)時代背景、金融投資中應(yīng)用大數(shù)據(jù)技術(shù)的重要性以及金融投資風(fēng)險管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用方面進行研究。

一、大數(shù)據(jù)挖掘與數(shù)據(jù)分析

(一)大數(shù)據(jù)時代背景當今社會是信息化時代、大數(shù)據(jù)時代，盡管與發(fā)達國家相比，我國大數(shù)據(jù)技術(shù)發(fā)展較晚，還不夠十分成熟完善，但是我國目前的大數(shù)據(jù)技術(shù)還是很好地促進了我國各行各業(yè)發(fā)展，為市場開拓提供了極大的便利，還促進了傳統(tǒng)運營管理模式的更新，增加企業(yè)盈利。同時，大數(shù)據(jù)技術(shù)的發(fā)展使用還給消費者帶來了諸多新的體驗。比如，大數(shù)據(jù)技術(shù)促進了產(chǎn)品質(zhì)量的改進提高，為消費者提供了更優(yōu)質(zhì)的服務(wù)。反過來，利用大數(shù)據(jù)技術(shù)分析數(shù)據(jù)，可以幫助企業(yè)更清楚市場行情、預(yù)估市場變化，有利于企業(yè)更好地應(yīng)對市場變化，為企業(yè)發(fā)展提供保障。

(二)金融投資中應(yīng)用大數(shù)據(jù)技術(shù)的重要性當今經(jīng)濟環(huán)境變幻莫測，經(jīng)濟一體化也加劇了金融危機帶來的危害，因此，企業(yè)在金融投資者面對的問題也越來越多、越來越復(fù)雜。而很多企業(yè)都缺乏投資風(fēng)險管控經(jīng)驗，不具備及時應(yīng)對金融投資風(fēng)險的能力。這種情況下，大數(shù)據(jù)的應(yīng)用能夠很好幫助企業(yè)降低金融投資風(fēng)險，切實提高企業(yè)經(jīng)濟效益。相關(guān)研究數(shù)據(jù)表明，互聯(lián)網(wǎng)、電信和金融行業(yè)是使用大數(shù)據(jù)技術(shù)最廣泛的行業(yè)。具體來說，在金融行業(yè)里使用大數(shù)據(jù)技術(shù)預(yù)測分析金融投資風(fēng)險，幫助企業(yè)制定科學(xué)的應(yīng)對方法，能夠從源頭幫助企業(yè)提高應(yīng)對風(fēng)險的能力?，F(xiàn)在很多企業(yè)在經(jīng)營上是相互依賴的關(guān)系，這就加劇了金融風(fēng)險，而大數(shù)據(jù)技術(shù)可以促進信息共享，降低他們之間存在的風(fēng)險，幫助每個參與的企業(yè)提高經(jīng)濟效益。還有很多企業(yè)由于在向現(xiàn)代化經(jīng)營模式改革，面臨著眾多信息，通過應(yīng)用大數(shù)據(jù)技術(shù)來分析收集的數(shù)據(jù)信息可以更加準確地預(yù)估企業(yè)可能遇到的風(fēng)險，從而幫助企業(yè)實現(xiàn)高質(zhì)量管理。因此，在金融投資中應(yīng)用大數(shù)據(jù)技術(shù)很有必要性。

二、金融投資風(fēng)險管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用

(一)大數(shù)據(jù)分析技術(shù)在銀行行業(yè)的應(yīng)用在信息化時代環(huán)境下，大數(shù)據(jù)的使用可以幫助企業(yè)進行風(fēng)險預(yù)估，有利于保障企業(yè)發(fā)展。筆者將具體從大數(shù)據(jù)分析技術(shù)在銀行業(yè)的應(yīng)用來說明金融投資風(fēng)險管理中大數(shù)據(jù)分析技術(shù)的應(yīng)用情況。我們要廣泛收集風(fēng)險數(shù)據(jù)，再通過使用大數(shù)據(jù)分析技術(shù)幫助銀行分析、整理各種數(shù)據(jù)，使銀行對風(fēng)險進行預(yù)估，進而研究后續(xù)金融投資風(fēng)險發(fā)生概率，這樣可以制定專門的應(yīng)對方案，采取切實有效的解決措施。在貸款業(yè)務(wù)方面，大數(shù)據(jù)分析技術(shù)可以保障銀行的利益。多家銀行可以實現(xiàn)合作，共享數(shù)據(jù)信息，建立數(shù)據(jù)共享平臺，利用大數(shù)據(jù)分析技術(shù)共同建立應(yīng)對風(fēng)險的高質(zhì)量方案，幫助銀行對金融投資風(fēng)險進行實時監(jiān)測。大數(shù)據(jù)分析技術(shù)還可以使銀行對客戶數(shù)據(jù)進行整理和分析，對客戶資金到賬等有關(guān)信息進行系統(tǒng)、合理管理，這樣不僅有利于銀行相關(guān)業(yè)務(wù)的開展，還可以保障客戶資金的安全，既提高了銀行在客戶心目中的信譽，又能在很大程度上降低客戶資金安全風(fēng)險。因此，在銀行行業(yè)應(yīng)用大數(shù)據(jù)分析技術(shù)，對銀行自身和客戶都有積極意義。在使用大數(shù)據(jù)分析技術(shù)處理客戶信息數(shù)據(jù)時，會涉及云計算的應(yīng)用，該技術(shù)可以提高銀行數(shù)據(jù)平臺性能，為銀行提供專門的信息擬訂方案，可以更加有效地處理數(shù)據(jù)信息，最大化地發(fā)揮大數(shù)據(jù)分析技術(shù)在銀行行業(yè)的應(yīng)用。大數(shù)據(jù)分析技術(shù)可以幫助銀行在短時間內(nèi)對銀行內(nèi)的數(shù)據(jù)進行分類識別，并且準確分析海量數(shù)據(jù)。面對銀行業(yè)務(wù)信息，大數(shù)據(jù)分析技術(shù)甚至可以具體研究每一筆業(yè)務(wù)數(shù)據(jù)，既幫助減少銀行金融投資管理，又最大限度地保障個人客戶的資金安全。

(二)數(shù)據(jù)挖掘技術(shù)在保險行業(yè)的應(yīng)用大數(shù)據(jù)分析技術(shù)不僅為各行各業(yè)工作帶來了便利，還為之提供了高質(zhì)量的保障。數(shù)據(jù)挖掘技術(shù)是大數(shù)據(jù)分析技術(shù)中比較常用的技術(shù)，特別是在保險行業(yè)，數(shù)據(jù)挖掘技術(shù)應(yīng)用效果顯著，有效降低保險行業(yè)的金融投資風(fēng)險。盡管數(shù)據(jù)挖掘技術(shù)的應(yīng)用流程相對煩瑣，但它被應(yīng)用于保險行業(yè)的諸多業(yè)務(wù)環(huán)節(jié)中，并且發(fā)揮著重要影響作用。最主要的是數(shù)據(jù)挖掘技術(shù)可以幫助保險公司分析數(shù)據(jù)，進而挖掘發(fā)現(xiàn)具有潛在價值的信息數(shù)據(jù)，而這些信息數(shù)據(jù)就是各個保險公司的重要業(yè)務(wù)來源。因此，保險公司的業(yè)務(wù)發(fā)展很大程度上依賴于數(shù)據(jù)挖掘技術(shù)的應(yīng)用。在保險行業(yè)中使用數(shù)據(jù)挖掘技術(shù)要對明確客戶的價值。保險公司得以運營的根本就是客戶的存在，而客戶的價值就直接影響著保險公司業(yè)務(wù)的后續(xù)進行。利用數(shù)據(jù)挖掘技術(shù)對客戶信息進行分析，對其潛在價值進行挖掘，從而對客戶的價值進行模型建立，后面保險公司可以根據(jù)這個模型為客戶制定專門的方案，提高針對客戶的服務(wù)質(zhì)量，既保證了保險公司的客戶來源，也滿足了客戶自身的需求。利用數(shù)據(jù)挖掘技術(shù)，保險公司可以全面地收集客戶、市場信息，并仔細分析客戶數(shù)據(jù)，并擁有自己的數(shù)據(jù)庫，在數(shù)據(jù)庫的基礎(chǔ)上研究客戶的需求，既能抓住客戶的心，還能避免開展不必要的業(yè)務(wù)，節(jié)約公司資源。總而言之，數(shù)據(jù)挖掘技術(shù)在保險行業(yè)的應(yīng)用既有利于降低保險金融投資風(fēng)險，還保障了客戶的服務(wù)體驗與質(zhì)量。

第3篇：大數(shù)據(jù)分析方案范文

提出“五級”轉(zhuǎn)型戰(zhàn)略

盡管當前很多企業(yè)都在積極采用大數(shù)據(jù)分析技術(shù)和解決方案來變革業(yè)務(wù)模式，提升企業(yè)的核心競爭力，但是很多企業(yè)都對自身的大數(shù)據(jù)項目并不滿意。全球領(lǐng)先的基準研究和咨詢機構(gòu)Ventana Research的研究@示，79%的企業(yè)用戶不具備運用高級分析技術(shù)的必備技能。

姜欣介紹，今年Teradata通過《經(jīng)濟學(xué)人》雜志在全球所做的一個調(diào)研結(jié)果顯示，在大數(shù)據(jù)利用方面，企業(yè)主要存在以下三方面問題：第一，數(shù)據(jù)整合問題，57%的被訪企業(yè)認為難以獲取重要的業(yè)務(wù)數(shù)據(jù)；第二，數(shù)據(jù)應(yīng)用問題，42%的受訪企業(yè)認為數(shù)據(jù)過于繁雜，應(yīng)用不夠友好；第三，數(shù)據(jù)治理問題，75%的受訪企業(yè)為因異構(gòu)數(shù)據(jù)而浪費時間感到困擾。

“我們目前推出的解決方案和技術(shù)，就是為了解決以上三方面問題?！苯澜榻B說，為此Teradata提出了五級轉(zhuǎn)型戰(zhàn)略：

其一，堅定地走一體化數(shù)據(jù)分析平臺的道路，不斷完善一系列平臺產(chǎn)品，其中包括最近推出的Teradata IntelliFlex數(shù)據(jù)倉庫架構(gòu)和Teradata Aster大數(shù)據(jù)探索平臺

其二，全面向云轉(zhuǎn)型，支持私有云、公有云和托管云等多種部署方式，并在這種云生態(tài)下提供咨詢和開發(fā)部署服務(wù)。

其三，打造分析生態(tài)系統(tǒng)，將統(tǒng)一數(shù)據(jù)架構(gòu)（UDA），以及Unity、QueryGrid和Listener等工具整合起來，形成一個大數(shù)據(jù)生態(tài)，并在這個生態(tài)下提供咨詢和實施服務(wù)。

其四，從完全技術(shù)中立的角度為客戶提供大數(shù)據(jù)咨詢服務(wù)，如大數(shù)據(jù)戰(zhàn)略規(guī)劃服務(wù)、敏捷開發(fā)咨詢服務(wù)、數(shù)據(jù)建模服務(wù)。

其五，堅持客戶至上而非產(chǎn)品至上，用多元化的產(chǎn)品全面滿足客戶需求，幫助客戶挖據(jù)數(shù)據(jù)價值。

由此可見，Teradata在大數(shù)據(jù)領(lǐng)域，除了不斷完善產(chǎn)品和技術(shù)以外，還不斷強化咨詢服務(wù)能力。

推出無邊界分析功能

作為Teradata多年的老客戶，瑞典最大的工業(yè)企業(yè)集團沃爾沃汽車公司從2006年開始建立數(shù)據(jù)分析平臺。一直以來，沃爾沃汽車公司面臨的一個問題，就是數(shù)據(jù)散布在超過30個系統(tǒng)中。公司的整合數(shù)據(jù)存儲庫和數(shù)據(jù)模型中，除了有客戶、經(jīng)銷商、車輛與車輛配置信息、質(zhì)保和故障診斷等數(shù)據(jù)外，還有很多外部數(shù)據(jù)。這些數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)。

沃爾沃汽車公司亟須一個彈性好、敏捷性高的平臺來處理所有這些數(shù)據(jù)。為此，沃爾沃汽車公司部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)，將所有需要處理的數(shù)據(jù)全部整合起來進行處理，從而解決數(shù)據(jù)孤島和數(shù)據(jù)治理混亂問題。在部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)后，沃爾沃汽車公司構(gòu)建了全球統(tǒng)一的敏捷的數(shù)據(jù)驅(qū)動環(huán)境，從而可以借助可靠的數(shù)據(jù)分析結(jié)果降低運營成本，提高盈利能力和客戶滿意度；形成基于事實的決策機制和文化，使得公司更加開放和透明；有效支撐“數(shù)據(jù)創(chuàng)客”活動，員工和合作伙伴可以基于數(shù)據(jù)平臺開發(fā)數(shù)據(jù)產(chǎn)品。

沃爾沃汽車公司成功應(yīng)用Teradata統(tǒng)一數(shù)據(jù)架構(gòu)的案例，是Teradata新推出的無邊界分析功能的一個應(yīng)用典范。據(jù)悉，Teradata無邊界分析打破了過去在進行數(shù)據(jù)分析時單一系統(tǒng)、單一技術(shù)分析的界限，突破時間、地點，以及所需數(shù)據(jù)和平臺的限制，幫助企業(yè)高效完成數(shù)據(jù)分析工作。

Teradata無邊界分析功能通過最新版本的Teradata QueryGrid軟件和可以自動協(xié)調(diào)多系統(tǒng)Teradata環(huán)境的Teradata Unity軟件來實現(xiàn)。其中，Teradata Unity軟件具有高可用性特點和工作負載分配功能，從而確保用戶在權(quán)限范圍內(nèi)可隨時訪問相關(guān)數(shù)據(jù)和分析。全新升級的Teradata Unity具有強大的跨系統(tǒng)功能，可進一步消除分析環(huán)境界限。

電子專業(yè)制造服務(wù)公司偉創(chuàng)力公司數(shù)據(jù)與分析團隊主管森迪爾（Sendil Thangavelu）認為，采用多個分析引擎來分析來自多個數(shù)據(jù)存儲庫的數(shù)據(jù)以獲得更全面、可視化的分析結(jié)果，將成為企業(yè)強化競爭優(yōu)勢的重要因素。“我們的Teradata數(shù)據(jù)管理環(huán)境已經(jīng)非常卓越，但我們一直還在尋找解決方案來提高我們的能力。Teradata的無邊界分析概念與我們的企業(yè)發(fā)展方向不謀而合。”森迪爾補充說。

推出快速分析咨詢服務(wù)

姜欣告訴記者，2015年年底，Teradata總結(jié)出了在新形勢下具有較強競爭力的新型企業(yè)――技術(shù)感知型企業(yè)。技術(shù)感知型企業(yè)應(yīng)具有敏捷平臺、行為分析、協(xié)同思維、自助應(yīng)用和自動決策五大核心能力。

姜欣表示，技術(shù)感知型企業(yè)對內(nèi)能夠提供數(shù)據(jù)洞察能力，實現(xiàn)數(shù)據(jù)驅(qū)動流程，提升運營的ROI；對外可以整合數(shù)據(jù)價值，創(chuàng)新數(shù)據(jù)盈利模式，實現(xiàn)信息運營。

但是，成為技術(shù)感知型企業(yè)并不容易。為了幫助客戶更加順利、快速地成為技術(shù)感知型企業(yè)，Teradata還推出了Teradata RACE（快速分析咨詢服務(wù)）和Teradata業(yè)務(wù)價值框架。據(jù)介紹，RACE是一套敏捷、技術(shù)中立的方法論，能夠幫助客戶在正式投資前了解分析解決方案的潛在業(yè)務(wù)價值。不僅如此，借助豐富的行業(yè)經(jīng)驗和專業(yè)的數(shù)據(jù)分析技術(shù)，Teradata還可以幫助客戶將項目實施所需時間從數(shù)月縮短至6～10周。

據(jù)悉，作為Teradata RACE服務(wù)的核心，Teradata業(yè)務(wù)價值框架是Teradata從數(shù)千次與客戶成功合作中積累的豐富經(jīng)驗的結(jié)晶。該框架通過發(fā)現(xiàn)切實有用的分析解決方案，幫助客戶更快地從分析和數(shù)據(jù)技術(shù)投資中獲取回報。

值得一提的是，隨著物聯(lián)網(wǎng)傳感器數(shù)據(jù)等新型數(shù)據(jù)源的不斷出現(xiàn)，新分析技術(shù)的不斷涌現(xiàn)，用戶部署和應(yīng)用分析解決方案的難度越來越大。但依托適用Teradata業(yè)務(wù)價值框架詳盡的可視化信息，接受RACE服務(wù)的客戶可以在實施分析解決方案時，掌握清晰的路線圖，了解該項目在何時、以怎樣的方式帶來投資回報。

姜欣介紹，RACE方法包含三個主要階段：

第一階段，溝通（Align）。Teradata的分析業(yè)務(wù)咨詢顧問以業(yè)務(wù)價值框架作為出發(fā)點，幫助客戶發(fā)現(xiàn)最具潛在價值的業(yè)務(wù)案例，并對準該業(yè)務(wù)案例開展工作，確認支持該使用案例關(guān)鍵數(shù)據(jù)資產(chǎn)的可用性。

第二階段，創(chuàng)建（Create）。Teradata的數(shù)據(jù)科學(xué)家為選中的業(yè)務(wù)案例載入并準備數(shù)據(jù)，開發(fā)新分析模型或調(diào)整既有模型。本階段數(shù)據(jù)科學(xué)家會與業(yè)務(wù)發(fā)起人對方案進行多次快速迭代，以確保分析結(jié)果能帶來預(yù)期業(yè)務(wù)效果。

第三階段，評估（Evaluate）。Teradata的分析業(yè)務(wù)咨詢顧問分析結(jié)果，評估部署分析使用案例的潛在投資回報率，并為客戶設(shè)計、部署方案。

Ventana Research高級副總裁兼研究主管大衛(wèi)（David Menninger）指出，企業(yè)對數(shù)據(jù)分析項目不滿的主要原因是相關(guān)技能短缺，而Teradata的業(yè)務(wù)價值框架將為企業(yè)提供所需技能和最佳實踐案例，幫助企業(yè)獲得豐碩的成果和可觀的投資回報。

第4篇：大數(shù)據(jù)分析方案范文

①大數(shù)據(jù)分析

②大數(shù)據(jù)可視化

③BI商業(yè)智能分析

④大數(shù)據(jù)檢索

⑤產(chǎn)品大數(shù)據(jù)分析

⑥大數(shù)據(jù)預(yù)測、咨詢

⑦大數(shù)據(jù)服務(wù)支撐平臺

⑧機器學(xué)習(xí)技術(shù)

“大數(shù)據(jù)分析、可視化及BI領(lǐng)域——

雖然這三個領(lǐng)域在功能及應(yīng)用范圍上各有千秋，但實質(zhì)上可以說是相輔相成：通過大數(shù)據(jù)的基礎(chǔ)分析工具，研究人員可以獲得數(shù)據(jù)內(nèi)部的邏輯及結(jié)果表現(xiàn)，但通常這些結(jié)果過于復(fù)雜并缺乏合理的表達形式，使數(shù)據(jù)科學(xué)家及企業(yè)的管理者無法快速領(lǐng)會并對經(jīng)營活動進行調(diào)整。

因此大數(shù)據(jù)的可視化方案應(yīng)運而生，多數(shù)可視化方案都作為數(shù)據(jù)分析工具的延伸而存在，但也有少部分公司另辟蹊徑，采用非傳統(tǒng)方式將數(shù)據(jù)的可視化更加貼近需求。BI則是大數(shù)據(jù)分析和可視化與業(yè)務(wù)場景的結(jié)合，作為企業(yè)內(nèi)部管理工具，使企業(yè)的價值有了極大的增長，成為了大數(shù)據(jù)應(yīng)用領(lǐng)域重要的一環(huán)。

{ 1 }大數(shù)據(jù)分析領(lǐng)域，在朝向易用、簡單化發(fā)展

大部分大數(shù)據(jù)分析企業(yè)的現(xiàn)狀，可以說是將數(shù)據(jù)的分析、可視化及數(shù)據(jù)的采集、治理、集成進行了一體化，以大數(shù)據(jù)的分析平臺形式存在。例如Fractal Analytics除了具備數(shù)據(jù)分析功能外，還提供自動化數(shù)據(jù)清理及驗證服務(wù)，能夠返回標準化的結(jié)構(gòu)化數(shù)據(jù)；Voyager Labs則能夠?qū)崟r采集、分析遍布世界各地的數(shù)十億個數(shù)據(jù)點，幫助用戶進行預(yù)測。

上述典型公司主要面向大型企業(yè)進行定制化全流程服務(wù)，客單價有時高達千萬美元級別，例如Fractal Analytics的客戶就包括飛利浦、金佰利等大型公司，其高昂的價格及服務(wù)令小型企業(yè)望塵莫及。

但隨著大數(shù)據(jù)技術(shù)的逐漸普及，SaaS化的大數(shù)據(jù)分析服務(wù)將是一個明確的發(fā)展方向，而其使用門檻也將大幅降低，從而將大數(shù)據(jù)分析的能力逐步賦予給中小企業(yè)，以真正的實現(xiàn)其基礎(chǔ)資源的價值。同時確保企業(yè)數(shù)據(jù)安全的數(shù)據(jù)脫敏、數(shù)據(jù)保護市場也會隨著SaaS化的到來而逐步拓展出新的市場空間。

目前大數(shù)據(jù)技術(shù)簡化、低成本、易用的趨勢已經(jīng)在部分公司的產(chǎn)品策略上有所體現(xiàn)，例如大數(shù)據(jù)分析公司Domino的產(chǎn)品讓數(shù)據(jù)科學(xué)家只需專注于自己的分析工作，而不用關(guān)注軟硬件基礎(chǔ)設(shè)施的建立及維護，Datameer更進一步開發(fā)出的產(chǎn)品屏蔽了復(fù)雜的大數(shù)據(jù)分析底層技術(shù)，通過類似電子表格的可視化數(shù)據(jù)分析用戶界面，讓企業(yè)的員工能夠快速上手使用，RapidMiner Studio可零代碼操作客戶端，實現(xiàn)機器學(xué)習(xí)、數(shù)據(jù)挖掘、文本挖掘、預(yù)測性分析等功能。

在大數(shù)據(jù)分析能力普及的同時，提升數(shù)據(jù)分析性能、優(yōu)化數(shù)據(jù)分析結(jié)果的技術(shù)研發(fā)也在快速進展中。例如SigOpt通過自主開發(fā)的貝葉斯優(yōu)化(Bayesian Optimization)算法來調(diào)整模型的參數(shù)，獲得了比常見的網(wǎng)格搜索(grid searching technique)解決方案更快、更穩(wěn)定、更易于使用的結(jié)果，目前SigOpt的產(chǎn)品不僅可以讓用戶測試不同變量，還能夠提供下一步的測試建議，以幫助用戶持續(xù)優(yōu)化改善數(shù)據(jù)分析結(jié)果。

令人感到欣喜的是，在大數(shù)據(jù)分析領(lǐng)域還存在著一些顛覆了傳統(tǒng)數(shù)據(jù)分析理論，采用獨特方式方法進行數(shù)據(jù)分析的公司。這類公司的技術(shù)對傳統(tǒng)數(shù)據(jù)分析方法進行了很好的補充，在特定領(lǐng)域有著成功的應(yīng)用。

這類公司中的典型之一是由三位全球頂尖的數(shù)學(xué)家創(chuàng)立的Ayasdi，它利用拓撲數(shù)據(jù)分析技術(shù)和上百種機器學(xué)習(xí)的算法來處理復(fù)雜的數(shù)據(jù)集，不僅可以有效地捕捉高維數(shù)據(jù)空間的拓撲信息，而且擅長發(fā)現(xiàn)一些用傳統(tǒng)方法無法發(fā)現(xiàn)的小分類，這種方法目前在基因與癌癥研究領(lǐng)域大顯身手，例如一位醫(yī)生利用Ayasdi的數(shù)據(jù)分析技術(shù)發(fā)現(xiàn)了乳腺癌的14個變種，如今Ayasdi已經(jīng)在金融服務(wù)和醫(yī)療保健行業(yè)中獲得了相當數(shù)量的客戶。

{ 2 }可視化技術(shù)，逐步實現(xiàn)了自動化、智能化

大數(shù)據(jù)可視化是連接數(shù)據(jù)分析結(jié)果與人腦的最好途徑，因此可視化技術(shù)的高低也成為了左右大數(shù)據(jù)企業(yè)獲客能力的重要因素。目前可視化的發(fā)展方向同大數(shù)據(jù)分析一致，都是朝著簡單、自動化、智能的方向在努力。

典型企業(yè)如Alteryx是一個提供一站式數(shù)據(jù)分析平臺的初創(chuàng)公司，旨在讓用戶在同一個平臺上完成數(shù)據(jù)輸入、建模以及數(shù)據(jù)圖形化等操作，將數(shù)據(jù)運算與精美的圖像完美地嫁接在一起，并能夠和SAS和R語言一樣進行數(shù)據(jù)的統(tǒng)計和分析。

通過可視化幫助用戶實現(xiàn)真正的管理能力提升也是重要的功能之一，德國大數(shù)據(jù)公司Celonis通過流程挖掘技術(shù)，從日常記錄中提取數(shù)據(jù)、發(fā)現(xiàn)關(guān)鍵因素，并最終揭示公司在業(yè)務(wù)中的執(zhí)行情況，能夠幫助客戶公司提高30%的工作效率。

發(fā)展到如今，可視化技術(shù)已經(jīng)不局限于傳統(tǒng)的分析結(jié)果展示，而是能夠直接轉(zhuǎn)換文本、圖片等非結(jié)構(gòu)化的數(shù)據(jù)并直觀展現(xiàn)，例如Quid利用機器智能讀取大量文本，然后將該數(shù)據(jù)轉(zhuǎn)換為交互式視覺地圖，以節(jié)約過去通常會耗費在閱讀檢索中的大量時間。Origami幫助營銷人員將CRM、社交媒體、郵件營銷和調(diào)查報告等跨平臺的數(shù)據(jù)整合并進行有效分析，使其簡單化、直觀化、視覺化，人人都能夠高效實用。

同時數(shù)據(jù)分析及可視化對硬件應(yīng)用的革新也在進行中，開發(fā)GPU關(guān)系數(shù)據(jù)庫服務(wù)的Kinetica獲得了5000萬美元A輪融資，采用同一技術(shù)路線的MapD也已經(jīng)能夠做到比傳統(tǒng)計算內(nèi)核快100倍的速度對大數(shù)據(jù)進行查詢與可視化。

{ 3 }BI技術(shù)擺脫"雞肋"，實時便捷普惠政企效率提升

BI技術(shù)的發(fā)展已經(jīng)有了較長的歷史，但由于技術(shù)因素此前一直被限制于企業(yè)內(nèi)部采集與應(yīng)用，實際發(fā)揮的效果有限并且使用率不高。如今在數(shù)據(jù)采集與應(yīng)用范圍普及與大數(shù)據(jù)分析、可視化技術(shù)的推動下，通過數(shù)據(jù)儀表板、智能決策等方式提升企業(yè)運營效率利器的BI再次獲得了資本市場的青睞，Tableau作為BI的代表性企業(yè)已經(jīng)順利IPO目前市值超過48億美元，另一家代表性企業(yè)DOMO估值也達到20億美元，成長速度遠超傳統(tǒng)商業(yè)軟件公司。

相比于可視化技術(shù)，BI更偏重于實際的應(yīng)用，通過模板化、SaaS化及去代碼等方式，BI應(yīng)用范圍不再局限于數(shù)據(jù)科學(xué)家及企業(yè)高管，可預(yù)見未來企業(yè)內(nèi)部每個員工都可以通過BI工具獲知自己及所處部門的各項數(shù)據(jù)，并能夠有針對性的改進工作方式與方向。

已經(jīng)累計融資1.77億美元的Looker令用戶能夠使用自然語言進行查詢，降低了查詢大型數(shù)據(jù)集的門檻；GoodData為企業(yè)提供大數(shù)據(jù)分析SaaS服務(wù)，其所有的數(shù)據(jù)分析服務(wù)實現(xiàn)了100%云化，企業(yè)可以將公司已有數(shù)據(jù)導(dǎo)入GoodData的云平臺，再對數(shù)據(jù)做跟蹤、切分、可視化、分析等處理。

BI領(lǐng)域一個有意思的應(yīng)用案例是Qlik公司的產(chǎn)品受到了中國海關(guān)總署的高度贊揚。海關(guān)總署每天都需要進行龐大的數(shù)據(jù)分析，Qlik則通過圖形化數(shù)據(jù)展示，使海關(guān)管理人員不再受平臺和時間的限制，能夠多視角長跨度的分析，實現(xiàn)了對于現(xiàn)有海量數(shù)據(jù)的業(yè)務(wù)的快速展示，極大地促進了稽查效果。

“企業(yè)大數(shù)據(jù)檢索、產(chǎn)品大數(shù)據(jù)分析、大數(shù)據(jù)咨詢預(yù)測、大數(shù)據(jù)平臺及機器學(xué)習(xí)領(lǐng)域——

企業(yè)大數(shù)據(jù)檢索能夠充分挖掘并釋放企業(yè)數(shù)據(jù)的潛力；產(chǎn)品的大數(shù)據(jù)分析使用戶行為成為了產(chǎn)品設(shè)計與運營環(huán)節(jié)的重要參考因素；大數(shù)據(jù)技術(shù)與咨詢業(yè)務(wù)的結(jié)合則對咨詢行業(yè)形成了很大的影響，數(shù)據(jù)技術(shù)導(dǎo)向的咨詢業(yè)務(wù)將極有可能成為未來行業(yè)的主流選擇；大數(shù)據(jù)服務(wù)支撐平臺類企業(yè)則為大數(shù)據(jù)技術(shù)的普及和實用化做了很大的貢獻，是大數(shù)據(jù)技術(shù)生態(tài)中不可或缺的一環(huán)；最后是機器學(xué)習(xí)，作為大數(shù)據(jù)分析的底層技術(shù)方法也逐漸開始得到廣泛應(yīng)用。

首先將企業(yè)大數(shù)據(jù)檢索、產(chǎn)品大數(shù)據(jù)分析、大數(shù)據(jù)咨詢預(yù)測、大數(shù)據(jù)平臺和機器學(xué)習(xí)這五個領(lǐng)域的典型企業(yè)列舉如下，接下來將分版塊進行詳細介紹。

{ 4 }企業(yè)大數(shù)據(jù)檢索

移動互聯(lián)網(wǎng)的普及與SaaS服務(wù)的興起令企業(yè)沉淀的數(shù)據(jù)量呈指數(shù)級上升，但目前對企業(yè)數(shù)據(jù)價值的挖掘僅僅停留在較淺層面，真正的大數(shù)據(jù)分析能力還尚未應(yīng)用。因此如何做好企業(yè)內(nèi)部數(shù)據(jù)信息價值的發(fā)掘成為了關(guān)鍵的第一步。

提升企業(yè)數(shù)據(jù)挖掘檢索能力，并將檢索的技術(shù)門檻降低的典型企業(yè)有Algolia，目前其產(chǎn)品具備關(guān)鍵字輸入智能容錯功能，并提供搜索排名配置，能夠讓普通員工也能按需要找到自己所需的數(shù)據(jù)信息。同時Algolia還為移動設(shè)備提供了離線搜索引擎，其C++ SDK可以嵌入到應(yīng)用服務(wù)器端，這樣即便沒有網(wǎng)絡(luò)連接應(yīng)用也能提供搜索功能，適用范圍很廣。

而在SaaS化服務(wù)興起的同時，企業(yè)采用多種軟件導(dǎo)致內(nèi)部數(shù)據(jù)不聯(lián)通而形成了數(shù)據(jù)孤島。根據(jù)互聯(lián)網(wǎng)女皇Mary Meeker的分析，不同行業(yè)的公司平均使用SaaS服務(wù)的數(shù)量從最低25個至高達91個，需要跨平臺數(shù)據(jù)檢索分析服務(wù)。Maana開發(fā)的數(shù)據(jù)搜索和發(fā)現(xiàn)平臺Maana Knowledge Graph，其長處便是收集來自多個系統(tǒng)或者"孤島"的數(shù)據(jù)，并將其轉(zhuǎn)換為運營建議，可廣泛應(yīng)用于多個行業(yè)。

{ 5 }產(chǎn)品大數(shù)據(jù)分析

產(chǎn)品大數(shù)據(jù)分析相對其他應(yīng)用來說關(guān)注度稍低，但其能夠發(fā)揮的功能并不少。通過收集用戶的瀏覽、點擊、購買等行為，不單從宏觀上能夠察覺用戶群體的喜好變化提前應(yīng)對，微觀上還能夠構(gòu)建用戶畫像，從而做到定制的產(chǎn)品推薦與營銷，能夠有效的提升用戶的消費水平與滿意程度。

Mixpanel便是一家提供類似產(chǎn)品的公司，其讓企業(yè)用戶跟蹤用戶的使用習(xí)慣提供實時分析，其產(chǎn)品有用戶動態(tài)分析(Trends)、行為漏斗模型(Funnels)、用戶活躍度(Cohorts)及單用戶行為分析(People)等幾個模塊，全面的覆蓋了可能發(fā)生的用戶行為與場景。

{ 6 }大數(shù)據(jù)咨詢預(yù)測

如今大數(shù)據(jù)技術(shù)的發(fā)展為事件分析和預(yù)測提供了可能，并且準確度和處理速度已經(jīng)具備了很大競爭力，傳統(tǒng)咨詢公司的處境類似于現(xiàn)在面對AI威脅的華爾街分析師，或許不久之后就將會被替代。因此隨著逐漸出現(xiàn)大數(shù)據(jù)咨詢公司的同時，傳統(tǒng)咨詢企業(yè)也紛紛與大數(shù)據(jù)技術(shù)公司合作，甚至成立了自己的數(shù)據(jù)業(yè)務(wù)部門。

Opera Solutions便是一家依托大數(shù)據(jù)分析的咨詢公司，其創(chuàng)始人是咨詢行業(yè)資深人士，曾創(chuàng)辦了商業(yè)咨詢公司Mitchell Madison和Zeborg。

目前Opera致力于金融領(lǐng)域的數(shù)據(jù)分析類咨詢，通過建模、定量分析給客戶提供建議，解決客戶的商業(yè)問題。例如其計算機系統(tǒng)可以一次性采集數(shù)十億條數(shù)據(jù)，包含從房產(chǎn)和汽車價格到經(jīng)紀賬戶和供應(yīng)鏈的實時數(shù)據(jù)等，通過分析從中獲得有關(guān)消費者、市場和整個經(jīng)濟體系將如何行動的信號或見解。其客戶包含了咨詢機構(gòu)及花旗銀行等公司，最近還為摩根士丹利提供了幫助經(jīng)紀人團隊給其客戶提供投資建議的業(yè)務(wù)。

新技術(shù)、機器學(xué)習(xí)與咨詢預(yù)測行業(yè)的結(jié)合，相比于僅使用大數(shù)據(jù)分析技術(shù)能夠獲得更好的效果，也成為了行業(yè)內(nèi)的一個小熱點。例如基于社會物理學(xué)原理的Endor能夠依托少量數(shù)據(jù)生成統(tǒng)一的人類行為數(shù)據(jù)集，并比傳統(tǒng)海量數(shù)據(jù)分析方式更早的做出模式識別與判斷。在甄別facebook上受ISIS控制的賬號的實驗中，根據(jù)已知少量ISIS賬號特性，Endor高效分辨出了新的ISIS疑似賬號并且準確度令人滿意。

{ 7 }大數(shù)據(jù)服務(wù)支撐平臺

目前圍繞著大數(shù)據(jù)技術(shù)與大數(shù)據(jù)產(chǎn)業(yè)生態(tài)鏈發(fā)展的，還有許多是平臺服務(wù)型的公司，這類公司具備一定的技術(shù)水平，但主要通過服務(wù)大數(shù)據(jù)技術(shù)公司及科研人員而存在，是技術(shù)生態(tài)中不可或缺的一環(huán)。

Dataiku創(chuàng)建了一個云平臺，旨在使數(shù)據(jù)科學(xué)家和普通員工更容易獲得公司收集的大數(shù)據(jù)，并通過機器學(xué)習(xí)庫縮短了專家以及數(shù)據(jù)分析師所需要的時間。

Algorithmia的平臺上提供包括機器學(xué)習(xí)、語義分析、文本分析等通用性算法，一旦用戶找到想用的算法，只需添加幾行簡單的算法查詢代碼到應(yīng)用中，Algorithmia的服務(wù)器就會與應(yīng)用連接，避免了開發(fā)者的重復(fù)勞動。

目前部分向開發(fā)者社區(qū)業(yè)務(wù)發(fā)展過渡的平臺型企業(yè)，因其資源已經(jīng)得到行業(yè)巨頭的青睞，被Google收購的Kaggle便是一例，通過舉辦數(shù)據(jù)科學(xué)周邊的線上競賽，Kaggle吸引了大量數(shù)據(jù)科學(xué)家、機器學(xué)習(xí)開發(fā)者的參與，為各類現(xiàn)實中的商業(yè)難題尋找基于數(shù)據(jù)的算法解決方案。同時Kaggle為其社區(qū)提供了一整套服務(wù)，包括知名的招聘服務(wù)以及代碼分享工具Kernels。

{ 8 }機器學(xué)習(xí)

機器學(xué)習(xí)，是模式識別、統(tǒng)計學(xué)習(xí)、數(shù)據(jù)挖掘的技術(shù)手段，也是計算機視覺、語音識別、自然語言處理等領(lǐng)域的底層技術(shù)，在附件的介紹中大家可以看到，微軟Azure、Google云平臺及AWS都推出了自己的機器學(xué)習(xí)產(chǎn)品，而眾多的機器學(xué)習(xí)創(chuàng)業(yè)公司則通過提供有特色的技術(shù)或服務(wù)進行差異化競爭。

已累計獲得了7900萬美元融資的Attivio專注于利用機器學(xué)習(xí)技術(shù)通過文本進行情緒分析，提供有監(jiān)督的機器學(xué)習(xí)與無監(jiān)督機器學(xué)習(xí)兩種技術(shù)，幫助企業(yè)通過識別企業(yè)語料庫中的文檔進行情緒建模與分析。思科通過Attivio的智能系統(tǒng)令銷售人員能夠在與客戶合作時依據(jù)對方的情緒、消費能力等數(shù)據(jù)推薦合適產(chǎn)品，從而節(jié)省了數(shù)百萬的銷售運營費用，同時節(jié)約了銷售團隊15-25%的時間。

第5篇：大數(shù)據(jù)分析方案范文

【關(guān)鍵詞】 “互聯(lián)網(wǎng)+” 大數(shù)據(jù) “三角服務(wù)”模型 智能醫(yī)療服務(wù)系統(tǒng)

在人口快速老齡化、家庭規(guī)模日益小型化和機構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下，發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò)，使社區(qū)老年人的健康問題得到更好的保障。

一、系統(tǒng)概述

現(xiàn)如今，大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問題，同時，隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng)，已成為該方面的一項新技術(shù)。

二、技術(shù)分析

根據(jù)上述分析，需要開發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，此系統(tǒng)可以最優(yōu)化利用資源，幫助老人方便、快捷的解決突發(fā)狀況。為滿足需求，該方案需要具備以下技術(shù)：1）概率統(tǒng)計。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例，運用概率統(tǒng)計技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2）大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺上，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù)，對采集到的老年人信息進行分析及推斷。3）互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型，實現(xiàn)智能管理。

三、設(shè)計方案

1、總體流程。整個醫(yī)療服務(wù)系統(tǒng)可分為線上和線下兩種服務(wù)方式。線上：系統(tǒng)按照固定方案進行老人身體數(shù)據(jù)采集；線下：社區(qū)醫(yī)療站會定期派專業(yè)人士到老人家里對其進行全方位檢查以及相關(guān)醫(yī)療知識的普及。

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù)，通過社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾CAPP以及信息協(xié)作平臺上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺上，利用大數(shù)據(jù)分析和不確定性推理技術(shù)，對采集到的老年人信息進行分析及推斷。

3、“三角服務(wù)”模型?！盎ヂ?lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建，運用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型（如圖1所示）。

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化，則會通過報警系統(tǒng)反饋到社區(qū)醫(yī)療站，社區(qū)醫(yī)療站則做出最快的反應(yīng)，一方面，會到老人家中對老人進行急救，另一方面，會及時將老人的存檔發(fā)送給醫(yī)院，并聯(lián)系醫(yī)院進行一系列的急救措施，從而節(jié)約了救援時間。

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開發(fā)一個集智能醫(yī)療設(shè)備、智能醫(yī)護終端設(shè)備和帶有功能模塊的智能醫(yī)護平臺為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專門的數(shù)據(jù)庫中，在信息協(xié)作平臺上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個相互共享的網(wǎng)絡(luò)，實現(xiàn)數(shù)據(jù)信息的共享。手機APP與信息協(xié)作平臺相聯(lián)系，能夠通過移動設(shè)備查看網(wǎng)絡(luò)平臺的信息，市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫相連接，從而便于實現(xiàn)信息的共享。

結(jié)語：本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用，目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合，在概率統(tǒng)計的基礎(chǔ)上，將手機APP與信息協(xié)作平臺相聯(lián)系，通過移動設(shè)備查看網(wǎng)絡(luò)平臺的信息，便于實現(xiàn)信息的共享與交流，醫(yī)療服務(wù)更趨于智能化。

參 考 文 獻

[1] 趙靜. 基于物網(wǎng)發(fā)展的智能化社區(qū)醫(yī)療服務(wù)研究[D].燕山大學(xué)，2013.

[2]潘峰，宋峰. 互聯(lián)網(wǎng)+社區(qū)養(yǎng)老：智能養(yǎng)老新思維[J]. 學(xué)習(xí)與實踐，2015，09：99-105.

[3]王蔚，邵磊，楊青. 基于大數(shù)據(jù)體系下的城市住宅區(qū)養(yǎng)老模式研究[J]. 住區(qū)，2016，01：35-41.

第6篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：互聯(lián)網(wǎng)聯(lián)網(wǎng) 數(shù)據(jù)分析師 人才培養(yǎng)

互聯(lián)網(wǎng)行業(yè)在快速發(fā)展，“互聯(lián)網(wǎng)+”概念的提出標志著互聯(lián)網(wǎng)已叩響“萬物互聯(lián)時代”的大門。在這個時代，大數(shù)據(jù)滲透于各行各業(yè)，掌握數(shù)據(jù)核心價值成為企業(yè)脫穎而出并取得勝利的法寶。越來越多的企業(yè)承認競爭優(yōu)勢與大數(shù)據(jù)有關(guān)，由此，數(shù)據(jù)分析師這一職業(yè)逐漸得到認可并受到追捧。世界500強企業(yè)中，有90%以上都建立了數(shù)據(jù)分析部門。在國內(nèi)，已有超過56%的企業(yè)在籌備和發(fā)展大數(shù)據(jù)研究，據(jù)有關(guān)部門預(yù)測未來5年，94%的公司都將需要數(shù)據(jù)分析專業(yè)人才。數(shù)據(jù)分析師的職位需求隨之不斷增長，全國數(shù)據(jù)分析師的職位由2014年初的200多個職位增長到接近3000個職位。正如著名出版公司O’Reilly的創(chuàng)始人Tim O’Reilly斷言，大數(shù)據(jù)就是下一個Intel Inside，未來屬于那些能把數(shù)據(jù)轉(zhuǎn)換為產(chǎn)品的公司和人群。

優(yōu)秀的數(shù)據(jù)分析師已經(jīng)成為促進各行各業(yè)發(fā)展，推動國家經(jīng)濟進步的重要人物。但我國針對數(shù)據(jù)分析的研究起步晚，市場巨大，職位空缺現(xiàn)象十分嚴重。因此，培養(yǎng)數(shù)據(jù)分析人才的項目活動應(yīng)引起高度重視。

1互聯(lián)網(wǎng)環(huán)境下的數(shù)據(jù)分析師

1.1數(shù)據(jù)分析師的定義

談起數(shù)據(jù)分析師，很多人都認為其職位高高在上，不可企及，但實際并非如此。讓我們從案例出發(fā)來探索其內(nèi)在含義，數(shù)據(jù)分析最經(jīng)典的案例便是“啤酒與尿布”，沃爾瑪超市將Aprior算法引入Pos機數(shù)據(jù)分析發(fā)現(xiàn)美國年輕的父親去超市為嬰兒購買尿布的同時，往往會順便為自己購買啤酒，這樣便使尿布和啤酒這兩樣看似不相干的商品有了某種聯(lián)系。于是，沃爾瑪嘗試將兩種商品擺放在同一區(qū)域，進而取得了意想不到的良好銷售收入?？梢?，數(shù)據(jù)分析是運用適當?shù)姆椒▽κ占瘉淼拇罅繑?shù)據(jù)進行分析整理，篩選有價值的信息并形成相應(yīng)的解決方案以幫助人們作出判斷，采取適當行動的過程。

1.2數(shù)據(jù)分析師的層級分類

經(jīng)對多家招聘網(wǎng)站數(shù)據(jù)分析師的招聘信息進行分析研究，發(fā)現(xiàn)目前數(shù)據(jù)分析師大體分為三個層級：傳統(tǒng)行業(yè)的數(shù)據(jù)分析師、互聯(lián)網(wǎng)初級數(shù)據(jù)分析師、互聯(lián)網(wǎng)高級數(shù)據(jù)分析師。傳統(tǒng)行業(yè)的數(shù)據(jù)分析師的主要工作是整理、處理數(shù)據(jù)，專業(yè)技能只要具備一定的數(shù)學(xué)和統(tǒng)計學(xué)知識儲備即可；第二層級是互聯(lián)網(wǎng)初級數(shù)據(jù)分析師，職位要求在傳統(tǒng)數(shù)據(jù)分析師的基礎(chǔ)上掌握少數(shù)的計算機工具譬如SPSS、SQL等，從職人員需具備一定的數(shù)據(jù)敏感度和邏輯思維能力，能夠?qū)?shù)據(jù)源進行分析并能制作數(shù)據(jù)報表；互聯(lián)網(wǎng)高級數(shù)據(jù)分析師是一類復(fù)合型人才，要熟悉業(yè)務(wù)環(huán)境并能與技術(shù)相結(jié)合解決企業(yè)實際問題，并掌握數(shù)據(jù)挖掘常用算法和一系列相關(guān)的分析軟件，他們的工作與企業(yè)發(fā)展密切相連，擁有一名優(yōu)秀的數(shù)據(jù)分析師的企業(yè)將擁有與同行業(yè)競爭的資本。

1.3數(shù)據(jù)分析師的能力需求

數(shù)據(jù)分析師的工作分為采集、存儲、篩選、數(shù)據(jù)挖掘、建模分析、優(yōu)化、展現(xiàn)、應(yīng)用等一系列過程。接下來從主要步驟詳細分析數(shù)據(jù)分析師的能力需求。數(shù)據(jù)挖掘過程即從海量數(shù)據(jù)中提取潛在的有價值的信息，要求數(shù)據(jù)分析師掌握一系列相關(guān)分析方法譬如聚類分析、關(guān)聯(lián)分析、等并能熟練運用數(shù)據(jù)挖掘算法和相關(guān)工具；建模分析即對數(shù)據(jù)抽象組織，確定數(shù)據(jù)及相關(guān)性的過程，在此基礎(chǔ)上要掌握譬如決策樹、神經(jīng)網(wǎng)絡(luò)、K-means算法、SVM等至少一種相關(guān)算法；展現(xiàn)過程要求具備數(shù)據(jù)整理、數(shù)據(jù)可視化、報表制作能力，熟練應(yīng)用D3、Vega實現(xiàn)數(shù)據(jù)可視化，并能運用R和DateWangler工具將原始數(shù)據(jù)轉(zhuǎn)化為實用的格式。

2數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

2.1國外數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

在國外，無論是學(xué)術(shù)研究還是企業(yè)部門，數(shù)據(jù)分析已發(fā)展到較為成熟的地步。斯坦福大學(xué)的研究成員著手開發(fā)MEGA（現(xiàn)代動態(tài)網(wǎng)絡(luò)圖像分析Modern Graph Analysis for Dynamic Networks）并與多家媒體公司緊密合作，研究社交媒體中的用戶行為，建立模型并探究其中的規(guī)律；哥倫比亞大學(xué)已開設(shè)了《數(shù)據(jù)科學(xué)導(dǎo)論》和《應(yīng)用數(shù)據(jù)科學(xué)》課程，從2013年秋季起開設(shè)“數(shù)據(jù)科學(xué)專業(yè)成就認證”培訓(xùn)項目，并于2014年設(shè)立專業(yè)碩士學(xué)位和博士學(xué)位；華盛頓大學(xué)開設(shè)《數(shù)據(jù)科學(xué)導(dǎo)論》課程，并對修滿數(shù)據(jù)科學(xué)相關(guān)課程學(xué)分的學(xué)生頒發(fā)數(shù)據(jù)科學(xué)證書。數(shù)據(jù)分析師在國外已引起了充分的重視，他們均衡分布在各行各業(yè)，運用掌握的專業(yè)知識并結(jié)合相關(guān)思維為自身、企業(yè)乃至社會的發(fā)展做著不小的貢獻。

2.2國內(nèi)數(shù)據(jù)分析師的培養(yǎng)現(xiàn)狀

近年來，在國內(nèi)，大數(shù)據(jù)的概念雖被媒體和行業(yè)廣泛提及，但數(shù)據(jù)分析算是剛剛起步，數(shù)據(jù)分析師的培養(yǎng)課程未得到普及，我國目前將數(shù)據(jù)分析納入教學(xué)體系的高校寥寥無幾，開設(shè)相關(guān)課程并取得一定成果的有：香港中文大學(xué)設(shè)立“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計科學(xué)”碩士學(xué)位；復(fù)旦大學(xué)開設(shè)數(shù)據(jù)科學(xué)討論班，于2010年開始招收數(shù)據(jù)科學(xué)博士研究生；北京航空航天大學(xué)設(shè)立大數(shù)據(jù)工程碩士學(xué)位；中國人民大學(xué)統(tǒng)計學(xué)院開設(shè)數(shù)據(jù)分析方向應(yīng)用統(tǒng)計碩士。

和國外相比，我國數(shù)據(jù)分析師的人才培養(yǎng)機制還未成熟，高校教育仍存在各種各樣的問題，譬如，大學(xué)生雖然從多門課程中接觸到與數(shù)據(jù)分析相關(guān)內(nèi)容，但各門課程的教學(xué)資源未能實現(xiàn)有效的整合。互聯(lián)網(wǎng)環(huán)境下，大數(shù)據(jù)帶來的是一場革命性的變化，若想把握機遇，實現(xiàn)國家經(jīng)濟革命性發(fā)展，首要任務(wù)就是數(shù)據(jù)分析師的培養(yǎng)。

3如何成為優(yōu)秀的數(shù)據(jù)分析師

數(shù)據(jù)分析師作為新時代新興起的高薪職業(yè)，對人員的能力要求是相當高的，下面將根據(jù)數(shù)據(jù)分析師的定義、能力需求并結(jié)合互聯(lián)網(wǎng)環(huán)境的時代背景，對數(shù)據(jù)分析師的成才途徑作出詳細的分析。

思維變革，數(shù)據(jù)分析師成才的前提。首先要在思維方面有所改變，培養(yǎng)自身數(shù)據(jù)思維、多模式思維、邏輯思維和結(jié)構(gòu)化思維。數(shù)據(jù)思維即量化思維，對數(shù)據(jù)具有獨特的敏感度，相信一切事物皆可量化；多模式思維即構(gòu)造多種想法和解決思路，拓寬思維，從多角度出發(fā)，以尋求最優(yōu)的解決問題的方案；邏輯思維，在錯綜復(fù)雜的海量數(shù)據(jù)中要有縝密的思維和清晰的邏輯推理能力才能按照自己既定的目標有效解決問題；結(jié)構(gòu)化思維即系統(tǒng)性思考問題，深入分析內(nèi)在原因，能夠制定系統(tǒng)可行的解決方案。

技能變革，數(shù)據(jù)分析師成才的工具。作為一名優(yōu)秀的數(shù)據(jù)分析師若想在互聯(lián)網(wǎng)環(huán)境下對海量數(shù)據(jù)進行有效的管理，就要努力學(xué)習(xí)相關(guān)的專業(yè)技能。要掌握多種機器學(xué)習(xí)方法，不斷學(xué)習(xí)相關(guān)軟件應(yīng)用，譬如，Java、Python、SQL、Hadoop、R等等，這將成為數(shù)據(jù)分析全過程的輔助工具；除此，還要掌握一定的心理學(xué)知識，能夠很好的分析和解釋客戶行為；在此基礎(chǔ)上，最核心的是要掌握一定的業(yè)務(wù)能力和管理能力。

素質(zhì)變革，數(shù)據(jù)分析師成才的保證。在個人素質(zhì)方面，互聯(lián)網(wǎng)時代對數(shù)據(jù)分析師的要求增多，若想成為優(yōu)秀的數(shù)據(jù)分析師就應(yīng)不斷學(xué)習(xí)完善以下素質(zhì)能力：對工作的態(tài)度嚴謹認真，對數(shù)據(jù)的變化時刻保持敏銳的洞察力，對方法的運用保持一定的創(chuàng)新性，對團隊保持團結(jié)合作之心，能與顧客溝通交流并及時了解他們的需求。

實踐，數(shù)據(jù)分析師成才的推動力。數(shù)據(jù)分析師的職責(zé)是幫助企業(yè)挖掘市場價值、發(fā)現(xiàn)機遇、準確進行市場定位并從海量數(shù)據(jù)中找出問題，提出解決方案。因此，在數(shù)據(jù)分析師的成才道路上，實踐是必不可少的。相關(guān)人員要在掌握理論的基礎(chǔ)上，敢于應(yīng)用于實踐，充分考慮數(shù)據(jù)中存在的價值和風(fēng)險。使自我能力在實踐中不斷改進和完善。

4給我國高校的建議

高校為數(shù)據(jù)分析師的成長提供指導(dǎo)和途徑，肩負著為我國社會培養(yǎng)有用人才的重任，因此高校要努力構(gòu)建數(shù)據(jù)分析師的人才培養(yǎng)機制，不斷輸出數(shù)據(jù)分析相關(guān)人才。

高校的首要任務(wù)是，強化師資力量，改進教學(xué)方法。各大高校應(yīng)聯(lián)合共建優(yōu)秀師資團隊，鼓勵教師考取數(shù)據(jù)分析師資格證，并到實際企業(yè)中進行歷練。再者，我們要組建專門師資團隊到國外開展學(xué)習(xí)工作，取其精髓，去其槽粕，不斷優(yōu)化我國數(shù)據(jù)分析師的培養(yǎng)體系。

第二、培養(yǎng)專業(yè)化的人才就要有效整合各門課程的教學(xué)資源，構(gòu)建系統(tǒng)性教學(xué)結(jié)構(gòu)。鑒于市場對數(shù)據(jù)分析師的需求的火熱程度，高校完全可以開設(shè)專門課程，將與數(shù)據(jù)相關(guān)的課程進行有機的整合并開設(shè)數(shù)據(jù)分析導(dǎo)論、基礎(chǔ)等課程，制定數(shù)據(jù)分析系統(tǒng)性課程體系，專門為市場培養(yǎng)數(shù)據(jù)分析的專業(yè)人才。

第三、在具備優(yōu)秀的師資力量和良好的教學(xué)體系的基礎(chǔ)上，高校也高度應(yīng)注重學(xué)生興趣的培養(yǎng)。數(shù)據(jù)分析師是新時代的復(fù)合型人才，一名優(yōu)秀的數(shù)據(jù)分析師需掌握包括數(shù)學(xué)、統(tǒng)計學(xué)、運籌學(xué)、社會學(xué)、管理學(xué)以及大量軟件應(yīng)用在內(nèi)的大量相關(guān)知識，學(xué)習(xí)過程會十分繁瑣、復(fù)雜，學(xué)習(xí)周期長，學(xué)習(xí)難度大，所以建議各大高校在制定教學(xué)體系時應(yīng)合理安排課程，在教學(xué)過程中應(yīng)注重課程的趣味性，寓教于樂，采用案例導(dǎo)入、項目教學(xué)等教學(xué)方法，逐漸培養(yǎng)學(xué)生對數(shù)據(jù)分析濃厚的興趣。

第四、隨時更新教學(xué)數(shù)據(jù)，培養(yǎng)適應(yīng)時展的人才。基于大數(shù)據(jù)的4V特征即大量化（Volume）、多樣化（Variety）、快速化（Velocity）、價值化（Value），在培養(yǎng)數(shù)據(jù)分析人才的期間，高校一方面要注重數(shù)據(jù)的全面性，另一方面要注重數(shù)據(jù)的更新，及時更改教學(xué)方法和教學(xué)案例，與時俱進。高校要充分利用互聯(lián)網(wǎng)的優(yōu)勢，引入MOOC（Massive Open Online Course，大規(guī)模網(wǎng)絡(luò)開放課程）教學(xué)方式，充分發(fā)揮大數(shù)據(jù)在教育領(lǐng)域的作用，克服傳統(tǒng)教學(xué)方法資源少、反饋慢、綜合分析困難等缺點，將數(shù)據(jù)分析的研究成果應(yīng)用于數(shù)據(jù)分析人才的培養(yǎng)，實現(xiàn)數(shù)據(jù)分析行業(yè)的良性循環(huán)。

第五、注重理論與實踐相結(jié)合，努力為學(xué)生搭建實踐的平臺。高?？煽紤]校企合作的教學(xué)理念，邊教學(xué)邊實踐，讓學(xué)生將所學(xué)到的理論知識轉(zhuǎn)化為實際應(yīng)用，一方面在實踐中鞏固并檢驗自己的理論知識，另一方面數(shù)據(jù)來源真正的企業(yè)運營中，讓學(xué)生切實體驗數(shù)據(jù)的作用和風(fēng)險，有助于塑造真正對企業(yè)有用的人才。

5結(jié)語

綜上所述，互聯(lián)網(wǎng)帶來了全球范圍的數(shù)據(jù)信息大爆炸，這對企業(yè)來說是機遇同時也是挑戰(zhàn)，能將大數(shù)據(jù)為自己所用，是企業(yè)取勝的關(guān)鍵，因此數(shù)據(jù)分析師逐漸被各行各業(yè)認可。文章從數(shù)據(jù)分析師的定義出發(fā)，結(jié)合目前的時代背景，對數(shù)據(jù)分析師的每一工作步驟所需的能力進行研究，旨在初步探索優(yōu)秀數(shù)據(jù)分析師的成才之道，為即將成為數(shù)據(jù)分析師的學(xué)者提供一定的理論參考。最后，針對如何構(gòu)建數(shù)據(jù)分析人才培養(yǎng)體系，對我國高校提出了幾點建議。高校的培養(yǎng)只是為數(shù)據(jù)分析師提供成才的途徑，如何成為資深的數(shù)據(jù)分析師還有賴于每個學(xué)者的不斷探索和研究。

參考文獻：

[1]張明元.數(shù)據(jù)分析師的職業(yè)是否高不可及[J].出國與就業(yè)，2007（08）：56.

[2]鄭葵，馬濤.經(jīng)管類專業(yè)大學(xué)生數(shù)據(jù)分析能力提升策略探討[J].商業(yè)經(jīng)濟，2013（19）：52-53.

[3]馮海超.大數(shù)據(jù)時代正式到來[J].互聯(lián)網(wǎng)周刊，2012（24）：36-38.

[4]譚立云，李強麗，李慧.大數(shù)據(jù)時代數(shù)據(jù)分析人才培養(yǎng)的思考及對策[J].科技論壇，2015.

[5]尹穎堯，李鴻琳.趕緊培養(yǎng)數(shù)據(jù)分析師[J].大學(xué)生，2013（18）：78-79.

[6]程征.提升數(shù)字閱讀質(zhì)感的數(shù)據(jù)分析師[J].中國記者，2013（6）：46-47.

[7]張文霖.數(shù)據(jù)分析師那些事[J].統(tǒng)計論壇，2013（7）：44-45.

第7篇：大數(shù)據(jù)分析方案范文

［關(guān)鍵詞］數(shù)據(jù)分析；大數(shù)據(jù)；智慧校園；決策支持

1國內(nèi)外研究開發(fā)現(xiàn)狀和發(fā)展趨勢

1．1現(xiàn)狀與趨勢

在當今大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)等新思路、新技術(shù)快速發(fā)展的又一歷史時期，高等教育面臨著前所未有的發(fā)展機遇，在經(jīng)歷了網(wǎng)絡(luò)化、數(shù)字化、信息化管理階段之后，“智慧校園”將是在“互聯(lián)網(wǎng)＋教育”趨勢下最重要的發(fā)展思路。隨著計算機技術(shù)的不斷發(fā)展，各種系統(tǒng)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以前所未有的驚人速度迅猛增長，“大數(shù)據(jù)”時代已經(jīng)到來。大數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜、數(shù)據(jù)規(guī)模大的數(shù)據(jù)集合。其數(shù)據(jù)量已經(jīng)遠遠超出了一般數(shù)據(jù)管理工具可以承受的處理時間以及數(shù)據(jù)處理及存儲管理能力。在當今大數(shù)據(jù)環(huán)境下，高校管理系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)量發(fā)生了巨大的變化。在數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)分析及數(shù)據(jù)挖掘等方面面臨著巨大的機遇和挑戰(zhàn)。為了有效地利用大數(shù)據(jù)為高校決策分析提供更好的服務(wù)，必須基于大數(shù)據(jù)建立相應(yīng)的數(shù)據(jù)分析系統(tǒng)。

1．2國內(nèi)外研究與開發(fā)綜述

隨著大數(shù)據(jù)的發(fā)展和教育信息化的不斷深入，基于大數(shù)據(jù)開展的高校校園數(shù)據(jù)分析與應(yīng)用逐步受到重視。對大數(shù)據(jù)的定義始終沒有形成統(tǒng)一的意見。維基百科對大數(shù)據(jù)（Bigdata）的定義是：所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達到截取、管理、處理并整理成為人類所能解讀的信息。麥肯錫全球研究院將大數(shù)據(jù)定義為：無法在一定時間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行獲取、管理和處理的數(shù)據(jù)集合。加特納（Gartner）于2012年修改了對大數(shù)據(jù)的定義：大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn)，它需要新型的處理方式去促成更強的決策能力、洞察力與優(yōu)化處理。而在高校學(xué)生數(shù)據(jù)的分析應(yīng)用方面，國內(nèi)外高校均有開展相關(guān)的研究。紐約州波基普西市瑪麗斯特學(xué)院（MaristCollege）與商業(yè)數(shù)據(jù)分析公司Pentaho合作發(fā)起開源學(xué)術(shù)分析計劃，旨在一門新課程開始的兩周內(nèi)預(yù)測哪些學(xué)生可能會無法順利完成課程，它基于商業(yè)分析平臺開發(fā)了一個分析模型，通過收集分析學(xué)生的學(xué)習(xí)習(xí)慣，包括線上閱讀材料、論壇發(fā)言、完成作業(yè)時長等數(shù)據(jù)信息，來預(yù)測學(xué)生的學(xué)業(yè)情況，及時干預(yù)幫助問題學(xué)生，從而提升畢業(yè)率。上海財經(jīng)大學(xué)基于校園信息化數(shù)據(jù)基礎(chǔ)，開發(fā)了校務(wù)決策支持系統(tǒng)，面向人才培養(yǎng)、內(nèi)部管理、科學(xué)研究和師生服務(wù)等方面開展決策分析；華東師范大學(xué)利用校園信息化基礎(chǔ)數(shù)據(jù)，開展了校車人數(shù)與載客分布分析，提升了校車使用率；利用一卡通數(shù)據(jù)開展了貧困生的特征確定、潛在貧困生分析、后續(xù)跟蹤驗證，有效提升了幫困扶貧的工作效率。

2需求分析

結(jié)合西安歐亞學(xué)院信息化建設(shè)基礎(chǔ)與海量的數(shù)據(jù)積累，建立“智慧校園”數(shù)據(jù)分析系統(tǒng)，通過此平臺的建設(shè)和應(yīng)用，運用數(shù)據(jù)挖掘和知識發(fā)現(xiàn)，從而在大數(shù)據(jù)中獲取數(shù)據(jù)之間內(nèi)在的相互聯(lián)系，以及其中可能存在的某種規(guī)律，從而有效提升校園管理的決策效率，提升教學(xué)科研與管理服務(wù)的綜合水平。通過調(diào)查走訪各部門，了解教師、學(xué)生與行政管理人員的相關(guān)需求。主要包括四個方面：一是教學(xué)數(shù)據(jù)分析需求。包括各分院、招生辦、教務(wù)處等部門對于招生、學(xué)生學(xué)習(xí)行為、教學(xué)質(zhì)量、學(xué)科建設(shè)與學(xué)生就業(yè)等方面的分析。二是生活服務(wù)數(shù)據(jù)分析需求。包括圖書館、后勤等部門對于學(xué)生的消費行為即圖書借閱、網(wǎng)絡(luò)行為、資源利用等項目的分析。三是財務(wù)、人事、宣傳等部門對于全校的資產(chǎn)、師資力量、宣傳效果等項目的分析。四是研究發(fā)展部門對于全?？蒲许椖颗c成果完成情況的分析（見圖1）。

3系統(tǒng)方案設(shè)計

3．1框架設(shè)計

結(jié)合需求情況，開展系統(tǒng)的總體框架設(shè)計，初步將系統(tǒng)分為三大板塊，包括數(shù)據(jù)監(jiān)測、決策支持和查詢定制（見圖2）。

3．2系統(tǒng)方案

系統(tǒng)總體架構(gòu)包括四個層次，分別是數(shù)據(jù)引擎、數(shù)據(jù)挖掘、數(shù)據(jù)庫解決方案和交互平臺。數(shù)據(jù)引擎部分將集成校園WIFI、固網(wǎng)、一卡通、教務(wù)系統(tǒng)等各類信息系統(tǒng)的數(shù)據(jù)，形成數(shù)據(jù)源，數(shù)據(jù)挖掘?qū)⑼ㄟ^分布式計算架構(gòu)和數(shù)據(jù)分析平臺對潛在數(shù)據(jù)進行分析與建模，通過數(shù)據(jù)庫建立本系統(tǒng)的分析數(shù)據(jù)庫，最終通過PC、手機等客戶端向用戶進行呈現(xiàn)（見圖3）。

3．3典型應(yīng)用研究內(nèi)容

3．3．1教學(xué)質(zhì)量評估教學(xué)質(zhì)量評估屬于高校定期必須完成的任務(wù)，教學(xué)評估的主要目的是更好地發(fā)掘出教學(xué)過程中存在的一些問題，從而及時地對教學(xué)方法進行調(diào)整，最終實現(xiàn)教學(xué)質(zhì)量的提升。將大數(shù)據(jù)運用到高校教學(xué)評估系統(tǒng)之中，不但能夠在很大程度上提高高校教學(xué)管理的科學(xué)性，同時還可以提高信息化教學(xué)的實用性。把基于大數(shù)據(jù)挖掘的算法運用在教學(xué)評估工作之中，找出教學(xué)效果、信息技術(shù)在教學(xué)中的應(yīng)用、師生之間的溝通互動等因素之間的聯(lián)系，從而給高校的教學(xué)部門帶來非?？茖W(xué)的決策信息，同時讓教師可以更加有效地開展教學(xué)工作，提高教學(xué)質(zhì)量。

3．3．2教師教學(xué)能力分析以往的教學(xué)缺乏大量數(shù)據(jù)支撐，教學(xué)的質(zhì)量高低主要靠教師自我度的把握?，F(xiàn)在，可以通過在線課堂等技術(shù)，搜集大量課堂情況信息，比如學(xué)生對知識點的理解程度、教師課堂測試的成績、學(xué)生課堂紀律等。通過這些數(shù)據(jù)的分析，了解教師熟悉教案的程度、課堂氛圍等，改善教學(xué)水平。也可以通過深度分析學(xué)生在教學(xué)過程中教師的課堂表現(xiàn)，從而發(fā)現(xiàn)課程的閃光點以及不足，從而讓教師能夠進一步地對課程教學(xué)進行改善，提升教學(xué)質(zhì)量。

3．3．3個性化課程分析個性化學(xué)習(xí)是高校教學(xué)改革的目標，過去的班級制教學(xué)中無法很好達到這一點，通過把大數(shù)據(jù)挖掘技術(shù)和學(xué)習(xí)內(nèi)容結(jié)合起來，指導(dǎo)學(xué)習(xí)者規(guī)劃學(xué)習(xí)發(fā)展方向，制訂學(xué)習(xí)規(guī)劃，實現(xiàn)個性化學(xué)習(xí)功能。通過評估個人情況，根據(jù)分析結(jié)果推薦可能取得優(yōu)秀成績的課程方案。首先獲取學(xué)生以往的學(xué)習(xí)表現(xiàn)，然后從已畢業(yè)學(xué)生的成績庫中找到與之成績相似的學(xué)生信息，分析前期成績和待選課程結(jié)果之間的相關(guān)性，結(jié)合專業(yè)要求和學(xué)生能力進行分析，預(yù)測學(xué)生選擇的課程中可能取得的成績，最后綜合權(quán)衡預(yù)測學(xué)生成績和各門課程的重要性，為學(xué)生推薦一份專業(yè)課程清單。

3．3．4學(xué)習(xí)行為分析通過一卡通門禁信息、網(wǎng)絡(luò)信息、課程信息、在線教育系統(tǒng)等相關(guān)數(shù)據(jù)，可以把學(xué)生到課堂時間、上課表現(xiàn)、作業(yè)完成情況、自習(xí)情況等學(xué)習(xí)信息記錄下來，進行變量分析。當一些與學(xué)習(xí)行為有關(guān)的因素（如曠課、紀律問題、課堂表現(xiàn)）發(fā)生變化時，對學(xué)生提示并進行分析。通過這種系統(tǒng)分析，可以很好地規(guī)劃學(xué)生的學(xué)習(xí)時間，提高學(xué)習(xí)效率。

4技術(shù)創(chuàng)新點

4．1大數(shù)據(jù)環(huán)境下提升數(shù)據(jù)挖掘范圍

相比于傳統(tǒng)常規(guī)環(huán)境下的數(shù)據(jù)獲取渠道，大數(shù)據(jù)環(huán)境下，校園數(shù)據(jù)的獲取更為廣泛和準確。常規(guī)環(huán)境下的數(shù)據(jù)主要以經(jīng)費收支、課程建設(shè)、問卷、訪談、課堂觀察等來源，而在大數(shù)據(jù)環(huán)境下，通過對事件數(shù)據(jù)、輿情數(shù)據(jù)、一卡通、日志搜索等數(shù)據(jù)的抓取與分析，更能夠準確地反映實際校情。

4．2可視化技術(shù)展現(xiàn)數(shù)據(jù)分析結(jié)果

利用大數(shù)據(jù)分析的數(shù)據(jù)挖掘與可視化分析，能夠直觀地呈現(xiàn)大數(shù)據(jù)特點，同時能夠非常容易被使用者所接受，就如同看圖說話一樣簡單明了。智慧校園中，結(jié)合學(xué)生學(xué)習(xí)、生活消費的各類數(shù)據(jù)，通過系統(tǒng)分析與圖表展現(xiàn)，讓用戶只管了解數(shù)據(jù)分析的結(jié)果。

4．3數(shù)據(jù)質(zhì)量管理提供重要支持

本項目結(jié)合大數(shù)據(jù)發(fā)展趨勢，充分利用數(shù)據(jù)挖掘、建模與可視化展示技術(shù)，系統(tǒng)存儲數(shù)據(jù)主要是從校內(nèi)外各種數(shù)據(jù)源中獲得最原始數(shù)據(jù)，并對該部分數(shù)據(jù)進行整合形成數(shù)據(jù)層，然后將數(shù)據(jù)層中的數(shù)據(jù)經(jīng)過抽取、清洗、轉(zhuǎn)換、裝載進入數(shù)據(jù)倉庫從而形成支撐層，在支撐層的基礎(chǔ)上，可以根據(jù)需求對數(shù)據(jù)進行挖掘分析，從而構(gòu)建決策層。

第8篇：大數(shù)據(jù)分析方案范文

關(guān)鍵詞：大數(shù)據(jù) 數(shù)據(jù)安全 安全分析 安全技術(shù) 安全防護

1 引言

隨著大數(shù)據(jù)技術(shù)日益發(fā)展成熟，運營商通過多年的發(fā)展積累了龐大的數(shù)據(jù)資源，基于數(shù)據(jù)資源方面的顯著優(yōu)勢，在確保數(shù)據(jù)安全使用的前提下，積極開展大數(shù)據(jù)外部旅游、交通、政府、地產(chǎn)、人力資源、汽車、公共服務(wù)等行業(yè)的營銷實踐，可實現(xiàn)大數(shù)據(jù)經(jīng)濟效益和社會效益的雙重提升。

《中華人民共和國國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃綱要》明確指出，要“實施國家大數(shù)據(jù)戰(zhàn)略”，“加快推動數(shù)據(jù)資源共享開放和開發(fā)應(yīng)用”；要“加強數(shù)據(jù)資源安全保護”，“保障安全高效可信應(yīng)用”。國務(wù)院頒布的《促進大數(shù)據(jù)發(fā)展行動綱要》提出，要深化大數(shù)據(jù)在各行業(yè)的創(chuàng)新應(yīng)用，同步建立健全大數(shù)據(jù)安全保障體系，切實保障數(shù)據(jù)安全。

但是，隨著運營商大數(shù)據(jù)應(yīng)用需求的快速增加，其面臨的安全風(fēng)險也在不斷增大，為貫徹落實國家的相關(guān)要求，確保運營商大數(shù)據(jù)安全風(fēng)險可管可控，在確保安全的前提下發(fā)揮數(shù)據(jù)價值，開展運營商大數(shù)據(jù)安全管理策略研究，對實現(xiàn)運營商大數(shù)據(jù)安全管理具有重要的意義。

2 運營商大數(shù)據(jù)全生命周期安全管控

運營商建設(shè)大數(shù)據(jù)系統(tǒng)通常分為五個層級：

（1）數(shù)據(jù)采集層：主要是對移動通信網(wǎng)絡(luò)、家庭寬帶網(wǎng)絡(luò)、集團專線網(wǎng)絡(luò)的網(wǎng)絡(luò)設(shè)備及業(yè)務(wù)平臺側(cè)進行數(shù)據(jù)分光復(fù)用、流量鏡像等配置操作。

（2）數(shù)據(jù)處理層：基于服務(wù)器資源對傳輸過來的原始數(shù)據(jù)進行解析，生產(chǎn)準實時數(shù)據(jù)，其中包括位置數(shù)據(jù)、通話數(shù)據(jù)、漫游數(shù)據(jù)、上網(wǎng)數(shù)據(jù)等明細數(shù)據(jù)。

（3）數(shù)據(jù)標簽層：根據(jù)上層應(yīng)用功能需求，對數(shù)據(jù)處理層生成的基礎(chǔ)明細數(shù)據(jù)進行建模，生產(chǎn)滿足各個應(yīng)用場景的小時/日/周/月寬表數(shù)據(jù)和用戶畫像標簽。

（4）功能模塊層：為支撐各種不同行業(yè)產(chǎn)品的需求，需要提供對外數(shù)據(jù)推送的OpenAPI接口，實現(xiàn)與外部需求系統(tǒng)的協(xié)議適配、準實時推送、定時分發(fā)和實時查詢等功能。同時對外輸出分析報告、數(shù)據(jù)產(chǎn)品和行業(yè)解決方案。

（5）行業(yè)應(yīng)用層：根據(jù)行業(yè)特征和需求，針對客戶、產(chǎn)品、服務(wù)等方面進行分析研究，并輸出大數(shù)據(jù)開放接口、大數(shù)據(jù)分析報告、大數(shù)據(jù)解決方案及大數(shù)據(jù)產(chǎn)品，提升客戶在各行業(yè)進行業(yè)務(wù)管理、產(chǎn)品運營、精準營銷等方面的能力，實現(xiàn)運輸商大數(shù)據(jù)變現(xiàn)。

基于運營商大數(shù)據(jù)系統(tǒng)建設(shè)的五個層級，構(gòu)建大數(shù)據(jù)全生命周期安全管控如圖1所示。

對于運營商大數(shù)據(jù)全生命周期安全管控，需要建立數(shù)據(jù)采集、傳輸、存儲、共享、使用、審計、銷毀等七個環(huán)節(jié)的端到端安全管理體系。

（1） 采集環(huán)節(jié)

在數(shù)據(jù)采集過程中，應(yīng)確保數(shù)據(jù)采集和處理均在運營商機房內(nèi)，確保核心數(shù)據(jù)不出機房。采集所使用的分光器應(yīng)在建設(shè)時做好包括端口、位置等信息在內(nèi)的記錄，并定期開展審計。

（2）傳輸環(huán)節(jié)

針對跨安全域傳輸?shù)却嬖跐撛诎踩L(fēng)險的環(huán)境，應(yīng)對敏感信息的傳輸進行加密保護，并根據(jù)數(shù)據(jù)敏感級別采用相應(yīng)的加密手段。對于目前已使用的未進行數(shù)據(jù)加密傳輸，應(yīng)令廠家盡快加入加密模塊，并在傳輸兩端協(xié)商好加解密算法與密鑰，密鑰應(yīng)做到定期更換。

（3）存儲環(huán)節(jié)

針對存在潛在安全風(fēng)險的存儲環(huán)境，例如hadoop中的數(shù)據(jù)庫、磁盤陣列等，應(yīng)對大數(shù)據(jù)中的敏感信息加密存儲，確保其保密性，保障數(shù)據(jù)完整性，做好數(shù)據(jù)容災(zāi)備份。

建立從設(shè)備到操作系統(tǒng)、從平臺應(yīng)用到數(shù)據(jù)庫、從業(yè)務(wù)到數(shù)據(jù)等多角度的容災(zāi)備份方案，大數(shù)據(jù)安全管理員從應(yīng)急預(yù)案、風(fēng)險檢測、實時預(yù)警、風(fēng)險遏制、問題根除、系統(tǒng)恢復(fù)、跟蹤總結(jié)各環(huán)節(jié)建立落實大數(shù)據(jù)安全事件應(yīng)急響應(yīng)方案，定期開展演練。

（4 ）使用環(huán)節(jié)

大數(shù)據(jù)平臺的所有設(shè)備及平臺應(yīng)用必須全量接入安全審計系統(tǒng)，并實施繞行訪問控制，禁止直連訪問。對涉及用戶身份、位置等敏感信息提取的操作采用“金庫模式”管控。對用戶敏感信息進行對外查詢、展現(xiàn)、統(tǒng)計、導(dǎo)出等操作時，必須首先經(jīng)過模糊化處理或脫敏處理。

（5 ）共享環(huán)節(jié)

針對跨部門的大數(shù)據(jù)共享，通過保密協(xié)議等方式明確數(shù)據(jù)共享雙方應(yīng)承擔(dān)的安全責(zé)任、應(yīng)具備的數(shù)據(jù)保護手段、限制數(shù)據(jù)使用范圍和場景等。一切離開大數(shù)據(jù)平臺的敏感數(shù)據(jù)都需要先進行加密，確保未授權(quán)的人員無法訪問其內(nèi)容。

（6）審計環(huán)節(jié)

用戶登錄大數(shù)據(jù)平臺后的任何操作必須有詳細的日志記錄，日志log文件中應(yīng)至少包括“何時、何地、何賬號、何操作”，涉及大數(shù)據(jù)的具體操作，日志中還應(yīng)該記錄關(guān)鍵字段名稱。

（7）銷毀環(huán)節(jié)

涉及用戶敏感信息的大數(shù)據(jù)平臺下線或分析工作結(jié)束后留在系統(tǒng)內(nèi)部的敏感信息，應(yīng)采用技術(shù)手段刪除，確保信息不可還原。對于分析工作結(jié)束后留在系統(tǒng)內(nèi)部的敏感信息，應(yīng)根據(jù)數(shù)據(jù)需求工單中的數(shù)據(jù)有效期進行銷毀。

3 構(gòu)建統(tǒng)一客戶敏感數(shù)據(jù)管理

運營商大數(shù)據(jù)涉及到用戶的行為特征，可以分為敏感數(shù)據(jù)和非敏感數(shù)據(jù)。敏感數(shù)據(jù)是不可下載本地系統(tǒng)進行操作，只允許在統(tǒng)一客戶敏感數(shù)據(jù)管理平臺中對其進行直接操作，而非敏感數(shù)據(jù)是可以下載本地進行操作，非敏感數(shù)據(jù)的下載只允許通過數(shù)據(jù)提取系統(tǒng)進行下載。統(tǒng)一客戶敏感數(shù)據(jù)管理系統(tǒng)架構(gòu)如圖2所示。

在市魴棖筧嗽碧岢魴棖蟮ブ后，數(shù)據(jù)分析接口管理人員必須能夠識別是否為敏感數(shù)據(jù)和非敏感數(shù)據(jù)。

3.1 非敏感數(shù)保護原則

（1）市場營銷人員提出需求單，數(shù)據(jù)分析接口管理人員把此需求單定義為非敏感數(shù)據(jù)后，數(shù)據(jù)分析人員把分析的結(jié)果上傳到數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)。

（2）數(shù)據(jù)分析人員把非敏感數(shù)據(jù)區(qū)的數(shù)據(jù)上載到數(shù)據(jù)提取系統(tǒng)中。

（3）審核人員對此需求單的數(shù)據(jù)進行審核。

（4）市場營銷人員通過數(shù)據(jù)提取系統(tǒng)下載非敏感數(shù)據(jù)，整個非敏感數(shù)據(jù)流向都需要日志審計。

（5）數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)只有數(shù)據(jù)分析人員有讀、寫、刪等權(quán)限，其它人員無任何權(quán)限。

3.2 敏感數(shù)據(jù)保護原則

（1）市場營銷人員提出需求單，數(shù)據(jù)分析接口管理人員把此需求單定義為敏感數(shù)據(jù)后，數(shù)據(jù)分析人員把分析的結(jié)果上傳到數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)。

（2）由數(shù)據(jù)分析人員把敏感數(shù)據(jù)區(qū)的數(shù)據(jù)放置審核區(qū)。

（3）由審核人員進行審核審核區(qū)的數(shù)據(jù)之后，放置個人工作區(qū)。

（4）市場營銷人員直接操作個人工作區(qū)的數(shù)據(jù)，也可放置該數(shù)據(jù)至共享工作區(qū)，以便其它市場營銷人員訪問。

（5）數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)，僅僅只有數(shù)據(jù)分析人員有讀、寫、刪等完全控制權(quán)限，其它人員無任何權(quán)限。

（6）審核區(qū)僅僅只有審核人員有讀、寫、刪等完全控制權(quán)限。

（7）數(shù)據(jù)操作區(qū)的個人工作區(qū)，市場營銷人員分別對自己的個人工作區(qū)有讀、寫、刪等完全控制權(quán)限，而審核人員對個人工作區(qū)有寫權(quán)限。

（8）數(shù)據(jù)操作區(qū)的共享工作區(qū)，市場營銷人員僅僅對該部門或者該單位的共享工作區(qū)有讀、寫、刪等完全控制權(quán)限，但是無上一級共享工作區(qū)的權(quán)限。

3.3 敏感數(shù)據(jù)使用原則

（1）獲得授權(quán)的用戶（數(shù)據(jù)提取人員、審核人員、市場營銷人員），必須在系統(tǒng)安全域中分配相應(yīng)的賬號和密碼。

（2）數(shù)據(jù)提取人員遵循的原則

數(shù)據(jù)分析人員只能通過專有的無盤瘦客戶端登陸到應(yīng)用交付系統(tǒng)進行正常業(yè)務(wù)工作，該無盤瘦客戶端無硬盤、光驅(qū)及USB接口，無法將數(shù)據(jù)復(fù)制到本地。

數(shù)據(jù)分析人員在數(shù)據(jù)提取系統(tǒng)接到需求單時，需區(qū)分該需求單得出的數(shù)據(jù)是敏感數(shù)據(jù)還是非敏感數(shù)據(jù)。

數(shù)據(jù)分析人員在后臺業(yè)務(wù)數(shù)據(jù)取得數(shù)據(jù)以后，必須把該數(shù)據(jù)放到數(shù)據(jù)上載區(qū)，建議把敏感數(shù)據(jù)放到數(shù)據(jù)上載區(qū)的敏感數(shù)據(jù)區(qū)，把非敏感數(shù)放到數(shù)據(jù)上載區(qū)的非敏感數(shù)據(jù)區(qū)。

數(shù)據(jù)分析人員在數(shù)據(jù)管理服務(wù)器上，非敏感數(shù)據(jù)區(qū)的數(shù)據(jù)只能上傳至數(shù)據(jù)提取系統(tǒng)中，以給審核人員進行審核。

數(shù)據(jù)分析人員在數(shù)據(jù)管理服務(wù)器上，敏感數(shù)據(jù)區(qū)的數(shù)據(jù)只能上傳至審核區(qū)中，以給審核人員進行審核。

（3）審核人員遵循的原則

對于非敏感數(shù)據(jù)，審核人員登陸數(shù)據(jù)提取系統(tǒng)，根據(jù)數(shù)據(jù)提取人員上傳的數(shù)據(jù)進行審核，審核通過后，由市場營銷人員下載到本地（此本地為市場營銷的辦公電腦）。

對于敏感數(shù)據(jù)，審核人員進入數(shù)據(jù)管理服務(wù)器的審計區(qū)，對該區(qū)的數(shù)據(jù)進行審核，并根據(jù)該數(shù)據(jù)的需求人把數(shù)據(jù)上載到個人工作區(qū)（需求人工作區(qū)）。

（4）市場營銷人員遵循的原則

對于非敏感數(shù)據(jù)，市場營銷人員登錄數(shù)據(jù)提取系統(tǒng)后，下載已經(jīng)審核通過的非敏感數(shù)據(jù)至本地，然后在本地對非敏感數(shù)據(jù)進行操作。

對于敏感數(shù)據(jù)，市場營銷人員通過應(yīng)用交付系統(tǒng)進入數(shù)據(jù)管理服務(wù)器的個人工作區(qū)，然后直接對敏感數(shù)據(jù)進行操作。

敏感數(shù)據(jù)需要進行共享，則必須由市場營銷個人把數(shù)據(jù)從個人工作區(qū)拷貝到共享工作區(qū)中，然后其他營銷人員進行拷貝或者直接進行操作。

4 大數(shù)據(jù)安全事件閉環(huán)管控

4.1 建立大數(shù)據(jù)安全事件閉環(huán)管控流程

大數(shù)據(jù)安全從檢測、響應(yīng)、恢復(fù)及加固四個環(huán)節(jié)開展大數(shù)據(jù)安全事件的全流程管控。

（1）建立大數(shù)據(jù)系統(tǒng)的安全屬性庫，考慮系統(tǒng)的可用性、完整性和保密性，針對系統(tǒng)的弱點屬性如系統(tǒng)漏洞信息、安全配置信息等，進行完整記錄和及時更新機制。

（2）建立必要的大數(shù)據(jù)安全防御手段，包括防火墻、入侵防御、防病毒、終端管理、上網(wǎng)行為管理、數(shù)據(jù)防泄漏等。

（3）發(fā)生安全事件時觸發(fā)預(yù)警/告警，安全監(jiān)控人員及時進行數(shù)據(jù)采集解析、事件識別、實時數(shù)據(jù)分析、歷史數(shù)據(jù)分析，進行事件溯源，并啟動工單系統(tǒng)，生成安全事件工單，派發(fā)相應(yīng)運維人員處理。

（4）安全運維人員開展事件處理、系統(tǒng)加固、安全策略調(diào)整，實現(xiàn)大數(shù)據(jù)安全的閉環(huán)管控。

大數(shù)據(jù)安全事件閉環(huán)管控流程如圖3所示。

4.2 建立大數(shù)據(jù)安全事件快速分析能力

大數(shù)據(jù)安全事件發(fā)生后的首要任務(wù)是及時開展安全事件的分析，具備完整、及時的安全數(shù)據(jù)分析能力是縮短安全事件的處置、減小損失的關(guān)鍵。

（1）建立全面、及時的安全數(shù)據(jù)的搜集。通過SNMP、SYSLOG、Agent、Netflow、API接口、數(shù)據(jù)庫接口、FTP、HDFS、KAFKA、端口鏡像、Netflow等數(shù)據(jù)源接口對網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、中間件、主機、數(shù)據(jù)庫等開展數(shù)據(jù)采集。

（2）數(shù)據(jù)解析處理：通過安全數(shù)據(jù)字段的識別、時間字段偵測、時間同步等技術(shù)提升數(shù)據(jù)的解析成功率。

（3）建立數(shù)據(jù)關(guān)聯(lián)分析模型：基于Spark Streaming技術(shù)對系統(tǒng)采集的實時數(shù)據(jù)流進行關(guān)聯(lián)分析，關(guān)聯(lián)的模式包括統(tǒng)計關(guān)聯(lián)、設(shè)備關(guān)聯(lián)、信息關(guān)聯(lián)、模式關(guān)聯(lián)、漏洞關(guān)聯(lián)、策略關(guān)聯(lián)等，并內(nèi)置安全關(guān)聯(lián)規(guī)則。

（4）用戶行為畫像：建立特定用戶的畫像，包括其合法行為白名單和行為基線。通過用戶行為分析引擎?zhèn)蓽y用戶的異常行為，例如異常時間、從可疑位置登錄，或是訪問和平時完全不同的數(shù)據(jù)或稻萘?；蚴前褦?shù)據(jù)上傳至公司外部的可疑地址，提供可疑用戶最近的所有行為給安全管理員進行進一步的詳細調(diào)查。

（5）建立分等級的告警規(guī)則：根據(jù)監(jiān)控內(nèi)容，對不同設(shè)備和系統(tǒng)的異常情況進行告警，并對告警進行分類，例如高級告警、中級告警等。制定監(jiān)控告警生成事件的規(guī)則，如主要告警可以生成安全事件進行跟蹤和處理。

常見的高級告警：違規(guī)安全軟件、違規(guī)登錄系統(tǒng)、終端數(shù)據(jù)泄漏；中級告警：違規(guī)上網(wǎng)訪問、密碼未定期更新、終端病毒感染、K端惡意掃描；低級告警：補丁未及時更新、惡意卸載軟件。大數(shù)據(jù)安全分析能力模型如圖4所示。

5 結(jié)論

本方案分析了運營商大數(shù)據(jù)發(fā)展的趨勢，重點闡述了當前面臨嚴峻的安全挑戰(zhàn)，并為運營商大數(shù)據(jù)開展內(nèi)外部變現(xiàn)提出了一種運營商大數(shù)據(jù)全生命周期安全管控策略，通過基于運營商大數(shù)據(jù)系統(tǒng)建設(shè)的五個層級，建立數(shù)據(jù)采集、傳輸、存儲、共享、使用、審計、銷毀等七個環(huán)節(jié)的端到端安全管理體系。

運營商大數(shù)據(jù)由于涉及到用戶敏感數(shù)據(jù)，一方面可以建立統(tǒng)一客戶敏感數(shù)據(jù)管理平臺，對數(shù)據(jù)進行分級管理，定制差異化審批審計流程。另一方面從檢測、響應(yīng)、恢復(fù)及加固四個環(huán)節(jié)建立大數(shù)據(jù)安全事件閉環(huán)管控流程，并提升大數(shù)據(jù)安全事件快速分析能力，將有效增強安全事件發(fā)生后的應(yīng)對處置能力。

參考文獻：

[1] 中國移動通信集團公司. 中國移動大數(shù)據(jù)安全風(fēng)險防控工作指引[Z]. 2016.

[2] 中國移動通信集團廣東有限公司. 廣東公司DPI（2/3/4G軟硬采）數(shù)據(jù)安全管理規(guī)定[Z]. 2016.

[3] 王準. 大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全策略研究[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用， 2016（5）： 48-49.

[4] 李戰(zhàn)克，丁夢娟. 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究[J]. 信息安全與技術(shù)， 2015（6）.

[5] 陳左寧，王廣益，胡蘇太，等. 大數(shù)據(jù)安全與自主可控[J]. 科學(xué)通報， 2015（Z1）： 427-432.

[6] 陳立樞. 中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展態(tài)勢及政策體系構(gòu)建[J]. 改革與戰(zhàn)略， 2015（6）： 144-147.

[7] 王倩，朱宏峰，劉天華. 大數(shù)據(jù)安全的現(xiàn)狀與發(fā)展[J]. 計算機與網(wǎng)絡(luò)， 2013（16）： 66-69.

[8] 王長杰，王衛(wèi)華. 大數(shù)據(jù)時代下信息安全保護研究[J]. 清遠職業(yè)技術(shù)學(xué)院學(xué)報， 2016（1）： 42-47.

第9篇：大數(shù)據(jù)分析方案范文

在人口快速老齡化、家庭規(guī)模日益小型化和機構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下，發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò)，使社區(qū)老年人的健康問題得到更好的保障。 

一、系統(tǒng)概述 

現(xiàn)如今，大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問題，同時，隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng)，已成為該方面的一項新技術(shù)。 

二、技術(shù)分析 

根據(jù)上述分析，需要開發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，此系統(tǒng)可以最優(yōu)化利用資源，幫助老人方便、快捷的解決突發(fā)狀況。為滿足需求，該方案需要具備以下技術(shù)：1）概率統(tǒng)計。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例，運用概率統(tǒng)計技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2）大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺上，利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù)，對采集到的老年人信息進行分析及推斷。3）互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型，實現(xiàn)智能管理。 

三、設(shè)計方案 

1、總體流程。整個醫(yī)療服務(wù)系統(tǒng)可分為線上和線下兩種服務(wù)方式。線上：系統(tǒng)按照固定方案進行老人身體數(shù)據(jù)采集；線下：社區(qū)醫(yī)療站會定期派專業(yè)人士到老人家里對其進行全方位檢查以及相關(guān)醫(yī)療知識的普及。 

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù)，通過社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾CAPP以及信息協(xié)作平臺上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺上，利用大數(shù)據(jù)分析和不確定性推理技術(shù)，對采集到的老年人信息進行分析及推斷。 

3、“三角服務(wù)”模型?！盎ヂ?lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建，運用互聯(lián)網(wǎng)技術(shù)，構(gòu)建一個以老人為中心，社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型（如圖1所示）。  

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化，則會通過報警系統(tǒng)反饋到社區(qū)醫(yī)療站，社區(qū)醫(yī)療站則做出最快的反應(yīng)，一方面，會到老人家中對老人進行急救，另一方面，會及時將老人的存檔發(fā)送給醫(yī)院，并聯(lián)系醫(yī)院進行一系列的急救措施，從而節(jié)約了救援時間。 

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開發(fā)一個集智能醫(yī)療設(shè)備、智能醫(yī)護終端設(shè)備和帶有功能模塊的智能醫(yī)護平臺為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專門的數(shù)據(jù)庫中，在信息協(xié)作平臺上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個相互共享的網(wǎng)絡(luò)，實現(xiàn)數(shù)據(jù)信息的共享。手機APP與信息協(xié)作平臺相聯(lián)系，能夠通過移動設(shè)備查看網(wǎng)絡(luò)平臺的信息，市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫相連接，從而便于實現(xiàn)信息的共享。 

結(jié)語：本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)，是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用，目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合，在概率統(tǒng)計的基礎(chǔ)上，將手機APP與信息協(xié)作平臺相聯(lián)系，通過移動設(shè)備查看網(wǎng)絡(luò)平臺的信息，便于實現(xiàn)信息的共享與交流，醫(yī)療服務(wù)更趨于智能化。 

參 考 文 獻 

[1] 趙靜. 基于物聯(lián)網(wǎng)發(fā)展的智能化社區(qū)醫(yī)療服務(wù)研究[D].燕山大學(xué)，2013. 

[2]潘峰，宋峰. 互聯(lián)網(wǎng)+社區(qū)養(yǎng)老：智能養(yǎng)老新思維[J]. 學(xué)習(xí)與實踐，2015，09：99-105. 

[3]王蔚，邵磊，楊青. 基于大數(shù)據(jù)體系下的城市住宅區(qū)養(yǎng)老模式研究[J]. 住區(qū)，2016，01：35-41.