大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘及應(yīng)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘及應(yīng)用范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：結(jié)合大數(shù)據(jù)時(shí)代的基本內(nèi)容，從大數(shù)據(jù)的特征出發(fā)，筆者探討了數(shù)據(jù)挖掘的功能及應(yīng)用，并在此基礎(chǔ)上重點(diǎn)分析了大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展應(yīng)用以及前景，希望能夠推動(dòng)信息社會(huì)快速發(fā)展。

關(guān)鍵詞：大數(shù)據(jù)；信息時(shí)代；數(shù)據(jù)挖掘；發(fā)展前景

1大數(shù)據(jù)的概念

大數(shù)據(jù)是數(shù)字化時(shí)展的必然產(chǎn)物，其并非產(chǎn)品，也無(wú)所謂技術(shù)范疇內(nèi)容。對(duì)于大數(shù)據(jù)的理解，不應(yīng)僅僅理解為非常巨大的數(shù)據(jù)量，結(jié)合戰(zhàn)略眼光來(lái)看，還應(yīng)該包括數(shù)據(jù)的專業(yè)化處理方式。根據(jù)基維百科的解釋，規(guī)模巨大到無(wú)法用當(dāng)前軟件處理的數(shù)據(jù)資料量則是大數(shù)據(jù)，并能在一定的時(shí)間內(nèi)進(jìn)行管理和處理，有利于實(shí)現(xiàn)經(jīng)營(yíng)目標(biāo)。而結(jié)合麥肯錫研究所的定義，大數(shù)據(jù)則可以看作為數(shù)據(jù)的集合體，并能夠在特定時(shí)間范圍內(nèi)，沒(méi)有方法利用傳統(tǒng)軟件來(lái)實(shí)現(xiàn)數(shù)據(jù)管理、存儲(chǔ)、采集等操作。在上述定義中，能看到大數(shù)據(jù)的特點(diǎn)，但具有一定的狹義性。從廣義角度來(lái)分析，所謂的大數(shù)據(jù)，不僅包括大數(shù)據(jù)技術(shù)，還涉及整體的大數(shù)據(jù)科學(xué)以及相關(guān)的工程內(nèi)容。在信息化時(shí)代，大數(shù)據(jù)時(shí)代則是必然的發(fā)展趨勢(shì)，如何進(jìn)一步深化對(duì)于大數(shù)據(jù)的理解，并充分利用好相關(guān)服務(wù)能力，則是體現(xiàn)出未來(lái)社會(huì)競(jìng)爭(zhēng)力的必然趨勢(shì)。

2大數(shù)據(jù)的特征

在信息化時(shí)代，數(shù)據(jù)可謂無(wú)所不在、無(wú)處不在，大數(shù)據(jù)已經(jīng)超越了“云計(jì)算”“物聯(lián)網(wǎng)”等，已經(jīng)開辟了嶄新的大數(shù)據(jù)時(shí)代，其主要的特征主要表現(xiàn)在以下幾個(gè)方面。第一，高度流動(dòng)。相比于傳統(tǒng)的數(shù)據(jù)流動(dòng)，其流動(dòng)速度主要涉及數(shù)據(jù)的獲取、存儲(chǔ)以及分析并處理有價(jià)值數(shù)據(jù)的速度，而對(duì)于大數(shù)據(jù)來(lái)說(shuō)，考慮到其具有非常龐大的數(shù)據(jù)數(shù)量，其數(shù)據(jù)流自然具有快速變動(dòng)的特點(diǎn)，其必將獲得高速的數(shù)據(jù)處理速度，傳統(tǒng)的處理方式已經(jīng)表現(xiàn)出很大的問(wèn)題，現(xiàn)在已經(jīng)從TB級(jí)上升到PB級(jí)。第二，大數(shù)據(jù)的種類非常多。在信息社會(huì)的快速發(fā)展過(guò)程中，傳感器的應(yīng)用范圍越來(lái)越廣，人們的生活也越來(lái)越依賴社交網(wǎng)絡(luò)、智能設(shè)備，從而自然會(huì)出現(xiàn)多種類型的數(shù)據(jù)。當(dāng)前，在大數(shù)據(jù)類型中，除了傳統(tǒng)的音頻、網(wǎng)頁(yè)、文檔、視頻以及郵件等，正在出現(xiàn)多種多樣的數(shù)據(jù)類型，其往往包括板結(jié)構(gòu)模式、不具備結(jié)構(gòu)模式等類型。第三，數(shù)量巨大。所謂的大數(shù)據(jù)往往涉及超過(guò)10TB規(guī)模的數(shù)據(jù)量，在新時(shí)代，隨著信息技術(shù)的快速發(fā)展，這必然是大勢(shì)所趨。當(dāng)前，隨著集成電路成本不斷降低，儀器智能化水平不斷上升，出現(xiàn)了大量的存儲(chǔ)數(shù)據(jù)。在不斷認(rèn)識(shí)新事物的過(guò)程中，各種儀器層出不窮，并通過(guò)相應(yīng)的存儲(chǔ)數(shù)據(jù)來(lái)描述事物的部分或者全部。為了能夠?qū)崿F(xiàn)信息傳遞的即時(shí)性，大量的通信工具，特別是在機(jī)器影響機(jī)器傳遞方式的情況下，必然會(huì)產(chǎn)生大量的數(shù)據(jù)。第四，低價(jià)值密度。在大數(shù)據(jù)時(shí)代，有意義的數(shù)據(jù)信息所占比例越來(lái)越低，不斷增加了獲取有效信息的難度。比如，對(duì)于“4V”來(lái)說(shuō)，不僅意味著巨大的數(shù)據(jù)量，也必然會(huì)產(chǎn)生更加復(fù)雜的數(shù)據(jù)分析結(jié)果，難以實(shí)現(xiàn)預(yù)期的效率。

3數(shù)據(jù)挖掘的功能及應(yīng)用

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)挖掘具有非常明顯的意義，是挖掘有用信息的過(guò)程，這部分?jǐn)?shù)據(jù)往往具有隨機(jī)、模糊、海量以及非完整的特點(diǎn)。一般來(lái)說(shuō)，對(duì)于數(shù)據(jù)挖掘來(lái)講，主要涉及預(yù)測(cè)以及描述等方面。在開展數(shù)據(jù)挖掘的過(guò)程中，目標(biāo)數(shù)據(jù)的類型則是關(guān)注的重點(diǎn)，應(yīng)該從實(shí)際出發(fā)，選擇合適的數(shù)據(jù)類型，才能充分發(fā)揮好數(shù)據(jù)挖掘的作用。數(shù)據(jù)挖掘能進(jìn)一步體現(xiàn)出數(shù)據(jù)的價(jià)值，因而在很多領(lǐng)域得到了廣泛應(yīng)用[1-2]。

3.1數(shù)據(jù)挖掘在金融業(yè)中的應(yīng)用

考慮到金融業(yè)的的特點(diǎn)，其必將涉及大量的數(shù)據(jù)信息，通過(guò)應(yīng)用數(shù)據(jù)挖掘技術(shù)，能夠發(fā)現(xiàn)內(nèi)在的發(fā)展規(guī)律，進(jìn)而能結(jié)合實(shí)際的組織信息、目標(biāo)客戶情況，掌握金融市場(chǎng)的發(fā)展動(dòng)態(tài)。可見(jiàn)，在金融業(yè)的數(shù)據(jù)挖掘過(guò)程中，主要包括市場(chǎng)預(yù)測(cè)、分類賬號(hào)、數(shù)據(jù)清理、市場(chǎng)分析以及信譽(yù)評(píng)估等方面。

3.2數(shù)據(jù)挖掘在市場(chǎng)中的應(yīng)用

在市場(chǎng)的發(fā)展過(guò)程中，充分利用數(shù)據(jù)挖掘的優(yōu)勢(shì)，能夠?qū)κ袌?chǎng)進(jìn)行準(zhǔn)確定位，能進(jìn)一步掌握消費(fèi)者群體的需求以及規(guī)律性內(nèi)容，據(jù)此制訂有利于市場(chǎng)營(yíng)銷的計(jì)劃。與傳統(tǒng)營(yíng)銷模式相比，大數(shù)據(jù)的數(shù)據(jù)挖掘能進(jìn)一步降低企業(yè)成本，實(shí)現(xiàn)預(yù)期的市場(chǎng)目標(biāo)，獲得更高的利潤(rùn)。

3.3大數(shù)據(jù)挖掘在醫(yī)學(xué)中的應(yīng)用

部分疾病是由于單一基因所致，部分則是由于多種基因共同影響的結(jié)果。在基因研究工作中，為了尋找治療疾病的方法，特別是當(dāng)涉及編碼序列和非編碼序列的區(qū)分問(wèn)題時(shí)，則必然涉及大量的實(shí)驗(yàn)和演算內(nèi)容，從而應(yīng)該充分發(fā)揮數(shù)據(jù)挖掘的優(yōu)勢(shì)來(lái)解決分類問(wèn)題。

3.4遙感大數(shù)據(jù)挖掘的應(yīng)用

對(duì)于遙感大數(shù)據(jù)進(jìn)行相應(yīng)的數(shù)據(jù)挖掘處理，具體表現(xiàn)形式如下。第一，獲取數(shù)據(jù)，并提出相應(yīng)的存儲(chǔ)方式，結(jié)合實(shí)際需求從不同傳感器上獲得多源、海量的遙感數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的預(yù)處理，組成有效的數(shù)據(jù)集。第二，分析處理相應(yīng)的數(shù)據(jù)集，通過(guò)數(shù)學(xué)統(tǒng)計(jì)學(xué)方法進(jìn)行分類，尋找數(shù)據(jù)間以及數(shù)據(jù)類別等相互關(guān)系。第三，對(duì)于分類后的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，進(jìn)一步采用多樣化的方法探索數(shù)據(jù)間的隱含信息以及內(nèi)在聯(lián)系，利用深度學(xué)習(xí)、云模型、決策樹、神經(jīng)網(wǎng)絡(luò)等方式尋找模式關(guān)系。第四，進(jìn)一步對(duì)模式以及知識(shí)進(jìn)行可視化處理，便于用戶更好地理解，便于后續(xù)的分析和利用。

4大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展前景

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)庫(kù)技術(shù)獲得了突飛猛進(jìn)的發(fā)展，并具有數(shù)據(jù)變換、連接、共享的特點(diǎn)。在此背景下，企業(yè)應(yīng)充分發(fā)揮大數(shù)據(jù)挖掘技術(shù)的優(yōu)勢(shì)，充分利用多種類型的數(shù)據(jù)，進(jìn)一步提升數(shù)據(jù)的價(jià)值。由此可見(jiàn)，結(jié)合大數(shù)據(jù)的特征以及數(shù)據(jù)挖掘發(fā)展特點(diǎn)，大數(shù)據(jù)的數(shù)據(jù)挖掘必將擁有廣闊的發(fā)展前景[3]。

4.1大數(shù)據(jù)的數(shù)據(jù)挖掘?qū)⒊蔀槠髽I(yè)及教育機(jī)構(gòu)的轉(zhuǎn)折點(diǎn)

在當(dāng)前的企業(yè)管理發(fā)展中，大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)具有明顯的優(yōu)勢(shì)，能為企業(yè)發(fā)展帶來(lái)更多的經(jīng)濟(jì)效益，是企業(yè)保持自身競(jìng)爭(zhēng)力的有效方式，也應(yīng)該據(jù)此重新制定管理模式，進(jìn)一步在企業(yè)管理中發(fā)揮大數(shù)據(jù)的數(shù)據(jù)挖掘作用，從而才能跟上時(shí)展的步伐。同時(shí)，大數(shù)據(jù)也必將影響企業(yè)的人力資源管理，對(duì)于信息化技術(shù)人才會(huì)提出更高的要求，只有符合新時(shí)代背景下的數(shù)據(jù)管理人才、數(shù)據(jù)分析人才以及技術(shù)型人才才能幫助企業(yè)實(shí)現(xiàn)可持續(xù)發(fā)展。

4.2大數(shù)據(jù)的數(shù)據(jù)挖掘?qū)⒊蔀樾畔踩l(fā)展的契機(jī)

當(dāng)前，隨著信息技術(shù)的快速發(fā)展，能夠進(jìn)一步提升數(shù)據(jù)價(jià)值，對(duì)于社會(huì)發(fā)展具有積極的意義。但是，數(shù)據(jù)的安全性問(wèn)題則是人們關(guān)注的重點(diǎn)。對(duì)于大數(shù)據(jù)來(lái)說(shuō)，往往都具有集中存儲(chǔ)于云端的特點(diǎn)，難以實(shí)現(xiàn)有效的集中管理，并在確定用戶的合法性方面存在一定的不足之處，容易出現(xiàn)竊取、非法入侵以及篡改數(shù)據(jù)的問(wèn)題。因此，如何保障信息安全問(wèn)題尤為重要，對(duì)于大數(shù)據(jù)技術(shù)和產(chǎn)品也是如此，所以大數(shù)據(jù)的數(shù)據(jù)挖掘發(fā)展對(duì)于信息安全進(jìn)步具有重要的影響。

4.3大數(shù)據(jù)的數(shù)據(jù)挖掘?qū)⒊蔀閯?chuàng)造價(jià)值的核心

相比于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)挖掘則具有廣泛的應(yīng)用范圍和較高的商業(yè)價(jià)值，對(duì)于政府以及企業(yè)發(fā)展至關(guān)重要。另外，大數(shù)據(jù)中還蘊(yùn)藏著6000多億美元的個(gè)人信息價(jià)值，從而大數(shù)據(jù)的數(shù)據(jù)挖掘能從多方面創(chuàng)造社會(huì)價(jià)值。

5結(jié)語(yǔ)

新時(shí)代，大數(shù)據(jù)挖掘技術(shù)將能夠推動(dòng)經(jīng)濟(jì)快速發(fā)展，我國(guó)應(yīng)該順應(yīng)時(shí)展的潮流，積極開展大數(shù)據(jù)挖掘技術(shù)的培訓(xùn)以及教育工作，才能為社會(huì)培養(yǎng)更多的大數(shù)據(jù)人才。

參考文獻(xiàn)

[1]覃兵文.大數(shù)據(jù)的分類挖掘優(yōu)化技術(shù)[J].現(xiàn)代電子技術(shù),2017(24):45.

[2]蔣潔.AI圖景下大數(shù)據(jù)挖掘的風(fēng)險(xiǎn)評(píng)估與應(yīng)對(duì)策略[J].現(xiàn)代情報(bào),2018,5.

[3]李平榮.大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用[J].重慶三峽學(xué)院學(xué)報(bào),2014(6):23-26.

作者：印小冬 單位：中國(guó)電子科技集團(tuán)公司第二十八研究所