大數(shù)據(jù)技術(shù)全文(5篇)

摘要：互聯(lián)網(wǎng)技術(shù)發(fā)展非常驚人，大量的數(shù)據(jù)產(chǎn)生。在云計(jì)算高速發(fā)展的今天，大數(shù)據(jù)結(jié)合數(shù)據(jù)庫集群技術(shù)，提升了數(shù)據(jù)處理的效率。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)庫集群技術(shù)；分布集群

一、分布集群數(shù)據(jù)庫在大數(shù)據(jù)中的應(yīng)用

目前，許多數(shù)據(jù)增長率很高的大型數(shù)據(jù)庫系統(tǒng)正被用于改善全球人類活動(dòng)，如通信、社交網(wǎng)絡(luò)、交易、銀行等，分布集群數(shù)據(jù)庫已成為提高數(shù)據(jù)訪問速度的解決方案之一。為多種類型的用戶在多個(gè)存儲(chǔ)中組織數(shù)據(jù)訪問，分布集群數(shù)據(jù)庫的問題不僅在于如何管理大量的數(shù)據(jù)，而且在于如何組織分布式存儲(chǔ)中的數(shù)據(jù)模式。智能數(shù)據(jù)組織是提高檢索速度、減少磁盤I/O數(shù)量、縮短查詢響應(yīng)時(shí)間的最佳方法之一?；谝?guī)則的聚類是提供數(shù)據(jù)庫自動(dòng)聚類和數(shù)據(jù)存儲(chǔ)模式解釋的解決方案之一，基于規(guī)則的集群通過分析屬性和記錄上的數(shù)據(jù)庫結(jié)構(gòu)，將數(shù)據(jù)模式表示為規(guī)則。使用不同規(guī)則池分區(qū)的每個(gè)集群，每個(gè)規(guī)則與內(nèi)部集群中的規(guī)則相似，與外部集群中的規(guī)則不同。分布集群數(shù)據(jù)庫是一種有向圖結(jié)構(gòu)的進(jìn)化優(yōu)化技術(shù)，用于數(shù)據(jù)分類，在緊湊的程序中具有顯著的表示能力，這源于節(jié)點(diǎn)的可重用性，而節(jié)點(diǎn)本身就是圖形結(jié)構(gòu)的功能。為了實(shí)現(xiàn)基于規(guī)則的集群，分布集群數(shù)據(jù)庫可以通過分析記錄來處理數(shù)據(jù)集的規(guī)則提取。分布集群數(shù)據(jù)庫的圖形結(jié)構(gòu)由三種節(jié)點(diǎn)組成：起始節(jié)點(diǎn)、判斷節(jié)點(diǎn)和處理節(jié)點(diǎn)。開始節(jié)點(diǎn)表示節(jié)點(diǎn)轉(zhuǎn)換的開始位置；判斷節(jié)點(diǎn)表示要在數(shù)據(jù)庫中檢查的屬性。分布集群數(shù)據(jù)庫規(guī)則提取的節(jié)點(diǎn)準(zhǔn)備包括兩個(gè)階段：節(jié)點(diǎn)定義和節(jié)點(diǎn)排列。節(jié)點(diǎn)定義的目的是準(zhǔn)備創(chuàng)建規(guī)則，節(jié)點(diǎn)排列是選擇重要的節(jié)點(diǎn)，以便高效地提取大量規(guī)則。節(jié)點(diǎn)排列由以下兩個(gè)順序過程執(zhí)行，第一個(gè)過程是查找模板規(guī)則，第二個(gè)過程是結(jié)合第一個(gè)過程中創(chuàng)建的模板生成規(guī)則。提取模板以獲得數(shù)據(jù)集中經(jīng)常發(fā)生的屬性組合。在模板提取過程中，分布集群數(shù)據(jù)庫規(guī)則提取中只使用了少數(shù)幾個(gè)屬性，它旨在增加獲得高支持模板的可能性。與沒有模板規(guī)則的方法相比，該節(jié)點(diǎn)排列方法具有更好的聚類結(jié)果，這兩個(gè)過程中的規(guī)則生成都是通過圖結(jié)構(gòu)的演化來實(shí)現(xiàn)。

二、在線規(guī)則更新系統(tǒng)的應(yīng)用

在線規(guī)則更新系統(tǒng)用于通過分析所有記錄從數(shù)據(jù)集中提取規(guī)則，在大數(shù)據(jù)應(yīng)用中，每個(gè)節(jié)點(diǎn)都有自己的節(jié)點(diǎn)號，描述每個(gè)節(jié)點(diǎn)號的節(jié)點(diǎn)信息。程序大小取決于節(jié)點(diǎn)的數(shù)量，這會(huì)影響程序創(chuàng)建的規(guī)則的數(shù)量。起始節(jié)點(diǎn)表示根據(jù)連接順序執(zhí)行的判斷節(jié)點(diǎn)序列的起始點(diǎn)，開始節(jié)點(diǎn)的多個(gè)位置將允許一個(gè)人提取各種規(guī)則。判斷節(jié)點(diǎn)表示數(shù)據(jù)集的屬性，顯示屬性索引。在大數(shù)據(jù)應(yīng)用環(huán)節(jié)，從每個(gè)起始節(jié)點(diǎn)開始的節(jié)點(diǎn)序列用虛線a、b和c表示，節(jié)點(diǎn)序列流動(dòng)，直到支持判斷節(jié)點(diǎn)的下一個(gè)組合不滿足閾值。在節(jié)點(diǎn)序列中，如果具有已出現(xiàn)在上一個(gè)節(jié)點(diǎn)序列，將跳過這些節(jié)點(diǎn)。在更新每個(gè)集群中的規(guī)則時(shí)，重要的是要找到與最新數(shù)據(jù)不匹配的屬性。因此，規(guī)則更新中要考慮的屬性由以下過程確定。當(dāng)計(jì)算集群中每個(gè)屬性和數(shù)據(jù)之間的輪廓值時(shí)，閾值設(shè)置為0.85，只有輪廓值低于0.85的屬性。將為規(guī)則更新過程中的判斷節(jié)點(diǎn)的屬性選擇。一些數(shù)據(jù)的庫存值和權(quán)重值低于0.85，因此這些值不包括在國民生產(chǎn)總值的規(guī)則更新中。在線規(guī)則更新系統(tǒng)中包含用于更新規(guī)則的屬性，每個(gè)集群都具有屬性的主要值，這些屬性是集群質(zhì)量的錨定點(diǎn)，進(jìn)而影響輪廓值。在線規(guī)則更新系統(tǒng)應(yīng)用中，完成主要的規(guī)則提取過程，這是一個(gè)標(biāo)準(zhǔn)的規(guī)則提取，在線規(guī)則更新系統(tǒng)考慮到數(shù)據(jù)集中的所有屬性。執(zhí)行該過程，對初始數(shù)據(jù)集進(jìn)行初始集群；改善規(guī)則更新過程，僅對輪廓值低于閾值的數(shù)據(jù)執(zhí)行。

三、大規(guī)模并行處理技術(shù)的應(yīng)用

摘要：審計(jì)作為我國以及我黨監(jiān)督管理的關(guān)鍵組成之一，在保障國家經(jīng)濟(jì)秩序、提升財(cái)政資金使用效率、推動(dòng)政府廉政建設(shè)、維護(hù)經(jīng)濟(jì)社會(huì)健康發(fā)展等方面，都具有重要作用。大數(shù)據(jù)時(shí)代的到來也推動(dòng)著審計(jì)創(chuàng)新，運(yùn)用大數(shù)據(jù)分析科技是實(shí)現(xiàn)審計(jì)事業(yè)全面覆蓋目標(biāo)的需要，而大數(shù)據(jù)分析審計(jì)工程則是影響中國審計(jì)事業(yè)未來發(fā)展方向的核心。

關(guān)鍵詞：大數(shù)據(jù)；審計(jì)技術(shù)；技術(shù)分析

審計(jì)制度作為保證我國開展民主治國的根本制度，是我國依法使用權(quán)力約束的重要體系。審計(jì)制度的本質(zhì)是我國管理體系內(nèi)存在的一種內(nèi)生制度，其具有防范、預(yù)防、抵御的免疫管理體系，其核心任務(wù)為健全民主制度，完善審計(jì)管理，推動(dòng)我國社會(huì)經(jīng)濟(jì)健康運(yùn)行與科學(xué)發(fā)展，進(jìn)而更好地維護(hù)廣大民眾的切身利益，更是國管理的重要組成部分，故需完善大數(shù)據(jù)時(shí)代下的審計(jì)工作。

一、大數(shù)據(jù)分析審計(jì)方法和電子數(shù)據(jù)審核方式對比

電子數(shù)據(jù)審計(jì)的數(shù)據(jù)挖掘技術(shù)，主要依靠統(tǒng)計(jì)分析模塊進(jìn)行審計(jì)疑點(diǎn)發(fā)現(xiàn)和審計(jì)線索發(fā)現(xiàn)。通常，統(tǒng)計(jì)分析流程主要分為信息收集、清理、匯總、挖掘和可視化。傳統(tǒng)環(huán)境下，常用方式包括賬表分類、大數(shù)據(jù)搜索、數(shù)據(jù)分析、審計(jì)抽樣和數(shù)值分析等。而在該類統(tǒng)計(jì)分析方式中，如Excel、Oracle、AO、ACL、IDEA等，作為主要的審計(jì)軟件而被普遍采用。在大數(shù)據(jù)分析時(shí)代的會(huì)計(jì)活動(dòng)往往包括國民經(jīng)濟(jì)運(yùn)行中的所有大數(shù)據(jù)分析，而這種大數(shù)據(jù)分析?？缧袠I(yè)、跨領(lǐng)域，即具備了大量、多樣、高價(jià)值、低密度等的大數(shù)據(jù)特點(diǎn)。根據(jù)資料類型對其進(jìn)行分析，不難發(fā)現(xiàn)包含數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)，其中涵蓋照片、視頻、文檔等非數(shù)據(jù)內(nèi)容。根據(jù)各個(gè)數(shù)據(jù)的實(shí)際來源對其進(jìn)行分析后，可以發(fā)現(xiàn)單位內(nèi)進(jìn)行審計(jì)的相關(guān)數(shù)據(jù)信息以及資料，這些資料包括企業(yè)公開的信息。從目標(biāo)入手，能夠發(fā)現(xiàn)會(huì)計(jì)目標(biāo)逐漸成為發(fā)現(xiàn)線索、評價(jià)風(fēng)險(xiǎn)、關(guān)注績效的內(nèi)容。審計(jì)工作不僅關(guān)系到企業(yè)違法違規(guī)的情況，還要求一旦發(fā)現(xiàn)企業(yè)制度存在的問題，需及時(shí)評估企業(yè)的內(nèi)部控制風(fēng)險(xiǎn)，借助社會(huì)經(jīng)濟(jì)以及大數(shù)據(jù)技術(shù)，收集更多的信息內(nèi)容，并對其展開分析，充分了解企業(yè)的發(fā)展情況，隨后分析企業(yè)發(fā)展的趨勢以及規(guī)律。此時(shí)，能夠?yàn)槠髽I(yè)以及國家提供更多的數(shù)據(jù)，隨后制定合理的干預(yù)措施，便于企業(yè)做出決策。因此，大數(shù)據(jù)下的企業(yè)審計(jì)工作，具有收集、保存、管理、分析等多個(gè)功能，且在可視化的特點(diǎn)下，需明確其與傳統(tǒng)方法的顯著不同。所以，企業(yè)需明確大數(shù)據(jù)時(shí)代下，傳統(tǒng)審計(jì)與電子審計(jì)方式之間的主要區(qū)別。

二、大數(shù)據(jù)審計(jì)采集技術(shù)

企業(yè)使用電子技術(shù)收集數(shù)據(jù)，直接關(guān)系到企業(yè)內(nèi)審計(jì)工作的準(zhǔn)確性，企業(yè)是否可以獲得精準(zhǔn)的數(shù)據(jù)內(nèi)容，是決定企業(yè)能否開展下一步數(shù)據(jù)分析的關(guān)鍵。所以，企業(yè)在收集各個(gè)模型以及理論的基礎(chǔ)上，可以發(fā)現(xiàn)采用大數(shù)據(jù)審計(jì)的關(guān)鍵如下：首先，電子數(shù)據(jù)的收集以及轉(zhuǎn)換相關(guān)技術(shù)。其次，已經(jīng)收集數(shù)據(jù)的完整性以及有效性。企業(yè)在收集數(shù)據(jù)的過程中，需明確研究重點(diǎn)為根據(jù)特定的領(lǐng)域、來源數(shù)據(jù)，制定具有針對性的收集以及處理形式。數(shù)據(jù)完整度以及有效性的檢驗(yàn)，主要是根據(jù)當(dāng)前審計(jì)的目標(biāo)，并根據(jù)詳細(xì)的審計(jì)標(biāo)準(zhǔn)以及規(guī)范，通過分析審計(jì)數(shù)據(jù)與準(zhǔn)則的符合性，可以有效評價(jià)遠(yuǎn)程數(shù)據(jù)和本地?cái)?shù)據(jù)的完整性與有效性。

摘要：文章針對數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)面臨的挑戰(zhàn)，基于數(shù)字經(jīng)濟(jì)發(fā)展對大數(shù)據(jù)人才的行業(yè)產(chǎn)業(yè)需求調(diào)研，分析大數(shù)據(jù)人才就業(yè)方向與崗位要求，遵循OBE理念的反向設(shè)計(jì)、正向?qū)嵤┰恚瑥呐囵B(yǎng)目標(biāo)、畢業(yè)要求、課程體系及實(shí)施評價(jià)等方面闡述財(cái)經(jīng)高校如何基于OBE理念開展數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)。

關(guān)鍵詞：OBE；大數(shù)據(jù)；專業(yè)建設(shè)；財(cái)經(jīng)高校

當(dāng)今社會(huì)，大數(shù)據(jù)爆發(fā)性增長，正在掀起一場產(chǎn)業(yè)革命，對經(jīng)濟(jì)發(fā)展、社會(huì)治理和人民生活產(chǎn)生著重大影響，成為國家、社會(huì)、企業(yè)及個(gè)人關(guān)注和投入的新焦點(diǎn)。在國家大數(shù)據(jù)戰(zhàn)略和數(shù)字經(jīng)濟(jì)發(fā)展驅(qū)動(dòng)下，2016-2021年，全國分六批共有670余所高校獲批數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)本科專業(yè)，主要培養(yǎng)具備大數(shù)據(jù)采集、處理、分析與應(yīng)用能力的復(fù)合型人才，其專業(yè)建設(shè)對于滿足數(shù)字經(jīng)濟(jì)時(shí)代行業(yè)產(chǎn)業(yè)發(fā)展對大數(shù)據(jù)人才的需求具有重要意義。為辦好這一新興本科專業(yè)，高校教研人員圍繞培養(yǎng)方案制定、課程體系設(shè)計(jì)、師資隊(duì)伍建設(shè)、學(xué)生實(shí)踐能力訓(xùn)練等內(nèi)容進(jìn)行了探討[1-4]。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)是一門融合多學(xué)科知識的交叉專業(yè)，高校如何根據(jù)現(xiàn)有辦學(xué)基礎(chǔ)和特色，遵循基于成果產(chǎn)出的教育（Outcome-basedEducation，OBE）理念，明確培養(yǎng)目標(biāo)定位，構(gòu)建個(gè)性化培養(yǎng)方案和課程體系，將專業(yè)特色體現(xiàn)為被培養(yǎng)者所具備的知識、能力和素質(zhì)要求，以適應(yīng)數(shù)字經(jīng)濟(jì)發(fā)展對大數(shù)據(jù)人才的需要，還需進(jìn)一步深入探討。本文基于OBE理念，從培養(yǎng)目標(biāo)、畢業(yè)要求、課程體系與考核評價(jià)等方面，探討財(cái)經(jīng)高校的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)之路。

一、專業(yè)建設(shè)面臨的挑戰(zhàn)

作為一門融合多學(xué)科知識的新興專業(yè)，高校往往基于原有專業(yè)基礎(chǔ)和條件來建設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，規(guī)劃不同的辦學(xué)方向和特色。雖然原有基礎(chǔ)和條件為新專業(yè)建設(shè)提供了資源支持和參考借鑒，但新專業(yè)建設(shè)還面臨以下問題和挑戰(zhàn)：

1.培養(yǎng)目標(biāo)定位“換湯不換藥”。作為多學(xué)科融合交叉專業(yè)，高校開設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，多基于現(xiàn)有計(jì)算機(jī)科學(xué)與技術(shù)、統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)或管理學(xué)相關(guān)專業(yè)的辦學(xué)基礎(chǔ)和師資隊(duì)伍。現(xiàn)有辦學(xué)基礎(chǔ)雖然為新專業(yè)建設(shè)提供了參考借鑒，但也使得新專業(yè)的培養(yǎng)目標(biāo)和特色定位容易出現(xiàn)與原有專業(yè)交叉重復(fù)和含糊不清的問題，不能與時(shí)代發(fā)展和社會(huì)需求相適應(yīng)，導(dǎo)致學(xué)生培養(yǎng)思路不清晰，出現(xiàn)培養(yǎng)目標(biāo)定位“換湯不換藥”的現(xiàn)象。

2.課程體系設(shè)計(jì)“泛而不精”。數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)學(xué)生培養(yǎng)，既要求掌握計(jì)算機(jī)科學(xué)與技術(shù)基礎(chǔ)，又要學(xué)習(xí)數(shù)學(xué)與統(tǒng)計(jì)學(xué)相關(guān)知識，還需具備一定的專業(yè)化行業(yè)知識，即基礎(chǔ)知識要求高、數(shù)據(jù)分析能力要求強(qiáng)、行業(yè)知識范圍要求廣。高校在設(shè)計(jì)課程體系時(shí)往往會(huì)兼顧到不同學(xué)科知識，但很難理清不同學(xué)科知識之間的相關(guān)關(guān)系和層次脈絡(luò)，導(dǎo)致課程設(shè)置存在“泛而不精”的問題，使得學(xué)生只是停留在知識學(xué)習(xí)層面，不能融會(huì)貫通，綜合運(yùn)用能力較差。

摘要：隨著科技的不斷發(fā)展和進(jìn)步，大數(shù)據(jù)技術(shù)已滲透到人們生活和工作中，隨之?dāng)?shù)據(jù)庫的相關(guān)概念被提出。數(shù)據(jù)庫中的數(shù)據(jù)可以根據(jù)自身特性，通過信息技術(shù)進(jìn)行規(guī)則地、有序地排列組合，不但可以長期保存在電腦中，還可以實(shí)現(xiàn)數(shù)據(jù)共享?；诖?，筆者首先對數(shù)據(jù)庫技術(shù)進(jìn)行了概述，其次分析了大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)庫技術(shù)的應(yīng)用現(xiàn)狀，再次闡述了大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)庫技術(shù)特點(diǎn)，最后提出了數(shù)據(jù)庫技術(shù)的應(yīng)用對策和手段。

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)庫技術(shù)；數(shù)據(jù)標(biāo)簽

1引言

數(shù)據(jù)庫技術(shù)主要是通過相關(guān)的技術(shù)措施對信息數(shù)據(jù)進(jìn)行有效的存儲(chǔ)管理、優(yōu)化數(shù)據(jù)結(jié)構(gòu)、設(shè)計(jì)數(shù)據(jù)管理模式等。另外，數(shù)據(jù)庫技術(shù)還可以對庫里的數(shù)據(jù)進(jìn)行科學(xué)合理的整合分析，挖掘數(shù)據(jù)的真實(shí)性和實(shí)用性，找出不同數(shù)據(jù)之間的聯(lián)系，這也是當(dāng)前社會(huì)發(fā)展的實(shí)際需求，對于現(xiàn)代信息技術(shù)的發(fā)展起著十分重要的作用和意義。

2數(shù)據(jù)庫技術(shù)簡介

隨著大數(shù)據(jù)技術(shù)的不斷改革完善，作為近年來興起的新型技術(shù)，它在一定程度上是隨著云計(jì)算的出現(xiàn)而發(fā)展的。立足于云計(jì)算的相關(guān)技術(shù)，對人們生活和工作中產(chǎn)生的大量數(shù)據(jù)進(jìn)行綜合處理，結(jié)合計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)、數(shù)據(jù)庫技術(shù)等，有效推動(dòng)社會(huì)經(jīng)濟(jì)的穩(wěn)步發(fā)展。數(shù)據(jù)庫技術(shù)在推廣和普及過程中，主要是以計(jì)算機(jī)信息技術(shù)為載體，充分結(jié)合傳統(tǒng)數(shù)據(jù)信息處理技術(shù)和互聯(lián)網(wǎng)技術(shù)，對社會(huì)中的生產(chǎn)要素和業(yè)務(wù)要素進(jìn)行及時(shí)有效的分析和更新，調(diào)整社會(huì)中現(xiàn)有的業(yè)務(wù)結(jié)構(gòu)和發(fā)展模式，從而有效實(shí)現(xiàn)經(jīng)濟(jì)轉(zhuǎn)型。

3大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)庫技術(shù)的應(yīng)用現(xiàn)狀

摘要：通過圍繞計(jì)算機(jī)數(shù)據(jù)信息處理的任務(wù)，借助于后臺(tái)服務(wù)器、數(shù)據(jù)庫、存儲(chǔ)單元等硬件設(shè)施，以及Hadoop文件系統(tǒng)架構(gòu)、SOA服務(wù)體系、HDFS分布式存儲(chǔ)等大數(shù)據(jù)技術(shù)，進(jìn)行計(jì)算機(jī)數(shù)據(jù)信息處理系統(tǒng)的建構(gòu)，提供虛擬機(jī)資源調(diào)度、分布式數(shù)據(jù)計(jì)算、任務(wù)處理等服務(wù)，來完成海量化數(shù)據(jù)資源的搜集、處理與存儲(chǔ)。

關(guān)鍵詞：大數(shù)據(jù)；信息數(shù)據(jù)處理；網(wǎng)絡(luò)架構(gòu)

1大數(shù)據(jù)技術(shù)的主要內(nèi)容概述

當(dāng)前常用的大數(shù)據(jù)技術(shù)，包括Hadoop文件系統(tǒng)架構(gòu)、SOA服務(wù)體系、HDFS分布式存儲(chǔ)等。其中Hadoop分布式數(shù)據(jù)處理架構(gòu)，屬于大數(shù)據(jù)云計(jì)算系統(tǒng)的平臺(tái)即服務(wù)層，包括Collect（匯總）、Map（映射）、Reduce（歸約）等組成部分，主要秉持著先進(jìn)先出的動(dòng)態(tài)化任務(wù)調(diào)度理念。針對已搜集的海量化數(shù)據(jù)信息，利用Map映射函數(shù)建立兩組數(shù)據(jù)的映射規(guī)則，并向多個(gè)主節(jié)點(diǎn)、從節(jié)點(diǎn)的任務(wù)處理需求，動(dòng)態(tài)分配虛擬主機(jī)，實(shí)現(xiàn)某一數(shù)據(jù)類型的映射、歸約操作。之后SOA服務(wù)體系為面向服務(wù)的組件模型，通常包含服務(wù)工作流、服務(wù)接口、服務(wù)注冊、服務(wù)訪問和服務(wù)查找等組件。該服務(wù)架構(gòu)通過TCP/IP網(wǎng)絡(luò)通信協(xié)議、定義的I/O接口，將某一應(yīng)用程序的多個(gè)功能服務(wù)單元進(jìn)行連接，并將多個(gè)分布式的服務(wù)組件進(jìn)行封裝，為用戶提供需要的Web數(shù)據(jù)發(fā)送與接收、業(yè)務(wù)處理等的服務(wù)[1]。最后，HDFS分布式存儲(chǔ)是以分布式形式，對互聯(lián)網(wǎng)中海量化的數(shù)據(jù)信息作出存儲(chǔ)，主要包括數(shù)據(jù)資源管理、存儲(chǔ)等節(jié)點(diǎn)。HDFS的存儲(chǔ)單元為每個(gè)數(shù)據(jù)塊（block），而數(shù)據(jù)節(jié)點(diǎn)（DataNode）、元數(shù)據(jù)節(jié)點(diǎn)（Namenode）負(fù)責(zé)數(shù)據(jù)信息的寫入和讀出，其中數(shù)據(jù)塊的單個(gè)最小存儲(chǔ)單位是64Mbits。在HDFS文件系統(tǒng)HDFS框架的中心服務(wù)器，收到外部客戶端的數(shù)據(jù)訪問請求后，可以通過數(shù)據(jù)節(jié)點(diǎn)、元數(shù)據(jù)節(jié)點(diǎn)對數(shù)據(jù)訪問、目錄創(chuàng)建和數(shù)據(jù)存儲(chǔ)等作出控制，實(shí)現(xiàn)對不同數(shù)據(jù)資源的處理與存儲(chǔ)。

2大數(shù)據(jù)計(jì)算機(jī)信息處理的多層網(wǎng)絡(luò)架構(gòu)

基于大數(shù)據(jù)及云計(jì)算技術(shù)的計(jì)算機(jī)信息處理系統(tǒng)，通常為包含基礎(chǔ)硬件設(shè)備、資源虛擬化硬件、用戶與映像管理、SOA服務(wù)體系的多層網(wǎng)絡(luò)架構(gòu)，不同層級分別負(fù)責(zé)不同的硬件支持、任務(wù)響應(yīng)、數(shù)據(jù)處理與存儲(chǔ)工作[2]。1）硬件設(shè)施資源層。物理資源層為多層網(wǎng)絡(luò)架構(gòu)的最底層，包括計(jì)算機(jī)、后臺(tái)服務(wù)器、數(shù)據(jù)庫、存儲(chǔ)器和網(wǎng)絡(luò)交換機(jī)等硬件設(shè)備，不同設(shè)備之間經(jīng)由定義的I/O接口進(jìn)行連接，來為網(wǎng)絡(luò)資源虛擬化池、虛擬化計(jì)算機(jī)的建構(gòu)提供支持。2）資源虛擬化層。資源虛擬化層是依托于后臺(tái)服務(wù)器，對多臺(tái)計(jì)算機(jī)主機(jī)、數(shù)據(jù)信息服務(wù)硬件等進(jìn)行虛擬化，該層級存在網(wǎng)絡(luò)資源池、數(shù)據(jù)資源池、存儲(chǔ)與計(jì)算資源池等組成部分。在任務(wù)管理中間層收到前端用戶，發(fā)送的web網(wǎng)絡(luò)訪問、數(shù)據(jù)處理與存儲(chǔ)請求后，會(huì)充分借助資源虛擬化層的分布式虛擬硬件，為不同用戶任務(wù)執(zhí)行匹配合適的虛擬化硬件資源。3）映像與用戶管理層。映像與用戶管理層是負(fù)責(zé)不同數(shù)據(jù)之間映像、映射規(guī)則建立，以及用戶權(quán)限、任務(wù)請求管理的層級。其中用戶管理包括用戶身份、用戶許可、用戶請求等的管理模塊；映像管理包括映像創(chuàng)建、映像部署、映像庫管理和映像周期管理等組成模塊，負(fù)責(zé)對后臺(tái)服務(wù)器端搜集的數(shù)據(jù)信息，建立起兩組數(shù)據(jù)的映射規(guī)則，并作出映像周期的合理控制[3]。4）SOA服務(wù)體系層。SOA體系是是一種精確定義接口、松耦合的服務(wù)架構(gòu)，包含服務(wù)工作流、服務(wù)接口、服務(wù)注冊、服務(wù)訪問和服務(wù)查找等組件結(jié)構(gòu)。多種服務(wù)組件為即插即用的排布方式，也即可以先進(jìn)行用戶安全檢查、再作服務(wù)處理與管理，也可以按相反順序執(zhí)行服務(wù)，多種服務(wù)執(zhí)行有明確的接口定義、業(yè)務(wù)代碼。

3計(jì)算機(jī)數(shù)據(jù)信息處理涉及到的大數(shù)據(jù)關(guān)鍵技術(shù)