軟件技術(shù)在大數(shù)據(jù)中的應(yīng)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了軟件技術(shù)在大數(shù)據(jù)中的應(yīng)用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：大數(shù)據(jù)時代下計算機(jī)軟件的開發(fā)與應(yīng)用，已經(jīng)覆蓋到人們生活的方方面面，包括利用網(wǎng)絡(luò)計算機(jī)軟件，開展基礎(chǔ)設(shè)施、教育、科研等領(lǐng)域的業(yè)務(wù)服務(wù)。在開展多種計算機(jī)軟件功能服務(wù)的過程中，主要將計算機(jī)服務(wù)器、數(shù)據(jù)庫等進(jìn)行結(jié)合，促進(jìn)不同網(wǎng)絡(luò)平臺之間數(shù)據(jù)信息的傳輸、共享，以提高計算機(jī)軟件及大數(shù)據(jù)信息的利用效率。

關(guān)鍵詞：計算機(jī)軟件技術(shù)；大數(shù)據(jù)；應(yīng)用；研究

1概述

1.1計算機(jī)軟件的主要內(nèi)容

計算機(jī)軟件包含系統(tǒng)軟件、應(yīng)用軟件兩方面內(nèi)容，其中系統(tǒng)軟件是本身存在于計算機(jī)系統(tǒng)內(nèi)的軟件，如Windowsmediaplayer、Windows文本、Office辦公軟件等；而應(yīng)用軟件則是基于系統(tǒng)平臺，構(gòu)建用于日常事務(wù)處理的應(yīng)用程序。在網(wǎng)絡(luò)計算機(jī)軟件的開發(fā)過程中，需要根據(jù)不同用戶的業(yè)務(wù)功能需求，設(shè)置軟件的登錄界面、功能端口與交互模式，以保證各項網(wǎng)絡(luò)事務(wù)的及時處理。因此大數(shù)據(jù)計算、網(wǎng)絡(luò)云存儲技術(shù)等，被用于計算機(jī)軟件的功能開發(fā)、數(shù)據(jù)處理中，以網(wǎng)絡(luò)云平臺為基礎(chǔ)，進(jìn)行企事業(yè)單位數(shù)據(jù)信息的搜集、分類、統(tǒng)計分析與存儲。從而滿足不同用戶多項業(yè)務(wù)辦理的需求。

1.2大數(shù)據(jù)技術(shù)的主要內(nèi)容及其發(fā)展?fàn)顩r

大數(shù)據(jù)技術(shù)主要依托Hadoop分布式系統(tǒng)架構(gòu)、HDFS分布式文件存儲、Hive數(shù)據(jù)倉庫，以及Spark應(yīng)用程序、云計算管理平臺，對網(wǎng)絡(luò)中存在的海量數(shù)據(jù)信息，進(jìn)行采集、分類、預(yù)處理與存儲。其中Hadoop分布式系統(tǒng)架構(gòu)，主要包含HDFS、MapReduce等功能模塊，能夠部署在配置較低的計算機(jī)硬件上，對網(wǎng)絡(luò)中的海量數(shù)據(jù)信息進(jìn)行輸入/輸出控制，HDFS有著較高的數(shù)據(jù)吞吐量和容錯性。而MapReduce則主要用于1TB以上大規(guī)模數(shù)據(jù)集的的并行運算，通常MapReduce應(yīng)用程序被運行在分布式系統(tǒng)中，每個服務(wù)器上可以運行成百上千個并行計算集群。MapReduce數(shù)據(jù)處理平臺，通常會從Hive數(shù)據(jù)倉庫獲取自身需要的分布式數(shù)據(jù)/文件內(nèi)容，之后自動完成海量數(shù)據(jù)任務(wù)的并行計算。最后Spark應(yīng)用程序框架、云計算管理平臺，是與Hadoop分布式系統(tǒng)相似的數(shù)據(jù)處理引擎，主要通過內(nèi)存分布數(shù)據(jù)集、Web軟件服務(wù)模式，為企業(yè)提供遠(yuǎn)程的數(shù)據(jù)訪問、軟件功能服務(wù)。企業(yè)只需要訪問網(wǎng)絡(luò)云服務(wù)平臺，而無需下載或購買軟件，就能夠完成后臺數(shù)據(jù)信息的查詢、優(yōu)化迭代與存儲。因此在大數(shù)據(jù)虛擬化技術(shù)快速發(fā)展的形勢下，企事業(yè)單位、教育及科研機(jī)構(gòu)，可以通過虛擬化硬件資源的支持，構(gòu)建起數(shù)據(jù)信息共享的云計算平臺，對海量的數(shù)據(jù)信息進(jìn)行收集、處理與存儲，而且用戶、云計算管理平臺之間，能夠通過不同程序語言的轉(zhuǎn)換來完成信息交流。

2大數(shù)據(jù)技術(shù)環(huán)境下的發(fā)展方向

在大數(shù)據(jù)及云計算技術(shù)指導(dǎo)下，計算機(jī)軟件開發(fā)與設(shè)計，主要與虛擬化數(shù)據(jù)處理、云存儲、信息安全等技術(shù)進(jìn)行結(jié)合，不斷完善計算機(jī)軟件的數(shù)據(jù)信息搜集、處理與傳輸功能，以及多種業(yè)務(wù)的服務(wù)功能。在虛擬化數(shù)據(jù)信息處理的過程中，服務(wù)器會利用網(wǎng)絡(luò)生成的虛擬代碼，對云計算虛擬化平臺中的虛擬資源進(jìn)行統(tǒng)一管理，從而完成企事業(yè)單位等機(jī)構(gòu)的數(shù)據(jù)自由調(diào)度、業(yè)務(wù)功能服務(wù)。

2.1計算機(jī)軟件與虛擬化數(shù)據(jù)處理技術(shù)的結(jié)合

隨著大數(shù)據(jù)虛擬化技術(shù)、移動互聯(lián)網(wǎng)絡(luò)的發(fā)展，企事業(yè)單位、基礎(chǔ)服務(wù)部門和科研機(jī)構(gòu)，開始依托大數(shù)據(jù)虛擬化技術(shù)，進(jìn)行自身內(nèi)部資源、服務(wù)項目的優(yōu)化配置與管理，以滿足不同用戶多樣化的數(shù)據(jù)信息獲取、業(yè)務(wù)辦理需求。近年來，政府行政部門、教育機(jī)構(gòu)、醫(yī)療機(jī)構(gòu)等，紛紛構(gòu)建起自身的虛擬化信息共享云平臺，結(jié)合某一應(yīng)用程序的顯示界面控制技術(shù)，進(jìn)行多種功能服務(wù)場景的搭建。用戶在海量數(shù)據(jù)信息訪問的過程中，后臺服務(wù)器會對數(shù)據(jù)庫中的數(shù)據(jù)資源，進(jìn)行篩選、統(tǒng)計分析與處理，并對用戶的數(shù)據(jù)或功能服務(wù)訪問作出響應(yīng)。

2.2計算機(jī)軟件與云計算管理、存儲技術(shù)的結(jié)合

云計算管理技術(shù)、云存儲技術(shù)等，是大數(shù)據(jù)信息平臺的最重要技術(shù)，其主要通過不同網(wǎng)絡(luò)接口協(xié)議的整合，進(jìn)行計算機(jī)軟件中海量數(shù)據(jù)信息的自由訪問與傳輸。云計算管理平臺是基于Linux系統(tǒng)內(nèi)核的虛擬服務(wù)器，可以通過虛擬化硬件資源、服務(wù)器等的搭建，為多種計算機(jī)軟件提供數(shù)據(jù)信息處理、功能的運行支持。而云存儲技術(shù)則是相對于計算機(jī)硬件的數(shù)據(jù)存儲技術(shù)，其主要借助于網(wǎng)絡(luò)中的云服務(wù)器，對企事業(yè)單位、基礎(chǔ)服務(wù)部門、科研機(jī)構(gòu)的數(shù)據(jù)資源，進(jìn)行快速的讀取、上傳與存儲。

2.3計算機(jī)軟件與信息安全技術(shù)的結(jié)合

大數(shù)據(jù)時代數(shù)據(jù)信息傳輸、共享的安全性，成為企事業(yè)單位等機(jī)構(gòu)開展數(shù)據(jù)資源處理、管理，以及多種業(yè)務(wù)功能訪問時，所關(guān)注的重要問題。計算機(jī)軟件存在著大量的私人信息，包括用戶賬號、密碼、數(shù)據(jù)訪問與下載痕跡等，因此在計算機(jī)軟件的開發(fā)設(shè)計過程中，通常會與信息安全技術(shù)進(jìn)行結(jié)合，在計算機(jī)軟件中采取公鑰或私鑰對稱、非對稱加密技術(shù)、鏈路加密技術(shù)、端到端加密技術(shù)等，對整個鏈路傳輸?shù)臄?shù)據(jù)信息進(jìn)行報文數(shù)據(jù)包加密/解密，來保障不同行業(yè)軟件訪問、數(shù)據(jù)使用的安全性。

3大數(shù)據(jù)中計算機(jī)軟件的實際應(yīng)用

3.1企業(yè)數(shù)據(jù)信息管理

當(dāng)前企事業(yè)單位對網(wǎng)絡(luò)數(shù)據(jù)信息的管理，通常由軟件公司結(jié)合企業(yè)的數(shù)據(jù)處理、業(yè)務(wù)服務(wù)需求，進(jìn)行海量數(shù)據(jù)處理、傳輸與共享軟件的開發(fā)。一般會針對不同企業(yè)生產(chǎn)銷售、產(chǎn)品質(zhì)量的要求，對企業(yè)內(nèi)部的財務(wù)、生產(chǎn)銷售、經(jīng)營管理等信息進(jìn)行分類整合，篩選出具有代表性的樣本數(shù)據(jù)，在移動交互平臺頁面中進(jìn)行顯示，以滿足用戶多樣化的消費與服務(wù)需求。特別在網(wǎng)絡(luò)商鋪逐漸增多的情況下，企業(yè)可以依托網(wǎng)絡(luò)電商平臺的大數(shù)據(jù)技術(shù)，進(jìn)行自身生產(chǎn)銷售數(shù)據(jù)、業(yè)務(wù)服務(wù)數(shù)據(jù)的智能化管理。之后根據(jù)客戶的信息瀏覽喜好，通過計算機(jī)軟件平臺向用戶推薦相應(yīng)的商品購買鏈接、服務(wù)信息，進(jìn)而在激烈的市場競爭中占據(jù)主動位置。

3.2商業(yè)通信

網(wǎng)絡(luò)通信領(lǐng)域的發(fā)展，需要SPSS、感知評估系統(tǒng)APP等軟件的支持，才能夠完成一系列數(shù)據(jù)過濾、解析與傳輸工作。當(dāng)前中國移動、中國電信等地區(qū)運營商，已經(jīng)開始使用SPSS軟件、感知評估系統(tǒng)APP軟件等平臺，進(jìn)行網(wǎng)絡(luò)通信數(shù)據(jù)的智能識別、過濾、匹配與運算處理，并主動生成批量的Excel數(shù)據(jù)表格，大大提升電信公司數(shù)據(jù)源保護(hù)、數(shù)據(jù)解析處理的工作效率。該計算機(jī)軟件可以通過修改配置文件，使用不同省市地區(qū)網(wǎng)絡(luò)數(shù)據(jù)的處理需求，且數(shù)據(jù)識別、解析、匹配與加密的算法較為方便，可以實現(xiàn)網(wǎng)絡(luò)通信過程中的數(shù)據(jù)傳輸與優(yōu)化。

3.3數(shù)字化教學(xué)

大數(shù)據(jù)計算機(jī)軟件在數(shù)字化智能教學(xué)中的應(yīng)用，主要通過智慧校園網(wǎng)絡(luò)、云計算管理平臺、后臺數(shù)據(jù)庫、感知設(shè)備等的構(gòu)建，為學(xué)生提供更加多元化的教育教學(xué)資源。教師可以借助于計算機(jī)軟件技術(shù)，搜集網(wǎng)路中的教學(xué)數(shù)據(jù)資源，對課程教材中抽象的概念、實現(xiàn)原理等知識點，運用文字、圖片、視頻或音頻的形式進(jìn)行展現(xiàn)，以最大程度提高學(xué)生的課堂學(xué)習(xí)積極性，加深學(xué)生對某一專業(yè)理論知識的認(rèn)知與理解。而教務(wù)管理部門也可以通過智能感知設(shè)備，對教師或?qū)W生的教學(xué)進(jìn)度、學(xué)習(xí)狀況等進(jìn)行了解，利用大數(shù)據(jù)平臺挖掘有用的數(shù)據(jù)內(nèi)容，來為師生提供多種智能化的服務(wù)。

4結(jié)語

大數(shù)據(jù)信息時代到來后，企事業(yè)單位、教育部門、基礎(chǔ)服務(wù)部門的業(yè)務(wù)數(shù)據(jù)越來越多，TB、1PB逐漸成為數(shù)據(jù)衡量與傳輸?shù)闹饕獑挝?，傳統(tǒng)單一化的信息處理、傳輸模式，已難以適應(yīng)商業(yè)社會中企業(yè)決策、業(yè)務(wù)開展需求。因此將計算機(jī)軟件、大數(shù)據(jù)云計算平臺進(jìn)行結(jié)合，用戶通過訪問網(wǎng)絡(luò)云存儲平臺，能更加方便快捷地調(diào)取、使用數(shù)據(jù)資源，以完成一系列的數(shù)據(jù)信息獲取、業(yè)務(wù)辦理的活動。

參考文獻(xiàn)

[1]計春風(fēng).大數(shù)據(jù)時代計算機(jī)軟件技術(shù)的開發(fā)與應(yīng)用探討[J].科技與創(chuàng)新,2018,(24).

[2]關(guān)麗.大數(shù)據(jù)時代背景下計算機(jī)軟件技術(shù)的應(yīng)用[J].電子技術(shù)與軟件工程,2019,(02).

[3]柴繼貴.淺談計算機(jī)軟件技術(shù)在大數(shù)據(jù)時代的應(yīng)用[J].科技資訊,2018,(36).

作者：胡江偉 單位：山東理工職業(yè)學(xué)院