公務(wù)員期刊網(wǎng) 論文中心 正文

大數(shù)據(jù)下數(shù)據(jù)分析服務(wù)的市場探析

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了大數(shù)據(jù)下數(shù)據(jù)分析服務(wù)的市場探析范文,希望能給你帶來靈感和參考,敬請閱讀。

大數(shù)據(jù)下數(shù)據(jù)分析服務(wù)的市場探析

摘要:對提供大數(shù)據(jù)技術(shù)服務(wù)的電商,分析其現(xiàn)狀和商業(yè)需求,并通過爬蟲技術(shù)爬取大型電商網(wǎng)站關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息。研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售價格、月銷數(shù)量、顧客評分等。結(jié)合詞頻分析和統(tǒng)計技術(shù),分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價格、服務(wù)種類。研究發(fā)現(xiàn),現(xiàn)有的基于大數(shù)據(jù)技術(shù)的電商服務(wù)存在定價不清、質(zhì)量難以保證、客戶評價真實性存疑等問題。針對問題提出標(biāo)準(zhǔn)化數(shù)據(jù)市場、引入第三方監(jiān)管、建立成熟的收益機(jī)制的建議。

關(guān)鍵詞:數(shù)據(jù)分析;大數(shù)據(jù);可視化;電商服務(wù);大數(shù)據(jù)技術(shù)

0引言

近年來,隨著移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能的迅猛發(fā)展,全球大數(shù)據(jù)存儲量持續(xù)快速增長,其中中國數(shù)據(jù)量的增長最為迅速。根據(jù)國際數(shù)據(jù)公司(IDC)的監(jiān)測數(shù)據(jù)顯示,2013年至2018年全球大數(shù)據(jù)儲量分別為4.3ZB、6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB,近年全球大數(shù)據(jù)儲量的增速每年都保持在40%左右。根據(jù)IDC最新的統(tǒng)計數(shù)據(jù),中國的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)產(chǎn)生量的23%[1]。IDC最新的《全球半年度大數(shù)據(jù)支出指南,2018H2》預(yù)測在2019年度,大數(shù)據(jù)與商業(yè)分析解決方案全球市場的整體收益將達(dá)到1896.6億美元,相比2018年增長12.1%。IDC預(yù)測,2019年中國大數(shù)據(jù)市場總體收益將達(dá)到96.0億美元,2019-2023年預(yù)測期內(nèi)的年CAGR(復(fù)合年均增長率)為23.5%,增速高于全球平均水平。到2023年,市場規(guī)模則將增長至224.9億美元[2]。在這樣的背景下,數(shù)據(jù)在全球市場經(jīng)濟(jì)運(yùn)轉(zhuǎn)中的價值日趨顯著,所以數(shù)據(jù)分析服務(wù)應(yīng)當(dāng)順應(yīng)當(dāng)前國家政策以及未來市場,收集大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息和數(shù)據(jù)相關(guān)的門戶網(wǎng)站,研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售情況與大型門戶網(wǎng)站的定價、服務(wù),從小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的需求程度、服務(wù)反饋,來分析小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的發(fā)展趨勢,并分析兩者之間的優(yōu)缺點(diǎn)。

1電商服務(wù)現(xiàn)狀分析

1.1淘寶

淘寶網(wǎng)是中國現(xiàn)下最受歡迎的專業(yè)網(wǎng)購零售平臺之一,注冊用戶數(shù)量高達(dá)5億,日均瀏覽量超過1.3億。在淘寶出售數(shù)據(jù)分析等相關(guān)服務(wù),在沒有知名度的情況下,前期不需要投入大量宣傳投入,靠著淘寶自帶的流量,也不會擔(dān)憂沒有人流量。但淘寶的數(shù)據(jù)分析服務(wù)也存在如下問題。⑴數(shù)據(jù)和人工成本估算,以及數(shù)據(jù)收益機(jī)制還不成熟,導(dǎo)致商品的定價沒有統(tǒng)一標(biāo)準(zhǔn),也沒有可參考的依據(jù),價格相差過大,客戶無法判斷商家所給的定價是否與自己的需求相匹配。⑵交易雙方信任機(jī)制難以建立,把握數(shù)據(jù)使用流向問題難以解決[3]。淘寶商家在淘寶注冊商鋪資質(zhì)最低費(fèi)用為1000元,若是發(fā)生糾紛,商家跑路所需承擔(dān)的風(fēng)險很小,個人的權(quán)益難以保障。⑶交易評價真實性不可查,涉及電商銷售,難免會存在刷單行為,客戶也很難辨別商品評論的真實性,存在被誤導(dǎo)以及引誘消費(fèi)的風(fēng)險。

1.2大型門戶網(wǎng)站

本研究以數(shù)據(jù)為關(guān)鍵詞,找尋了四個大型門戶,分別對它們的框架、定價、服務(wù)對象進(jìn)行研究分析?;疖嚥杉髦鞔驍?shù)據(jù)采集,有較為清晰的定價,有免費(fèi)版供需求不多、不需要太深入處理數(shù)據(jù)的人群使用,更多的版本選擇讓用戶可以自由的根據(jù)自己的需求做選擇。除此之外,還有在線客服可進(jìn)行咨詢、指導(dǎo)。八爪魚采集器主打數(shù)據(jù)采集,操作簡單,是人人可用的數(shù)據(jù)采集器。采集教程有圖文版和視頻教程,讓客戶更容易上手。采集軟件也有不同的定價,方便客戶選擇。問題的解決方案也有細(xì)分,涵蓋了新聞采集、電商采集、金融采集數(shù)據(jù)服務(wù)、市場洞察等十幾種,可為不同領(lǐng)域的客戶提供有針對性的方案。前嗅主打數(shù)據(jù)采集和大數(shù)據(jù)可視化。比起前兩個按軟件的版本來定價,前嗅的定價更為詳細(xì)些。前兩者的數(shù)據(jù)采集需要自己動手完成,而前嗅有ForeSpider數(shù)據(jù)采集引擎可自己爬取數(shù)據(jù),也可以選擇數(shù)據(jù)代采。在數(shù)據(jù)采集這個模塊,前嗅就分出了6種服務(wù)及定價,對客戶來說更詳細(xì)也更好理解。可視化報告分出了3種不同的需求,預(yù)存云數(shù)據(jù)系統(tǒng),研究報告和定制報告。還可根據(jù)客戶數(shù)據(jù)進(jìn)行情感分析、用戶畫像分析、語義識別等。集搜客主打網(wǎng)頁抓取和內(nèi)容分析,主要是對文本的處理和情感分析。集搜客有專門的爬蟲軟件,分為4個版本,每個版本都有自己的定價。除此之外,也有定制服務(wù)的價格,劃分出了6個定制項目,并顯示每個服務(wù)最低的價格?;疖嚥杉鳌俗︳~采集器、前嗅、集搜客在頁面下方都放了合作的企業(yè),其中有中國人民銀行、中國電信、可口可樂、鳳凰網(wǎng)、中國平安等知名大型企業(yè),對它們是一種能力的認(rèn)證,也是交易的認(rèn)可。

2數(shù)據(jù)分析服務(wù)的商業(yè)需求

2.1淘寶:小型數(shù)據(jù)服務(wù)方

本研究以“數(shù)據(jù)分析”為關(guān)鍵詞,于2020年8月通過爬蟲技術(shù)爬取淘寶電商網(wǎng)站的529條信息。其中包括9個字段:商品名、鏈接、圖片、價格、郵費(fèi)、店鋪名、月銷數(shù)量、店鋪評分、發(fā)貨地等。去除重復(fù)、不符主題的噪聲數(shù)據(jù),留取了202條有效數(shù)據(jù)。去除對本次研究沒有研究意義的字段,本研究將對這202條有效數(shù)據(jù)的價格、月銷數(shù)量、高頻關(guān)聯(lián)詞、發(fā)貨地這四個字段進(jìn)行分析。

2.2門戶網(wǎng)站:大型數(shù)據(jù)服務(wù)方

2.2.1火車采集器?;疖嚥杉魇悄壳盎ヂ?lián)網(wǎng)上應(yīng)用最廣泛的數(shù)據(jù)處理、分析和挖掘軟件。軟件憑借其靈活的配置與強(qiáng)大的性能領(lǐng)先國內(nèi)其他數(shù)據(jù)采集類產(chǎn)品,并贏得眾多企業(yè)和用戶認(rèn)可。目前共客戶使用的有五個版本,可以免費(fèi)使用,有需要更強(qiáng)大功能的付費(fèi)版本,價格在960元至8600元,購買后的版本均可終身使用。2.2.2八爪魚采集器。八爪魚采集器是一款擁有百萬用戶的數(shù)據(jù)采集軟件,其使用方法簡單易懂,不懂網(wǎng)絡(luò)爬蟲技術(shù),也能輕松采集想要的數(shù)據(jù)。目前共客戶使用的有七個版本,有免費(fèi)的版本,付費(fèi)版本價格在49元至69800元以及根據(jù)顧客要求制定節(jié)點(diǎn)再定價格。私有部署版、數(shù)據(jù)服務(wù)都沒有明確的價格,需要根據(jù)客戶需求來制定方案,再根據(jù)方案制定價格。2.2.3前嗅智能大數(shù)據(jù)專家。前嗅是可提供數(shù)據(jù)采集、定制和研究可視化報告、自然語言處理以及大數(shù)據(jù)周邊配套產(chǎn)品等且擁有國內(nèi)唯一自主知識產(chǎn)權(quán)Web服務(wù)器系統(tǒng)的大型門戶網(wǎng)站。在價格的制定上,比前兩者分的更細(xì),許多服務(wù)的起步價多為200元至400元。劃分板塊多,衍生的服務(wù)更為多樣。2.2.4集搜客GooSeeker。集搜客GooSeeker是一款網(wǎng)頁抓取和內(nèi)容分析,把互聯(lián)網(wǎng)裝進(jìn)表格和數(shù)據(jù)庫的軟件。網(wǎng)絡(luò)爬蟲軟件目前有四個版本,除了免費(fèi)版本外,其他三個版本的價格在49元至20000元之間,還有根據(jù)需求的定制服務(wù)。通過對以上四個大型門戶網(wǎng)站的調(diào)研,發(fā)現(xiàn)每個服務(wù)方所服務(wù)的人顧客群體有所區(qū)別,需求存在著明顯的差異。火車采集器和八爪魚采集器都是主打數(shù)據(jù)采集的軟件,但價格上卻有所差別,火車采集器的價格明顯比八爪魚便宜,可見針對的目標(biāo)客戶是不一樣的。前嗅智能大數(shù)據(jù)專家針對的是有大數(shù)據(jù)技術(shù)需求方面的人群,大數(shù)據(jù)的衍生服務(wù)也包括在內(nèi),多樣且全能。集搜客是針對有網(wǎng)頁抓取和內(nèi)容分析,主要是對文本的處理和情感分析的需求的顧客群體。以上四個大型門戶網(wǎng)站都有自己明確的市場定位,針對不同的需求,發(fā)展自己的特點(diǎn)。

3數(shù)據(jù)調(diào)查與分析的方法及過程

利用爬蟲技術(shù)爬取了2020年8月大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實信息,研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個人數(shù)據(jù)分析服務(wù)的銷售價格、月銷數(shù)量、顧客評分等,結(jié)合詞頻分析和統(tǒng)計技術(shù),以及分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價格、服務(wù)種類。

3.1價格分析

在本次爬取的信息中,價格較為多樣化,單價從1元到500元不等,數(shù)字較為隨機(jī),可見淘寶的數(shù)據(jù)分析標(biāo)準(zhǔn)沒有統(tǒng)一,差異性較大。大多標(biāo)價也非實際交易價格,實際交易價格往往是在雙方交流后才確定的價格。沒有統(tǒng)一的定價標(biāo)準(zhǔn),會導(dǎo)致顧客在購買服務(wù)之前難以了解實際交易價格與自己心理預(yù)期價格的差距,從而難以選擇與自己心理預(yù)期相符的服務(wù)。

3.2月銷數(shù)量

在本次爬取的信息中,單項付款最多人數(shù)為717人,最少為0人,月銷數(shù)量大于100的占總收集信息的10%。但僅看付款數(shù)量無法判斷實際交易人數(shù),因為一人可拍下數(shù)量不可知(如:單價100元,在交流后,所需服務(wù)實際需要為400元,可以單價*4拍下)。如圖1所示。

3.3高頻次關(guān)聯(lián)詞

在本次爬取的信息中,標(biāo)題中除了數(shù)據(jù)分析出現(xiàn)的高頻詞匯有:spss、可視化、爬蟲、python、stata、統(tǒng)計。出現(xiàn)的頻次分別為:可視化出現(xiàn)61次、spss出現(xiàn)59次、stata出現(xiàn)30次、python出現(xiàn)31次、爬蟲出現(xiàn)23次、統(tǒng)計出現(xiàn)19次。其中spss、stata、python都是數(shù)據(jù)分析工具,不同的行業(yè)與需求對數(shù)據(jù)分析工具有不同的要求,可視化的高頻次出現(xiàn)體現(xiàn)著客戶對數(shù)據(jù)可視化的需求強(qiáng)烈。如圖2所示。

3.4發(fā)貨地分析

在本次爬取的信息中,發(fā)貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現(xiàn)次數(shù)較多的為北京、上海、南京,分別為44次、29次、16次。這三大城市的占比為44%,可見這三大城市的數(shù)字經(jīng)濟(jì)發(fā)展明顯優(yōu)于其他城市。如圖3所示。從價格、月銷量、高頻次關(guān)聯(lián)詞、發(fā)貨地址的分析結(jié)果看,以淘寶網(wǎng)為代表的小型數(shù)據(jù)服務(wù)方的定價模糊,沒有清晰、明確的定價標(biāo)準(zhǔn),月銷量有高有低,但由于定價模糊的關(guān)系,并不能判斷它的真實銷量。從高頻關(guān)聯(lián)詞數(shù)據(jù)分析與可視化關(guān)系緊密這一點(diǎn)看,數(shù)據(jù)可視化是數(shù)據(jù)分析中的一大需求點(diǎn),發(fā)貨地點(diǎn)多為一線城市,可見經(jīng)濟(jì)與數(shù)據(jù)經(jīng)濟(jì)關(guān)系成正比關(guān)系。

4結(jié)論與建議

經(jīng)過研究和分析電商數(shù)據(jù)分析服務(wù)的多方面數(shù)據(jù),獲知了以淘寶電商為主體的小型數(shù)據(jù)分析服務(wù)在體系上的不完善,多數(shù)是在商品標(biāo)題添加相關(guān)詞,但商品詳情頁面沒有詳細(xì)的服務(wù)名稱、服務(wù)范圍、服務(wù)價格,大多需要咨詢客服才能了解;以大型門戶網(wǎng)站為主題的數(shù)據(jù)分析服務(wù)為主體的數(shù)據(jù)分析服務(wù)都有著自己明確且清晰的體系,有詳細(xì)的產(chǎn)品分類,可提供服務(wù)的范圍,有標(biāo)準(zhǔn)的定價,以及自己的主打的特色產(chǎn)品,火車采集器、八爪魚采集器、集搜客也提供有免費(fèi)的服務(wù),供客戶體驗產(chǎn)品、了解產(chǎn)品。當(dāng)前我國數(shù)據(jù)資源流通存在諸多瓶頸問題,尚不具備作為一種生產(chǎn)要素的商品化、資產(chǎn)化機(jī)制,無法界定權(quán)屬、無法評估質(zhì)量、無法有效定價、無法可信流通等問題較為突出[3]。在此提出以下建議供參考。⑴推進(jìn)建立商品化、資產(chǎn)化和規(guī)范化的數(shù)據(jù)商品體系。⑵建立第三方數(shù)據(jù)監(jiān)督機(jī)構(gòu)。市場的數(shù)據(jù)質(zhì)量難以保障,已過期數(shù)據(jù)、錯誤數(shù)據(jù)、沒有意義的數(shù)據(jù)俯拾皆是,第三方機(jī)構(gòu)可監(jiān)督數(shù)據(jù)的來源,評判數(shù)據(jù)的可用性。⑶小型數(shù)據(jù)分析服務(wù)應(yīng)確立自己的基本框架,將所能提供的服務(wù)、服務(wù)范圍、服務(wù)價格,進(jìn)行清晰的劃分并標(biāo)明,讓顧客能更加簡單便捷、有對比性的了解所提供的服務(wù)。⑷建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制。縱觀淘寶和大型門戶網(wǎng)站對同類服務(wù)的定價,價格相差懸殊。建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制可以為客戶避免“貴的就是對的”的心理;也可以避免客戶一味的貪圖便宜買到假數(shù)據(jù)。

5結(jié)束語

伴隨著“數(shù)據(jù)創(chuàng)造價值,智慧引領(lǐng)經(jīng)濟(jì)”的潮流,越來越多的行業(yè)加入到數(shù)據(jù)經(jīng)濟(jì)的行列中來。本文分別對幾個不同類型的數(shù)據(jù)電商服務(wù)的框架、定價、服務(wù)對象進(jìn)行了研究,從目前的數(shù)據(jù)看來,數(shù)據(jù)電商服務(wù)的在定價和數(shù)據(jù)來源方面存在一定的模糊地帶,但隨著國家層面推進(jìn)大數(shù)據(jù)政策,數(shù)據(jù)電商服務(wù)也會進(jìn)一步完善,最終形成一個成熟的體系。

參考文獻(xiàn)

[1]從全球大數(shù)據(jù)市場看未來發(fā)展趨勢[EB/OL].(2019-08-16)[2020-01-12].

[2]IDC最新版全球大數(shù)據(jù)市場規(guī)模預(yù)測,中國持續(xù)穩(wěn)定增長[EB/OL].(2019-09-12)[2019-12-06].

[3]于施洋,王建冬,郭巧敏.我國構(gòu)建數(shù)據(jù)新型要素市場體系面臨的挑戰(zhàn)與對策[J].電子政務(wù),2020.3:2-12

[4]徐鑫.大數(shù)據(jù)環(huán)境下競爭情報分析的變化與方法創(chuàng)新[J].科技情報研究,2020.2:25

作者:邱敏 梁婷婷 梁天友 單位:南寧學(xué)院信息工程學(xué)院