前言:想要寫(xiě)出一篇引人入勝的文章?我們特意為您整理了互聯(lián)網(wǎng)電視智能調(diào)度系統(tǒng)探究范文,希望能給你帶來(lái)靈感和參考,敬請(qǐng)閱讀。
0引言
互聯(lián)網(wǎng)電視業(yè)務(wù)是基于家庭寬帶的一項(xiàng)重要業(yè)務(wù),是對(duì)家庭寬帶質(zhì)量最為敏感的業(yè)務(wù)之一。隨著家庭寬帶帶寬升級(jí)、提速,對(duì)于互聯(lián)網(wǎng)電視業(yè)務(wù)的質(zhì)量提升更應(yīng)該關(guān)注業(yè)務(wù)平臺(tái)自身。在日常運(yùn)維中,互聯(lián)網(wǎng)電視業(yè)務(wù)的CDN負(fù)荷會(huì)因?yàn)槿藛T遷徙,節(jié)假日、重大活動(dòng)等發(fā)生變化,那么如何快速去均衡已經(jīng)下沉的CDN負(fù)荷,保障用戶(hù)的業(yè)務(wù)感知成為了運(yùn)維的一個(gè)難題。
1智能分析調(diào)度系統(tǒng)的整體架構(gòu)
1.1系統(tǒng)總體設(shè)計(jì)
基于大數(shù)據(jù)的寬帶電視CDN質(zhì)量智能分析調(diào)度系統(tǒng)主要設(shè)計(jì)為兩個(gè)模塊:采集分析模塊、智能調(diào)度模塊。1.1.1采集分析模塊。采集分析模塊主要負(fù)責(zé)數(shù)據(jù)的采集以及分析,DPDK技術(shù)與大數(shù)據(jù)分析技術(shù)是現(xiàn)在數(shù)據(jù)捕獲技術(shù)及數(shù)據(jù)分析領(lǐng)域的重要發(fā)展方向,通過(guò)二者與OTT的結(jié)合是未來(lái)OTT視頻質(zhì)量分析技術(shù)發(fā)展的趨勢(shì)。本系統(tǒng)的采集分析模塊利用上述技術(shù)實(shí)現(xiàn)OTT用戶(hù)卡頓精確分析。DPDK(數(shù)據(jù)平面開(kāi)發(fā)套件)是由6WIND,Intel等多家公司開(kāi)發(fā),主要基于Linux系統(tǒng)運(yùn)行,用于快速數(shù)據(jù)包處理的函數(shù)庫(kù)與驅(qū)動(dòng)集合,可以極大提高數(shù)據(jù)處理性能和吞吐量,提高數(shù)據(jù)平面應(yīng)用程序的工作效率。DPDK的基本構(gòu)架如圖1所示,其中KNI模塊將報(bào)文從用戶(hù)態(tài)倒灌到內(nèi)核協(xié)議棧處理,IGB_UIO模塊將網(wǎng)卡硬件寄存器映射到用戶(hù)態(tài)內(nèi)存空間,可以使DPDK的驅(qū)動(dòng)運(yùn)行在用戶(hù)態(tài),EAL(環(huán)境抽象層)能對(duì)操作底層資源的抽象與封裝,給程序提供統(tǒng)一的訪(fǎng)問(wèn)接口,同時(shí),DPDK提供一系列組件支持,如Timer提供基于HPET的計(jì)時(shí)器設(shè)施等。在利用大數(shù)據(jù)進(jìn)行分析研究數(shù)據(jù)的領(lǐng)域中,處理流式數(shù)據(jù)主要使用流式計(jì)算框架。目前主流的流式計(jì)算框架主要有Storm、JStorm、Streaming等。而JStrom因?yàn)榉€(wěn)定與時(shí)效而被廣泛采用,其基于Zookeeper的調(diào)度系統(tǒng),Nimbus作為調(diào)度器角色,通過(guò)Zookeeper與Supervisior之間的交互,管理任務(wù)的提交及調(diào)度;Supervisior用以負(fù)責(zé)Worker的啟動(dòng)與停止;Worker裝載Task負(fù)責(zé)業(yè)務(wù)計(jì)算與邏輯處理。1.1.2智能調(diào)度模塊。智能調(diào)度模塊負(fù)責(zé)生成調(diào)度策略,進(jìn)行CDN節(jié)點(diǎn)智能調(diào)度。本系統(tǒng)的該模塊主要使用基于多鏈路負(fù)載均衡的流量調(diào)度算法。該算法是在隨機(jī)一段時(shí)間內(nèi),對(duì)多條流量鏈路進(jìn)行分組分別取樣測(cè)量,以便得出延遲的閾值和帶寬余量。設(shè)測(cè)量值為d,剩余帶寬樣本為rd,那么在第N重鏈路上,第j(j={1,2,...,K})個(gè)時(shí)刻的時(shí)延均值和剩余帶寬均值計(jì)算公式為:定義第j(j={1,2,...,K})時(shí)刻N(yùn)重鏈路上的時(shí)延和剩余帶寬的協(xié)方差為:通過(guò)協(xié)方差與優(yōu)化目標(biāo)相比,不停循環(huán)計(jì)算達(dá)到最佳選擇。
1.2系統(tǒng)功能概述
(1)分析準(zhǔn)確:通過(guò)鏡像分光CDN用戶(hù)請(qǐng)求報(bào)文,對(duì)報(bào)文進(jìn)行質(zhì)量監(jiān)測(cè)與分析,實(shí)時(shí)反應(yīng)出全省、地市、節(jié)點(diǎn)、服務(wù)器層面的CDN質(zhì)量情況。(2)業(yè)務(wù)無(wú)感知:收集報(bào)文、分析、監(jiān)測(cè)等過(guò)程均與CDN平臺(tái)并行,不會(huì)影響CDN服務(wù)器性能和業(yè)務(wù)質(zhì)量,確保業(yè)務(wù)感知。(3)調(diào)度智能:優(yōu)化現(xiàn)有以“人工為主”的調(diào)度方式向“智能化”調(diào)度轉(zhuǎn)變,實(shí)現(xiàn)地市內(nèi)不同節(jié)點(diǎn)間均衡、地市間均衡、節(jié)點(diǎn)內(nèi)設(shè)備均衡和節(jié)目熱點(diǎn)智能分布。
1.3系統(tǒng)部署方案
系統(tǒng)采用分布式部署方式,部署的設(shè)備包括匯總分析節(jié)點(diǎn)、數(shù)據(jù)采集節(jié)點(diǎn)。采集節(jié)點(diǎn)部署在CDN節(jié)點(diǎn)出口,需要將用戶(hù)請(qǐng)求流量鏡像到采集節(jié)點(diǎn),所有的采集節(jié)點(diǎn)需要保證到匯總分析節(jié)點(diǎn)的網(wǎng)絡(luò)連通性。
2智能分析調(diào)度系統(tǒng)實(shí)現(xiàn)應(yīng)用
2.1采集分析模塊的實(shí)現(xiàn)
2.1.1基于DPDK技術(shù)的流量采集識(shí)別?;贒PDK開(kāi)發(fā)模塊完成數(shù)據(jù)流量的采集識(shí)別工作,首先經(jīng)過(guò)內(nèi)核初始化包括EAL環(huán)境抽象層初始化、定時(shí)器設(shè)施啟動(dòng)、網(wǎng)卡硬件初始化、然后在每個(gè)網(wǎng)卡隊(duì)列上設(shè)置環(huán)形緩沖區(qū)用于存儲(chǔ)報(bào)文,同時(shí)在CPU邏輯核上啟動(dòng)一個(gè)線(xiàn)程,并分配的網(wǎng)卡隊(duì)列用以接收數(shù)據(jù)包。在收到數(shù)據(jù)包之后,需要對(duì)數(shù)據(jù)包進(jìn)行拆包處理,過(guò)程如圖2所示。對(duì)拆封后的數(shù)據(jù)包解析后獲得CMSID:點(diǎn)播/直播、STBID:機(jī)頂盒串號(hào)、URL:請(qǐng)求播放地址等信息,根據(jù)信息內(nèi)容進(jìn)入大數(shù)據(jù)分析系統(tǒng)進(jìn)行分析處理。2.1.2基于大數(shù)據(jù)分析技術(shù)的實(shí)時(shí)分析。基于JStorm框架搭建一個(gè)Topology,用于實(shí)現(xiàn)TF-IDF算法,并支持DRPC遠(yuǎn)程調(diào)用實(shí)現(xiàn)所需處理流程,來(lái)進(jìn)行數(shù)據(jù)分析。首先創(chuàng)建TridentTopology,然后定義一個(gè)document流,從消息隊(duì)列獲取文檔流,接著定義一個(gè)term流,用來(lái)對(duì)document流中的文檔進(jìn)行分詞,然后投影出所需的字段。接著創(chuàng)建StateFactory對(duì)象,用于保持與HBased_rt表的持久化存儲(chǔ)之間狀態(tài),之后創(chuàng)建TridenState對(duì)象,用來(lái)持久化和保持訪(fǎng)問(wèn)文檔數(shù),最后借助DRPC實(shí)現(xiàn)實(shí)時(shí)計(jì)算,對(duì)外提單詞重要度TF-IDF的查詢(xún)服務(wù)。JStorm的運(yùn)行分為本地模式和分布式模式,本地模式適合調(diào)試和開(kāi)發(fā),分布式模式能保證高性能,Topology將任務(wù)交給Nimbus,然后Nimbus將代碼分發(fā)給各個(gè)節(jié)點(diǎn)。
2.2智能調(diào)度模塊的實(shí)現(xiàn)
在調(diào)度周期的開(kāi)始,獲得每個(gè)節(jié)點(diǎn)的狀態(tài)信息,例如節(jié)點(diǎn)的服務(wù)質(zhì)量、負(fù)載能力和鏈路狀態(tài),而后對(duì)所有區(qū)域進(jìn)行遍歷。將各個(gè)節(jié)點(diǎn)的狀態(tài)進(jìn)行健康與非健康分類(lèi),在非健康狀態(tài)下的原有節(jié)點(diǎn),流量調(diào)度算法會(huì)將原有節(jié)點(diǎn)中的全部流量調(diào)配出去,調(diào)配目標(biāo)為備選節(jié)點(diǎn),在調(diào)配到備選節(jié)點(diǎn)過(guò)程中,調(diào)度算法會(huì)根據(jù)備選節(jié)點(diǎn)狀態(tài)進(jìn)行是否全部流量調(diào)度,如果節(jié)點(diǎn)狀態(tài)良好,則將部分流量分配到良好的節(jié)點(diǎn)。否則,報(bào)警。
2.3智能分析調(diào)度系統(tǒng)的應(yīng)用
該系統(tǒng)已在陜西移動(dòng)十地市全面部署,大幅度提升運(yùn)維工作效率,使得原本手動(dòng)調(diào)度難以均衡的流量實(shí)現(xiàn)了智能均衡。以某地市為例,該地市有兩個(gè)節(jié)點(diǎn),實(shí)施智能調(diào)度前峰值負(fù)載率偏離度9%;均值負(fù)載率偏離度7%,實(shí)施智能之后,峰值負(fù)載率最大偏離度偏離度<3%,均值負(fù)載率最大偏離度<1%。3結(jié)束語(yǔ)采用大數(shù)據(jù)分析系統(tǒng)結(jié)合DPDK技術(shù),優(yōu)化現(xiàn)有“以人為主”的調(diào)度方式向“智能化調(diào)”轉(zhuǎn)變,實(shí)時(shí)分析各地市CDN服務(wù)器質(zhì)量,結(jié)合智能調(diào)度系統(tǒng),實(shí)現(xiàn)了地市間、節(jié)點(diǎn)間CDN設(shè)備負(fù)載自動(dòng)俊航,解決了傳統(tǒng)運(yùn)維方式的弊端。
參考文獻(xiàn)
[1]洪一帆.運(yùn)營(yíng)商CDN系統(tǒng)視頻內(nèi)容存儲(chǔ)調(diào)度策略探討[J].科技與創(chuàng)新,2020(01):145-146.
[2]溫曉潔.某省OTTCDN網(wǎng)絡(luò)評(píng)估及優(yōu)化分析[J/OL].電信科學(xué),2020:1-7.
作者:謝崇斌 賴(lài)材棟 張小強(qiáng) 單位:中國(guó)移動(dòng)通信集團(tuán)陜西有限公司
級(jí)別:部級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:CSCD期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:部級(jí)期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)