網(wǎng)絡(luò)流量分析的方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的網(wǎng)絡(luò)流量分析的方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：網(wǎng)絡(luò)流量分析的方法范文

關(guān)鍵詞 流量；分類；檢測；統(tǒng)計；分析

中圖分類號 TN91 文獻標識碼 A 文章編號 1674-6708（2016）166-00104-01

近年來寬帶網(wǎng)絡(luò)一直保持高速增長，光纖到桌面已基本實現(xiàn)，但網(wǎng)絡(luò)中巨大的流量會對網(wǎng)絡(luò)產(chǎn)生怎樣的影響，這些流量是如何構(gòu)成的，始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營指標等、當然最重要的還有數(shù)據(jù)的安全性。

不同的網(wǎng)絡(luò)，不同觀察點，不同時間的網(wǎng)絡(luò)流量因網(wǎng)絡(luò)規(guī)模，業(yè)務(wù)種類，用戶構(gòu)成和使用習(xí)慣的不同而不同，甚至受突發(fā)事件的影響，網(wǎng)絡(luò)流量在體量規(guī)模，構(gòu)成成分和比例上都有所不同。一個好的流量分類分析系統(tǒng)，應(yīng)滿足部署位置上的可移植性，流量規(guī)模的可伸縮性，時間演進的自適應(yīng)性。這時系統(tǒng)不僅需要采用先進的分類技術(shù)，也需要代表性的訓(xùn)練數(shù)據(jù)集來確定系統(tǒng)運行參數(shù)。數(shù)據(jù)集主要采用2種方式：PCAP格式和NETFLOW格式，前者捕獲的是包級記錄，后者則是關(guān)于流級得統(tǒng)計信息記錄。

寬帶流量的分析和檢測首先要進行流量的采集，這項工作可以通過交換機或路由器的鏡像端口實現(xiàn)，也可以通過光纜分光的方式實現(xiàn)。對捕獲的數(shù)據(jù)進行計算和統(tǒng)計，并把統(tǒng)計數(shù)據(jù)寫入數(shù)據(jù)庫，定期形成網(wǎng)絡(luò)性能和流量參數(shù)的報表，用作分析的依據(jù)，在形成足夠數(shù)量的報表數(shù)據(jù)后，可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢，判斷網(wǎng)絡(luò)是否存在瓶頸，并依據(jù)經(jīng)驗，形成經(jīng)驗數(shù)據(jù)庫，使網(wǎng)管系統(tǒng)具備學(xué)習(xí)的基礎(chǔ)和能力。在出現(xiàn)告警或異常情況時，可用來分析對比，判斷是否出現(xiàn)了網(wǎng)絡(luò)的攻擊和入侵，判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征，足夠數(shù)量的數(shù)據(jù)報表也可以指導(dǎo)各類應(yīng)急預(yù)案的制定，在出現(xiàn)異常情況時可按照事先擬定的規(guī)則進行處理。

對于寬帶流量的分析和分類，系統(tǒng)需要進行統(tǒng)計模型的學(xué)習(xí)，統(tǒng)計模型的學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法。所謂的監(jiān)督學(xué)習(xí)是需要使用已經(jīng)標注過的數(shù)據(jù)集合作為經(jīng)驗知識，對寬帶流量的參數(shù)和算法進行訓(xùn)練；而非監(jiān)督學(xué)習(xí)則不需要使用已經(jīng)標注過的數(shù)據(jù)集進行訓(xùn)練，只是根據(jù)相關(guān)算法對寬帶流量集進行匯聚。對數(shù)據(jù)集的訓(xùn)練過程中需要由經(jīng)驗豐富的專家參與，并進行大量的基礎(chǔ)數(shù)據(jù)分析工作，網(wǎng)絡(luò)經(jīng)驗數(shù)據(jù)集是流量分析的重要構(gòu)成因素。在實際分析過程中，由于寬帶核心網(wǎng)絡(luò)的流量巨大，所以高性能的預(yù)處理路由器和大規(guī)模刀片服務(wù)器必不可少。為了提高分析效率，可以只分析單向流量，并且在預(yù)處理過程中將IP數(shù)據(jù)報文的載荷去掉。但由于各種網(wǎng)絡(luò)協(xié)議不斷演進，加密的流量不斷增加，各種新應(yīng)用不斷出現(xiàn)，網(wǎng)絡(luò)數(shù)據(jù)集的標注也變得越來越困難。

網(wǎng)絡(luò)流量的分類和分析中對于標準協(xié)議的分析最為準確，可根據(jù)TIP/IP協(xié)議簇中標準的服務(wù)端口號對流量報文進行匹配，并根據(jù)端口號的不同將流量對應(yīng)為不同的應(yīng)用。非標準協(xié)議可以使用DPI（深度包檢測）在應(yīng)用層對流量進行特征字符串的分析匹配，由于不同的應(yīng)用在TCP/UDP的數(shù)據(jù)包中包含特征字符串，因此在掌握的不同網(wǎng)絡(luò)應(yīng)用的特征字符串后，可以將網(wǎng)絡(luò)流量精確的分類和匹配，缺點是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡(luò)應(yīng)用的特征字符串難找易變，代表性差及加密度高等問題，也導(dǎo)致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡(luò)應(yīng)用的發(fā)展一直是不斷演變的矛盾。

基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性，標準的通信協(xié)議易于掌握，私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應(yīng)用則會有較多的變化，或進行加密使用就會影響流量分析的效果，甚至無法識別。有時同一應(yīng)用軟件的不同版本間也會出現(xiàn)不同的流量特征，即版本的變化會造成協(xié)議特征的變化。另外，網(wǎng)絡(luò)中的單向流量、數(shù)據(jù)的時延、抖動都會對流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點和痛點。

運營商的骨干網(wǎng)絡(luò)逐漸向扁平化發(fā)展，網(wǎng)絡(luò)出口的數(shù)量增加和結(jié)構(gòu)日趨復(fù)雜，及動態(tài)路由算法的大量使用，使得網(wǎng)絡(luò)流量在多條鏈路或多個不同ISP之間動態(tài)調(diào)配，導(dǎo)致在某個觀察點只能得到部分流量，這對于依賴雙向流量特征的分析方法無法實施?；赑2P的應(yīng)用目前也在不斷擴大，P2P的發(fā)展使得應(yīng)用和傳輸分離，應(yīng)用端點和傳輸分離，打破了原有的B/S或C/S的傳統(tǒng)傳輸模式，多源頭并發(fā)傳輸使得流量特征模糊化，使得數(shù)據(jù)采集的有效性無法保障。還有一些網(wǎng)絡(luò)應(yīng)用為了逃避被檢測到，常常采用已知協(xié)議的方法，例如FTP、HTTP、POP3等，由于IP地址的區(qū)分，冒用已知協(xié)議并不會影響正常網(wǎng)絡(luò)通信，但給流量分析帶來很大難度。

寬帶網(wǎng)絡(luò)流量分析不僅可以使我們可以清楚的知道網(wǎng)絡(luò)流量的內(nèi)容，還可以為網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)優(yōu)化、運營管理、網(wǎng)絡(luò)安全保障提供依據(jù)和手段。同時，網(wǎng)絡(luò)應(yīng)用在不斷推陳出新，各種私有化的協(xié)議和加密方法不斷出現(xiàn)，且由于用戶接入帶寬的不斷提高，核心網(wǎng)流量呈幾何速度增長，這些因素在客觀上也大大增加了網(wǎng)絡(luò)流量分析的難度和成本?，F(xiàn)有的網(wǎng)絡(luò)流量分析再次面臨挑戰(zhàn)，網(wǎng)絡(luò)流量的分析研究工作需要不斷深入進行。

參考文獻

[1]Nader F.Mir.計算機與通信網(wǎng)絡(luò)[M].潘淑文，等，譯.北京：中國電力出版社，2010，1.

[2]余浩，徐明偉.P2P流檢測技術(shù)研究綜述[J].清華大學(xué)學(xué)報，2009（4）：610-620.

第2篇：網(wǎng)絡(luò)流量分析的方法范文

【關(guān)鍵詞】 分層網(wǎng)絡(luò) 交換機 設(shè)計規(guī)格

一、前沿

選擇交換機硬件時，應(yīng)確定核心層、分布層和接入層分別需要何種交換機來滿足網(wǎng)絡(luò)帶寬需求，應(yīng)考慮未來的帶寬需。應(yīng)購買合適的交換機硬件來滿足當前及未來的帶寬需求。為了更準確地選擇合適的交換機，要定期執(zhí)行和記錄流量分析。

二、流量分析

流量分析是測量網(wǎng)絡(luò)帶寬使用率并分析相關(guān)數(shù)據(jù)來調(diào)整性能、規(guī)劃容量并作出硬件升級決策的過程，流量分析是通過流量分析軟件來實現(xiàn)的。盡管對網(wǎng)絡(luò)流量并沒有確切的定義，但為了便于理解流量分析，可以理解為網(wǎng)絡(luò)流量是指在一定時間內(nèi)通過網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。所有的網(wǎng)絡(luò)數(shù)據(jù)無論來自何方，無論發(fā)往何處，都是流量的一部分。監(jiān)控網(wǎng)絡(luò)流量的方法有許多種。可以手工監(jiān)控各個交換機端口來收集一段時間內(nèi)的帶寬利用率。在分析流量數(shù)據(jù)時，可能根據(jù)每天特定時段的流量以及大部分數(shù)據(jù)的來源和目的地來確定未來的流量需求。但是，為了獲得準確地結(jié)果，需要記錄足夠的數(shù)據(jù)。手工記錄流量數(shù)據(jù)是件費時費力的機械活，市面上有一些自動化的解決方案。

三、分析工具

現(xiàn)在市面上有許多流量分析攻擊可以將流量數(shù)據(jù)自動記錄到數(shù)據(jù)庫中，并執(zhí)行趨勢分析。在大型網(wǎng)絡(luò)中，采用軟件收集解決方案是唯一有效的流量分析方式。通過軟件收集數(shù)據(jù)時，可以看到在給定的時間內(nèi)網(wǎng)絡(luò)上每個接口的運行狀況。通過輸出的圖表，可以直觀的發(fā)現(xiàn)流量問題。比用柱狀表示的流量數(shù)據(jù)更容易理解。

四、用戶群分析

用戶群分析是確定各類用戶群體及其對網(wǎng)絡(luò)性能的影響的過程，用戶的分組方式會影響與端口密度和流量有關(guān)的問題，進而影響網(wǎng)絡(luò)交換機的選擇。

在典型的辦公樓中，一般根據(jù)終端用戶的職能對其進行分組，這是因為相同職能用戶所需訪問的資源和應(yīng)用程序也大體相同。每個部門的用戶數(shù)、應(yīng)用程序需求以及需要通過網(wǎng)絡(luò)訪問的可用數(shù)據(jù)資源各有不同。不僅要查看網(wǎng)絡(luò)中指定交換機上的設(shè)備數(shù)量，還應(yīng)該調(diào)查終端用戶應(yīng)用程序生產(chǎn)的網(wǎng)絡(luò)流量。有些用戶群使用產(chǎn)生大量網(wǎng)絡(luò)流量的應(yīng)用程序，而其他用戶則不然，通過測量不同用戶群使用的所有應(yīng)用程序所生成的網(wǎng)絡(luò)流量并確定數(shù)據(jù)源的位置，可以確定增加用戶對該用戶群的影響。

小企業(yè)中工作組大小的用戶群僅用幾臺交換機提供支持，通常連接到服務(wù)器所在的交換機上。在中型企業(yè)中，用戶群由許多交換機提供支持。中型企業(yè)用戶群所需的資源可能位于地理上分散的若干區(qū)域中。因此，用戶群的位置會影響數(shù)據(jù)存儲和服務(wù)器的位置。分析用戶群的應(yīng)用程序使用率的難題之一是使用率并非純粹取決于用戶所在的部門或地理位置。還需要分析應(yīng)用程序穿越多臺網(wǎng)絡(luò)交換機所帶來的負面影響。并據(jù)此確定總體影響。

五、數(shù)據(jù)存儲和數(shù)據(jù)服務(wù)器分析

在分析網(wǎng)絡(luò)流量時，應(yīng)考慮數(shù)據(jù)存儲和服務(wù)器的位置，以便確定它們對網(wǎng)絡(luò)流量的影響。數(shù)據(jù)存儲可以是服務(wù)器、存儲區(qū)域網(wǎng)絡(luò)（SAN）、網(wǎng)絡(luò)連接存儲（NAS）、磁帶備份設(shè)備或任何其他存儲大量數(shù)據(jù)的設(shè)備或組件。

在考慮數(shù)據(jù)存儲和服務(wù)器的流量時，應(yīng)同時考慮客戶端到服務(wù)器的流量和服務(wù)器到服務(wù)器的流量。通過觀察不同用戶群使用的各種應(yīng)用程序的數(shù)據(jù)路徑，可以找到潛在的瓶頸，確定在哪些地方因為帶寬不足會影響應(yīng)用程序的性能。為改善性能，可以聚合鏈路來提供帶寬，或者使用能夠處理流量負載的快速交換機來取代慢速交換機。

六、拓撲結(jié)構(gòu)圖

拓撲結(jié)構(gòu)圖是網(wǎng)絡(luò)基礎(chǔ)架構(gòu)的圖形表現(xiàn)形式，拓撲結(jié)構(gòu)圖顯示所有的交換機如何互連，乃至詳細到哪個交換機端口與設(shè)備互連。拓撲結(jié)構(gòu)圖以圖形的形式顯示交換機之間用于提供災(zāi)難恢復(fù)和性能增強的任何冗余路徑或聚合端口，顯示網(wǎng)絡(luò)中交換機的位置和數(shù)目并標出交換機的配置。通過拓撲結(jié)構(gòu)圖，可以直觀地找到網(wǎng)絡(luò)流量的潛在瓶頸，可以抓住流量分析數(shù)據(jù)的要點，知道哪些網(wǎng)絡(luò)區(qū)域的改進能夠最有效地提高網(wǎng)絡(luò)的整體性能。

七、結(jié)語

對于中小型企業(yè)而言、基于數(shù)據(jù)、語音和視頻的數(shù)字通信至關(guān)重要。因此，正確設(shè)計局域網(wǎng)是企業(yè)日常運營的基本需求。作為網(wǎng)絡(luò)技術(shù)人員，必須能夠判斷什么才是設(shè)計合理的局域網(wǎng)，能夠選擇合適的設(shè)備來滿足中小型企業(yè)的網(wǎng)絡(luò)需求。

參 考 文 獻

[1] 郭利鋒，王勇，張磊，白焱. AFDX交換機的隊列整形調(diào)度研究[J]. 計算機工程，2011，（24）：58-60

第3篇：網(wǎng)絡(luò)流量分析的方法范文

關(guān)鍵詞：新型DPI；網(wǎng)絡(luò)安全態(tài)勢感知；網(wǎng)絡(luò)流量采集

經(jīng)濟飛速發(fā)展的同時，科學(xué)技術(shù)也在不斷地進步，網(wǎng)絡(luò)已經(jīng)成為當前社會生產(chǎn)生活中不可或缺的重要組成部分，給人們帶來了極大的便利。與此同時，網(wǎng)絡(luò)系統(tǒng)也遭受著一定的安全威脅，這給人們正常使用網(wǎng)絡(luò)系統(tǒng)帶來了不利影響。尤其是在大數(shù)據(jù)時代，無論是國家還是企業(yè)、個人，在網(wǎng)絡(luò)系統(tǒng)中均存儲著大量重要的信息，網(wǎng)絡(luò)系統(tǒng)一旦出現(xiàn)安全問題將會造成極大的損失。

1基本概念

1.1網(wǎng)絡(luò)安全態(tài)勢感知

網(wǎng)絡(luò)安全態(tài)勢感知是對網(wǎng)絡(luò)安全各要素進行綜合分析后，評估網(wǎng)絡(luò)安全整體情況，對其發(fā)展趨勢進行預(yù)測，最終以可視化系統(tǒng)展示給用戶，同時給出相應(yīng)的統(tǒng)計報表和風(fēng)險應(yīng)對措施。網(wǎng)絡(luò)安全態(tài)勢感知包括五個方面1：（1）網(wǎng)絡(luò)安全要素數(shù)據(jù)采集：借助各種檢測工具，對影響網(wǎng)絡(luò)安全性的各類要素進行檢測，采集獲取相應(yīng)數(shù)據(jù)；（2）網(wǎng)絡(luò)安全要素數(shù)據(jù)理解：對各種網(wǎng)絡(luò)安全要素數(shù)據(jù)進行分析、處理和融合，對數(shù)據(jù)進一步綜合分析，形成網(wǎng)絡(luò)安全整體情況報告；（3）網(wǎng)絡(luò)安全評估：對網(wǎng)絡(luò)安全整體情況報告中各項數(shù)據(jù)進行定性、定量分析，總結(jié)當前的安全概況和安全薄弱環(huán)節(jié)，針對安全薄弱環(huán)境提出相應(yīng)的應(yīng)對措施；（4）網(wǎng)絡(luò)安全態(tài)勢預(yù)測：通過對一段時間的網(wǎng)絡(luò)安全評估結(jié)果的分析，找出關(guān)鍵影響因素，并預(yù)測未來這些關(guān)鍵影響因素的發(fā)展趨勢，進而預(yù)測未來的安全態(tài)勢情況以及可以采取的應(yīng)對措施。（5）網(wǎng)絡(luò)安全態(tài)勢感知報告：對網(wǎng)絡(luò)安全態(tài)勢以圖表統(tǒng)計、報表等可視化系統(tǒng)展示給用戶。報告要做到深度和廣度兼?zhèn)?，從多層次、多角度、多粒度分析系統(tǒng)的安全性并提供應(yīng)對措施。

1.2DPI技術(shù)

DPI（DeepPacketInspection）是一種基于數(shù)據(jù)包的深度檢測技術(shù)，針對不同的網(wǎng)絡(luò)傳輸協(xié)議（例如HTTP、DNS等）進行解析，根據(jù)協(xié)議載荷內(nèi)容，分析對應(yīng)網(wǎng)絡(luò)行為的技術(shù)。DPI技術(shù)廣泛應(yīng)用于網(wǎng)絡(luò)流量分析的場景，比如網(wǎng)絡(luò)內(nèi)容分析領(lǐng)域等。DPI技術(shù)應(yīng)用于網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域，通過DPI技術(shù)的應(yīng)用識別能力，將網(wǎng)絡(luò)安全關(guān)注的網(wǎng)絡(luò)攻擊、威脅行為對應(yīng)的流量進行識別，并形成網(wǎng)絡(luò)安全行為日志，實現(xiàn)網(wǎng)絡(luò)安全要素數(shù)據(jù)精準采集。DPI技術(shù)發(fā)展到現(xiàn)在，隨著后端業(yè)務(wù)應(yīng)用的多元化，對DPI系統(tǒng)的能力也提出了更高的要求。傳統(tǒng)DPI技術(shù)的實現(xiàn)主要是基于知名協(xié)議的端口、特征字段等作為識別依據(jù)，比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等協(xié)議特征的識別、基于源IP、目的IP、源端口和目的端口的五元組特征識別。但是隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，越來越多的應(yīng)用采用加密手段和私有協(xié)議進行數(shù)據(jù)傳輸，網(wǎng)絡(luò)流量中能夠準確識別到應(yīng)用層行為的占比呈現(xiàn)越來越低的趨勢。在當前網(wǎng)絡(luò)應(yīng)用復(fù)雜多變的背景下，很多網(wǎng)絡(luò)攻擊行為具有隱蔽性，比如數(shù)據(jù)傳輸時采用知名網(wǎng)絡(luò)協(xié)議的端口，但是對傳輸流量內(nèi)容進行定制，傳統(tǒng)DPI很容易根據(jù)端口特征，將流量識別為知名應(yīng)用，但是實際上，網(wǎng)絡(luò)攻擊行為卻“瞞天過?！保@過基于傳統(tǒng)DPI技術(shù)的IDS、防火墻等網(wǎng)絡(luò)安全屏障，在互聯(lián)網(wǎng)上肆意妄為。新型DPI技術(shù)在傳統(tǒng)DPI技術(shù)的基礎(chǔ)上，對流量的識別能力更強。基本實現(xiàn)原理是對接入的網(wǎng)絡(luò)流量根據(jù)網(wǎng)絡(luò)傳輸協(xié)議、內(nèi)容、流特征等多元化特征融合分析，實現(xiàn)網(wǎng)絡(luò)流量精準識別。其目的是為了給后端的態(tài)勢感知系統(tǒng)提供準確的、可控的數(shù)據(jù)來源。新型DPI技術(shù)通過對流量中傳輸?shù)牟煌瑧?yīng)用的傳輸協(xié)議、應(yīng)用層內(nèi)容、協(xié)議特征、流特征等進行多維度的分析和打標，形成協(xié)議識別引擎。新型DPI的協(xié)議識別引擎除了支持標準、知名應(yīng)用協(xié)議的識別，還可以對應(yīng)用層進行深度識別。

2新型DPI技術(shù)在網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域的應(yīng)用

新型DPI技術(shù)主要應(yīng)用于數(shù)據(jù)采集和數(shù)據(jù)理解環(huán)節(jié)。在網(wǎng)絡(luò)安全要素數(shù)據(jù)采集環(huán)節(jié)，應(yīng)用新型DPI技術(shù)，可以實現(xiàn)網(wǎng)絡(luò)流量的精準采集，避免安全要素數(shù)據(jù)采集不全、漏采或者多采的現(xiàn)象。在網(wǎng)絡(luò)安全要素數(shù)據(jù)理解環(huán)節(jié)，在對數(shù)據(jù)進行分析時，需要基于新型DPI技術(shù)的特征知識庫，提供數(shù)據(jù)標準的說明，幫助態(tài)勢感知應(yīng)用可以理解這些安全要素數(shù)據(jù)。新型DPI技術(shù)在進行網(wǎng)絡(luò)流量分析時主要有以下步驟，（1）需要對攻擊威脅的流量特征、協(xié)議特征等進行分析，將特征形成知識庫，協(xié)議識別引擎加載特征知識庫后，對實時流量進行打標，完成流量識別。這個步驟需要確保獲取的特征是有效且準確的，需要基于真實的數(shù)據(jù)進行測試統(tǒng)計，避免由于特征不準確誤判或者特征不全面漏判的情況出現(xiàn)。有了特征庫之后，（2）根據(jù)特征庫，對流量進行過濾、分發(fā)，識別流量中異常流量對應(yīng)的攻擊威脅行為。這個步驟仍然要借助于協(xié)議識別特征知識庫，在協(xié)議識別知識庫中記錄了網(wǎng)絡(luò)異常流量和攻擊威脅行為的映射關(guān)系，使得系統(tǒng)可以根據(jù)異常流量對應(yīng)的特征庫ID，進而得出攻擊威脅行為日志。攻擊威脅行為日志包含捕獲時間、攻擊者IP和端口、被攻擊者IP和端口、攻擊流量特征、攻擊流量的行為類型等必要的字段信息。（3）根據(jù)網(wǎng)絡(luò)流量進一步識別被攻擊的災(zāi)損評估，同樣是基于協(xié)議識別知識庫中行為特征庫，判斷有哪些災(zāi)損動作產(chǎn)生、災(zāi)損波及的數(shù)據(jù)類型、數(shù)據(jù)范圍等。網(wǎng)絡(luò)安全態(tài)勢感知的分析是基于步驟2產(chǎn)生的攻擊威脅行為日志中記錄的流量、域名、報文和惡意代碼等多元數(shù)據(jù)入手,對來自互聯(lián)網(wǎng)探針、終端、云計算和大數(shù)據(jù)平臺的威脅數(shù)據(jù)進行處理,分析不同類型數(shù)據(jù)中潛藏的異常行為,對流量、域名、報文和惡意代碼等安全元素進行多層次的檢測。針對步驟1的協(xié)議識別特征庫，可以采用兩種實現(xiàn)技術(shù)：分別是協(xié)議識別特征庫技術(shù)和流量“白名單”技術(shù)。

2.1協(xié)議識別特征庫

在網(wǎng)絡(luò)流量識別時，協(xié)議識別特征庫是非常重要的，形成協(xié)議識別特征庫主要有兩種方式。一種是傳統(tǒng)方式，正向流量分析方法。這種方法是基于網(wǎng)絡(luò)攻擊者的視角分析，模擬攻擊者的攻擊行為，進而分析模擬網(wǎng)絡(luò)流量中的流量特征，獲取攻擊威脅的流量特征。這種方法準確度高，但是需要對逐個應(yīng)用進行模擬和分析，研發(fā)成本高且效率低下，而且隨著互聯(lián)網(wǎng)攻擊行為的層出不窮和不斷升級，這種分析方法往往存在一定的滯后性。第二種方法是近年隨著人工智能技術(shù)的進步，逐漸應(yīng)用的智能識別特征庫。這種方法可以基于威脅流量的流特征、已有網(wǎng)絡(luò)攻擊、威脅行為特征庫等，通過AI智能算法來進行訓(xùn)練，獲取智能特征庫。這種方式采用AI智能識別算法實現(xiàn)，雖然在準確率方面要低于傳統(tǒng)方式，但是這種方法可以應(yīng)對互聯(lián)網(wǎng)上層出不窮的新應(yīng)用流量，效率更高。而且隨著特征庫的積累，算法本身具備更好的進化特性，正在逐步替代傳統(tǒng)方式。智能特征庫不僅僅可以識別已經(jīng)出現(xiàn)的網(wǎng)絡(luò)攻擊行為，對于未來可能出現(xiàn)的網(wǎng)絡(luò)攻擊行為，也具備一定的適應(yīng)性，其適應(yīng)性更強。這種方式還有另一個優(yōu)點，通過對新發(fā)現(xiàn)的網(wǎng)絡(luò)攻擊、威脅行為特征的不斷積累，完成樣本庫的自動化更新，基于自動化更新的樣本庫，實現(xiàn)自動化更新的流量智能識別特征庫，進而實現(xiàn)AI智能識別算法的自動升級能力。為了確保采集流量精準，新型DPI的協(xié)議識別特征庫具備更深度的協(xié)議特征識別能力，比如對于http協(xié)議能夠?qū)崿F(xiàn)基于頭部信息特征的識別，包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等頭部信息，對于https協(xié)議，也能夠?qū)崿F(xiàn)基于SNI的特征識別。對于目前主流應(yīng)用，支持識別的應(yīng)用類型包括網(wǎng)絡(luò)購物、新聞、即時消息、微博、網(wǎng)絡(luò)游戲、應(yīng)用市場、網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音頻、網(wǎng)絡(luò)直播、DNS、遠程控制等，新型DPI的協(xié)議特征識別庫更為強大。新型DPI的協(xié)議識別特征庫在應(yīng)用時還可以結(jié)合其他外部知識庫，使得分析更具目的性。比如通過結(jié)合全球IP地址庫，實現(xiàn)對境外流量定APP、特定URL或者特定DNS請求流量的識別，分析其中可能存在的跨境網(wǎng)絡(luò)攻擊、安全威脅行為等。

2.2流量“白名單”

在網(wǎng)絡(luò)流量識別時也同時應(yīng)用“流量白名單”功能，該功能通過對網(wǎng)絡(luò)訪問流量規(guī)模的統(tǒng)計，對流量較大的、且已知無害的TOPN的應(yīng)用特征進行提取，同時將這些特征標記為“流量白名單”。由于“流量白名單”中的應(yīng)用往往對應(yīng)較高的網(wǎng)絡(luò)流量規(guī)模，在網(wǎng)絡(luò)流量識別時，可以優(yōu)先對流量進行“流量白名單”特征比對，比對成功則直接標記為“安全”。使用“流量白名單”技術(shù)，可以大大提高識別效率，將更多的分析和計算能力留給未知的、可疑的流量。流量白名單通常是域名形式，這就要求新型DPI技術(shù)能夠支持域名類型的流量識別和過濾。隨著https的廣泛應(yīng)用，也有很多流量較大的白名單網(wǎng)站采用https作為數(shù)據(jù)傳輸協(xié)議，新型DPI技術(shù)也必須能夠支持https證書類型的流量識別和過濾。流量白名單庫和協(xié)議識別特征庫對網(wǎng)絡(luò)流量的處理流程參考下圖1：

3新型DPI技術(shù)中數(shù)據(jù)標準

安全態(tài)勢感知系統(tǒng)在發(fā)展中，從各個廠商獨立作戰(zhàn)，到現(xiàn)在可以接入不同廠商的數(shù)據(jù)，實現(xiàn)多源數(shù)據(jù)的融合作戰(zhàn)，離不開新型DPI技術(shù)中的數(shù)據(jù)標準化。為了保證各個廠商采集到的安全要素數(shù)據(jù)能夠統(tǒng)一接入安全態(tài)勢感知系統(tǒng)，各廠商通過制定行業(yè)數(shù)據(jù)標準，一方面行業(yè)內(nèi)部的安全數(shù)據(jù)采集、數(shù)據(jù)理解達成一致，另一方面安全態(tài)勢感知系統(tǒng)在和行業(yè)外部系統(tǒng)進行數(shù)據(jù)共享時，也能夠提供和接入標準化的數(shù)據(jù)。新型DPI技術(shù)中的數(shù)據(jù)標準包括三個部分，第一個部分是控制指令部分，安全態(tài)勢感知系統(tǒng)發(fā)送控制指令，新型DPI在接收到指令后，對采集的數(shù)據(jù)范圍進行調(diào)整，實現(xiàn)數(shù)據(jù)采集的可視化、可定制化。同時不同的廠商基于同一套控制指令，也可以實現(xiàn)不同廠商設(shè)備之間指令操作的暢通無阻。第二個部分是安全要素數(shù)據(jù)部分，新型DPI在輸出安全要素數(shù)據(jù)時，基于統(tǒng)一的數(shù)據(jù)標準，比如HTTP類型的數(shù)據(jù)，統(tǒng)一輸出頭域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常見頭部和頭部關(guān)鍵內(nèi)容。對于DNS類型的數(shù)據(jù)，統(tǒng)一輸出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通過定義數(shù)據(jù)描述文件，對輸出字段順序、字段說明進行描述。針對不同的協(xié)議數(shù)據(jù)，定義各自的數(shù)據(jù)輸出標準。數(shù)據(jù)輸出標準也可以從業(yè)務(wù)應(yīng)用角度進行區(qū)分，比如針對網(wǎng)絡(luò)攻擊行為1定義該行為采集到安全要素數(shù)據(jù)的輸出標準。第三個部分是內(nèi)容組織標準，也就是需要定義安全要素數(shù)據(jù)以什么形式記錄，如果是以文件形式記錄，標準中就需要約定文件內(nèi)容組織形式、文件命名標準等，以及為了便于文件傳輸，文件的壓縮和加密標準等。安全態(tài)勢感知系統(tǒng)中安全要素數(shù)據(jù)標準構(gòu)成參考下圖2：新型DPI技術(shù)的數(shù)據(jù)標準為安全態(tài)勢領(lǐng)域各類網(wǎng)絡(luò)攻擊、異常監(jiān)測等數(shù)據(jù)融合應(yīng)用提供了基礎(chǔ)支撐，為不同領(lǐng)域廠商之間數(shù)據(jù)互通互聯(lián)、不同系統(tǒng)之間數(shù)據(jù)共享提供便利。

4新型DPI技術(shù)面臨的挑戰(zhàn)

目前互聯(lián)網(wǎng)技術(shù)日新月異、各類網(wǎng)絡(luò)應(yīng)用層出不窮的背景下，新型DPI技術(shù)在安全要素采集時，需要從互聯(lián)網(wǎng)流量中，將網(wǎng)絡(luò)攻擊、異常流量識別出來，這項工作難度越來越大。同時隨著5G應(yīng)用越來越廣泛，萬物互聯(lián)離我們的生活越來越近，接入網(wǎng)絡(luò)的終端類型也多種多樣，針對不同類型終端的網(wǎng)絡(luò)攻擊也更為“個性化”。新型DPI技術(shù)需要從規(guī)模越來越大的互聯(lián)網(wǎng)流量中，將網(wǎng)絡(luò)安全相關(guān)的要素數(shù)據(jù)準確獲取到仍然有很長的路要走?；谛滦虳PI技術(shù)，完成網(wǎng)絡(luò)態(tài)勢感知系統(tǒng)中的安全要素數(shù)據(jù)采集，實現(xiàn)從網(wǎng)絡(luò)流量到數(shù)據(jù)的轉(zhuǎn)化，這只是網(wǎng)絡(luò)安全態(tài)勢感知的第一步。網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)還需要基于網(wǎng)絡(luò)安全威脅評估實現(xiàn)從數(shù)據(jù)到信息、從信息到網(wǎng)絡(luò)安全威脅情報的完整轉(zhuǎn)化過程，對網(wǎng)絡(luò)異常行為、已知攻擊手段、組合攻擊手段、未知漏洞攻擊和未知代碼攻擊等多種類型的網(wǎng)絡(luò)安全威脅數(shù)據(jù)進行統(tǒng)計建模與評估，網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)才能做到對攻擊行為、網(wǎng)絡(luò)系統(tǒng)異常等的及時發(fā)現(xiàn)與檢測，實現(xiàn)全貌還原攻擊事件、攻擊者意圖，客觀評估攻擊投入和防護效能，為威脅溯源提供必要的線索。

5結(jié)論

第4篇：網(wǎng)絡(luò)流量分析的方法范文

【關(guān)鍵詞】BOSS 10086短信業(yè)務(wù)平臺 業(yè)務(wù)流量 網(wǎng)絡(luò)流量

1 BOSS系統(tǒng)架構(gòu)概述

業(yè)務(wù)支撐系統(tǒng)(以下簡稱為“BOSS系統(tǒng)”)是基于計算機技術(shù),融合了計算機軟硬件以及移動通信的部分特點于一體,用于支撐移動通信業(yè)務(wù)運營和管理的IT系統(tǒng)。隨著移動通信業(yè)務(wù)運營內(nèi)涵的極大豐富和服務(wù)對象群體外延的不斷擴大,BOSS系統(tǒng)無論是業(yè)務(wù)種類、業(yè)務(wù)規(guī)模還是業(yè)務(wù)流程,都變得非常龐大和復(fù)雜。要研究BOSS系統(tǒng)的應(yīng)用業(yè)務(wù)和網(wǎng)絡(luò)流量相關(guān)性,必須首先對BOSS系統(tǒng)進行分類,然后比照網(wǎng)絡(luò)拓撲圖,按照業(yè)務(wù)邏輯分別對收斂的采樣點進行數(shù)據(jù)流的采集和分析,建立相關(guān)業(yè)務(wù)的數(shù)據(jù)模型,定量及定性分析業(yè)務(wù)邏輯流量和網(wǎng)絡(luò)流量的關(guān)聯(lián)關(guān)系,進而推理出相關(guān)業(yè)務(wù)邏輯數(shù)據(jù)流隨著業(yè)務(wù)量的變化對網(wǎng)絡(luò)資源開銷的影響程度。

BOSS系統(tǒng)分類方法很多,有按功能域分、按服務(wù)需求分、按安全域分等。BOSS系統(tǒng)的業(yè)務(wù)種類繁多,因而各業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)及性能管理是一項復(fù)雜而富挑戰(zhàn)性的工作,這當中包含了多項因素。本文選取一個典型的業(yè)務(wù)平臺――10086短信業(yè)務(wù)平臺,對短信業(yè)務(wù)的業(yè)務(wù)數(shù)據(jù)流和網(wǎng)絡(luò)流量做抽樣性分析,以此作為對BOSS應(yīng)用系統(tǒng)研究和維護管理的方法論,進而推廣到整個BOSS系統(tǒng)業(yè)務(wù)維護和管理系統(tǒng)中。

210086短信業(yè)務(wù)平臺架構(gòu)概述

2.1 BOSS短信業(yè)務(wù)平臺業(yè)務(wù)概況

上海移動10086短信業(yè)務(wù)平臺是BOSS系統(tǒng)向移動客戶提供基于短信交互方式的資費和業(yè)務(wù)查詢、業(yè)務(wù)定制和退定、手機功能開通和取消、套餐申請和轉(zhuǎn)換、積分兌換和促銷活動等個性化服務(wù)的E渠道之一。

上海移動10086短信業(yè)務(wù)系統(tǒng)是以計費信息中心BOSS系統(tǒng)為核心,利用運行維護中心的行業(yè)網(wǎng)關(guān)平臺,向移動客戶提供便捷的端到端服務(wù)的跨平臺、跨部門的業(yè)務(wù)系統(tǒng)。

2.2 BOSS短信業(yè)務(wù)平臺系統(tǒng)概況

BOSS短信業(yè)務(wù)平臺計費信息中心側(cè)由兩臺DELL2650 PC服務(wù)器做短信接口服務(wù)器,一臺IBM P650_1做短信中間件服務(wù)器,一臺IBM P650_2做短信數(shù)據(jù)庫服務(wù)器,此外還有兩臺BOSS營帳數(shù)據(jù)庫服務(wù)器。

BOSS短信業(yè)務(wù)平臺運行維護中心側(cè)由兩臺HP行業(yè)網(wǎng)關(guān)服務(wù)器做對應(yīng)。

計費信息中心側(cè)與運行維護中心側(cè)通過10M城域網(wǎng)經(jīng)由一臺CISCO3725路由器互連,2M數(shù)據(jù)鏈路做備用。

BOSS短信業(yè)務(wù)平臺提供多種短信業(yè)務(wù),明細列舉如表1所示:

3 BOSS系統(tǒng)短信業(yè)務(wù)網(wǎng)絡(luò)和服務(wù)器流量捕獲研究

3.1 業(yè)務(wù)流量和網(wǎng)絡(luò)流量的對應(yīng)關(guān)系

為了有效捕獲網(wǎng)絡(luò)流量,研究業(yè)務(wù)流量和網(wǎng)絡(luò)流量的對應(yīng)關(guān)系,需要采用特定的流量分析設(shè)備,具體包括一臺NetScout 4端口百兆探針NGenius 9241硬件設(shè)備一臺,和NetScout nGenius Performance Manager軟件一套。

為收集網(wǎng)絡(luò)流量,在網(wǎng)絡(luò)中放置探針,通過交換機上的端口鏡像將業(yè)務(wù)流量端口鏡像到探針連接端口,流量經(jīng)過探針處理后再傳送到集中的性能管理服務(wù)器(nGenius Performance Manager,簡稱PM),用于全局的網(wǎng)絡(luò)分析。

NetScout設(shè)備能夠自動識別常見網(wǎng)絡(luò)協(xié)議以及應(yīng)用端口,如HTPP、FTP、Telnet等。為有效標明短信數(shù)據(jù)流,在詳細分析數(shù)據(jù)流的基礎(chǔ)上,根據(jù)IP地址以及應(yīng)用端口定義了如下應(yīng)用:

短信接口到短信中間件Upstream:10.10.169.30 10.10.167.13,TCP port:28500;

短信中間件到短信接口Downstream:10.10.169.1310.10.167.30,TCP port:28540,28518;

短信中間件到營帳數(shù)據(jù)庫YZ_DB:10.10.167.1310.9.215.24。

3.2 小結(jié)

(1)經(jīng)過大量統(tǒng)計和運算,獲得流量特征值T的對應(yīng)表和K值,以及流量推算公式:

F’XX=短信業(yè)務(wù)量*K*T

其中,XX是任意段的流量預(yù)估。

如行業(yè)網(wǎng)關(guān)到短信接口的流量=200,000*1754*3.78/小時=1326M/小時。

(2)短信業(yè)務(wù)量每小時峰值40萬是中間件環(huán)節(jié)處理和吞吐能力的預(yù)警線,因為此時短信中間件服務(wù)連接端口流量=短信中間件服務(wù)到短信數(shù)據(jù)庫的流量+短信中間件服務(wù)到營帳數(shù)據(jù)庫的流量+短信中間件服務(wù)到短信接口機的流量=47.6Mbps,達到網(wǎng)絡(luò)連接100M的近50%。對于網(wǎng)絡(luò)來講,50%的利用率是一個預(yù)警的尺度,需要考慮采取措施如升級處理性能和帶寬等。

4 應(yīng)用拓展

4.1 網(wǎng)絡(luò)系統(tǒng)維護

流量和業(yè)務(wù)量分析模型,可以很好地運用到網(wǎng)絡(luò)和主機系統(tǒng)的日常運維中,包括日常系統(tǒng)及業(yè)務(wù)流量監(jiān)控、故障診斷,還可以用于網(wǎng)絡(luò)規(guī)劃的輔助工具。如:

建立正常工作情況下的流量基線;

實時分析網(wǎng)絡(luò)流量,掌握流量的動態(tài)變化;

監(jiān)控應(yīng)用的響應(yīng)時間,逐段分析系統(tǒng)延遲的組成;

確定時延導(dǎo)致根源,分析究竟是服務(wù)器、應(yīng)用還是網(wǎng)絡(luò)造成的;

一旦發(fā)覺服務(wù)性能很差(響應(yīng)時間太長),可以分析和比較Application Response Time 與Network Response Time,知道響應(yīng)時間長是網(wǎng)絡(luò)造成還是Application Server本身造成的;

掌握網(wǎng)絡(luò)流量與業(yè)務(wù)量的對應(yīng)關(guān)系,分析業(yè)務(wù)量的增長趨勢;

區(qū)分網(wǎng)絡(luò)傳輸時間與服務(wù)器響應(yīng)時間等。

4.2 故障診斷及流量預(yù)測

流量和業(yè)務(wù)量分析模型,可以很好地運用到日常系統(tǒng)及業(yè)務(wù)流量預(yù)測、故障診斷,為更好的系統(tǒng)維護作業(yè)計劃打好基礎(chǔ)。如:

對網(wǎng)絡(luò)誤用、黑客入侵“錯誤!未找到引用源”、服務(wù)暫停、超時響應(yīng)等做出實時告警;

提早獲得流量異?！板e誤!未找到引用源”(如病毒爆發(fā))的提示,預(yù)防問題的發(fā)生,并得到導(dǎo)致告警的應(yīng)用、主機和通信對,了解流量異常的根源;

根據(jù)總流量、廣播包占用量、包CRC Errors、Multicast包占用量、不同應(yīng)用的時延設(shè)置門限告警;

24小時不停監(jiān)視網(wǎng)絡(luò)異常,并發(fā)出告警,數(shù)據(jù)包捕獲,協(xié)議解碼分析;

實時了解網(wǎng)絡(luò)流量情況,及時獲得導(dǎo)致告警的根源;

得到異常占用網(wǎng)絡(luò)的用戶的行為、特征,如黑客入侵;

基于前期流量,分析未來走勢,對于可能產(chǎn)生的系統(tǒng)、網(wǎng)絡(luò)瓶頸,提前采取措施,滿足業(yè)務(wù)增長的需要;

通過趨勢分析預(yù)測過載發(fā)生時間,有助于規(guī)劃容量以應(yīng)付未來需求。

5 結(jié)束語

本文通過抽樣選取10086短信業(yè)務(wù)作為研究的對象,比照10086短信業(yè)務(wù)的業(yè)務(wù)邏輯和受理流程,采用特定的流量分析設(shè)備,得出業(yè)務(wù)流量同網(wǎng)絡(luò)流量之間存在的對應(yīng)關(guān)系,進而推理出短信業(yè)務(wù)邏輯數(shù)據(jù)流隨著短信業(yè)務(wù)量的變化對網(wǎng)絡(luò)資源開銷的影響度。流量和業(yè)務(wù)量分析模型可以很好地運用到網(wǎng)絡(luò)系統(tǒng)維護、故障診斷及流量預(yù)測等方面,并可作為網(wǎng)絡(luò)規(guī)劃的輔助工具,對3G時代的到來所帶來的網(wǎng)絡(luò)與業(yè)務(wù)架構(gòu)變化有很好的借鑒意義。

參考文獻

[1]Vladimir Naumovich Vapnik. Statistical learning theory [M]. New York: Wiley,1998.

[2]Juha M Alho. Statistical Demography and Forecasting [M]. NY: Springer Science+Business Media,Inc,2008.

[3]Peter Hackl. Statistical analysis and forecasting of economic structural change [M]. Springer-Verlag,1989.

[4]Holger Kantz. Nonlinear time series analysis [M]. Cambridge Press,2003.

[5]Julien C Sprott. Chaos and time-series analysis [M]. Oxford University Press,2003.

[6]Zhongjie Xie. Case studies in time series analysis [M]. McGraw-Hill Osbome Media,2009.

[7]Michael Eugene Orshansky. Statistical models,methods and algorithms for computer-aided design for manufacturing [M]. 2001.

[8]Yair Wiseman, Song Jiang. Advanced operating systems and kernel applications: techniques and technologies, Hershey [M]. PA: Information Science Reference,2010.

[9]Jean Bacon. Operating systems: concurrent and distributed software design [M]. Publishing House of Electronics Industry,2003.

【作者簡介】

第5篇：網(wǎng)絡(luò)流量分析的方法范文

關(guān)鍵詞： 敏感圖像； 快速加密； 圖像注入技術(shù)； 網(wǎng)絡(luò)流量

中圖分類號： TN911.73?34； TP393 文獻標識碼： A 文章編號： 1004?373X（2016）24?0088?04

Simulation of an image injection technology for sensitive image fast encryption

LI Yanqun， CHANG Zheng

（Department of Communication Technology， Shandong University of Technology， Zibo 255049， China）

Abstract： In order to improve the sensitive image encryption speed， and ensure the secure transmission of the sensitive image， an image injection technology used for sensitive image fast encryption is put forward. The principle diagram of the sensitive image fast encryption is given. The structure of the image injection technology is introduced. The logic control layer can analyze the current network traffic situation by means of the receiving end feedback information received by the TCP layer. The adjustment of packaging size and injection duration of UDP data packets can make the UDP layer inject the encryption sensitive image package safely and quickly. The control process of the network traffic is analyzed in detail. In simulation experiment， a sensitive image involving military was encrypted， and the analysis experiments of packet loss rate and injection image quality were performed successively. The analysis conclusion are as follows： the packet loss rate of this method is lower than that of the biorthogonal transform method， and the image injection result got by this method has higher reliability； the pixel correlation coefficient and encryption time consumption of the method are better than those of the biorthogonal transform method； the gray histogram and original image gray histogram are basically the same， and the image injection quality is better.

Keywords： sensitive image； fast encryption； image injection technology； network traffic

0 引 言

隨著網(wǎng)絡(luò)通信和信息交換的日趨頻繁，怎樣保護用戶信息，尤其是國家重要部門的敏感信息在傳輸、存儲和使用過程中不被非法者盜取，成為亟需解決的問題[1]。因此，研究用于敏感圖像快速加密的圖像注入技術(shù)非常有意義，為保障敏感圖像的安全傳輸提供重要技術(shù)支持[2?3]，已經(jīng)變成有關(guān)學(xué)者探討的重要話題，受到越來越普遍的關(guān)注[4]。

現(xiàn)在，相關(guān)圖像注入的研究有很多，相關(guān)研究也取得了一定的成果。文獻[5]將人眼感興趣區(qū)視覺特性與漸進傳輸結(jié)合在一起，提出一種基于感興趣區(qū)漸進的圖像注入技術(shù)。該技術(shù)依據(jù)小波編碼的特點，利用碼流結(jié)構(gòu)，在進行圖像注入時先漸進注入圖像中的感興趣區(qū)，然后注入圖像背景區(qū)，該方法保證了感興趣區(qū)的優(yōu)先注入，但注入圖像所需的時間較長。文獻[6]設(shè)計了一種圖像注入系統(tǒng)，介紹了圖像傳輸、時序控制的實現(xiàn)過程，該系統(tǒng)基本能夠達到圖像注入速度的要求；但該系統(tǒng)不穩(wěn)定，無法為不同平臺提供真實的圖像，適應(yīng)性不高。文獻[7]提出一種復(fù)雜度相對較低的雙正交變換圖像注入技術(shù)，該技術(shù)首先對圖像進行壓縮，在此基礎(chǔ)上通過零樹編碼完成圖像注入，提高了圖像質(zhì)量，但該方法所耗費的網(wǎng)絡(luò)能耗較高，而且實現(xiàn)過程過于復(fù)雜。本文提出一種用于敏感圖像快速加密的圖像注入技術(shù)。給出敏感圖像快速加密的原理圖，介紹了圖像注入技術(shù)的結(jié)構(gòu)，詳細分析了網(wǎng)絡(luò)流量的控制過程。在進行仿真實驗時，對一幅涉及軍事的敏感圖像進行加密，依次進行了丟包率分析實驗和注入圖像質(zhì)量分析實驗，給出分析結(jié)論。

1 一種用于敏感圖像快速加密的圖像注入技術(shù)

1.1 敏感圖像快速加密原理

圖像類信息數(shù)據(jù)量大，同時臨界數(shù)據(jù)間的相關(guān)性較高，對其加密具有更高的要求，為了快速實現(xiàn)敏感圖像的加密，本節(jié)引入圖像注入技術(shù)，將發(fā)送端信息直接傳輸至接收端。敏感圖像快速加密的原理圖如圖1所示。

1.2 圖像注入技術(shù)分析

1.2.1 加密敏感圖形注入技術(shù)設(shè)計

為了安全快速地實現(xiàn)加密敏感圖像的注入，本節(jié)提出一種TCP和UDP協(xié)議結(jié)合使用的圖像注入技術(shù)。如圖2所示，圖像注入技術(shù)構(gòu)造區(qū)分為以下三層：頂層是邏輯控制層，其重要用在完成加密敏感圖像的分包重組、流量管制和丟包恢復(fù)，該層是圖像注入技術(shù)的重點；中間層是前向圖像注入層，主要負責(zé)控制輸送端向接收端輸送大量的圖像數(shù)據(jù)，該層主要根據(jù)UDP協(xié)議實現(xiàn)，以保障數(shù)據(jù)包的快速傳輸；底層是后向形狀信息輸送層，主要負責(zé)管理接收端向發(fā)送端反饋狀態(tài)信息，這層根據(jù)TCP協(xié)議達成，以保障狀態(tài)信息可靠、準確的傳輸。邏輯控制層經(jīng)過從TCP層接收到的接收端反饋信息對目前的網(wǎng)絡(luò)流量狀況進行解析，通過調(diào)整UDP數(shù)據(jù)包的打包大小與注入時間，使UDP層可以安全、快速地注入加密敏感圖像包。根據(jù)上述進程，經(jīng)過三層之間有機協(xié)作就能實現(xiàn)加密敏感圖像的注入。

1.2.2 圖像注入過程中的網(wǎng)絡(luò)流量控制

通過1.2.1節(jié)分析的過程可知，邏輯控制層對網(wǎng)絡(luò)流量的控制情況對加密敏感圖像的注入起到了至關(guān)重要的作用。因此，本節(jié)重點對網(wǎng)絡(luò)流量的控制進行分析。加密敏感圖像注入過程中的流量控制是通過發(fā)送端與接收端共同實現(xiàn)的，下面給出流量控制協(xié)議的數(shù)學(xué)模型。

流量控制把網(wǎng)絡(luò)劃分為以下三個情況分別進行治理：

（1） 網(wǎng)絡(luò)狀況差。發(fā)送端不能接收來自接收端的反饋信息，說明當前網(wǎng)絡(luò)無法進行圖像注入，停止注入加密敏感圖像。

（2） 網(wǎng)絡(luò)狀況好。這時圖像注入速度就可以達到設(shè)置的網(wǎng)絡(luò)可靠帶寬，無需對網(wǎng)絡(luò)流量實行調(diào)節(jié)管理，維持注入速度，直到單幀圖像不能完整接收，再次使用調(diào)節(jié)策略。

（3） 網(wǎng)絡(luò)狀況在上述兩種情況之間。這時可采用下述過程對網(wǎng)絡(luò)流量進行控制：注入第[n]幀加密敏感圖像時的平均速度可通過下式求出：

[Vnαn，βn，μn=0nDSi0nDTi=NCn-1?αn+DSn-1?μn-NFn-1μn+0n-1DSiDTn-1?μnμn-NFn-1-NCn-1?βn+0n-1DTi] （1）

式中：[αn]，[βn]，[μn]用于描述注入第[n]幀敏感加密圖像的速度調(diào)整因子，其值可經(jīng)過網(wǎng)絡(luò)數(shù)據(jù)幀幀長可變長度設(shè)定；[DSi]和[DTi]分別用來表示注入第[i]幀加密敏感圖像時的數(shù)據(jù)包大小和數(shù)據(jù)包注入時間；[NCn]用來表示第[n]幀敏感加密圖像的注入狀況，成功注入則取1，反之取0；[NFn]用于描述第[n]幀加密名圖像中丟失數(shù)據(jù)包的數(shù)量。傳輸?shù)赱n]幀加密敏感圖像的瞬時速度可通過式（2）求出：

[Vnαn，βn，μn=DSnDTn =NCn-1×αn+DSn-1?μn-NFn-1μnDTn-1×μnμn-NFn-1-NCn-1?βn] （2）

式中：[αn]及[βn]是加速因子；[μn]是減速因子，它們的取值關(guān)鍵取決于網(wǎng)絡(luò)的穩(wěn)定水平。瞬時速度的值主要取決于調(diào)節(jié)因子、丟包情況和前一幀加密敏感圖像注入的速度。在網(wǎng)絡(luò)狀態(tài)較好時，加速因子[αn]和[βn]的取值要讓圖像注入速度平穩(wěn)提高，同時禁止注入速度到達網(wǎng)絡(luò)的穩(wěn)定帶寬后產(chǎn)生頻繁震蕩；減速因子[μn]的取值要適合下述要求：當網(wǎng)絡(luò)產(chǎn)生瞬間抖動使得少量丟包的狀況下需小幅度的減少流量；當網(wǎng)絡(luò)產(chǎn)生較大水平的擁塞時需立即減少流量。最終，讓流量快速地跟隨網(wǎng)絡(luò)帶寬的改變而改變。

根據(jù)反饋信息，接收端及發(fā)送端一起完成流量管理。當接收端完整地接收到一幀圖像時，通過調(diào)整UDP數(shù)據(jù)包的打包大小和注入時間，讓UDP層可以安全、快速地注入加密敏感圖像包。

2 用于敏感圖像快速加密的圖像注入技術(shù)仿真

實驗

2.1 加密敏感圖像

在進行仿真實驗時，首先對一幅數(shù)據(jù)是320×240的涉及軍事的敏感圖像進行加密，圖像深度是18，幀頻為150 f/s，敏感圖像和加密后圖像如圖3所示。

2.2 丟包率分析

為了驗證所分析圖像注入技術(shù)的可靠性，將雙正交變換方法作為對比，將圖像丟包率作為衡量標準進行分析。在對加密的敏感圖像進行注入的過程中，為了能夠觀察敏感圖像數(shù)據(jù)包總數(shù)，同時區(qū)別敏感圖像每包數(shù)據(jù)，需在每包數(shù)據(jù)之前添加2個字節(jié)。第一個字節(jié)代表加密敏感圖像的總包數(shù)；第二個字節(jié)代表每包數(shù)據(jù)的ID號。將圖像總包數(shù)、每包ID號和每包圖像數(shù)據(jù)打印出來，從而直觀地分析出每幅圖像的數(shù)據(jù)丟失狀態(tài)，打印結(jié)果如圖4所示。

依據(jù)打印的圖像數(shù)據(jù)，通過觀察每包數(shù)據(jù)的ID號來對丟包數(shù)量進行統(tǒng)計，從而求出該圖像的丟包率。為了避免偶然誤差，分別連續(xù)打印10幅采用本文方法和雙正交變換方法注入的加密敏感圖像數(shù)據(jù)，得到的測試結(jié)果如圖5所示。

分析圖5可知，采用本文方法的最高丟包率為0.16%左右，而采用雙正交變換方法的最高丟包率為0.72%左右，最低丟包率也在0.1%左右，說明采用本文方法進行圖像注入得到的結(jié)果具有較高的可靠性。

2.3 注入圖像質(zhì)量分析

為了驗證注入圖像的質(zhì)量，本文將相鄰像素相關(guān)系數(shù)作為衡量指標進行實驗分析，圖像像素相關(guān)系數(shù)越大，說明注入圖像質(zhì)量越高，像素[x，y]相關(guān)系數(shù)的計算公式如下：

[Rxy=COVx，yDx?Dy] （3）

式中，[COVx，y]用于描述[x]，[y]之間的協(xié)方差，公式如下：

[COVx，y=Ex-Exy-Ey] （4）

式中：[Ex]為[x]的數(shù)學(xué)期望；[Dx]為[x]的方差。

公式描述如下：

[Ex=1ni=1nxi] （5）

[Dx=1ni=1nxi-Ex2] （6）

為了更加直觀地驗證本文方法的有效性，引入敏感圖像加密速度指標，將其和相關(guān)系數(shù)指標共同作為衡量注入圖像質(zhì)量的標準。分別采用本文方法和雙正交變換方法對如圖6所示的像素關(guān)系進行相鄰像素相關(guān)系數(shù)及加密所需時間進行比較，得到的結(jié)果如表1所示。

由表1可知，本文方法和雙正交變換法從總體上看有顯著的提高，從相鄰像素相關(guān)系數(shù)指標進行分析，本文方法注入圖像和原始圖像的相似性更高，像素相關(guān)系數(shù)趨近于1，而雙正交變換法注入圖像卻和原始圖像相差較多，像素相關(guān)系數(shù)趨近于0。從加密時間的角度分析，本文方法的加密耗時明顯低于雙正交變換法，且一直低于雙正交變換法。因此，采用本文方法進行圖像注入的圖像質(zhì)量更改，最終所需的加密時間更少。為了更加直觀地看出本文方法、雙正交變換方法下注入圖像與原圖的相關(guān)性，給出原圖灰度直方圖和兩種方法下注入圖像的灰度直方圖，如圖7～圖9所示。

分析圖7～圖9可以看出，本文方法下注入圖像的灰度直方圖和原圖灰度直方圖基本相同，而雙正交變換方法下的注入圖像灰度直方圖與原圖相差較大，說明本文方法的圖像注入性能更高。

3 結(jié) 論

在進行丟包率分析實驗時，采用本文方法的最高丟包率為0.16%左右，而采用雙正交變換方法的最高丟包率為0.72%左右，最低丟包率也在0.1%左右，說明采用本文方法進行圖像注入得到的結(jié)果具有較高的可靠性。在進行注入圖像質(zhì)量分析實驗時，從相鄰像素相關(guān)系數(shù)指標進行分析，本文方法注入圖像和原始圖像的相似性更高，而雙正交變換法注入圖像卻和原始圖像相差較多。從加密時間的角度分析，本文方法的加密耗時明顯低于雙正交變換法，且一直低于雙正交變換法。因此，采用本文方法進行圖像注入的圖像質(zhì)量更改，最終所需的加密時間更少。本文方法下注入圖像的灰度直方圖和原圖灰度直方圖基本相同，而雙正交變換方法下的注入圖像灰度直方圖與原圖相差較大，說明本文方法的圖像注入性能更高。

參考文獻

[1] 張牧，濮存來.一種新的圖像加密融合算法仿真研究[J].計算機仿真，2014，31（4）：402?406.

[2] 張玉明，劉家保.基于復(fù)合混沌及LSB的圖像加密和隱藏技術(shù)[J].重慶工商大學(xué)學(xué)報（自然科學(xué)版），2014，31（11）：50?55.

[3] 樊博，王延杰，孫宏海.基于PCIe的高速圖像注入式仿真系統(tǒng)[J].計算機工程與設(shè)計，2014，35（3）：1056?1060.

[4] 朱薇，楊庚，陳蕾，等.基于混沌的改進雙隨機相位編碼圖像加密算法[J].光學(xué)學(xué)報，2014（6）：58?68.

[5] 張昊，湯心溢，李爭，等.基于USB 2.0的紅外數(shù)字圖像注入式仿真器設(shè)計[J].激光與紅外，2014（3）：269?272.

第6篇：網(wǎng)絡(luò)流量分析的方法范文

1.1總體架構(gòu)

層次化保護控制系統(tǒng)從體系架構(gòu)上劃分為就地層、站域?qū)雍蛷V域?qū)?，如圖1所示。三層保護協(xié)調(diào)配合，構(gòu)成以就地層保護為基礎(chǔ)，站域?qū)颖Ｗo與廣域?qū)颖Ｗo為補充的多維度層次化繼電保護系統(tǒng)。就地層保護是面向被保護對象分布配置的“貼身防護”，保護功能配置遵循現(xiàn)有的繼電保護相關(guān)規(guī)范，其接入信息僅來自被保護對象所在間隔，強調(diào)的是保護相關(guān)回路簡潔可靠和保護的速動性。站域保護控制系統(tǒng)配置單套保護的冗余保護、部分公用保護及相鄰變電站元件后備保護。它能夠充分利用全站信息，快速、可靠判別故障區(qū)域，加速后備保護動作，并可不經(jīng)就地級保護及測控裝置直接作用于斷路器智能終端。同時，根據(jù)電壓等級的不同及變電站承擔任務(wù)的不同，站域保護也配置一些控制功能，包括備用自投、小電流接地選線、低頻/低壓減負荷等。此外，站域保護還作為廣域保護服務(wù)子站為廣域保護提供站內(nèi)采樣值和開關(guān)量信息，并接收、轉(zhuǎn)發(fā)廣域保護主站發(fā)出的控制命令。廣域保護系統(tǒng)包括繼電保護和安全自動控制兩方面。廣域保護基于廣域信息實現(xiàn)廣域后備保護；接收區(qū)域內(nèi)及同步相量測量單元（PMU）數(shù)據(jù)，進行安全穩(wěn)定評估分析；并依據(jù)穩(wěn)態(tài)數(shù)據(jù)進行潮流分析、切負荷策略制定。

1.2各層次配合關(guān)系

如圖2所示，當電力系統(tǒng)發(fā)生故障時，就地層保護作為第一時限保護，保護的速動性好，相關(guān)聯(lián)回路少。就地保護整組動作時間一般為0~20ms。在就地保護工作的同時，站域保護與廣域保護同時進入程序判別階段，如果故障能夠成功切除，則站域保護和廣域保護自動返回；若就地保護未動作，站域保護基于站域信息的判斷實現(xiàn)故障切除。在時間配合上，站域保護處理一般會增加一定延時。若站域保護仍未動作，則由廣域保護實現(xiàn)故障切除。廣域保護的跳閘延時較站域保護動作時間更長。根據(jù)國際大電網(wǎng)會議（CIGRE）的規(guī)定，廣域控制的時間限定在0.1~100s的范圍內(nèi)。在極端情況下，如變電站直流消失，站域就地全部失效時，由廣域保護通過跳其他變電站實現(xiàn)故障切除。

2層次化保護系統(tǒng)通信系統(tǒng)分析

2.1站域保護

站域保護裝置涉及變電站的多個間隔信息，如：各間隔的采樣值、GOOSE和對時信息等。因此對過程層通信系統(tǒng)有著較高的要求，包括網(wǎng)絡(luò)流量、網(wǎng)絡(luò)延遲。本文以某220kV典型配置為例進行分析。（1）網(wǎng)絡(luò)流量分析根據(jù)文獻[9]所述的計算方法，對于采樣值流量，按照20個模擬量通道，以典型的每周波80點采樣、每幀1個ASDU進行計算；再加上GOOSE流量最大約為1.2Mb/s，可以計算出每個間隔流量可達到8.33Mbps。220kV側(cè)按9個間隔、110kV側(cè)13個間隔、35kV側(cè)3個間隔，共25個計算，可得到總帶寬達到208.2Mbps。若帶寬占有率不超過40%，過程層交換機帶寬需達到520.5M。對于220kV電壓等級(含35kV等級)，可以得到帶寬為99.96Mbps，對于110kV間隔，總帶寬為108.29Mbps，需要多百兆網(wǎng)口或采用千兆網(wǎng)絡(luò)。（2）網(wǎng)絡(luò)時延分析根據(jù)文獻[10]所述的計算方法，以圖3所示的交換機配置方案，間隔交換機采用百兆光口，主干交換機采用千兆光口，考慮最極端的情況，站域保護裝置連接的間隔數(shù)為25個來計算網(wǎng)絡(luò)時延。一個IEC61850-9-2SV采樣數(shù)據(jù)幀的最好和最壞情況下延時、抖動分別是27.992μs、71.24μs和43μs；一個GOOSE數(shù)據(jù)幀的最好和最壞情況延時、抖動分別是22.448μs、48.56μs和26μs。文獻[11]規(guī)定微波通道（光纖通道參照執(zhí)行）傳輸主保護信息時傳輸時延應(yīng)不大于5ms。對于保護裝置來講，這樣的延時和抖動在可接受的范圍內(nèi)。因此，從網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)時延分析兩方面確定：對于一個典型的220kV的變電站，站域保護按全站配置或按照電壓等級配置均可；但對于電壓等級較高或者間隔較多的變電站來說，可采用按電壓等級配置站域保護的方式，以保證充分的網(wǎng)絡(luò)帶寬。且在兩種情況下，百兆口都難以滿足數(shù)據(jù)傳輸?shù)囊?，均?yīng)采用千兆口以滿足全站數(shù)據(jù)采集的需求。同時，由于就地保護已經(jīng)備有主后備功能完善的保護，因此站域保護只需單配即可。

2.2廣域保護

廣域保護裝置涉及多個變電站的信息，如：參與廣域差動的各間隔的采樣值、GOOSE和對時信息等。因此對廣域通信系統(tǒng)有著更高的要求。按照本文的層次化保護系統(tǒng)方案，廣域保護通過站域保護間接接收采樣值信息，且站域保護將站內(nèi)數(shù)據(jù)打包以24點上送到廣域網(wǎng)絡(luò)。本文仍然從網(wǎng)絡(luò)流量與網(wǎng)絡(luò)延遲兩方面進行分析。它們與廣域保護監(jiān)管范圍大小直接相關(guān)。本文以圖4所示的區(qū)域范圍為例進行分析。（1）網(wǎng)絡(luò)流量分析廣域保護實現(xiàn)基于差動原理和方向比較原理的站與站之間的后備保護。因此，它只需要接入差動區(qū)域內(nèi)各個變電站與其他變電站相連間隔的信息形成廣域保護的信息來源。接入廣域網(wǎng)絡(luò)的間隔數(shù)量=220kV站A3個間隔+220kV站B6個間隔+110kV站A1個間隔+110kV站B2個間隔+110kV站C1個間隔+110kV站D2個間隔+110kV站E2個間隔+110kV站F1個間隔=18個。按上節(jié)描述的計算方法，每個間隔的采樣值流量S=223字節(jié)×8bit/字節(jié)×50周波/s×24幀/周波=2.14Mbps。GOOSE流量最大約為1.2Mb/s。每個間隔的總流量為3.34Mbps。按照18個間隔計算，廣域網(wǎng)絡(luò)的總流量可達到60.12Mbps。（2）網(wǎng)絡(luò)時延分析由于站域保護送出的數(shù)據(jù)已根據(jù)廣域時鐘系統(tǒng)的時間將采樣信息打上時間標簽，然后通過廣域通信網(wǎng)絡(luò)轉(zhuǎn)發(fā)至廣域保護系統(tǒng)。因此，在計算網(wǎng)絡(luò)時延時只需要計算從站域保護裝置—廣域保護裝置之間的網(wǎng)絡(luò)時延。此時，以平均傳輸100km，經(jīng)過一級交換機設(shè)備計算。同樣按照參考文獻[10]所述的計算方法，可得網(wǎng)絡(luò)延遲，計算結(jié)果滿足廣域保護對延時的技術(shù)要求。綜上所述，從網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)時延分析兩方面確定：按照每個間隔3.34Mbps流量分析，廣域保護宜采用千兆網(wǎng)絡(luò)。同時，由于廣域保護控制系統(tǒng)的網(wǎng)絡(luò)時延主要體現(xiàn)在各變電站信息的遠距離傳輸上，在選擇廣域保護控制系統(tǒng)的配置地點時應(yīng)考慮全局物理距離最近的變電站或調(diào)控中心。

3網(wǎng)絡(luò)報文時延可測技術(shù)及應(yīng)用

站域保護、廣域保護需要采集多個間隔甚至整個變電站模擬量和相關(guān)開關(guān)量信息，宜采用網(wǎng)采網(wǎng)跳的實現(xiàn)方案。常見的同步解決方案是，跨間隔保護依賴于統(tǒng)一的外部時鐘來保證采樣數(shù)據(jù)的同步性，當失去外部時鐘時，跨間隔保護將退出運行甚至誤動，這也是網(wǎng)采方案被質(zhì)疑的重要原因。根據(jù)交換機的存儲轉(zhuǎn)發(fā)特性，報文進入交換網(wǎng)絡(luò)由交換機根據(jù)資源情況進行隨機交換，交換路徑隨時可能發(fā)生變化，物理資源的競爭增加了報文在交換網(wǎng)絡(luò)中時延的不確定性，難以滿足同步的要求。如果交換機可以測量傳輸延時并將此延時發(fā)送給保護裝置，保護裝置再基于該延時通過軟件重新采樣來實現(xiàn)各路模擬量的同步，就可以實現(xiàn)保護裝置不依賴于對時實現(xiàn)裝置同步的目標。

3.1交換延時的計算方法

本文提出一種傳輸延時可測的技術(shù)，可準確獲得交換機的延時，并寫入SV報文，站域保護、廣域保護可進行讀取并補償。以圖3所示的間隔1的數(shù)據(jù)到達站域保護為例說明該技術(shù)的具體實現(xiàn)方式，如圖5所示。交換機擁有硬件接收時間戳記錄模塊、硬件發(fā)送時間戳記錄模塊和駐留時間計算模塊，用于記錄報文接收和發(fā)送時的時間點和報文在當前交換機的駐留時間。當間隔1的報文第一比特進入間隔交換機1的P1端口時，交換機的硬件接收時間戳記錄模塊記錄下此時的時間t1，然后硬件發(fā)送時間戳記錄模塊記錄下此比特離開間隔交換機1的P2端口時的時間t2，駐留時間計算模塊求得此時的駐留時間t1=t2-t1，并寫入該報文中；同理，可得到該報文在過程層主干交換機中的駐留時間t2=t4-t3，并將其與在間隔交換機1中的駐留時間t1疊加得到當前報文總傳輸時延t=t1+t2。此時終端的保護裝置可解析報文，從而得到網(wǎng)絡(luò)總時延，并根據(jù)此時延計算出采樣報文的原始時刻，然后通過重采樣進行同步。多級交換機級聯(lián)情況如上述步驟依次疊加報文在新交換機的駐留時間值并轉(zhuǎn)發(fā)，直到報文到達保護或測控裝置。

3.2交換延時的標記位置

智能變電站采樣值報文采用以太網(wǎng)幀格式承載，交換延時的標記位置有兩種方案，如圖6所示。（1）采樣值報文的保留字段（方案1）根據(jù)最新的第二版IEC61850協(xié)議規(guī)定，在報文中，SV和GOOSE報文以太網(wǎng)幀格式有4個字節(jié)的保留字段，分別為Reserved1和Reserved2，其中保留位1（Reserved1）0字節(jié)的第8個比特已經(jīng)被定義，本方案使用了其余31個保留位之中的30個，因此可在不影響規(guī)范中定義的功能的基礎(chǔ)上，使用該保留字段存儲報文網(wǎng)絡(luò)傳輸時延數(shù)值。存儲方法是將t值轉(zhuǎn)換為二進制數(shù)值，由最低位向最高位依次寫入傳輸時延數(shù)值，如圖7所示。該方案所存儲的延時數(shù)值位置相對固定，交換機無需對整幀報文解碼，資源開銷小，不影響交換機的性能指標，但未來可能會與IEC62351標準的使用產(chǎn)生沖突。（2）通道延時的品質(zhì)位（方案2）如圖6所示，在報文中SavPdu中有4個字節(jié)的通道延遲品質(zhì)位。本方案將延時值報文按照相同的方式寫入報文中。但由于采樣值不固定，導(dǎo)致延時數(shù)值的位置不固定，交換機需要對每個報文解碼，資源開銷大，但可通過改善交換機的性能來滿足對時精度10μs的要求。本文推薦方案2，它具有更好的靈活性，且不會與IEC62351標準的使用產(chǎn)生沖突。

4結(jié)語

第7篇：網(wǎng)絡(luò)流量分析的方法范文

系統(tǒng)各部分功能①流量采集儀：安裝在專用PC服務(wù)器上，通過端口鏡像的方式采集分析網(wǎng)絡(luò)流量，自動發(fā)現(xiàn)IP子網(wǎng)和主機設(shè)備，并將主機上網(wǎng)日志保存到數(shù)據(jù)庫，將實時流量監(jiān)控數(shù)據(jù)發(fā)送到應(yīng)用服務(wù)器；②數(shù)據(jù)庫服務(wù)器：接收流量采集儀發(fā)來的所需存儲的數(shù)據(jù)信息，并將信息存入數(shù)據(jù)庫中，同時提供給監(jiān)控終端所需的流量日志、網(wǎng)絡(luò)拓撲結(jié)構(gòu)和網(wǎng)絡(luò)行為記錄等歷史數(shù)據(jù)信息；③應(yīng)用服務(wù)器：接收流量采集儀發(fā)來的流量監(jiān)控信息，并將信息分發(fā)給監(jiān)控終端，如果采用分布式結(jié)構(gòu)，該服務(wù)器還要將各個流量采集儀所測得的各項流量指標匯聚成宏觀的指標，并以直觀的方式顯示；④監(jiān)控終端：監(jiān)控終端安裝在各個工作站上，訪問數(shù)據(jù)庫服務(wù)器，對流量日志進行查詢，并從應(yīng)用服務(wù)器實時讀取監(jiān)控數(shù)據(jù)，并依據(jù)所得數(shù)據(jù)繪制成各種圖形。

高速網(wǎng)絡(luò)管理系統(tǒng)中的關(guān)鍵技術(shù)

高速流采集技術(shù)在大規(guī)模流量環(huán)境中，基于軟件（主要是基于Libpcap抓包工具）的測量方案一直被認為是效率不高的一種方案，基于PC服務(wù)器和抓包軟件的流量分析系統(tǒng)存在嚴重的性能問題，比如丟包嚴重、分析不及時、誤報漏報等問題。因此，又采取一些特殊方式來提高效率，最直接的方式，也是國內(nèi)外研究成果最多的方式，就是采用基于硬件的流量分析設(shè)備。但是，由于硬件設(shè)備大多基于微系統(tǒng)/嵌入式系統(tǒng)，在緩存、總線、CPU計算能力方面均遠遠低于普通PC服務(wù)器，因此無法完成一些高級分析功能，只能完成一些相對固定的協(xié)議分析、流量統(tǒng)計功能。這些限制導(dǎo)致基于硬件的測量系統(tǒng)功能非常有限，而難以擴展和進行二次開發(fā)。針對上述問題，提出并開發(fā)完成了一種新的流量測量工具TMTK（TrafficMeasurementToolKit）[9]，該程序基于Windows操作系統(tǒng)內(nèi)核，使用PC服務(wù)器的純軟件架構(gòu)來實現(xiàn)Gbps級的高速流量采集和實時處理。其主要實現(xiàn)原理如下圖2所示。TMTK能夠從如下方面提升流量測量系統(tǒng)的性能：①內(nèi)部采用了拷貝技術(shù)，節(jié)省了內(nèi)存拷貝帶來的開銷；②數(shù)據(jù)幀不再被傳遞到應(yīng)用程序，系統(tǒng)不再頻繁地在核心態(tài)和用戶態(tài)之間切換；③取消timestamp功能可提高抓包效率；④對網(wǎng)絡(luò)幀的實時分析功能全部在核心態(tài)完成，不再受操作系統(tǒng)進程調(diào)度的約束，其性能非常穩(wěn)定。為了驗證設(shè)計性能，將同一套流量分析代碼分別加入不同的編譯工程，分別以“TMK+管理器”方式和“Libpcap+應(yīng)用程序”方式編譯，在900Mbps峰值的網(wǎng)絡(luò)流量環(huán)境下同時運行并進行對比觀測，同時部署流量生成工具，生成測試流量以驗證丟包率。用于試驗的硬件平臺為GCPU的PC服務(wù)器，內(nèi)存為2G，操作系統(tǒng)為WindowsXPProfessional，開發(fā)編譯工具為VC6.0。經(jīng)過連續(xù)測試，高速流分類技術(shù)對實現(xiàn)對網(wǎng)絡(luò)的動態(tài)管理，即IP子網(wǎng)的自動發(fā)現(xiàn)，主機的自動識別，流量統(tǒng)計，均需要以流分類算法為基礎(chǔ)。該算法的目的是對網(wǎng)絡(luò)包進行分類、整理，并進一步分析網(wǎng)絡(luò)，同時，流量分類問題是被動模式網(wǎng)絡(luò)測量和分析的基礎(chǔ)。在測量系統(tǒng)中，為了實現(xiàn)分析和協(xié)議解釋功能，往往需要對單個TCP連接進行狀態(tài)跟蹤，這就需要為每個TCP連接建立跟蹤數(shù)據(jù)結(jié)構(gòu)，為了實現(xiàn)快速查找和定位，目前通常采取的技術(shù)手段是哈希鏈表。文章提出了“回溯式二階段統(tǒng)計”方法[9]。其主要數(shù)據(jù)結(jié)構(gòu)。所有TCP連接仍以HASH鏈表的方式建立協(xié)議跟蹤數(shù)據(jù)結(jié)構(gòu)，在多規(guī)則集合并的基礎(chǔ)上，為所有流量分類表建立一個公用的中間階段統(tǒng)計表T，每個TCP連接都可以通過分類ID，回溯到統(tǒng)計表T中的某個單元，修改其統(tǒng)計數(shù)據(jù)，這樣，對每個數(shù)據(jù)包，都可以O(shè)(1)的時間開銷來完成初步的流量指標統(tǒng)計。統(tǒng)計表各單元存放的臨時統(tǒng)計結(jié)果，又可以被回溯到流量分類表中，根據(jù)需要被再次統(tǒng)計，從而成為不同流量分類的匯總統(tǒng)計結(jié)果?；厮菔蕉A段統(tǒng)計方法的空間復(fù)雜度僅為O(M*K)，其中M為統(tǒng)計指標數(shù)量，K為流分類規(guī)則集合并后的子域數(shù)量；時間復(fù)雜度也較低，第一階段為O(1)，第二階段為O(M*K)，適合于被動測量環(huán)境。高速流跟蹤技術(shù)針對網(wǎng)絡(luò)流量的跟蹤問題，提出一種基于動態(tài)Hash樹的流量跟蹤算法DHT（DynamicHashTree）[10]。根據(jù)IP流的本地特性，網(wǎng)絡(luò)流量可視為由“本地網(wǎng)絡(luò)流量”和“遠程網(wǎng)絡(luò)流量”組成，事實上絕大部分網(wǎng)絡(luò)流量其實是由少部分“本地網(wǎng)絡(luò)”上的主機產(chǎn)生的。DHT算法利用以上特性，首先按照雙方IP子網(wǎng)的不同，建立靜態(tài)的“根Hash表”（簡稱RH）以統(tǒng)計各個子網(wǎng)間的流量；然后依據(jù)網(wǎng)絡(luò)會話的長時穩(wěn)定性，學(xué)習(xí)實際環(huán)境流量，為一些活動頻繁、網(wǎng)絡(luò)會話數(shù)較多的本地子網(wǎng)生成動態(tài)的子Hash表（簡稱CH），形成一個具有明顯本地化特征的動態(tài)Hash樹，避免某個RH表目對應(yīng)的沖突鏈表IC過長。DHT算法通過以下4個步驟來完成：①建立RH：首先建立靜態(tài)的RH，大小為1K，Hash值為雙方IP地址中某些位累加的結(jié)果（根據(jù)實際情況不同，可以調(diào)整位的選擇窗口，取第14-23位用于大致標識兩個IP子網(wǎng)之間的流量）。根Hash函數(shù)定義為：F(SA,DA)=((SA>>8)&0x03FF+(DA>>8)&0x03FF)&0x03FF所有網(wǎng)絡(luò)會話都可以通過一次Hash運算，被定位到RH內(nèi)的某個表目，并在表目對應(yīng)的會話鏈表中保持一個node。每個RH表目中包含三個字段：沖突數(shù)量（簡稱IN）、指向下級Hash表CH的指針（PCH）、指向沖突鏈表的指針（PIC）、指針描述符；②RH學(xué)習(xí)：一旦RH被建立后，就可以在實際環(huán)境中進行學(xué)習(xí)，學(xué)習(xí)目的是為各個表目填寫沖突數(shù)量字段IN。根據(jù)在一段時間內(nèi)某個表目中新增的網(wǎng)絡(luò)會話數(shù)量（aps），來估算正常狀態(tài)下各個RH表目所應(yīng)有的沖突數(shù)量。計算公式為：IN=aps×pat其中aps定義為每秒命中某個RH表目的新網(wǎng)絡(luò)會話，pat為經(jīng)過統(tǒng)計學(xué)習(xí)得到的網(wǎng)絡(luò)會話平均持續(xù)時間長度，以秒為單位。經(jīng)過試驗證明，RH學(xué)習(xí)時間越長，得到的aps值越趨于穩(wěn)定，而pat值在經(jīng)過一個穩(wěn)定期后會緩慢增長。得到的IN值表示該RH表目應(yīng)該能夠維護的平均并發(fā)會話數(shù)量，當某個RH表目的IN值較大，則說明該表目是“高沖突點”，將會持續(xù)產(chǎn)生大量并發(fā)網(wǎng)絡(luò)會話，應(yīng)該參考IN值為其建立相應(yīng)的子Hash表CH；反之，則說明該表目利用頻度不高，可以直接掛接沖突鏈表，而不必為其建立CH；③建立CH：當RH通過一段時間的學(xué)習(xí)，絕大部分表目的IN值趨于穩(wěn)定的時候，就可以為IN值比較大的表目建立CH?？紤]到網(wǎng)絡(luò)上存在大量的長時會話和半關(guān)閉會話，一個RH表目對應(yīng)的CH，其大小應(yīng)該大于該表目所記載的IN值。CH采用雙方端口與IP地址低位混合的結(jié)果作為Hash值，Hash函數(shù)定義為：F(SA,DA,SP,DP)=(SA&0x00FF×DA&0X00FF+SP&0x00FF×DP&0x00FF)&(length)其中l(wèi)ength值就是CH的大小，由本CH對應(yīng)RH表目的IN值乘以調(diào)整因子而來：length=IN×adjust根據(jù)環(huán)境的不同，adjust有所變化，經(jīng)過在Cernet網(wǎng)上的反復(fù)試驗，adjust取值為4-5比較合適；④建立與維護IC：通過以上3個步驟，由RH和CH構(gòu)成的Hash樹已經(jīng)能夠在較大程度上減少Hash沖突，但Hash沖突仍然存在，解決方式仍然是沖突鏈表IC。實驗表明，DHT算法的空間復(fù)雜度和時間復(fù)雜度均優(yōu)于Hash鏈表算法，由于Hash樹的構(gòu)造符合網(wǎng)絡(luò)實際環(huán)境，因此在網(wǎng)絡(luò)并發(fā)會話數(shù)量較高的情況下，可以減少IC鏈表檢索開銷。在骨干網(wǎng)絡(luò)環(huán)境下，丟包率很低，其綜合效率是傳統(tǒng)算法的數(shù)倍。

系統(tǒng)部署及應(yīng)用結(jié)果

系統(tǒng)在電信運營管理中心得到正式應(yīng)用，電信IDC中心的部署按照方式，增加一個流量采集儀，系統(tǒng)通過對網(wǎng)絡(luò)流量的分布式測量，了解和挖掘網(wǎng)絡(luò)中的流量流向情況、網(wǎng)絡(luò)應(yīng)用情況、用戶分布、安全態(tài)勢、性能狀況等，為網(wǎng)絡(luò)管理提供多層次的基礎(chǔ)數(shù)據(jù)，從而實現(xiàn)網(wǎng)絡(luò)的精細化運營。

第8篇：網(wǎng)絡(luò)流量分析的方法范文

價格........................待定

網(wǎng)址 /ft_service/

設(shè)計參數(shù)

Flow分析:50，000 session/s

Flow 轉(zhuǎn)發(fā):1,000,000 session/s

最大檢測tcp會話數(shù):≥1,000,000

ip碎片重組:≥500，000

對于作為整體網(wǎng)絡(luò)骨干的干線網(wǎng)而言，整個管理層面更為關(guān)注的不是單個簡單攻擊，而是那些針對性很強的、旨在破壞網(wǎng)絡(luò)骨干和整體業(yè)務(wù)運營的異常網(wǎng)絡(luò)行為。各種異常流量行為對網(wǎng)絡(luò)骨干的充斥，極大地增加了網(wǎng)絡(luò)資源的壓力，過多消耗了網(wǎng)絡(luò)資源，在很大程度上影響到正常業(yè)務(wù)的運行。嚴重時，這些異常網(wǎng)絡(luò)行為會造成網(wǎng)絡(luò)癱瘓以及正常業(yè)務(wù)的中斷。

現(xiàn)有的防火墻、入侵檢測、協(xié)議分析器等安全設(shè)備都無法很好地解決骨干網(wǎng)絡(luò)的異常流量監(jiān)測與響應(yīng)問題。這些現(xiàn)有的安全設(shè)備一方面不能有效地檢測和處理異常流量和攻擊，另一方面對于在網(wǎng)內(nèi)傳播的異常流量和攻擊也不能快速準確定位。如何智能化解決這個問題，成為骨干網(wǎng)絡(luò)安全的基礎(chǔ)。

東軟軟件公司推出的NetEye異常流量分析與響應(yīng)系統(tǒng)(NTARS)即是針對這類需求而推出的針對性解決方案，可以協(xié)助管理員有效解決骨干網(wǎng)絡(luò)中急需解決的安全問題：DoS/DDoS攻擊、蠕蟲與病毒、垃圾郵件、漏洞隱患、網(wǎng)絡(luò)濫用等。

NetEye Ntars主要用于骨干網(wǎng)絡(luò)的監(jiān)控檢測和分析，通過對骨干網(wǎng)絡(luò)流量信息和系統(tǒng)信息的收集，采用多種方法進行分析、檢測，實時監(jiān)控、檢測骨干網(wǎng)絡(luò)中DoS/DDoS攻擊、蠕蟲病毒、垃圾郵件及其他網(wǎng)絡(luò)異常事件，提取異常特征，并啟動報警和響應(yīng)系統(tǒng)進行過濾、阻斷和防御。

同時，面向管理員提供流量分布、流量排名、攻擊來源和目標、應(yīng)用層服務(wù)等各類關(guān)于骨干網(wǎng)絡(luò)運行狀況的統(tǒng)計分析數(shù)據(jù)，從而幫助管理員更好地監(jiān)控和掌握骨干網(wǎng)絡(luò)的使用情況。

第9篇：網(wǎng)絡(luò)流量分析的方法范文

1．1數(shù)據(jù)流的概念

MonikaRauchHenzinger等人提出了數(shù)據(jù)流的概念。數(shù)據(jù)流是指按指定的順序只能被一次讀取的、連續(xù)的、無界的、隨時間變化的數(shù)據(jù)項序列，用戶無法任意訪問很久以前的歷史數(shù)據(jù)，也無法訪問當前時刻以后的數(shù)據(jù)。數(shù)據(jù)項可以是關(guān)系元組，也可以是對象實例。數(shù)據(jù)流形式化描述如下:DS=t1，t2，t3，．．．，ti，{}．．．，其中ti為i時刻的數(shù)據(jù)項，t為元組S的時間戳。與傳統(tǒng)的靜態(tài)數(shù)據(jù)相比，數(shù)據(jù)流具有以下特征:1)無限性:數(shù)據(jù)流常常是無界或者近似無界，隨著時間的推移，數(shù)據(jù)元素不斷產(chǎn)生直至數(shù)據(jù)流結(jié)束。2)廣域性:數(shù)據(jù)元素屬性(維)的取值范圍非常大，并且可以取的值也非常多，如網(wǎng)絡(luò)節(jié)點、地域、手機號碼等。3)動態(tài)性:數(shù)據(jù)流中的數(shù)據(jù)實時、連續(xù)、有序到達，整個數(shù)據(jù)集呈現(xiàn)動態(tài)特征。4)實效性:數(shù)據(jù)一旦被處理，可能被丟棄或歸檔，無法實現(xiàn)多次處理，無法對數(shù)據(jù)任意訪問。

1．2數(shù)據(jù)流模型

基于數(shù)據(jù)流的網(wǎng)絡(luò)異常行為檢測，從流的角度，就是研究網(wǎng)絡(luò)節(jié)點之間的通訊模式，研究數(shù)據(jù)流征值的分布規(guī)律，不同的檢測方法需要構(gòu)建不同的檢測模型，不同的數(shù)據(jù)流模型采用的算法不同。目前在數(shù)據(jù)流研究領(lǐng)域存在多種數(shù)據(jù)流模型，按照處理時所選取的時序范圍劃分，主要有滑動窗口模型、界標窗口模型和快照模型三種?；瑒哟翱谀Ｐ?數(shù)據(jù)流上的滑動窗口是指數(shù)據(jù)流上設(shè)定的區(qū)間，滑動窗口的大小可以由窗口所包含的數(shù)據(jù)項的數(shù)量定義，也可以由時間區(qū)間定義，隨著數(shù)據(jù)的不斷到達，窗口內(nèi)的數(shù)據(jù)不斷變換，新的數(shù)據(jù)不斷代替舊的數(shù)據(jù)。假設(shè)數(shù)據(jù)流按照時間戳的先后次序進入滑動窗口。用戶可以對數(shù)據(jù)執(zhí)行插入、刪除操作，滑動窗口模型適用于僅對最近時間段的數(shù)據(jù)處理的情況。界標窗口模型:建立在滑動窗口模型之上［1］，處理的范圍為一個已知的時間點到當前時刻所包含的n個數(shù)據(jù)，其中0＜n≤N，n可以根據(jù)查詢的要求而變化，僅僅允許對數(shù)據(jù)執(zhí)行插入操作?？煺漳Ｐ?操作限制在兩個預(yù)定義的時間戳之間［2］，表示為{as，…，ae}，其效率取決于時間戳以及數(shù)據(jù)量的大小，比較適合勻速到達的數(shù)據(jù)流。

2概要數(shù)據(jù)技術(shù)

為了有效處理數(shù)據(jù)流，需要建立遠小于數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu)，從而在有限的內(nèi)存中對數(shù)據(jù)進行處理，應(yīng)用概要數(shù)據(jù)技術(shù)可以生成比當前數(shù)據(jù)流小得多的數(shù)據(jù)結(jié)構(gòu)(概要數(shù)據(jù)結(jié)構(gòu))，一般情況下，概要數(shù)據(jù)結(jié)構(gòu)在大多的應(yīng)用領(lǐng)域可以滿足實際需要，常用的概要數(shù)據(jù)技術(shù)有抽樣、Hash方法、直方圖和小波。

2．1抽樣

抽樣從整個數(shù)據(jù)集中抽取小部分數(shù)據(jù)來表征整個數(shù)據(jù)集，可以根據(jù)小數(shù)據(jù)集得到對總體數(shù)據(jù)的近似結(jié)果，是界標窗口模型和滑動窗口模型常用的概要數(shù)據(jù)技術(shù)。根據(jù)各個數(shù)據(jù)項被選中的概率是否一樣，抽樣方法可以分為均勻抽樣和偏移抽樣。伯努利和水庫抽樣是兩種經(jīng)典均勻抽樣設(shè)計，伯努利抽樣用概率q∈(0，1］包含到達的數(shù)據(jù)元素，用概率1－q排除其他數(shù)據(jù)元素，取樣過程簡單、時間成本低。水庫抽樣中數(shù)據(jù)流中的數(shù)據(jù)以K/n的概率被選中，其中K為樣本集的大小，n是當前到達的元素序號，且n＞K，水庫抽樣適用于界標窗口模型，但對過期數(shù)據(jù)不能有效刪除，不適用于滑動窗口模型。鏈式抽樣是一種改進的水庫抽樣，能夠獲得整個滑動窗口上的一個樣本集，利用多個數(shù)據(jù)元組的“鏈”來處理過期數(shù)據(jù)。

2．2Hash方法

Hash方法基于降維技術(shù)，對到達的數(shù)據(jù)項在一組隨機向量上做投影，可以適用于多種數(shù)據(jù)流模型。Alon等人采用多組相互獨立的投影，取所有估值的中值作為最終估值，降低了誤差。

2．3直方圖

直方圖根據(jù)大數(shù)據(jù)集的分布將數(shù)據(jù)劃為多個連續(xù)的桶，每個桶都有一個數(shù)字代表其特征，因此直方圖能夠反映大數(shù)據(jù)集中數(shù)據(jù)值的分布情況，簡潔地表達大數(shù)據(jù)集的輪廓。根據(jù)桶內(nèi)數(shù)據(jù)的分布情況，直方圖一般可分為等寬、變寬等類型。等寬直方圖中各個桶中包含的數(shù)據(jù)量較平均，能較好地模擬數(shù)據(jù)集，但是當某些數(shù)據(jù)項所占比例較大時，等寬直方圖則表示不夠準確，此時可以采用壓縮直方圖，壓縮直方圖單獨為活躍的元素創(chuàng)建桶，其他元素仍用等寬法。指數(shù)直方圖按照數(shù)據(jù)到達的次序構(gòu)建桶，桶的數(shù)量按照不同的級別呈指數(shù)方式遞增，用于生成基于滑動窗口模型下的概要數(shù)據(jù)，但是指數(shù)直方圖只能處理滑動窗口中具有一元值和時間戳的數(shù)據(jù)。

2．4小波

小波分析把輸入的原始模擬信號，變換成一系列的小波參數(shù)，這些小波參數(shù)保留了原始數(shù)據(jù)的大部分特征，根據(jù)內(nèi)存空間的大小選取頂端的n個高能量參數(shù)即可近似地還原原始數(shù)據(jù)信息。

3網(wǎng)絡(luò)異常行為檢測

網(wǎng)絡(luò)異常行為檢測目前主要有兩種途徑:網(wǎng)絡(luò)流量分析和網(wǎng)絡(luò)協(xié)議分析［3］。網(wǎng)絡(luò)流量分析檢測網(wǎng)絡(luò)異常的一般步驟是:采集流量信息、分析流量信息;建立正常行為流量模型;檢測網(wǎng)絡(luò)流量，發(fā)現(xiàn)異常行為。網(wǎng)絡(luò)協(xié)議分析檢測網(wǎng)絡(luò)異常的一般步驟是:分解網(wǎng)絡(luò)協(xié)議，提取特征參數(shù)，依據(jù)特征參數(shù)，檢測異常行為。網(wǎng)絡(luò)異常行為檢測的過程分為三個階段:數(shù)據(jù)預(yù)處理、概要信息提取、網(wǎng)絡(luò)異常模式發(fā)現(xiàn)。數(shù)據(jù)預(yù)處理的目標是提高網(wǎng)絡(luò)數(shù)據(jù)流的質(zhì)量。網(wǎng)絡(luò)檢測中采集的數(shù)據(jù)可能含有噪聲、不完整或者不一致，必須對原始數(shù)據(jù)進行清洗，更正或刪除錯誤的、不一致的數(shù)據(jù)，糾正無效的、缺失的數(shù)據(jù)，規(guī)范數(shù)據(jù)格式，選取具有代表性的屬性，并對有關(guān)屬性進行合并和離散化處理。常見的網(wǎng)絡(luò)用戶行為發(fā)現(xiàn)模式有統(tǒng)計分析、分類、聚類等。統(tǒng)計分析一般通過分析會話文件，根據(jù)頁面瀏覽時間、導(dǎo)航路徑等，獲取不同的統(tǒng)計信息，如頻度、中值、均值等。統(tǒng)計分析方法可以實現(xiàn)對未知異常的檢測，但是誤報率高;分類是將一個數(shù)據(jù)項映射到預(yù)先給定的幾個類別中的某一個，利用歷史數(shù)據(jù)推導(dǎo)到給定數(shù)據(jù)的推廣描述，應(yīng)用較為廣泛，主要包括神經(jīng)網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)、決策樹等分類算法;聚類是將數(shù)據(jù)集分組成多個簇，同一簇中的數(shù)據(jù)相似度較高，不同簇中的數(shù)據(jù)差別較大，聚類廣泛應(yīng)用在模式識別、趨勢分析、相似搜索等領(lǐng)域。

4校園網(wǎng)絡(luò)異常行為檢測

4．1校園網(wǎng)面臨的威脅

TCP/IP協(xié)議和網(wǎng)絡(luò)物理鏈路帶來的不安全是網(wǎng)絡(luò)常見網(wǎng)絡(luò)威脅，校園網(wǎng)除了面臨這些威脅外，還受到特殊的安全威脅———用戶濫用網(wǎng)絡(luò)資源［4］，如無節(jié)制通過BT、迅雷進行游戲、在線觀看視頻以及下載資源，導(dǎo)致網(wǎng)絡(luò)帶寬被部分人占用，不僅影響了他人的網(wǎng)速，而且造成網(wǎng)絡(luò)資源的浪費。濫用網(wǎng)絡(luò)資源將會表現(xiàn)出接收或者發(fā)送大量的數(shù)據(jù)包、對特定的IP地址請求的連接次數(shù)較多、對特定的IP地址發(fā)出有規(guī)律的連接請求等特征。因此，檢測校園網(wǎng)濫用網(wǎng)絡(luò)等異常行為，可以通過檢測網(wǎng)絡(luò)流量以及連接頻率來實現(xiàn)。

4．2網(wǎng)絡(luò)數(shù)據(jù)采集

數(shù)據(jù)采集一般使用采樣技術(shù)，通?；跁r間或者基于數(shù)據(jù)包采集，網(wǎng)絡(luò)數(shù)據(jù)采集主要有基于sniffer流量、基于硬件探針、基于SNMP的流量以及基于Netflow的流量四種方法［5］。基于SNMP的流量采集方法部署簡單，采集程序定時取出路由器內(nèi)存中的IPAccounting記錄，并清空相應(yīng)的內(nèi)存記錄，這影響到路由器的性能，取得的數(shù)據(jù)只包含口層的數(shù)據(jù)，沒有MAC地址信息，無法獲取細節(jié)的變化;基于Net-flow的流量采集方法配置簡單，可以獲得比SNMP更詳細的數(shù)據(jù)流信息，但是路由器或者交換機由于Net-flow功能的開啟，性能受到影響，會損失一些數(shù)據(jù)流的細節(jié)信息;基于sniffer流量和硬件探針的采集方法可以獲取較全面的數(shù)據(jù)流信息，但是采用硬件探針需要增加硬件成本，本文采用基于sniffer的流量采集方式?；趕niffer的采集有基于原始套節(jié)字的數(shù)據(jù)包和Winpcap開發(fā)包兩種方式，本文的數(shù)據(jù)采集使用Winpcap開發(fā)包。為了保證檢測數(shù)據(jù)的準確性和有效性，避免采集數(shù)據(jù)環(huán)節(jié)造成的漏檢，采用一種隨機可變時長的數(shù)據(jù)采集策略［5］。數(shù)據(jù)采集周期為時間間隔T，數(shù)據(jù)采集時長為t，其中0≤t≤T，隨機確定t在T中的位置，避免由固定的采集時間造成的異常漏檢，若發(fā)現(xiàn)了用戶異常行為，則增大t，若增大t之后，未發(fā)現(xiàn)異常行為，則減少t，直至到指定的初始值為止。校園網(wǎng)中的數(shù)據(jù)很多，但能夠反映網(wǎng)絡(luò)用戶行為的數(shù)據(jù)才是有價值的。目前的校園網(wǎng)絡(luò)一般都把用戶的IP地址與MAC地址捆綁，當用戶上網(wǎng)時，憑借MAC地址與IP地址的對應(yīng)關(guān)系即找到該用戶的信息。檢測網(wǎng)絡(luò)異常行為主要通過檢測源IP的網(wǎng)絡(luò)流量、連接到同一目的IP的流量以及同一源IP、目的IP的連接頻率是否正常，考慮到校園網(wǎng)網(wǎng)絡(luò)異常網(wǎng)絡(luò)的實際情況，選取源IP地址、目標IP地址、網(wǎng)絡(luò)連接流量、連接開始時間和連接結(jié)束時間源IP地址連接頻率、目標IP地址連接頻率作為網(wǎng)絡(luò)行為的特征值，其中源IP地址連接頻率、目標IP地址連接頻率是屬于構(gòu)造屬性，其他屬于原始屬性。

4．3網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理

實際網(wǎng)絡(luò)中的數(shù)據(jù)流并不是一致的、完整的，它具有突發(fā)性，這樣的數(shù)據(jù)不宜直接用于后續(xù)處理，必須要進行預(yù)處理。數(shù)據(jù)預(yù)處理主要包括網(wǎng)絡(luò)行為屬性的選取和屬性值的合并以及離散化。根據(jù)校園網(wǎng)絡(luò)異常行為檢測的目標，采用K－means聚類算法填充缺失值。4．4概要信息獲取本文采用混合指數(shù)直方圖獲取概要數(shù)據(jù)信息。其中每一個指數(shù)直方圖被進一步劃分為基于時間的桶，這樣每個指數(shù)直方圖不僅與時間范圍聯(lián)系，而且與數(shù)據(jù)值的范圍也有聯(lián)系。對任意時刻到達的數(shù)據(jù)流增設(shè)權(quán)值wi，愈早到達的數(shù)據(jù)流wi愈大，而愈遲到達的數(shù)據(jù)流wi愈小;同時為每個活動直方圖增設(shè)平 均時間戳TAi和平均權(quán)值wAi。

(1)混合直方圖初始化。選擇初始滑動窗口內(nèi)的數(shù)據(jù)，應(yīng)用數(shù)據(jù)模型聚類并放在不同的桶內(nèi)，每一個桶建立一個指數(shù)直方圖，桶內(nèi)的數(shù)據(jù)按照時間戳和權(quán)值分類，每一個初始直方圖都是活動的。

(2)更新混合指數(shù)直方圖。①當新的數(shù)據(jù)到達時，更新所有的活動直方圖，并查看、判斷桶是否過期。②計算機活動直方圖在數(shù)值范圍內(nèi)的數(shù)據(jù)項的個數(shù)，根據(jù)是否達到滑動窗口長度的極大值，若到達，則挑選合適的活動直方圖并處理，構(gòu)建新的活動直方圖;若未到達，則將鄰接的活動直方圖合并整理，構(gòu)建新的活動直方圖。其中判斷桶是否過期并進行刪除更新的策略如下:①沒有達到滑動窗口長度的極大值。計算每個活動窗口的平均時間戳TAi和平均權(quán)值wAi，比較所有直方圖的平均時間戳TAi和平均權(quán)值wAi，若存在平均權(quán)值wAi最大且平均時間戳TAi最小的桶則認為過期，刪除該桶;若不存在，則認為平均權(quán)值wAi最大的桶過期，刪除該桶。②達到滑動窗口長度的極大值。認為平均時間戳TAi最小的桶則過期，刪除該桶。

5結(jié)語