公務員期刊網(wǎng) 精選范文 網(wǎng)絡流量監(jiān)測范文

網(wǎng)絡流量監(jiān)測精選(九篇)

前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的網(wǎng)絡流量監(jiān)測主題范文,僅供參考,歡迎閱讀并收藏。

網(wǎng)絡流量監(jiān)測

第1篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:WinpCap;流量監(jiān)測;數(shù)據(jù)包捕獲

中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2011)31-0000-0c

Application of WinPcap in the Network Traffic Monitoring

ZHANG Xue-jun,XU Yuan

(Internet of Things Department of Jiangnan University, Wuxi 214122, China)

Abstract: Introduction of computer network traffic monitoring technology and flow monitoring methods, the main study the WinPcap packet capture system structure and its main function, based on the WinPcap packet capture system with simple structure, fast data capture, protocol recognition rate, etc., which of the three modules complement each other to achieve the basic functions of data acquisition network, describes the network based on WinPcap packet capture and analysis methods and the main steps.

Key words: WinpCap; network traffic monitoring system; packet capture

目前互聯(lián)網(wǎng)已經(jīng)非常普及,有關網(wǎng)絡的應用也越來越多,從瀏覽網(wǎng)頁和收發(fā)郵件,到打游戲,聊天,看電影,聽音樂,打電話包羅萬象。電視網(wǎng)和電話網(wǎng)能夠做的事情,現(xiàn)在寬帶網(wǎng)也能夠做到了,同時寬帶網(wǎng)還能夠做電視網(wǎng),電話網(wǎng)以外的許多事情。而這一切,都是靠信息在網(wǎng)絡上的流動來實現(xiàn)的。汽車在馬路上跑,常常會引起交通堵塞以及不遵守交通規(guī)則等現(xiàn)象,因此需要交通部門來實時監(jiān)測道路情況和處理突發(fā)事件。同樣網(wǎng)絡流量也需要監(jiān)測和控制,通過監(jiān)控可以對網(wǎng)絡狀態(tài)進行合理調(diào)節(jié)或配置、保證網(wǎng)絡高效運行、提高網(wǎng)絡資源的利用效率、也可以用于對網(wǎng)絡用戶行為和網(wǎng)絡業(yè)務的分析。網(wǎng)絡流量監(jiān)測是網(wǎng)絡管理的重要組成部分,而數(shù)據(jù)報捕獲又是網(wǎng)絡流量監(jiān)測的前提。

1 流量監(jiān)測與分析技術概述

1.1 網(wǎng)絡流量監(jiān)測

網(wǎng)絡流量指通過網(wǎng)絡的數(shù)據(jù)量,是衡量網(wǎng)絡性能的重要參數(shù)。網(wǎng)絡監(jiān)測就是通過一定的方法獲取網(wǎng)絡流量數(shù)據(jù),而這些流量數(shù)據(jù)的采集是進一步分析網(wǎng)絡負載性能以及網(wǎng)絡的安全性的前提。網(wǎng)絡流量的監(jiān)測是網(wǎng)絡測量中的重要技術之一,網(wǎng)絡流量監(jiān)測系統(tǒng)大致上可以分為流量采集、流量分析和流量控制三個方面。

1.2 流量監(jiān)測分析的方法及分類

流量監(jiān)測系統(tǒng)通常是根據(jù)對網(wǎng)絡流量某個特定方面的分析來設計的,正是由于需要分析的內(nèi)容不同,就產(chǎn)生了各種網(wǎng)絡流量監(jiān)測方法,這些方法主要分為基于主機內(nèi)嵌軟件的方法、基于SNMP的流量監(jiān)測方法、基于Netflow的流量監(jiān)測方法、基于硬件探針的監(jiān)測方法等。

1.2.1 基于主機內(nèi)嵌軟件的方法

主機內(nèi)嵌軟件的方法是指在主機內(nèi)安裝流量檢測軟件來完成流量檢測任務。主機操作系統(tǒng)中,一般會把網(wǎng)絡通信功能功能實現(xiàn)在相對獨立的軟件模塊 ,例如設備驅(qū)動程序中。主機與網(wǎng)絡的通信一般是通過對調(diào)用軟件套接字Socket來實現(xiàn)。因此在這個位置上嵌入一個軟件就可以通過檢測對通信模塊的調(diào)用來截獲往返通信的主要內(nèi)容,目前有許多軟件實現(xiàn)這一功能。Windows 操作系統(tǒng)下的檢測軟件WinPcap,實現(xiàn)了基本的報文截獲功能,可自由下載使用,成為了許多流量監(jiān)測軟件的基本組成部分。

1.2.2 基于SNMP的流量監(jiān)測方法

SNMP用于對網(wǎng)絡設備的管理,幾乎所有的網(wǎng)絡設備都具備該能力,基于SNMP的流量信息采集方法,實質(zhì)上是用軟件提取存儲在網(wǎng)絡設備上的流量信息,該方法配置簡單,成本較低,基于SNMP收集的網(wǎng)絡流量信息只包括字節(jié)數(shù)、報文數(shù)等基本的流量信息,不能滿足復雜的流量監(jiān)測要求。

1.2.3 基于Netflow的流量監(jiān)測方法

Netflow是Cisco公司提出的專業(yè)的流量監(jiān)測的技術標準,主要運行在該公司生產(chǎn)的網(wǎng)絡設備上,與基于SNMP的流量監(jiān)測方法相比,該方法能夠滿足復雜的流量監(jiān)測需要,目前應用最普遍的是NetFlowV5。

1.2.4 基于硬件探針的監(jiān)測方法

硬件探針是一種用來獲取網(wǎng)絡流量的硬件設備,使用時將它連接在需要捕捉流量的鏈路中,通過分流鏈路上的數(shù)字信號而獲取流量信息。 一個硬件探針通常只能監(jiān)視一條鏈路。而對于全網(wǎng)流量的監(jiān)測使用NetFlow更為合適。與其他的3種方式相比,基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。

2 WinPcap包截獲系統(tǒng)

數(shù)據(jù)包的截獲是流量監(jiān)測系統(tǒng)中流量采集的主要技術.在大多數(shù)Unix系統(tǒng)的內(nèi)核模塊本身就是截獲數(shù)據(jù)包的機制。而在Windows平臺下,系統(tǒng)提供很少的數(shù)據(jù)包捕獲接口,而提供的具有包截獲功能的API,也只能截獲IP數(shù)據(jù)包,很少能直接獲取數(shù)據(jù)鏈路層上數(shù)據(jù)幀。WinPcap是基于Win32平臺的開放源代碼網(wǎng)絡數(shù)據(jù)包截獲和分析的系統(tǒng)。它彌補了Windows內(nèi)核在包捕獲方面的不足,該系統(tǒng)性能穩(wěn)定而且效率極高,利用它提供的豐富且功能強大的網(wǎng)絡數(shù)據(jù)包處理函數(shù),可以滿足對數(shù)據(jù)包處理有嚴格要求的多數(shù)應用。

2.1 WinPcap的體系結(jié)構

WinPcap是由意大利人Fulvio Risso和Loris Degioanni等人提出的。是為Linux下的Libcap移植到Windows下而設計的,它的主要思想來源于Unix系統(tǒng)中最著名的伯克利軟件套件(Berkeley software Distribution,BSD)架構,WinPcap的基本結(jié)構如圖a所示。它由處于內(nèi)核級的網(wǎng)絡組包過濾器(Netgroup Packet Filter,NPF)、處于用戶級的動態(tài)鏈接庫(Packet.dll)和高級動態(tài)鏈接庫Wpcap.dll等3個模塊組成。

1) 網(wǎng)絡組包過濾器。它是WinPcap架構的核心,屬于最底層的模塊,它與NIC驅(qū)動交互,并向上提供一些函數(shù)組,從而能在讀取和寫入網(wǎng)絡數(shù)據(jù)包。它能獲取原始以太網(wǎng)數(shù)據(jù)包,并進行相應的過濾,然后傳給高層的應用程序處理。NPF有著高效和處理迅速兩大特點,在流量很大的網(wǎng)絡中也能正常高效的工作。

2) 低級動態(tài)鏈接庫。Packet.dll為Win32平臺上為數(shù)據(jù)包驅(qū)動程序提供了一個公共的接口。不同的Windows版本在用戶態(tài)和內(nèi)核態(tài)之間提供互不相同的接口,而Packet.dll可以屏蔽這些接口區(qū)別,提供一個與系統(tǒng)無關的API,該API能夠直接訪問NPF驅(qū)動程序?;赑acket.dll開發(fā)的數(shù)據(jù)包截獲程序可以不作任何修改運行于不同的Win32平臺。Packet.dll具有如獲取適配器名稱、動態(tài)驅(qū)動器加載以及獲得主機掩碼及以太網(wǎng)沖突次數(shù)等附加功能。

3) 高級動態(tài)鏈接庫。Wpcap.dll與Packet.dll不同,它處于更高層,且與操作系統(tǒng)無關,是對Packet.dll的高層封裝。它和應用程序鏈接在一起,提供了一組功能強大且跨平臺的函數(shù),利用這些函數(shù),可以不去關心適配器和操作系統(tǒng)的類型。Wpcap.dll含有諸如產(chǎn)生過濾器、定義用戶級緩沖以及包注入等高級功能。編程人員既可以使用包含在Packet.dll中的低級函數(shù)直接進入內(nèi)核級調(diào)用,也可以使用Wpcap.dll提供的高級函數(shù)調(diào)用,這樣功能更強,使用也更為方便。Wpcap.dll的函數(shù)調(diào)用會自動調(diào)用Pactet.dll中的低級函數(shù),并且可能被轉(zhuǎn)換成若干個NPF系統(tǒng)調(diào)用。

圖1

2.2 WinPcap的主要功能

在WinPcap包截獲系統(tǒng)中,整個包截獲架構的基礎是網(wǎng)絡驅(qū)動器接口規(guī)范(NDIS),它主要為網(wǎng)絡適配器和各種協(xié)議驅(qū)動程序提供接接口函數(shù),使得協(xié)議驅(qū)動程序發(fā)送和接收數(shù)據(jù)包時不必考慮具體的適配器和Win32操作系統(tǒng)。WinPcap中的NPF正是通過回調(diào)函數(shù)Packet_tap()調(diào)用這些接口函數(shù)來截取網(wǎng)絡數(shù)據(jù)包,進而為用戶層提供了包截獲、數(shù)據(jù)包轉(zhuǎn)儲、包注入、網(wǎng)絡監(jiān)測等功能。

1) 包截獲。包截獲是NPF最重要的操作,它通過過濾從網(wǎng)卡中接收到數(shù)據(jù)包,并原封不動地送往用戶層應用程序。它主要依靠一個包過濾器和一個環(huán)緩沖器來實現(xiàn)。NPF中的包過濾器延用了Unix下BSD中的分組過濾器BPF,BPF是一個虛擬處理機,用于運行用戶自定義的過濾程序。通過Wpcap.dll把用戶定義的包過濾規(guī)則編譯到BPF程序中,并把程序注入到內(nèi)核。當有數(shù)據(jù)包到達的時候,NPF運行該內(nèi)核程序進行數(shù)據(jù)包的過濾。環(huán)緩沖器用來存儲數(shù)據(jù)包避免包丟失,數(shù)據(jù)包存儲時被加了一個包頭,記錄時問戳以及包大小等信息。使用緩沖器可以把一組數(shù)據(jù)包一起拷貝給應用程序,這減少了讀寫的次數(shù),提高了運行速度。緩沖器的大小是非常重要的一個參數(shù),因為它決定了一次拷貝能送多少數(shù)據(jù)包給應用程序。緩沖器設置比較大時,它需要等待一系列包到達后才往應用程序送,由于減少拷貝次數(shù)節(jié)省了處理器的資源,如在嗅探器中就適合設置大的緩沖器。而有些實時性要求比較高的應用程序(如ARP轉(zhuǎn)向器),需要在應用程序準備好時就能得到數(shù)據(jù),因而緩沖器設置較小。WinPcap庫中提供了專門設置緩沖器大小和讀包溢出時間的函數(shù),它們的默認值分別是16kB和ls。

2) 數(shù)據(jù)包轉(zhuǎn)儲。用傳統(tǒng)方法,把數(shù)據(jù)包保存到硬盤上通常需要3~4個緩沖器,每個數(shù)據(jù)包需要拷貝多次。當網(wǎng)卡收到包以后,包會存放在內(nèi)核空間內(nèi),這需要一個緩沖器。由于上層應用運行在用戶空問,無法直接訪問內(nèi)核空間,因此要通過系統(tǒng)調(diào)用往上層應用系統(tǒng)送,這時會發(fā)生一次復制過程。用戶應用程序有兩個緩沖器,一個用于暫存數(shù)據(jù),一個用于標準輸出函數(shù)中向硬盤寫文件,還有一個緩沖器存在文件系統(tǒng)中。如果對一般的應用來說,這樣的系統(tǒng)開銷還可以承受,但是對于大量讀取網(wǎng)絡數(shù)據(jù)包的應用來說,這樣的開銷就很難承受了。利用NPF提供的數(shù)據(jù)包轉(zhuǎn)儲功能,不需要用戶應用程序的介入,在內(nèi)核層直接尋址文件系統(tǒng)。因為減少了兩個緩沖器。而且只要一次簡單的拷貝,大量減少了系統(tǒng)調(diào)用,提高了轉(zhuǎn)儲的效率。在轉(zhuǎn)儲之前,還可以進行包過濾,只把需要的數(shù)據(jù)包保存到硬盤上面。

3) 包注入。NPF除了可以從網(wǎng)絡中截獲數(shù)據(jù)包,還可以往網(wǎng)絡發(fā)送數(shù)據(jù)包。包注入時,NPF對數(shù)據(jù)包不進行任何封裝,所以應用程序需要針對不同應用給每個數(shù)據(jù)包添加相應的包頭。封裝時可以不計算幀校驗序列,網(wǎng)卡驅(qū)動程序會自動計算它并添加到每個數(shù)據(jù)包的結(jié)尾。通常情況下每往網(wǎng)絡發(fā)送一個包,都要進行一次系統(tǒng)調(diào)用(WriteFile()),而通過NPF可以實現(xiàn)一次系統(tǒng)調(diào)用重復發(fā)送同一個數(shù)據(jù)包,這提高了發(fā)送效率,適合應用于網(wǎng)絡高速流量測試。

4) 網(wǎng)絡監(jiān)測。事實上,通過WinPcap提供的包截獲功能,在用戶層得到需要檢測的數(shù)據(jù)包后,通過簡單的分類統(tǒng)計就能實現(xiàn)網(wǎng)絡檢測。但是如果網(wǎng)絡流量很大,這可能會耗盡處理器資源。WipPcap提供了內(nèi)核層的監(jiān)測模塊,不需要把數(shù)據(jù)包送到應用程序就能實現(xiàn)分類統(tǒng)計。該監(jiān)測模塊由分類器和計數(shù)器組成,在內(nèi)核層和用戶層不分配緩沖區(qū),統(tǒng)計數(shù)據(jù)直接來源于適配器驅(qū)動程序,這大大節(jié)省了內(nèi)存和處理器資源。

2.3 WinpCap 的主要優(yōu)點

1)高性能。WinPcap 實現(xiàn)了有關數(shù)據(jù)包捕獲文獻中描述的所有典型的優(yōu)化方法(如內(nèi)核級的過濾與緩沖、減少上下文交換、數(shù)據(jù)包部分內(nèi)容復制),加上一些原創(chuàng)的優(yōu)化方法,如JIT 過濾器編輯(JIT filter compilation)與內(nèi)核級的統(tǒng)計過程,WinPcap 勝過其他類似的方法。

2)最終用戶易于使用WinPcap 作為單個小的可執(zhí)行文件,可運行在每個所支持的操作系統(tǒng)上,開始使用這個可執(zhí)行文件后,Windows 就能捕獲與發(fā)送原始數(shù)據(jù)包,操作簡單。

3)程序員易于使用每個版本的WinPcap 帶有一個開發(fā)者包(developer's pack),包括文檔、庫與include 文件,是開發(fā)應用程序所必需的。開發(fā)者包還包含一個示例程序集,可用Visual Studio 或Cygnus 編譯,用來作為一個極好的起點。

4)多平臺。WinPcap 在Windows NT、Windows2000、Windows XP 與Windows Server 2003 平臺上被積極地維護。對Windows Vista 具有初步的支持,但有一些特性并不具備。

5)可移植性。WinpCap與libpcap具有完全的兼容性。這意味著可將Unix 或Linux 下存在的工具移植到Windows下。也可把Windows應用程序很方便地移植到Unix下使用。

2.4 WinPcap捕獲數(shù)據(jù)包過程

首先獲取網(wǎng)卡設備列表并選擇要監(jiān)聽的一塊網(wǎng)卡,將其設置為混雜模式,還要設置好過濾器等參數(shù);然后把網(wǎng)卡上的數(shù)據(jù)包復制到內(nèi)核緩沖區(qū)中;最后通過上層的調(diào)用,把內(nèi)核緩沖區(qū)中的數(shù)據(jù)包拷貝到用戶緩沖區(qū)中,再交給應用程序?qū)?shù)據(jù)進行加工提取出有用的信息。利用WinPcap驅(qū)動捕獲的數(shù)據(jù)幀其實是經(jīng)過傳輸層、網(wǎng)絡層和數(shù)據(jù)鏈路層的封裝而生成的太網(wǎng)數(shù)據(jù)幀,因此可以對數(shù)據(jù)幀作進一步解析得到有用信息。

3 WinPcap捕獲數(shù)據(jù)包過程

WinPcap捕獲數(shù)據(jù)包分成以下幾個步驟,首先獲取網(wǎng)卡設備列表并選擇要監(jiān)聽的一塊網(wǎng)卡,將其設置為混雜模式,還要設置好過濾器等參數(shù);然后把網(wǎng)卡上的數(shù)據(jù)包復制到內(nèi)核緩沖區(qū)中;最后通過上層的調(diào)用,把內(nèi)核緩沖區(qū)中的數(shù)據(jù)包拷貝到用戶緩沖區(qū)中,再交給應用程序?qū)?shù)據(jù)進行加工提取出有用的信息。利用WinPcap驅(qū)動捕獲的數(shù)據(jù)幀其實是經(jīng)過傳輸層、網(wǎng)絡層和數(shù)據(jù)鏈路層的封裝而生成的太網(wǎng)數(shù)據(jù)幀,因此可以對數(shù)據(jù)幀作進一步解析得到有用信息。捕獲到了網(wǎng)絡數(shù)據(jù)幀,便可以進一步完成網(wǎng)絡流量分析和網(wǎng)絡流量控制等任務,這些任務構成了一個完整的網(wǎng)絡流量監(jiān)測系統(tǒng)。

4 結(jié)論

WinPcap系統(tǒng)是一個功能強大的用于網(wǎng)絡數(shù)據(jù)獲取開發(fā)包,它直接和網(wǎng)卡打交道,獲取數(shù)據(jù)鏈層的數(shù)據(jù),能捕獲數(shù)據(jù)鏈路層的所有數(shù)據(jù)包。WinPcap的分層思想為Windows平臺提供了一個完整的、簡單的、系統(tǒng)無關的編程接口,為在Windows平臺下開發(fā)高性能的網(wǎng)絡數(shù)據(jù)獲取軟件提供了方便。WinPcap的兩級緩存的設計,極大地提高了數(shù)據(jù)包的捕獲率,使丟包率降到了很低的程度,尤其是它內(nèi)核級緩存的動態(tài)循環(huán)存儲的思想,使它在數(shù)據(jù)捕獲的速度方面優(yōu)于UNIX中的Libpcap??傊?,基于WinPcap的網(wǎng)絡數(shù)據(jù)獲取系統(tǒng)實驗方案具有結(jié)構簡單、捕獲數(shù)據(jù)快、協(xié)議識別率高等特點,它的三個模塊的相互套用,實現(xiàn)了網(wǎng)絡數(shù)據(jù)獲取的基本功能。本文就WinPcap的系統(tǒng)結(jié)構及其功能原理進行了介紹,最后闡述了WinPcap捕獲數(shù)據(jù)包過程。

參考文獻:

[1] 張偉,王韜.基于WinPcap的數(shù)據(jù)包捕獲及應用[J].計算機工程與設計,2008,29(7):1649-1651.

[2] 楊永.互聯(lián)網(wǎng)流量監(jiān)測系統(tǒng)研究[J].信息網(wǎng)絡安全,2010(7):22-28.

[3] 吳玉,李嵐.基于WinPcap 的網(wǎng)絡數(shù)據(jù)獲取系統(tǒng)的研究[J].研究與設計,2007,23(6):10-12.

[4] 魏敏,奚茂龍,周陽花.基于WinPcap的網(wǎng)絡數(shù)據(jù)解析系統(tǒng)[J].計算機安全,2010(11):49-51.

[5] 胡曉元,史涪山.WinPcap包截獲系統(tǒng)的分析及其應用[J].計算機工程,2005,31(2):96-98.

[6] 劉芳.網(wǎng)絡流量監(jiān)測與控制[M].北京:北京郵電大學出版社,2009.

第2篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞: P2P; 流量信息; 結(jié)構異常; 決策樹; 檢測技術

中圖分類號: TN711?34; TP393 文獻標識碼: A 文章編號: 1004?373X(2017)09?0093?03

Abstract: With the development of information technology, the peer?to?peer (P2P) network information traffic often deviates from the normal range. The detection technology for P2P traffic detection and abnormal traffic is studied on the basis of the decision tree algorithm. The P2P traffic detection model based on improved C4.5 decision tree is used to train the massive training datasets by means of the P2P anomaly traffic detection model to modify the error gradually. The simulation test in laboratory was performed. The P2P network traffic classifier based on improved C4.5 decision tree has perfect classification effect after selecting the characteristics of the network traffic. The classification detection rate is 94.6%~96.7%, which shows that the improved C4.5 decision tree algorithm can detect the P2P traffic effectively, and provide the reference for studying the P2P anomaly traffic detection technology in future.

Keywords: P2P; traffic information; abnormal structure; decision tree; detection technology

0 引 言

目前,S著信息技術的發(fā)展,對等網(wǎng)絡(P2P)信息流量增長越來越快[1?3]。根據(jù)國內(nèi)互聯(lián)網(wǎng)流量模式報告顯示,在整個互聯(lián)網(wǎng)流量中,P2P流量占到70%左右[4]。近年來,經(jīng)常出現(xiàn)網(wǎng)絡流量偏離正常范圍的異常情況,導致流量出現(xiàn)異常主要是由惡意網(wǎng)絡攻擊造成的,如DOS攻擊、蠕蟲傳播、僵尸網(wǎng)絡等攻擊,同時由于網(wǎng)絡偶發(fā)性線路中斷、配置失誤也會引起流量的異常,這就會造成網(wǎng)絡服務質(zhì)量下降,嚴重時會直接導致網(wǎng)絡癱瘓[5]。

P2P大量占用互聯(lián)網(wǎng)帶寬,影響用戶上網(wǎng)正常運行,檢測管控P2P流量是網(wǎng)絡管理難題[6]。因而在大規(guī)模網(wǎng)絡環(huán)境中,對網(wǎng)絡異常進行檢測,同時對網(wǎng)絡異常提供預警信息,對維護網(wǎng)絡正常運行意義十分重大[7]。本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。

1 對等網(wǎng)絡P2P概況

對等網(wǎng)絡P2P實質(zhì)上屬于分布式網(wǎng)絡,參與者均可共享使用公共部分的一些硬件資源,如硬件處理和存儲能力,共享資源的服務、內(nèi)容由網(wǎng)絡提供,節(jié)點可對這些資源進行直接訪問,不需要經(jīng)過任何中間實體。P2P最具有代表性的應用是進行文件共享,同時P2P的共享還有P2P計算、P2P形式的通信網(wǎng)絡等。P2P與客戶/服務器模型的區(qū)別是網(wǎng)絡中節(jié)點可對其他節(jié)點資源或服務進行獲取,還可提供資源或服務,這是P2P的基本思想。在P2P網(wǎng)絡中,每個節(jié)點具有對等的權利、義務、服務、通信、資源消費。

2 P2P流量監(jiān)控系統(tǒng)結(jié)構

P2P流量監(jiān)控系統(tǒng)功能包括檢測網(wǎng)絡流量、控制網(wǎng)絡流量兩部分。對網(wǎng)絡流量進行控制的前提是準確檢測網(wǎng)絡流量。在進行流量檢測時,流量特征和協(xié)議特征要進行相互匹配,在未知流量匹配上以后,對其分類才能進行識別,P2P流量檢測中必須具有協(xié)議特征庫的建立。同時,進行流量控制操作必須具備前臺管理界面,以便進行人機交互、流量控制策略的下發(fā)、流量識別結(jié)果的觀察等,并在數(shù)據(jù)庫中存儲檢測結(jié)果、控制策略信息、協(xié)議特征等,P2P流量監(jiān)控系統(tǒng)整體結(jié)構如圖1所示。

P2P流量監(jiān)控系統(tǒng)工作流程:首先對網(wǎng)絡應用流量數(shù)據(jù)進行全面采集,其次是建立協(xié)議特征庫,對數(shù)據(jù)報文進行離線分析,同時提取其特征碼,并建立協(xié)議特征庫。然后檢測網(wǎng)絡流量,對經(jīng)過流量監(jiān)控系統(tǒng)的未知流量,通過匹配算法將未知流量特征與協(xié)議規(guī)則相匹配,如匹配成功,則作為該協(xié)議識別給流量。最后對已識別流量進行控制操作,完成阻斷訪問、限制流量速率。

3 基于監(jiān)督的機器學習P2P流量識別算法

基于監(jiān)督的機器學習P2P流量識別算法需要訓練數(shù)據(jù),訓練主要有兩步:訓練進行集中學習,然后進行構造分類模型的測試;采用訓練階段模型進行未知數(shù)據(jù)的分類,計算識別準確率,令訓練集為:

式中:表示輸出類值。

在訓練集中,找出輸入和輸出間的關系函數(shù),這就是分類的目的,通過函數(shù),輸入可輸出得到基于監(jiān)督的機器學習P2P流量識別分類器如圖2所示。

監(jiān)督學習是訓練決策樹最常見的技術之一。這種決策樹技術對事先確定分類系統(tǒng)給出的信息高度依賴。對于決策樹來說,可通過分類系統(tǒng)辨別哪類屬性提供的信息最多,可用決策樹解決分類系統(tǒng)問題。

4 算法設計

4.1 C4.5多決策樹分類算法

經(jīng)過數(shù)據(jù)預處理模塊,訓練數(shù)據(jù)集生成決策樹可處理屬性的二維表形式。設訓練數(shù)據(jù)集全部屬性集合為。整個屬性集PE,分成個小屬性集,每個小屬性集各自獨立。屬性所有不同取值集合為。生成的棵決策樹為,數(shù)據(jù)分類為。表示數(shù)據(jù)集合,集合中第條記錄用表示。表示訓練數(shù)據(jù)及測試數(shù)據(jù),第條記錄用表示。系統(tǒng)分辨矩陣用對角矩陣表示,每項定義如下:

4.2 P2P流量異常檢測

P2P流量異常檢測的實質(zhì)是通過訓練大量數(shù)據(jù),逐步對錯誤進行修正,形成精確預測模型。決策樹建立完后進行數(shù)據(jù)集訓練。訓練數(shù)據(jù)集為TA,保存經(jīng)過某節(jié)點P2P類訓練數(shù)據(jù)的數(shù)量為;保存經(jīng)過該節(jié)點類訓練數(shù)據(jù)的數(shù)量為。

4.3 P2P屬性關鍵度決策樹分類算法

決策樹生成后,經(jīng)訓練后,形成檢測模型,原始TCP/IP數(shù)據(jù)包被從網(wǎng)絡上截獲,經(jīng)過數(shù)據(jù)預處理后,TCP/IP數(shù)據(jù)由每棵子決策樹對其進行判斷,對判斷結(jié)果進行加權處理,得到最優(yōu)結(jié)果。第棵子決策樹用表示,存儲內(nèi)部節(jié)點數(shù)據(jù)訓練的P2P類統(tǒng)計數(shù),存儲內(nèi)部節(jié)點數(shù)據(jù)訓練的類統(tǒng)計數(shù),第棵子決策樹比率用表示,數(shù)據(jù)包在整個屬性集的比率用表示,關鍵度多決策樹分類算法流程圖如圖3所示。

根據(jù)屬性差異,可建立棵子決策樹,綜合考慮全部子決策樹屬性對分類的影響,能對整個問題進行較好地反映,可使誤報率降低,檢測率提高。

5 仿真實驗

本文的實驗數(shù)據(jù)通過試驗室仿真試驗得到,仿真試驗采用的軟件為Sniffer,在實驗室PC(CPU為Athlon64 X2;雙核處理器4000+2.11 GHz;內(nèi)存2 GB)對網(wǎng)絡流量數(shù)據(jù)進行實時采集。在訓練分類器實驗中,采用定時定量的P2P流量Data1,Data1數(shù)據(jù)量較小,實驗數(shù)據(jù)集見表1。

在測試分類器實驗中,采用Data2~Data5對虛警率、漏警率進行嚴格測試,實驗數(shù)據(jù)集見表2。

由表2可以看出,選擇網(wǎng)絡流量特征后,基于改進的C4.5決策樹的P2P網(wǎng)絡流量分類器能實現(xiàn)較好的分類效果,分類檢測率在94.6%~96.7%。

6 結(jié) 語

本文以決策樹算法為基礎,對P2P流量檢測和流量異常時的檢測技術進行研究。通過試驗室仿真試驗,選擇網(wǎng)絡流量特征后,基于改進的C4.5決策樹的P2P網(wǎng)絡流量分類器能實現(xiàn)較好的分類效果,分類檢測率在94.6%~96.7%,較高的檢測率說明采用改進的C4.5決策樹算法能有效地對P2P流量進行檢測,為今后研究P2P流量異常檢測技術提供了參考。

參考文獻

[1] 柴琦,曹旭東,王洪蕾,等.P2P流量監(jiān)測系統(tǒng)的設計[J].電子設計工程,2016,24(11):64?67.

[2] 謝生鋒.基于數(shù)據(jù)挖掘的P2P流量檢測技術研究[J].計算機與網(wǎng)絡,2015(13):71?73.

[3] 閆佳,應凌云,劉海峰,等.結(jié)構化對等網(wǎng)測量方法研究[J].軟件學報,2014,25(6):1301?1315.

[4] 王菁菁,林琛,陳珂,等.基于MapReduce的Flash P2P VoD系統(tǒng)異常監(jiān)測[J].廈門大學學報(自然科學版),2013,52(4):459?465.

[5] 李建.基于流量的P2P僵尸W絡檢測[J].計算機時代,2016(5):45?48.

第3篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:網(wǎng)絡性能;網(wǎng)絡狀態(tài)監(jiān)測;簡單網(wǎng)絡管理協(xié)議;NetFlow

中圖分類號:TP393文獻標識碼:A 文章編號:1009-3044(2008)22-670-03

A Survey and Analysis: Network State Monitoring Technology of Campus Network

ZHU Peng

(Computer Application Department,Research Institute of Petroleum Processing,Beijing 100083,China)

Abstract:The structure of Campus Network is becoming more and more complex together with its applications. New applications appear which are sensitive to network performance. Network state monitoring is becoming more and more important for network users and researchers. The article summarizes significance and analyzes the main theory,technology of network state monitoring.

Key words:network performance; network state monitoring; SNMP; NetFlow

1 園區(qū)網(wǎng)網(wǎng)絡監(jiān)測的意義

近年來,隨著各單位計算機應用水平的整體提高、內(nèi)部園區(qū)網(wǎng)網(wǎng)絡建設的日漸完善,以及實驗儀器設備的網(wǎng)絡自動化程度提高和發(fā)展,越來越多的日常學習、工作和科研、實驗活動依賴計算機和網(wǎng)絡來開展運行,這就要求各單位內(nèi)部的園區(qū)網(wǎng)網(wǎng)絡環(huán)境有很高的穩(wěn)定性和運行效率,并能針對不同網(wǎng)絡內(nèi)部科研應用需求提供相應的網(wǎng)絡質(zhì)量保障。園區(qū)網(wǎng)連接著各個計算機、服務器、網(wǎng)絡設備、存儲設備及系統(tǒng)設備、試驗裝置、儀器儀表,通過交換信息使之成為一個高效運行的有機整體,為確保各項依賴園區(qū)網(wǎng)的科研活動順利進行,必須保障園區(qū)網(wǎng)的正常運行和性能穩(wěn)定。

同時,不斷進行的信息化建設使得各項商業(yè)、科研活動對園區(qū)網(wǎng)絡日漸依賴,這也帶來了新的信息安全隱患,如何保障網(wǎng)絡與信息系統(tǒng)的安全已經(jīng)成為需要被高度重視的問題。隨著園區(qū)網(wǎng)內(nèi)部網(wǎng)絡應用的迅速發(fā)展,越來越多的攻擊和安全隱患來自于園區(qū)網(wǎng)內(nèi)部,使得傳統(tǒng)的基于網(wǎng)關的安全架構在新一代的攻擊手段面前顯得非常脆弱。而且這些傳統(tǒng)的安全防護手段多屬于被動形式,只能簡單過濾或丟棄攻擊數(shù)據(jù),而無法在攻擊源發(fā)起攻擊時或之后的較短時間內(nèi)即時響應,將內(nèi)部網(wǎng)絡中可疑的攻擊源主機斷開,使其無法通過內(nèi)網(wǎng)連接進行攻擊。在這種情況下,主動對園區(qū)網(wǎng)內(nèi)部的網(wǎng)絡運行狀態(tài)進行監(jiān)控,并根據(jù)網(wǎng)絡流量異常信息采取相應的質(zhì)量控制和防范乃至隔離控制,將可以成為傳統(tǒng)計算機安全技術(如網(wǎng)關防火墻)的有益補充。

2 園區(qū)網(wǎng)網(wǎng)絡狀態(tài)監(jiān)測技術

2.1 網(wǎng)絡監(jiān)測技術概述

網(wǎng)絡狀態(tài)監(jiān)測是網(wǎng)絡管理和系統(tǒng)管理的一個重要組成部分,網(wǎng)絡狀態(tài)數(shù)據(jù)為園區(qū)網(wǎng)的運行和維護提供了重要信息,這些數(shù)據(jù)對調(diào)控網(wǎng)絡資源分布、規(guī)劃網(wǎng)絡容量、網(wǎng)絡服務質(zhì)量分析、網(wǎng)絡故障檢測與隔離、網(wǎng)絡安全管理都非常重要。目前,根據(jù)對網(wǎng)絡流量的采集方式可將網(wǎng)絡監(jiān)測技術分為:基于網(wǎng)絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于NetFlow的監(jiān)測技術三種常用技術。

2.2 基于網(wǎng)絡流量全鏡像的監(jiān)測技術。

網(wǎng)絡流量全鏡像采集是目前IDS主要采用的網(wǎng)絡流量采集模式。其原理是通過交換機等網(wǎng)絡設備的端口鏡像或者通過分光器、網(wǎng)絡探針等附加設備,實現(xiàn)網(wǎng)絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。 但采用端口流量鏡像方式將增加網(wǎng)絡設備負擔,對網(wǎng)絡設備性能的影響較大。而若使用探針等附加設備實現(xiàn)流量鏡像,安裝時對網(wǎng)絡影響較大,安裝完成后雖對網(wǎng)絡設備的影響較小,但為網(wǎng)絡結(jié)構增加了新的單點失效點,在大型網(wǎng)絡環(huán)境下,可能會影響網(wǎng)絡的穩(wěn)定性。故基于網(wǎng)絡流量全鏡像的監(jiān)測技術較少用于園區(qū)網(wǎng)網(wǎng)絡監(jiān)測中。

2.3 基于SNMP的流量監(jiān)測技術

簡單網(wǎng)絡管理協(xié)議(SNMP)已經(jīng)成為事實上的網(wǎng)絡管理標準,得到很大范圍的應用。SNMP首先是由Internet工程任務組織(Internet Engineering Task Force)(IETF)的研究小組為了解決Internet上的路由器管理問題而提出的。SNMP是基于TCP/IP協(xié)議的網(wǎng)絡管理標準,它簡單明了,占用系統(tǒng)資源少,已成為事實上的工業(yè)標準。SNMP提供了從網(wǎng)絡設備收集網(wǎng)絡管理信息的方法,并為設備提供了向網(wǎng)絡管理端報告故障和錯誤的途徑。SNMP是協(xié)議和規(guī)范族,包括MIB(管理對象信息庫)、SMI(管理信息結(jié)構)和SNM協(xié)議。同時,SNMP被設計成與協(xié)議無關,所以它可以在IP,IPX,AppleTalk,OSI以及其他傳輸協(xié)議上被使用。

基于SNMP的流量信息采集,實質(zhì)上是通過提取網(wǎng)絡設備Agent提供的MIB(管理對象信息庫)中收集一些與具體設備及流量信息有關的變量?;赟NMP收集的網(wǎng)絡流量信息包括:輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯誤數(shù)、輸出隊長等。 基于SNMP的網(wǎng)絡流量信息采集可以以極小的代價實現(xiàn)一定程度的網(wǎng)絡流量相關信息的收集,但其收集的信息多是出于網(wǎng)絡管理的需要,無法提供足夠豐富的網(wǎng)絡流量信息。利用其實現(xiàn)網(wǎng)絡總流量的定期監(jiān)控、觀察網(wǎng)絡設備端口的流量和使用狀況可以滿足網(wǎng)絡管理的基本需求。

SNMP采用‘管理者―’模型來監(jiān)測各種可管理的網(wǎng)絡設備,利用無連接的UDP協(xié)議在管理者和之間進行信息的傳遞。圖1勾畫出了SNMP管理者和SNMP間的通信關系。一個SNMP管理者可以向SNMP發(fā)送請求,讀?。℅et)或設置(Set)一個或多個MIB變量數(shù)值。SNMP可以應答這些請求。除了這種交互式通信方式,SNMP還可以主動向SNMP管理者發(fā)送通知(Trap或Inform Request)以提示管理者一個設備或網(wǎng)絡的狀態(tài)。

圖1 SNMP管理者與SNMP間的通信示意圖

在園區(qū)網(wǎng)網(wǎng)絡監(jiān)測中采用SNMP機制有以下優(yōu)勢:1)可以隨時隨地收集網(wǎng)絡流量信息,及時獲取當前園區(qū)網(wǎng)絡的運行情況;2)能夠即時收集到網(wǎng)絡中大量設備的同步流量信息;3)采用方法基于IP層,不受底層網(wǎng)絡物理類型的限制;4)能夠收集到網(wǎng)絡設備自身的工作信息、端口狀態(tài)。并可根據(jù)需要遠程配置修改網(wǎng)絡設備的相關參數(shù);5)基于SNMP的流量監(jiān)測所需費用較少,對現(xiàn)有的網(wǎng)絡性能影響較小,且易于集成到各種網(wǎng)管系統(tǒng)中去。

在此基礎上,如果配合后臺數(shù)據(jù)庫記錄收集到的網(wǎng)絡流量、性能數(shù)據(jù),就可以實現(xiàn)對整個園區(qū)網(wǎng)絡進行有效的監(jiān)視,并能在網(wǎng)絡發(fā)生故障時及時發(fā)現(xiàn)并通知相關人員處理,從而提高網(wǎng)絡可靠運轉(zhuǎn)的時間,減少因網(wǎng)絡故障造成的中斷時間。

2.1.基于NetFlow的流量監(jiān)測技術

NetFlow是Cisco公司提出的一項網(wǎng)絡數(shù)據(jù)流統(tǒng)計標準,利用NetFlow技術,路由器可以輸出流經(jīng)路由的包的統(tǒng)計信息,從而監(jiān)測網(wǎng)絡上的IP 流( IP flow) 。采集到的NetFlow流量信息可以幫助進行網(wǎng)絡規(guī)劃、網(wǎng)絡管理、流量計費和病毒檢測等等,NetFlow流量信息采集是基于網(wǎng)絡設備提供的NetFlow機制實現(xiàn)的網(wǎng)絡流量信息采集,在此基礎上實現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡流量異常監(jiān)測的需求。它可以實時提取大量流量的特征,實現(xiàn)對流量的宏觀統(tǒng)計分析。目前,NetFlow技術已經(jīng)成為網(wǎng)絡設備流量信息采集事實上的標準,一些大型的網(wǎng)絡設備廠商均在其主流的路由設備中實現(xiàn)了對NetFlow主要版本的支持。

表1主流廠商網(wǎng)絡流技術對比

NetFlow的實現(xiàn)由路由器、數(shù)據(jù)采集設備和流量分析工具三部分構成,如圖2所示。

路由器啟動NetFlow功能,負責抓取路由器上發(fā)生的流量信息,當Cache表超時后,網(wǎng)絡設備中的NetFlow Agent 將通過規(guī)范的報文格式將表項數(shù)據(jù)以UDP方式向NetFlow數(shù)據(jù)采集設備發(fā)送。NetFlow數(shù)據(jù)采集設備可以是商業(yè)系統(tǒng)或是采用開放源代碼的工作站,它負責實時處理收到的報文,提取出流量數(shù)據(jù),進行過濾和聚合后記錄在數(shù)據(jù)庫中。NetFlow流量分析工具根據(jù)數(shù)據(jù)采集設備數(shù)據(jù)庫中記錄的網(wǎng)絡流量信息進行網(wǎng)絡規(guī)劃、流量計費和各種網(wǎng)絡管理應用,并產(chǎn)生各類報表等。

圖2NetFlow的工作原理示意圖

由于NetFlow技術所產(chǎn)生的信息詳盡且趨近于即時,可讓網(wǎng)管人員深入地了解數(shù)據(jù)包中的信息,獲得很多網(wǎng)絡運行情況的細節(jié)。依據(jù)NetFlow信息進行網(wǎng)絡規(guī)劃,將大大提高規(guī)劃的效率,減少盲目性。

(上接第671頁)

在園區(qū)網(wǎng)網(wǎng)絡監(jiān)測中采用NetFlow機制有以下優(yōu)勢:

1) 對源及目的業(yè)務端口號的統(tǒng)計、分析,可以科學地估算出各種業(yè)務在網(wǎng)絡總流量中所占的比重和在各條鏈路上的分布,對網(wǎng)絡業(yè)務流量進行精細化分析,包括網(wǎng)絡間數(shù)據(jù)流中各個具體業(yè)務的流量及百分比;同時,也可以根據(jù)應用層數(shù)據(jù)參數(shù)Protocol、Port、Bytes對各個網(wǎng)絡業(yè)務進行排行,進而科學地預測各類業(yè)務流量的增長規(guī)律。

2) 通過對整網(wǎng)流量的長期監(jiān)測,可以建立園區(qū)網(wǎng)流量基線,了解網(wǎng)絡內(nèi)各節(jié)點的即時與歷史網(wǎng)絡流量狀態(tài),掌握網(wǎng)絡應用及發(fā)展趨勢,從而提高網(wǎng)絡的管理維護能力。

3) 通過統(tǒng)計分析,我們還可以獲知那些業(yè)務是目前網(wǎng)絡上最受歡迎的業(yè)務,進而對相關網(wǎng)絡應用業(yè)務的建設和規(guī)劃提供準確的基礎數(shù)據(jù);對于業(yè)務流量大的端點,分析其增長規(guī)律,可以指導對其合理及時的擴容,從而提高整個網(wǎng)絡的運行質(zhì)量。

4) 利用NetFlow產(chǎn)生的流量記錄與統(tǒng)計分析系統(tǒng)配合,還可以記錄網(wǎng)絡平常在不同時間的流量或服務器連接使用情況,當發(fā)現(xiàn)網(wǎng)絡或某服務器流量異常,或是服務器連接情況異常大量增加或減少時,在第一時間發(fā)出警報,讓網(wǎng)絡管理員可以立即采取相應措施,盡快確定異常流量源地址及目的地址、端口號等多種信息,針對不同的情況,分別利用切斷連接、ACL過濾、靜態(tài)空路由過濾、異常流量限定等多種手段,對異常流量進行有效控制、處理,從而在最短時間內(nèi)恢復網(wǎng)絡的正常運行。這在防范病毒,尤其是蠕蟲或木馬等造成的DoS與DDoS攻擊時尤為有效。

3 結(jié)束語

當前,隨著信息化建設步伐的加快,各單位都在不斷地建設和改造內(nèi)部的園區(qū)網(wǎng)絡,園區(qū)網(wǎng)絡的不斷擴展使得網(wǎng)絡的拓撲變得越來越復雜和不規(guī)則。而網(wǎng)絡新應用的涌現(xiàn)和網(wǎng)絡用戶的快速增長也使得網(wǎng)絡流量不斷增大、網(wǎng)絡應用日益復雜。采用一種或混合使用多種技術監(jiān)測園區(qū)網(wǎng)網(wǎng)絡狀態(tài)的重要性和迫切性越來越突出。園區(qū)網(wǎng)網(wǎng)絡監(jiān)測技術已經(jīng)成為計算機網(wǎng)絡研究中一個重要的課題方向。

參考文獻:

[1] Cisco. System , NetFlow Services Solutions Guide[S], 2003.

[2] Stewart A J. Network State Monitoring: A Network Security Assessment Concept[EB/OL]. /papers/nsm/network_state_monitoring.txt, 2000

[3] 陳秀蘭,吳軍華.通用網(wǎng)絡流量監(jiān)測報警系統(tǒng)的設計與實現(xiàn)[J]. 微計算機應用, 2006(4):47-50.

[4] 何豐,靳娜.基于NetFlow的IP網(wǎng)絡狀態(tài)監(jiān)測系統(tǒng)的設計與實現(xiàn)[J] . 通信技術, 2007(8):36-38.

第4篇:網(wǎng)絡流量監(jiān)測范文

流量可控

云計算、大數(shù)據(jù)、虛擬化、移動化的興起,對于數(shù)據(jù)中心架構尤其是網(wǎng)絡的管理、分析和安全產(chǎn)生了重大影響。用戶對于網(wǎng)絡效率、安全性和可靠性的追求永無止境,而傳統(tǒng)的網(wǎng)絡管理和監(jiān)控方式則有些捉襟見肘。Gigamon的網(wǎng)絡流量可視化解決方案采用帶外方式,可以在不影響網(wǎng)絡本身性能和可靠性的情況下,對流量進行監(jiān)控。

網(wǎng)絡流量的提取、分類、優(yōu)先級劃分等并不容易。傳統(tǒng)的流量監(jiān)控和分析往往要通過大規(guī)模添加新的工具和系統(tǒng),或者變更以太網(wǎng)交換機的用途,或借助鏡像端口復制流量,以及通過網(wǎng)絡分路器分拆流量等方式實現(xiàn)。上述方式通常只借助一臺交換機或一個分路器的有限過濾功能實現(xiàn),功能和可視化都受到了限制,而且擴展和管理難度大,成本高。

能不能通過一種可靠的一體化的設計方式,沖破傳統(tǒng)方式在性能、成本和管理方面的局限性,實現(xiàn)對網(wǎng)絡流量的有效監(jiān)控與管理呢?正是基于這種考慮,Gigamon推出了流量可視化矩陣(Traffic Visibility Fabric),它采用創(chuàng)新的架構,可以全方位實現(xiàn)流量的可視化與控制,提升擴展性和吞吐能力,同時增強網(wǎng)絡的可靠性,提高網(wǎng)絡效率并簡化部署和使用。

統(tǒng)一可視化

在網(wǎng)絡由簡單的、靜態(tài)的逐漸向復雜的、動態(tài)化的方向發(fā)展時,Gigamon流量可視化矩陣的優(yōu)勢就顯現(xiàn)出來了,它為網(wǎng)絡架構的設計師、管理員提供了全面的流量可視性,在不影響生產(chǎn)網(wǎng)絡的性能和穩(wěn)定性的情況下,可以對通過物理網(wǎng)和虛擬網(wǎng)的流量進行監(jiān)控。許多大型企業(yè)、數(shù)據(jù)中心和服務供應商都采用了Gigamon流量可視化矩陣。

在可視化矩陣的基礎上,Gigamon又進一步提出了統(tǒng)一可視化結(jié)構的理念,它可以提供跨平臺的流量可視化功能,讓用戶原有的監(jiān)測工具,可以監(jiān)測和分析來自物理網(wǎng)絡、虛擬網(wǎng)絡或軟件定義網(wǎng)絡的流量,從而提升網(wǎng)絡流量監(jiān)控的智能化程度。統(tǒng)一可視化結(jié)構的好處顯而易見:具有智能化的全面可視性,可以對遠程站點提供實時、深入的監(jiān)控;實現(xiàn)集中監(jiān)控,為多種工具和IT部門提供可視性,從而簡化運作;減少遠程站點的維護人員和監(jiān)測工具,節(jié)省成本。

精確分發(fā)與智能過濾

第5篇:網(wǎng)絡流量監(jiān)測范文

流量監(jiān)測是網(wǎng)絡管理的基礎。從網(wǎng)絡體系架構來說,網(wǎng)絡流量是一切研究的基礎;它能直接反映網(wǎng)絡性能的好壞;更能幫助判斷網(wǎng)絡故障及網(wǎng)絡安全等狀況。隨著Ineernet重要性的日益提高和網(wǎng)絡結(jié)構的日益復雜.人們經(jīng)常會遇到網(wǎng)絡擁塞和服務質(zhì)量低等一系列問題.越來越有必要對網(wǎng)絡的整體拓撲結(jié)構和網(wǎng)絡行為進行深入的了解、分析,以利于發(fā)現(xiàn)網(wǎng)絡瓶頸,優(yōu)化網(wǎng)絡配置,并進一步發(fā)現(xiàn)網(wǎng)絡中可能存在的潛在危險。為此。需要對大規(guī)模網(wǎng)絡結(jié)構進行動態(tài)描述,并根據(jù)網(wǎng)絡流量的變化分析網(wǎng)絡的性能,為加強網(wǎng)絡管理、提高網(wǎng)絡利用率.因此網(wǎng)絡流量的測量與分析一直為人們所關注。

2.課題名稱和課題來源

網(wǎng)絡測量技術始于上世紀70年代初,發(fā)展于80年代.90年代已漸成體系.在網(wǎng)絡測量的方法、工具及流量的測量模型等方面取得了長足的發(fā)展。美國在1992年開始著手IIltemet特征的研究.其中比較著名的項目有NIMIⅢationalIntemetMea.surementInfrastnlctu商。它是一個完整的網(wǎng)絡測量基礎框架,并且是第一個執(zhí)行大規(guī)模端到端ntemet行為測量的軟件.NIMI主要采用主動測量技術.主要目的是要測量全球的Intemet.致力于建立一個總體的可擴展的網(wǎng)絡測量基礎框架.而不是為特定的分析目標做一組特定的測量操作。

網(wǎng)絡流量簡而言之就是網(wǎng)絡上傳輸?shù)臄?shù)據(jù)量。就象要根據(jù)來往車輛的多少和流向來設計道路的寬度和連接方式一樣,根據(jù)網(wǎng)絡流量設計網(wǎng)絡是十分必要的。在網(wǎng)絡中不同的位置通過不同的方法采集不同空間粒度和不同時間粒度下的網(wǎng)絡流量,并借助于數(shù)理統(tǒng)計、隨機過程和時間序列等數(shù)學手段針對預先所定義的一系列的網(wǎng)絡流量的相關屬性對網(wǎng)絡流量展開分析與研究,得到網(wǎng)絡流量的不同屬性在其構成、分布、相關性和變化規(guī)律與趨勢等方面的特征,簡稱流量測量;并且所得到的"特征"叫做網(wǎng)絡流量特征,簡稱流量特征。

網(wǎng)絡流量貫穿整個網(wǎng)絡,沒有網(wǎng)絡流量,網(wǎng)絡應用也就無從存在。如果把TCP/IP協(xié)議棧比作成為網(wǎng)絡的靈魂,通過網(wǎng)線等連接起來計算機、交換機和路由器等網(wǎng)絡設備比作成為網(wǎng)絡的骨架,那么網(wǎng)絡流量可以看作成是網(wǎng)絡中流動的血液。這樣,對于研究網(wǎng)絡的可用性、可靠性和穩(wěn)定性而言,研究網(wǎng)絡流量顯然是獲得第一手有效參數(shù)的最為直接和最為基礎的手段之一。應用各種主要基于硬件或者軟件或者硬軟件相結(jié)合所實現(xiàn)的流量測量與分析系統(tǒng),實現(xiàn)網(wǎng)絡流量的監(jiān)測,并根據(jù)你的應用情況對網(wǎng)絡流量進行一定的干預,以保證關鍵性的應用。

3.前人在本課題研究領域的成果簡介

流量監(jiān)測包括測量工具/系統(tǒng)的部署、流量數(shù)據(jù)的采集(包括數(shù)據(jù)包捕獲、歸并和采樣處理等)、數(shù)據(jù)包的解析和處理(包括協(xié)議解析、按照協(xié)議、流和應用等不同聚合層次進行聚合表示和流量識別與分類等)、測量實體量化數(shù)值的獲得與統(tǒng)計分析、流量特征化描述、流量存儲和查詢表示、流量建模等多個環(huán)節(jié),具有相對復雜的處理和分析過程。目前存在有眾多種流量測量的實現(xiàn)方法,他們可適用不同的測量環(huán)境、滿足不同的測量要求,并且有著不同的實現(xiàn)方式。概括來看,現(xiàn)有的這些實現(xiàn)方法大致可以依據(jù)如下幾個方面進行分類:根據(jù)測量時所依賴工具的實現(xiàn)主體是硬件還是軟件,流量測量可以被分成基于硬件的測量和基于軟件的測量兩種?;谟布臏y量通常需要設計和應用特定的硬件設備來對流量數(shù)據(jù)進行采集和分析。如IPMON、OCxMON、InMonsFlowProbe、NavTelIW5000ATMTrafficAnalyzer等,這些硬件設備通常被稱為流量采集探針(Probe),需要配置有網(wǎng)絡處理器(NP,NetworkProcessor)或?qū)S玫牧髁坎东@板卡采用串接(in-line)、鏡像(Mirror)或者分光(OpticalTap/Splitter)等方式捕獲被測量的流量。而基于軟件的測量一般是指通過普通的商用計算機(commoditycomputer)即所完成的流量測量。這類測量的主要特點就是被測流量的采集通常是借助于現(xiàn)有的硬件(如市面上可隨便購買到網(wǎng)絡接口卡(NIC,NetworkInterfaceCard,如以太網(wǎng)卡(EthernetCard))或者現(xiàn)有的網(wǎng)絡設備(如網(wǎng)絡中已經(jīng)部署且正在工作的服務器、交換機和路由器)來完成。

它主要包括兩個類別:一類是通過對操作系統(tǒng)內(nèi)核和網(wǎng)絡協(xié)議棧的增改(由于代碼開放性等的限制,操作系統(tǒng)內(nèi)核和網(wǎng)絡協(xié)議棧的增改通常是在開源的Linux下進行),借助普通的網(wǎng)絡接口卡(如將普通的以太網(wǎng)卡置于混雜模式(promiscuousmode)并借助于BPF完成對感興趣數(shù)據(jù)包的過濾)等將一般的商用計算機轉(zhuǎn)換成為具有數(shù)據(jù)包捕獲和分析處理能力的流量測量系統(tǒng)。另一類則是被測量的流量并非由普通的商用計算機直接獲得,而是需要從服務器、交換機、路由器等特定的網(wǎng)絡設備上經(jīng)過一定處理后導出,然后再由普通的商用計算機完成后續(xù)的流量處理和統(tǒng)計分析等工作。需要說明的是,特定設備上所導出的流量通常并非是詳細的網(wǎng)絡級的原始數(shù)據(jù)包,而是根據(jù)特定設備的不同,可能是SNMP/RMON統(tǒng)計數(shù)據(jù),可能是經(jīng)過聚合處理后的flow數(shù)據(jù),也可能是服務器日志,等等。不同形式的數(shù)據(jù),對應要求在普通的商用計算機上通過不同的程序或軟件實現(xiàn)相應的流量處理和統(tǒng)計分析功能。

對于大多數(shù)的網(wǎng)絡用戶而言,網(wǎng)絡僅僅是為這些用戶的應用,如WEB網(wǎng)頁瀏覽、BT電影下載、QQ聊天程序、Skype網(wǎng)絡電話、PPLive在線視頻等等,提供連通性的媒介。以TCP/IP協(xié)議棧為基礎和核心的網(wǎng)絡遵循并實現(xiàn)了信息隱藏的原則,將具體的用戶級的網(wǎng)絡應用抽象為底層的數(shù)據(jù)幀/包的發(fā)送和接收,而終端的用戶無需了解網(wǎng)絡工作的底層細節(jié)。例如,用戶在Youtube的主頁面上點擊網(wǎng)頁上的超鏈接觀看所感興趣的在線視頻的時候,他不需要知道和關心會有多少個網(wǎng)絡數(shù)據(jù)包生成,也無需了解這些數(shù)據(jù)包是如何在網(wǎng)絡中進行路由的、IP協(xié)議是如何完成尋址定位功能的、TCP協(xié)議是如何提供了可靠的端到端的數(shù)據(jù)傳輸功能的、HTTP協(xié)議是如何應用超文本表示和描述頁面上不同元素的、Youtube服務器上FlashMediaServer是如何實現(xiàn)自動位速率選擇和動態(tài)緩沖的,等等。用戶關心的可能僅僅是:他們所想要看到的視頻內(nèi)容是否能夠快速的被呈現(xiàn)出來?視頻內(nèi)容的播放是否能夠一直都很流暢?視頻內(nèi)容是否能夠下載保存到自己的電腦上來?總而言之,用戶所最為關注的是應用,可以為他們帶來更為輕松和簡便的、更為豐富和優(yōu)質(zhì)的網(wǎng)絡應用。然而,對于網(wǎng)絡管理人員而言,由數(shù)據(jù)包/幀這一最基本元素所形成的網(wǎng)絡流量卻是我們應該關注和研究的對象。這是因為網(wǎng)絡本身并無任何價值,其關鍵在于它所承載的業(yè)務,即人們?nèi)粘K鶓玫降木W(wǎng)絡應用。而不管哪一方面、什么類型、遵從什么架構、應用哪種協(xié)議、通過何種方式所實現(xiàn)的網(wǎng)絡應用都會產(chǎn)生流量,也必須要產(chǎn)生流量。這些流量會流經(jīng)作為最終的發(fā)送端和接收端的計算機、完成尋址和路由功能的交換機與路由器、提供安全檢查和防護的IDS和IPS系統(tǒng)等網(wǎng)絡設備。而正是這些具有不同能力和不同功能、處在不同層次和結(jié)構上的網(wǎng)絡設備憑借各種形式互相連接起來構成了整個網(wǎng)絡。

4.研究的主要內(nèi)容和方法

(1)利用QoS優(yōu)化技術,按照不同網(wǎng)絡設備上不同的網(wǎng)絡應用進行網(wǎng)絡帶寬的分配,通過分類確定流量的優(yōu)先權,并對較高的優(yōu)先權提供優(yōu)先服務。由于行政網(wǎng)段是網(wǎng)路的一個重要服務對象,必須首先保證其服務質(zhì)量,所以將網(wǎng)路內(nèi)部行政網(wǎng)段流量設為最高的優(yōu)先級。

(2)通過交換機管理設置,利用VLAN技術,將不同位置上的交換機和IP地址管理集中在某個管理網(wǎng)段,把網(wǎng)絡劃分為若干子網(wǎng),對訪問管理網(wǎng)段的流量進行限制。

(3)利用組播優(yōu)化技術,在網(wǎng)路中的網(wǎng)站上動態(tài)的直播、VOD和網(wǎng)絡電視等均采用組播技術,在網(wǎng)絡上建立一個視頻服務器,點擊視頻等即可觀看。訪問網(wǎng)內(nèi)FTP、VOD和網(wǎng)絡電視服務器的多媒體流應用流量,此類流量較大,在播放時段對多媒體流設置相應的優(yōu)先級。

5、預期達到的目的和應用前景

網(wǎng)絡結(jié)構的優(yōu)化在優(yōu)化過程中應盡量減少節(jié)點匯聚,原先的節(jié)點可擴展為新匯聚,從核心到匯聚都采用直接邏輯連接,不再設置中間有源節(jié)點。采用以高速路由交換機為核心,多層交換機作為匯聚層,可管理換機作為接入層的網(wǎng)絡設計。在實際應用中,重要骨干設備采用雙線路連接到核心設備上,核心層至匯聚層交換機也采用雙千兆光纖做鏈路聚合(Trunking)的冗余組網(wǎng)方案,在加大帶寬的同時冗余了骨干鏈路,然后根據(jù)鏈路的長短來確定使用光纖鏈路,還是使用雙絞線從匯聚層交換機聯(lián)到接入層交換機,并且接入層設備采用線路捆綁連接到匯聚層,這樣在設備或物理鏈路出現(xiàn)故障時均可自動轉(zhuǎn)換,進而提高網(wǎng)絡的帶寬和穩(wěn)定性。

網(wǎng)絡應用優(yōu)化在網(wǎng)絡應用優(yōu)化前,先對網(wǎng)絡內(nèi)所有終端全面殺毒,檢測各種蠕蟲和Ddos的攻擊,實現(xiàn)網(wǎng)絡安全,凈化網(wǎng)絡運行環(huán)境。

第6篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:網(wǎng)絡技術 網(wǎng)絡設備 網(wǎng)絡性能 網(wǎng)絡配置

中圖分類號:TP393.0 文獻標識碼:A 文章編號:1007-9416(2013)07-0071-01

1 引言

網(wǎng)絡性能從20世紀80年代逐漸受到重視。網(wǎng)絡測量研究大致可劃分為三部分,端到端性能測量、路由/路由器相關測量、應用層測量。

2 網(wǎng)絡性能測量方法

網(wǎng)絡性能測量作為分析網(wǎng)絡行為、了解網(wǎng)絡狀況和定位網(wǎng)絡故障的有效手段,需要服務于各種不同目的的測量要求,根據(jù)獲取數(shù)據(jù)的方式和技術特征不同可以歸分為兩類:被動測量和主動測量。

2.1 主動測量

主動測量是利用測量工具,有目的地主動產(chǎn)生測量流量,并再次注入網(wǎng)絡。主動測量的優(yōu)點是對測量過程可控性比較高、靈活、機動,易于進行端到端的性能測量;缺點是注入的測量流量會改變網(wǎng)絡本身的運行情況,使得測量的結(jié)果與實際情況存偏差,并且測量流量還會增加網(wǎng)絡負擔。主動測量在性能參數(shù)的測量中應用十分廣泛,目前大多數(shù)測量系統(tǒng)都涉及到主動測量。主動測量需要發(fā)出測量數(shù)據(jù)包,通過測量數(shù)據(jù)包在網(wǎng)絡中的處理和響應結(jié)果獲知網(wǎng)絡的流量狀態(tài)信息。

2.2 被動測量

被動測量是指在鏈路或設備(如路由器,防火墻、交換機等)上對網(wǎng)絡進行監(jiān)測,觀察和記錄的分組,不注入流量測量方法。被動測量的優(yōu)點在于理論上它不產(chǎn)生多余流量,不會增加網(wǎng)絡負擔;其缺點在于被動測量基本上是基于對單個設備監(jiān)測,很難對網(wǎng)絡端到端的性能進行分析,并且可能實時采集的數(shù)據(jù)量過大,被動測量非常適合用來進行流量測量。被動測量在網(wǎng)絡中的某點收集流量信息,如使用路由器或交換機收集數(shù)據(jù)或者一個獨立的設備被動地監(jiān)測網(wǎng)絡鏈路流量,它可以完全取消附加流量和Heisenberg效應。網(wǎng)絡流量是采用大小不一的報文傳送,收集到的數(shù)據(jù)可以進行各種流量分析。

3 延時的測量分析

目前能夠進行雙向延時測量的工具很多,常見的測試工具有scantools、NetMedic、Internet Anywhere Toolkit等,其中典型延時應用“Ping”命令。Ping是基于ICMP請求應答的應用軟件,Ping發(fā)送ICMP的請求回應數(shù)據(jù),當接收方收到該報文后,會返回一個回應數(shù)據(jù),這樣發(fā)送方收到反饋數(shù)據(jù)后就可以計算出網(wǎng)絡的傳輸延時。設在局域網(wǎng)內(nèi),通過改變數(shù)據(jù)包大小對網(wǎng)內(nèi)核心交換機進行撥打測試,包的大小從100B字節(jié)增至1000B字節(jié),增長步長設為100B字節(jié),每次測試32個包,若網(wǎng)絡比較忙,也可以采用128個數(shù)據(jù)包進行統(tǒng)計。

4 流量的測量分析

從網(wǎng)絡體系架構來說,網(wǎng)絡流量是一切研究的基礎。所有的網(wǎng)絡應用和網(wǎng)絡本身的行為特點,都可以通過對網(wǎng)絡流量測量數(shù)據(jù)的分析來獲得。目前,流量測量分析模式基本上有三種:一種是專門使用一臺計算機在網(wǎng)絡中偵聽,另一種方法是直接從網(wǎng)絡對象獲取數(shù)據(jù)。網(wǎng)絡流量可以反映網(wǎng)絡性能的好壞,如果網(wǎng)絡所接受的流量超過它實際的運載能力,就會引起網(wǎng)絡性能大幅下降。為了使網(wǎng)絡性能得到進一步的改善,必須得對網(wǎng)絡流量進行測量。并根據(jù)最終分析結(jié)果,對網(wǎng)絡流量實施有效的控制,改進和優(yōu)化網(wǎng)絡性能。通過觀察一周流量變化情況,得出一周中相鄰的各天流量的大小和變化具有明顯的自相似性,當高峰期出現(xiàn)擁塞現(xiàn)象時,可采取適當限制措施,如限制端口速度,或?qū)2P應用限速等,常用的辦法是限制每個交換機端口的速率,分時段控制或者總流量限制。

5 網(wǎng)絡優(yōu)化

網(wǎng)絡優(yōu)化是指根據(jù)對網(wǎng)絡性能測量數(shù)據(jù)的分析,找出影響網(wǎng)絡性能的因素,通過采取技術手段,從而使網(wǎng)絡達到最佳狀態(tài),使網(wǎng)絡資源獲得最佳使用效率。在進行網(wǎng)絡優(yōu)化時,應結(jié)合網(wǎng)絡的實際狀況,利用已有網(wǎng)絡設備支持的相關協(xié)議和標準。

5.1 網(wǎng)絡結(jié)構的優(yōu)化

在優(yōu)化過程中應盡量減少節(jié)點匯聚,將匯聚層直接設置內(nèi)部,原先的節(jié)點可擴展為新匯聚,從核心到匯聚都采用直接邏輯連接,不再設置中間有源節(jié)點。采用以高速路由交換機為核心,多層交換機作為匯聚層,可管理換機作為接入層的網(wǎng)絡設計。重要骨干設備采用雙線路連接到核心設備上,核心層至匯聚層交換機也采用雙千兆光纖做鏈路聚合(Trunking)的冗余組網(wǎng)方案,在加大帶寬的同時冗余了骨干鏈路,然后根據(jù)鏈路的長短來確定使用光纖鏈路,還是使用雙絞線從匯聚層交換機聯(lián)到接入層交換機,并且接入層設備采用線路捆綁連接到匯聚層。

5.2 網(wǎng)絡應用優(yōu)化

在網(wǎng)絡應用優(yōu)化前,先對內(nèi)網(wǎng)所有終端全面殺毒,檢測各種掃描、蠕蟲和Ddos的攻擊。

(1)利用QoS優(yōu)化技術,按照不同網(wǎng)絡設備上不同網(wǎng)絡應用進行網(wǎng)絡帶寬的分配,通過分類確定流量優(yōu)先權,并對較高的優(yōu)先權提供最好的性能服務。由于學校辦公網(wǎng)段是校園網(wǎng)的一個重要服務對象,必須首先保證其服務質(zhì)量。(2)通過交換機管理設置,利用VLAN技術,將不同位置上的交換機和IP地址管理集中在某個管理網(wǎng)段,把網(wǎng)絡劃分為若干子網(wǎng),對訪問管理網(wǎng)段的流量進行限制。(3)利用組播優(yōu)化技術,在校園網(wǎng)中的遠程教學網(wǎng)站上動態(tài)的直播課堂、VOD和網(wǎng)絡電視等均采用組播技術,在網(wǎng)絡上建立一個視頻服務器,點擊視頻等即可觀看。

6 結(jié)語

通過優(yōu)化,數(shù)據(jù)傳輸成功率得到提升,當發(fā)包和收包的數(shù)相同時,響應時間明顯降低。經(jīng)過優(yōu)化以后,對教學應用中比較廣泛的網(wǎng)頁和視頻等進行重新測量,應用效果明顯得到改善。

參考文獻

[1]王海濤,付鷹.網(wǎng)絡測量方法和關鍵技術[J].電信工程技術與標準化,2010年07期.

[2]蔣序平,陳鳴,趙金.網(wǎng)絡測量系統(tǒng)研究中亟待解決的若干問題[J].電信科學.2003年08期.

第7篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:網(wǎng)絡安全,流量監(jiān)控,數(shù)據(jù)備份,遠程同步

 

1.引言

在互聯(lián)網(wǎng)飛速發(fā)展的今天, 越來越多的公司關和企事業(yè)單位擁有了自己的網(wǎng)站。 網(wǎng)站不但是信息傳播的工具, 也是非常好的商業(yè)運營方式。但由于互聯(lián)網(wǎng)在安全方面的脆弱性,以及黑客對網(wǎng)站的攻擊,使得網(wǎng)站的運行安全是我們設計網(wǎng)站時需要解決的問題。網(wǎng)站的安全不應僅依賴于防火墻和入侵檢測, 也需要使用對網(wǎng)站的監(jiān)控和恢復技術,力爭使損失達到最小。而一些大型網(wǎng)站更是會在很多不同的地點建立分站點,一方面能提高用戶的訪問速度,分擔負載,另一方面也是為了使得各分站的數(shù)據(jù)能夠?qū)崿F(xiàn)同步傳輸,防止因為各種原因造成的數(shù)據(jù)丟失所產(chǎn)生的損失。本文正是基于此目的,以12530網(wǎng)站系統(tǒng)為基本構架 ,Linux為操作系統(tǒng) ,規(guī)劃配置出一套能夠?qū)W(wǎng)站日常的運行進行監(jiān)控與保護的相對安全的網(wǎng)絡系統(tǒng)的方案。

2.網(wǎng)頁監(jiān)控和保護系統(tǒng)基本構架

如圖1 所示 ,在本次12530網(wǎng)站建設中,我們將網(wǎng)站監(jiān)控和保護系統(tǒng)基本構架設計成主要的三部分:(1)網(wǎng)絡服務器。系統(tǒng)的主控臺 , 擁有良好的人機界面 ,對靜態(tài)網(wǎng)頁和動態(tài)腳本進行校驗。(2)備份服務器。對靜態(tài)頁面、動態(tài)腳本、靜態(tài)網(wǎng)頁和動態(tài)腳本的校驗值及數(shù)據(jù)庫數(shù)據(jù)進行備份。(3)Rsync-server服務器。將產(chǎn)生的數(shù)據(jù)與其他分站進行遠程雙向同步。

圖1 網(wǎng)頁監(jiān)控和保護系統(tǒng)基本組成

3.實現(xiàn)對網(wǎng)絡流量實時監(jiān)控與異常報警

隨著網(wǎng)絡規(guī)模的不斷擴大,容量不斷增加,新的應用不斷出現(xiàn),網(wǎng)絡環(huán)境變得更加復雜、多變和異構,對網(wǎng)絡流量進行監(jiān)控與分析已成為對網(wǎng)絡行為分析的主要可行途徑。通過對整個網(wǎng)絡進行流量監(jiān)測,獲得網(wǎng)絡設備及骨干網(wǎng)每時每刻的流量數(shù)據(jù),并對其進行分析和研究,才能發(fā)現(xiàn)整個網(wǎng)絡運行的規(guī)律,不斷提高網(wǎng)絡安全性能。目前在世界各地有許多公司和學術團體 , 根據(jù)不同的計算機系統(tǒng)與需要開發(fā)出不同的網(wǎng)絡流量監(jiān)控工具如Cacti, Sniffer Pro, ROM II, NetDetector,Netxray等相關軟件。表1 列出了五種流量采集工具的主要性能比較。

第8篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:流量檢測;DPI;VoIP

中圖分類號:TP393 文獻標識碼:A 文章編號:1009-3044(2013)27-6094-05

隨著互聯(lián)網(wǎng)技術的快速發(fā)展,網(wǎng)絡已經(jīng)成為人們生活中不可分割的組成部分,通過網(wǎng)絡人們的工作、生活都變得便捷,欣欣向榮的寬帶業(yè)務,給運營商帶來機遇的同時也帶來了挑戰(zhàn)。大量非法VOIP運營充斥著正規(guī)電信市場,導致合法運營商話務量流失,利潤減少。造成這些結(jié)果的主要原因是運營商對網(wǎng)絡流量缺少一個有效的技術監(jiān)管方案,對網(wǎng)絡上的流量沒有進行有效的分析。技術的進步是由市場的需求推動的,在這種情況下,深度包檢測技術(DPI)就隨后產(chǎn)生了,DPI是一種基于應用層的流量檢測和控制技術。

本文研究的目的就是提出一種基于深度包檢測技術的網(wǎng)絡流量識別方案,并在此基礎上實現(xiàn)一個網(wǎng)絡流量識別系統(tǒng),該系統(tǒng)可以滿足對網(wǎng)絡中各種流量的識別和記錄。

1 VoIP協(xié)議簡介

自從1995年以色列的VocalTec公司開發(fā)出了世界上第一個可以實時通話的軟件“Internet Phone”后,VoIP技術經(jīng)過十幾年的快速發(fā)展,這項技術已經(jīng)得到了廣泛的應用。在網(wǎng)絡上出現(xiàn)了大量的VoIP軟件,例如騰訊QQ、YY語音、Skype、MSN、KC網(wǎng)絡電話、UUCall網(wǎng)絡電話等。當前大部分VoIP軟件的呼叫控制協(xié)議都遵循H.323協(xié)議和SIP協(xié)議。例如:SIP通話主要包括3個過程:終端注冊過程、呼叫建立過程和呼叫釋放過程。檢測過程為,首先采集用戶的流量,分析流量中的信令流,采集SIP發(fā)送方的呼叫建立信令信息和響應方的同意建立通話信令信息,就可以通過這些信令信息分析是否有用戶在使用或者提供基于SIP協(xié)議的VoIP服務。采集呼叫釋放的信令就可以知道用戶是否已經(jīng)結(jié)束通話。H.323協(xié)議的檢測過程和SIP協(xié)議類似。主流的VoIP軟件的通話的網(wǎng)絡流量都可以通過這種方法被檢測出來是否屬于VoIP協(xié)議。但是,這種檢測方法在現(xiàn)在的環(huán)境下已經(jīng)不具有普遍性。為了逃避監(jiān)管部門的監(jiān)管,一些非法經(jīng)營者經(jīng)常會采取一些改變協(xié)議的方式來逃避管控,如改變標準通信端口、修改協(xié)議內(nèi)容或制定私有協(xié)議等。這就使通過SIP協(xié)議和H.323協(xié)議的檢測方法不能檢測出非標準和私有協(xié)議的VoIP業(yè)務,這就需要通過系統(tǒng)抓包分析,分析出VoIP協(xié)議特征之后就可以實現(xiàn)對該標準協(xié)議的監(jiān)測?,F(xiàn)在DPI檢測技術的出現(xiàn)可以實現(xiàn)對各種標準和非標準VoIP業(yè)務的檢測。

2 VoIP流量檢測技術

2.1 端口檢測法

大多數(shù)早期的VoIP應用程序使用的都是固定端口號,比如:

1) RTSP服務器的缺省端口是554;

2) RTP/UDP/16384-32768;

3)H.323協(xié)議棧需使用的端口號:RAS/UDP/1719;H225.0/TCP/1720;H245/TCP/1800-1820;

這種檢測方法需要在網(wǎng)絡中收集數(shù)據(jù)流量并進行分組,然后檢查報文的運輸層首部信息,將端口信息和特定的協(xié)議的端口進行匹配。如果匹配上,就可以證明該分流量即為VoIP類流量,便可以按照識別的結(jié)果對VoIP流量進行管理控制。

這種檢測方法的優(yōu)點是簡單和識別效率高,但是隨著VoIP應用技術的快速發(fā)展,一些VoIP應用改變了端口信息,這種方法開始變得不再普遍適用,但是針對一些特殊的VoIP協(xié)議還存在一定的適用性。這就需要更具有普遍性的DPI檢測技術。

2.2 基于深度報文的流量檢測技術

隨著計算機網(wǎng)絡技術的發(fā)展,一種檢測性能更加強大的檢測技術DPI技術出現(xiàn)了。DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。所謂“深度”是和普通的報文分析層次相比較而言的,“普通報文檢測"僅分析IP包的層4以下的內(nèi)容,包括源地址、目的地址、源端口、目的端口以及協(xié)議類型,而DPI除了對前面的層次分析外,還增加了應用層分析,就是通過對應用流中的數(shù)據(jù)報文內(nèi)容進行探測,從而確定數(shù)據(jù)報文的真正應用。DPI的識別技術可以分為以下幾大類:

1) 基于“特征字"的識別技術

基于“特征字"的識別技術這是一種簡單而又高效的網(wǎng)絡流量檢測技術。不同網(wǎng)絡應用的協(xié)議都有獨特的特征,這些特征一般被稱為“特征字”。該檢測技術就是通過模式匹配算法(Pattern-Matching)對數(shù)據(jù)流中數(shù)據(jù)負載部分的“特征字”進行匹配,然后識別出某種網(wǎng)絡流量。只要通過對這些“特征字"信息的不斷更新升級,該檢測技術就會很方便有效地實現(xiàn)對各種協(xié)議(包括新出現(xiàn)協(xié)議的檢測識別)的檢測識別。

基于VoIP協(xié)議的應用軟件有很多,而且也很優(yōu)秀。每種應用層協(xié)議和軟件都在應用層數(shù)據(jù)中有它標志性的特征,其中,有些特征是比較容易發(fā)現(xiàn)的,把各種應用層協(xié)議和軟件已經(jīng)發(fā)現(xiàn)并且驗證的“特征字”用一定的格式集中統(tǒng)一放在一個文件當中,就形成了DPI特征庫。表1是常見部分應用層協(xié)議的“特征字”信息。

2) 應用層網(wǎng)關識別技術

一些業(yè)務的控制流和業(yè)務流是分離的,業(yè)務流不包含任何有效的特征。在這種情況下,我們就應該采用應用層網(wǎng)關識別技術。應用層網(wǎng)關需要首先識別出控制流,并根據(jù)控制流的協(xié)議通過某種特定的應用層網(wǎng)關對其進行分析,從它的協(xié)議內(nèi)容中識別出相對應的業(yè)務流。對于每一種協(xié)議,都需要有不一樣的應用層網(wǎng)關對其進行解析。例如SIP、H.323協(xié)議都屬于該種類型。SIP/H.323協(xié)議通過信令交互過程,協(xié)商從而得到其數(shù)據(jù)通道進行通信,通常是RTP格式封裝的語音流。換句話說,僅僅檢測RTP流并不能得出這條RTP流是屬于哪種協(xié)議。只有通過檢測SIP/H.323的協(xié)議交互,然后對其中的信令信息的通信特征進行分析,才能得出它完整的結(jié)果。

3) 行為模式識別技術

行為模式識別技術基于對終端已經(jīng)執(zhí)行的行為的分析,從而判斷出用戶正在執(zhí)行的動作或者將要實施的動作。行為模式識別技術一般用于無法通過協(xié)議判斷分析的業(yè)務的識別。例如:垃圾郵件(SPAM)業(yè)務流和普通的電子郵件(Email)業(yè)務流從電子郵件(Email)的內(nèi)容上看是完全一致的,只有通過對用戶行為的分析,才能較為準確的判斷出是否為垃圾郵件,從而識別出SPAM業(yè)務。

(1)優(yōu)點:檢測準確率比基于端口和流量模式的方法高,端口的變化不會影響檢測率。能夠檢測使用最廣泛的應用,適合流量的精確檢測。

(2) 缺點:無法識別新出現(xiàn)的和經(jīng)過加密的應用,對無法識別的應用會出現(xiàn)漏判。協(xié)議分析和特征搜尋需要投入大量的人力及時間,難以獲取加密協(xié)議的特征,特征的選擇對檢測性能有很大影響。系統(tǒng)檢測模塊需要不定期地進行更新和升級,查看應用層的內(nèi)容會涉及到隱私的問題,對檢測設備的處理能力要求較高。

3 DPI系統(tǒng)工作原理概述

3.1 基于VOIP的DPI系統(tǒng)設計

系統(tǒng)對經(jīng)過網(wǎng)絡分光/鏡像的數(shù)據(jù)報文,拆包并標記頭指針,然后將經(jīng)過預處理的報文送到協(xié)議識別引擎進行匹配識別,最后返回識別結(jié)果。整個DPI系統(tǒng)的工作流程如圖2所示。

第一步:對抓取的數(shù)據(jù)包進行分流,首先檢查入口條件:入口條件通常包括關聯(lián)表中的條件,數(shù)據(jù)包的長度,特征字,IP地址,端口號。如果符合條件則進入第二步,不符合條件則進入第三步進行識別處理。

第二步:如果滿足上面的入口條件,就會進入與它相對應的協(xié)議識別方法中去,這些方法通常為代碼識別,需要對報文當中一段特殊的代碼進行一系列的特殊處理以及判定。例如應用層網(wǎng)關識別技術,在通過特征庫的識別成信令流之后,就會需要交給與之對應的代碼字段,通過使用正則表達式等匹配算法找出信令流的負載內(nèi)容當中的交互的信息,然后將這個信息存入關聯(lián)表當中,如果后續(xù)的流量符合這個關聯(lián)表當中的內(nèi)容,

就可以判定為所對應信令流命中的協(xié)議。

第三步:若沒有命中入口條件,就需要通過與特征庫當中的規(guī)則進行模式匹配處理,如果與之匹配成功,就需要檢查此協(xié)議是否打開了懷疑功能,如果打開了懷疑功能,則就需要繼續(xù)進行檢查,否則返回識別的結(jié)果。如果沒有命征庫當中的規(guī)則,則需要繼續(xù)檢查這條流的下一個數(shù)據(jù)包,直到達到了系統(tǒng)能夠檢查的數(shù)據(jù)包個數(shù)的限度。若到最后都沒有命中任何規(guī)則,則返回的結(jié)果為unknown。

從上面整個DPI系統(tǒng)對于如VoIP類數(shù)據(jù)報文的處理工作原理可以看出,整個系統(tǒng)中最為核心的一個組成部分就是其中的流量識別模塊的設計。該部分的好壞直接影響整個DPI系統(tǒng)工作的效率。

3.2 流量識別模塊

VOIP應用軟件的流量識別是由DPI識別模塊來實現(xiàn)的。該模塊包含協(xié)議識別引擎程序和DPI特征庫兩部分。圖1是基于DPI的流量識別系統(tǒng)工作原理圖。

從上圖中可以看出,網(wǎng)絡流量經(jīng)過處理后送入DPI識別模塊,DPI模塊將識別出的流量交給后續(xù)處理,DPI識別模塊通過特征庫升級系統(tǒng)并與遠程升級服務器連接進行升級DPI特征庫,并保持定期升級特征庫。

具體的處理方式如下描述:

網(wǎng)絡上的數(shù)據(jù)包進入預處理模塊,每當一個網(wǎng)絡報文通過流量識別模塊,就會先將每一個報文放入內(nèi)存當中進行排序,每次從緩存隊列中取出報文進行分析。在流節(jié)點鏈表中查找是否有這個報文對應的流節(jié)點,若沒有的話就為該報文創(chuàng)建一個流節(jié)點,如果有的話,就需要根據(jù)這個流節(jié)點的狀態(tài)來決定該流是否需要繼續(xù)進行識別。流節(jié)點的狀態(tài)有OK,Continue和Unknown。若流節(jié)點的狀態(tài)為OK或者Unknown,就需要釋放這個報文所占用的資源,如果是Continue就把該報文放入等待處理的隊列,然后送給協(xié)議識別引擎進行下一步的識別。需要被繼續(xù)進行識別的數(shù)據(jù)報文傳給協(xié)議識別引擎,協(xié)議引擎識別完后返回識別結(jié)果,如果能夠匹配成功,則返回協(xié)議類型,釋放這個報文所占用的空間并把該報文所在的流節(jié)點的狀態(tài)改寫為OK。若所屬的數(shù)據(jù)流還需要繼續(xù)進行識別,釋放該報文所占的空間并且把該報文所屬的流節(jié)點狀態(tài)修改為Continue。如果判斷報文所屬的數(shù)據(jù)流已經(jīng)確定為無法識別,則把對應的流節(jié)點狀態(tài)寫為Unknown,并且釋放報文所占用的內(nèi)存空間。

4 系統(tǒng)測試及結(jié)果分析

為了驗證DPI系統(tǒng)對于VOIP類應用軟件的監(jiān)控和識別,該文通過設計一個基于DPI系統(tǒng)的拓撲網(wǎng)絡結(jié)構如圖3所示的實驗,實驗設備包括有模擬公司或者集體的內(nèi)部網(wǎng)絡用戶網(wǎng)絡,加載有DPI系統(tǒng)配置的設備處于內(nèi)部網(wǎng)絡與外部互聯(lián)網(wǎng)之間。經(jīng)過內(nèi)部網(wǎng)絡用戶連接該DPI識別系統(tǒng)然后獲取網(wǎng)上資源。

在通過網(wǎng)絡流量監(jiān)測網(wǎng)關上網(wǎng)的PC上分別用QQ、YY、MSN、Skype等VoIP軟件進行通話,并且同時使用wireshark軟件抓取網(wǎng)絡流量包。然后把使用這些語音通話的網(wǎng)絡流量包跑識別率。大部分常用VoIP應用軟件的識別率都在85%以上,漏報率在5%以下,誤報率很少。在某實驗室里對幾種常用的VoIP軟件進行抓包跑識別率,經(jīng)過測試統(tǒng)計,得出表2中的幾種常用的VoIP網(wǎng)絡應用軟件的檢測結(jié)果。

5 結(jié)束語

本文對運用DPI技術進行VoIP流量監(jiān)測進行了深入的研究,在此基礎上設計出一個流量監(jiān)控系統(tǒng),并對VoIP流量監(jiān)測的準確性進行了驗證。這個系統(tǒng)對VoIP流量的識別率達到85%以上,誤報率很低。測試結(jié)果表明,該實現(xiàn)對VoIP流量的識別很有效果。這個系統(tǒng)可以對檢測出正規(guī)和非法的VoIP流量,可以對非法的VoIP流量進行識別記錄和管理,這對監(jiān)管VoIP運營市場有很大的幫助,也有利于該市場的健康發(fā)展。

參考文獻:

[1] Sen. S, Wang Jia. Analyzing Peer-to-Peer Traffic across Large Networks[C].IEEE/ACM Transactions on Net2 working. NJ: IEEE Press, 2004: 219-23.

[2] Elisa Bertino, Elena Ferran and Allna Squieeiarini, Trust Negotiations: Concepts, Systems, and Language[C].P27-34, July/August, 2004, IEEE.

[3] 韓耀明.基于DPI技術的VoIP流量檢測系統(tǒng)的設計與實現(xiàn)[D].北京:北京郵電大學,2010.

[4] 米淑云.IP網(wǎng)絡流量監(jiān)控系統(tǒng)的研究與實現(xiàn)[D].北京:北京郵電大學,2009.

[5] 聶瑞華,黃偉強,吳仕毅,羅輝瓊.基于DPI技術的校園網(wǎng)絡帶寬管理[J].計算機技術與發(fā)展,2009.

[6] 匡琳.P2P網(wǎng)絡流量監(jiān)控技術探討[J].科技廣場,2008.

第9篇:網(wǎng)絡流量監(jiān)測范文

關鍵詞:SNMP;RRDTOOL;CACTI;流量監(jiān)控

1引言

隨著網(wǎng)絡技術的迅速發(fā)展和各種網(wǎng)絡業(yè)務應用的普及,用戶對網(wǎng)絡資源的需求不斷增長,網(wǎng)絡已成為人們?nèi)粘9ぷ魃钪胁豢苫蛉钡男畔⒊休d工具,同時人們對網(wǎng)絡性能的要求也越高,在眾多影響網(wǎng)絡性能的因素中網(wǎng)絡流量是最為重要的因素之一,它包含了用戶利用網(wǎng)絡進行活動的所有的信息。通過對網(wǎng)絡流量的監(jiān)測分析,可以為網(wǎng)絡的運行和維護提供重要信息,對于網(wǎng)絡性能分析、異常監(jiān)測、鏈路狀態(tài)監(jiān)測、容量規(guī)劃等發(fā)揮著重要作用。

SNMP(簡單網(wǎng)絡維護管理協(xié)議)是Internet工程任務組(IETF)在SGMP基礎上開發(fā)的,SNMP是由一系列協(xié)議組和規(guī)范組成的,SNMP的體系結(jié)構包括SNMP管理者(SNMPManager)、SNMP者(SNMPAgent)和管理信息庫(MIB)。每個支持SNMP的網(wǎng)絡設備中都包含一個,不斷地收集統(tǒng)計數(shù)據(jù),并把這些數(shù)據(jù)記錄到一個管理信息庫(MIB)中,網(wǎng)絡維護管理程序再通過SNMP通信協(xié)議查詢或修改所紀錄的信息。從被管理設備中收集數(shù)據(jù)有兩種方法:輪詢方法和基于中斷的方法。SNMP最大的特點是簡單性,容易實現(xiàn)且成本低,利用SNMP協(xié)議能夠?qū)Ρ槐O(jiān)視的各個網(wǎng)絡端口輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯誤數(shù)、輸出隊長等進行采集。

2RRDTOOL的工作原理

RRDTOOL代表“RoundRobinDatabasetool”,是TobiasOetiker設計的一個基于Perl的功能強大的數(shù)據(jù)儲存和圖形生成工具,最初設計目的是為流量統(tǒng)計分析工具MRTG提供更好的數(shù)據(jù)存儲性能和更強的圖形生成功能。所謂的“RoundRobin”其實是一種存儲數(shù)據(jù)的方式,使用固定大小的空間來存儲數(shù)據(jù),并有一個指針指向最新的數(shù)據(jù)的位置。我們可以把用于存儲數(shù)據(jù)的數(shù)據(jù)庫的空間看成一個圓,上面有很多刻度。這些刻度所在的位置就代表用于存儲數(shù)據(jù)的地方。所謂指針,可以認為是從圓心指向這些刻度的一條直線。指針會隨著數(shù)據(jù)的讀寫操作自動移動。要注意的是,這個圓沒有起點和終點,所以指針可以一直移動,而不用擔心到達終點后就無法前進的問題。在一段時間后,當所有的空間都存滿了數(shù)據(jù),就又從頭開始存放。這樣整個存儲空間的大小就是一個固定的數(shù)值。所以RRDtool就是使用類似的方式來存放數(shù)據(jù)的工具,RRDtool所使用的數(shù)據(jù)庫文件的后綴名是''''.rrd''''。

和其它數(shù)據(jù)庫工具相比,它具有如下特點:

首先RRDtool存儲數(shù)據(jù),扮演了一個后臺工具的角色。但同時RRDtool又允許創(chuàng)建圖表,這使得RRDtool看起來又像是前端工具。其他的數(shù)據(jù)庫只能存儲數(shù)據(jù),不能創(chuàng)建圖表。

RRDtool的每個rrd文件的大小是固定的,而普通的數(shù)據(jù)庫文件的大小是隨著時間而增加的。

其他數(shù)據(jù)庫只是被動的接受數(shù)據(jù),RRDtool可以對收到的數(shù)據(jù)進行計算,例如前后兩個數(shù)據(jù)的變化程度(rateofchange),并存儲該結(jié)果。

RRDtool要求定時獲取數(shù)據(jù),其他數(shù)據(jù)庫則沒有該要求。如果在一個時間間隔內(nèi)(heartbeat)沒有收到值,則會用UNKN代替,其他數(shù)據(jù)庫則不會這樣做。

3監(jiān)測系統(tǒng)的安裝與配置

(1)配置路由器和交換機:

開始配置RRDTool之前,必須對需要監(jiān)測的網(wǎng)絡及設備進行良好的規(guī)劃、設計與配置,包括配置設備互聯(lián)地址、網(wǎng)管地址及路由,保證流量監(jiān)測計算機可以與被監(jiān)測設備網(wǎng)絡層的互通;配置SNMP通信字符串和端口號,掌握需要的監(jiān)測對象號(SNMPOID),確保流量監(jiān)測計算機可以獲取正確的SNMP信息。在路由器和交換機上啟動SNMP,并設置只讀團體名。命令如下:

(config)#snmp-serverenabletraps

(config)#snmp-servercommunitytestro

(2)安裝配置RRDTool:

我們以Debian平臺來安裝配置RRDTOOL系統(tǒng),在安裝RRDTOOL前首先要安裝支持RRDTOOL運行的環(huán)境:Zlib、libart_lgpl、cgilib、Libpng、freetype軟件包。

①安裝apache、mysql、php:apt-getinstallapache2php4mysql-serverphp4-mysql;安裝成功后通過瀏覽器訪問客戶器,可以得到“Itworks!”的提示;利用mysqladmin工具給mysql添加好管理員密碼。

②安裝RRDTOOL:apt-getinstallrrdtool。

③安裝NET-SNMP:apt-getinstallsnmp。

④安裝Cacti:apt-getinstallcacti,在安裝過程中會提示你輸入mysql管理員密碼和cacti數(shù)據(jù)庫管理員密碼。

(3)系統(tǒng)配置:

安裝好系統(tǒng)后就要進行簡單的初始化和配置,步驟如下:

①訪問x.x.x.x/cacti,按照向?qū)崾具M行cacti的初始化安裝;

②利用crontab-e添加計劃任務:

*/5****/usr/bin/php/usr/share/cacti/site/poller.php>/dev/null2>&1

③利用cacti進行設備的添加;

④利用cacti進行繪圖管理。

cacti其實是一套php程序,它運用snmpget采集數(shù)據(jù),使用rrdtool繪圖。它的界面非常漂亮,能讓你根本無需明白rrdtool的參數(shù)能輕易的繪出漂亮的圖形。更難能可貴的是,它提供了強大的數(shù)據(jù)管理和用戶管理功能,一張圖是屬于一個host的,每一個host又可以掛載到一個樹狀的結(jié)構上。用戶的管理上,作為一個開源軟件,它居然做到為指定一個用戶能查看的“樹”、host、甚至每一張圖,還可以與LDAP結(jié)合進行用戶的驗證!我不由得佩服作者考慮的周到!Cacti還提供自己增加模板的功能,讓你添加自己的snmp_query和script!可以說,cacti將rrdtool的所有“缺點”都補足了!

網(wǎng)絡地圖