畢業(yè)設(shè)計(jì)（論文）-網(wǎng)絡(luò)流量監(jiān)測技術(shù)的比較研究.doc

《畢業(yè)設(shè)計(jì)（論文）-網(wǎng)絡(luò)流量監(jiān)測技術(shù)的比較研究.doc》由會(huì)員分享，可在線閱讀，更多相關(guān)《畢業(yè)設(shè)計(jì)（論文）-網(wǎng)絡(luò)流量監(jiān)測技術(shù)的比較研究.doc（42頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文）網(wǎng)絡(luò)流量監(jiān)測技術(shù)的比較研究學(xué)院（系）： 專業(yè)班級： 學(xué)生姓名： 指導(dǎo)教師： 學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包括任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫的成果作品。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名： 年 月 日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保障、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向有關(guān)學(xué)位論文管理部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)省級優(yōu)秀學(xué)士論文評選機(jī)構(gòu)將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)進(jìn)行檢索

2、，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。本學(xué)位論文屬于1、保密 囗，在 年解密后適用本授權(quán)書2、不保密囗。（請?jiān)谝陨舷鄳?yīng)方框內(nèi)打“”）作者簽名： 年 月 日導(dǎo)師簽名： 年 月 日武漢理工大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）任務(wù)書學(xué)生姓名 專業(yè)班級 指導(dǎo)教師 工作單位 設(shè)計(jì)（論文）題目：網(wǎng)絡(luò)流量監(jiān)測技術(shù)的比較研究設(shè)計(jì)（論文）主要內(nèi)容：1. 網(wǎng)絡(luò)流量監(jiān)測技術(shù)的發(fā)展概述2. 基于MRTG的網(wǎng)絡(luò)流量監(jiān)測3. 基于NTOP的網(wǎng)絡(luò)流量監(jiān)測4. 兩種方式的仿真比較。要求完成的主要任務(wù)：1. 查閱不少于15篇的相關(guān)資料，其中英文文獻(xiàn)不少于三篇，了解網(wǎng)絡(luò)流量監(jiān)測的研究現(xiàn)狀，完成開題報(bào)告2. 熟悉和掌握S

3、NMP協(xié)議的系統(tǒng)模型及MRTG監(jiān)測方法3. 熟悉和掌握NTOP的安裝和配置并與MRTG進(jìn)行深入比較4. 完成20000字符的英文文獻(xiàn)翻譯5. 完成不少于12000字的畢業(yè)設(shè)計(jì)論文，論文中設(shè)計(jì)圖紙不少于12張必讀參考資料：1 劉芳.網(wǎng)絡(luò)流量監(jiān)測與控制.北京郵電大學(xué)出版社，20092 程光.互聯(lián)網(wǎng)流測量.東南大學(xué)出版社，20083 高彥剛.實(shí)用網(wǎng)絡(luò)流量分析技術(shù).電子工業(yè)大學(xué)，20094 Gregg Schudel.路由器安全策略.人民郵電出版社，20085 王群.計(jì)算機(jī)網(wǎng)絡(luò)管理技術(shù).清華大學(xué)出版社，2008指導(dǎo)教師簽名 系主任簽名 院長簽名（章）武漢理工大學(xué)本科學(xué)生畢業(yè)設(shè)計(jì)（論文）開題報(bào)告1、論文

4、的目的及意義（含國內(nèi)外的研究現(xiàn)狀分析）論文的目的：隨著寬帶互聯(lián)網(wǎng)在中國的迅速發(fā)展，全國各大電信運(yùn)營商的網(wǎng)絡(luò)規(guī)模都在不斷擴(kuò)張，網(wǎng)絡(luò)結(jié)構(gòu)日漸復(fù)雜，網(wǎng)絡(luò)業(yè)務(wù)日趨豐富，網(wǎng)絡(luò)流量高速增長。電信運(yùn)營商需要通過可靠、有效的網(wǎng)絡(luò)業(yè)務(wù)流量監(jiān)測系統(tǒng)對其網(wǎng)絡(luò)以及網(wǎng)絡(luò)所承載的各類業(yè)務(wù)進(jìn)行及時(shí)、準(zhǔn)確的流量和流向分析，進(jìn)而挖掘網(wǎng)絡(luò)資源潛力，控制網(wǎng)絡(luò)互聯(lián)成本，并為網(wǎng)絡(luò)規(guī)劃、優(yōu)化調(diào)整和業(yè)務(wù)發(fā)展提供基礎(chǔ)依據(jù)。在分析的基礎(chǔ)上，找到一種更好的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)是本次設(shè)計(jì)的根本目的。論文的意義：通過對業(yè)務(wù)流量數(shù)據(jù)的監(jiān)測，可以獲取網(wǎng)絡(luò)性能特征參數(shù)，并由此建立準(zhǔn)確的流量模型，能夠指導(dǎo)網(wǎng)絡(luò)管理員及時(shí)排除問題，改善網(wǎng)絡(luò)運(yùn)行狀況。因而研究網(wǎng)絡(luò)流

5、量測量技術(shù)具有以下幾個(gè)方面意義：（1）網(wǎng)絡(luò)體系架構(gòu)的需要從網(wǎng)絡(luò)體系架構(gòu)來說，網(wǎng)絡(luò)流量是一切研究的基礎(chǔ)。所有對網(wǎng)絡(luò)的應(yīng)用和網(wǎng)絡(luò)本身的行為特點(diǎn)的研究都可以通過對網(wǎng)絡(luò)流量的研究來獲得。網(wǎng)絡(luò)的行為特征可以通過其承載的流量的動(dòng)態(tài)特性來反映，所以有針對性地監(jiān)測網(wǎng)絡(luò)中流量的各種參數(shù)，就能從中分析和研究網(wǎng)絡(luò)的運(yùn)行特征。通過分析和研究網(wǎng)絡(luò)上所運(yùn)載的流量特性，有可能提供一條有效的探索網(wǎng)絡(luò)內(nèi)部運(yùn)行機(jī)制的途徑。（2）網(wǎng)絡(luò)協(xié)議部署的需要根據(jù)監(jiān)測的流量分布，可以配置路由器的路由協(xié)議、負(fù)載均衡策略、實(shí)施流量工程、進(jìn)行業(yè)務(wù)與協(xié)議的科學(xué)部署。而流量工程在傳輸業(yè)務(wù)時(shí)，能夠優(yōu)化資源利用率，提高應(yīng)用性能。網(wǎng)絡(luò)傳輸?shù)牧髁颗c網(wǎng)絡(luò)路由策略

6、密切相關(guān)。流量測量還可以顯示鏈路權(quán)重的改變對流量的影響。國內(nèi)外的研究現(xiàn)狀分析國外在網(wǎng)絡(luò)流量測量方面起步較早，自從互聯(lián)網(wǎng)開始興起時(shí)就己開始，有許多科研機(jī)構(gòu)、大學(xué)、學(xué)術(shù)團(tuán)體和企業(yè)組織了網(wǎng)絡(luò)測量的研究。近些年來，許多大型研究項(xiàng)目組和研究人員在網(wǎng)絡(luò)測量領(lǐng)域己經(jīng)開發(fā)出了很多測量系統(tǒng)。美國在1992年開始著手Internet特征的研究。其中比較著名的項(xiàng)目包括UC Berkeley的科學(xué)家們對Intemet開展的兩次長達(dá)三個(gè)月的大規(guī)模測量，其改進(jìn)平臺(tái)NIMI已經(jīng)廣泛設(shè)置于許多國家，產(chǎn)生了非常深遠(yuǎn)的影響。IEPM (Intemet EndtoEnd Performance Measurement，Inteme

7、t 端到端性能測量)主要來監(jiān)視Intemet上的端到端性能；IPMA(Intemet Performance Measurementand Analysis，Intemet性能測量和分析)主要研究局域網(wǎng)和廣域網(wǎng)環(huán)境中的網(wǎng)絡(luò)性能和網(wǎng)絡(luò)協(xié)議。國內(nèi)清華大學(xué)提出了大規(guī)?；ヂ?lián)網(wǎng)絡(luò)性能監(jiān)控模型LIPM(Large scale Internet Performance Monitor model)，借鑒了ISO(The International Organization for Standardization)的層次結(jié)構(gòu)思想，將整個(gè)模型分為數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)表示四個(gè)層次，融匯了TMN(Te

8、lecommunication Management Network)在對象管理方面的方法，易于實(shí)現(xiàn)和維護(hù)。西安交通大學(xué)提出了互聯(lián)網(wǎng)應(yīng)用性能測量系NAPM(NetworkApplicationPerformanceMeasurement)，提出了應(yīng)用探針和區(qū)域探針的分布式體系結(jié)構(gòu)。2、基本內(nèi)容和技術(shù)方案基本內(nèi)容：（1）理論基礎(chǔ)闡述：結(jié)合國內(nèi)外的情況，闡述研究網(wǎng)絡(luò)測量的背景及研究現(xiàn)狀，并說明研究網(wǎng)絡(luò)流量測量技術(shù)的意義，以及其對社會(huì)的作用。（2）基于MRTG的網(wǎng)絡(luò)流量監(jiān)測：查詢資料，了解MRTG的基本工作原理和組成，學(xué)會(huì)如何用perl來編寫MRTG的相關(guān)程序，同時(shí)下載相應(yīng)的軟件，完成網(wǎng)絡(luò)流量監(jiān)測的

9、設(shè)計(jì)與仿真。（3）基于NTOP的網(wǎng)絡(luò)流量監(jiān)測：查詢資料，了解Ntop的工作原理，運(yùn)行環(huán)境和部署方式。下載相應(yīng)的軟件，完成基于NTOP的網(wǎng)絡(luò)流量監(jiān)測的設(shè)計(jì)與仿真。（4）兩種方式的仿真比較：根據(jù)仿真圖，從各個(gè)方面對這兩種方式進(jìn)行比較。技術(shù)方案：通過查閱與網(wǎng)絡(luò)流量監(jiān)測有關(guān)的資料，了解MRTG和NTOP的基本工作原理和他們的組成，尤其做好相應(yīng)的資料整理、外文翻譯等工作。能夠熟練地運(yùn)用和掌握相關(guān)的軟件，利用相關(guān)的軟件，設(shè)計(jì)出基于MRTG和NTOP的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)，并且仿真。同時(shí)，根據(jù)不同的仿真結(jié)果，對這兩種不同的監(jiān)測系統(tǒng)在各個(gè)方面進(jìn)行比較和分析。最后系統(tǒng)梳理論文的寫作思路，明確需要解決的關(guān)鍵問題以及可

10、能取得的預(yù)期研究成果，擬定論文提綱，完成開題報(bào)告；在論文框架確定之后，逐步充實(shí)文章內(nèi)容撰寫初稿，并反復(fù)修改最終定稿。3、進(jìn)度安排周次（時(shí)間） 工作內(nèi)容1 （3.1 3.7） 分組、確定選題、校內(nèi)搜集資料。23（3.83.21） 整理資料，寫出文獻(xiàn)檢索摘要，并撰寫開題報(bào)告。45（3.224.4）下載相關(guān)軟件，學(xué)習(xí)如何利用這些軟件設(shè)計(jì)與仿真。610（4.55.9） 參考資料，弄清兩種監(jiān)測方式的工作原理，并用軟件設(shè)計(jì)和仿真。1112（5.105.23） 撰寫論文，提交初稿。13（5.245.30） 論文審查及打印。14（5.316.6）學(xué)生提出答辯申請，并作答辯準(zhǔn)備；教師審閱論文，并審查答辯資格。1

11、5（6.76.13） 答辯。4、指導(dǎo)教師意見 指導(dǎo)教師簽名： 年 月 日 目 錄摘 要IAbstractII1 緒論11.1 網(wǎng)絡(luò)流量測量背景及研究現(xiàn)狀11.2 網(wǎng)絡(luò)流量測量的意義32.1 網(wǎng)絡(luò)流量分類42.2 流量采集的體系結(jié)構(gòu)52.3 流量采集技術(shù)研究62.3.1 基于Sniffer的流量采集62.3.2 基于SNMP的流量采集82.4 幾種流量采集技術(shù)的比較83 基于MRTG的網(wǎng)絡(luò)流量監(jiān)測103.1 SNMP簡介103.1.1 SNMP的構(gòu)造103.1.2 SNMP管理模型概述103.1.3 SNMP的工作原理113.1.4 MIB簡介123.2 MRTG簡介123.2.1 MRTG的工

12、作原理及組成123.2.2 MRTG的特點(diǎn)133.3 網(wǎng)絡(luò)流量監(jiān)測的設(shè)計(jì)與實(shí)現(xiàn)143.3.1 MRTG的安裝143.3.2 MRTG的配置143.4 網(wǎng)絡(luò)流量監(jiān)測圖的分析153.4.1 日流量監(jiān)測圖153.4.2 周流量監(jiān)測圖163.4.3 月流量監(jiān)測圖163.5 本章小結(jié)164 基于NTOP的網(wǎng)絡(luò)流量監(jiān)測174.1 NTOP系統(tǒng)的設(shè)計(jì)目標(biāo)和原則174.1.1 NTOP流量監(jiān)測系統(tǒng)設(shè)計(jì)主要有以下幾個(gè)目標(biāo)174.1.2 NTOP流量監(jiān)測系統(tǒng)的設(shè)計(jì)原則174.1.3 NTOP的功能184.1.4 NTOP的布局184.2 NTOP監(jiān)測網(wǎng)絡(luò)流量圖194.2.1 查看網(wǎng)絡(luò)整體流量194.2.2 查看所

13、有協(xié)議所占流量的詳細(xì)情況214.2.3 TCP/UDP協(xié)議所占流量的情況214.2.4 查看主機(jī)流量224.3 本章小結(jié)225 MRTG與NTOP的比較分析245.1 流量分析要點(diǎn)245.2 MRTG的分析245.2 NTOP的分析255.3 總結(jié)256 結(jié)束語27參考文獻(xiàn)28致 謝29武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文）摘 要最近幾年，互聯(lián)網(wǎng)有了飛速的發(fā)展，網(wǎng)絡(luò)基礎(chǔ)設(shè)備不斷完善，網(wǎng)絡(luò)的應(yīng)用也不斷增加，在日常網(wǎng)絡(luò)管理維護(hù)的工作中，如何有效的監(jiān)測網(wǎng)絡(luò) 而較小的干涉網(wǎng)絡(luò)運(yùn)行，是當(dāng)前網(wǎng)絡(luò)流量監(jiān)測的熱點(diǎn)。本文首先對SNMP網(wǎng)絡(luò)管理模型進(jìn)行了介紹，接著詳細(xì)說明流量監(jiān)測體系結(jié)構(gòu)，并利用MRTG和NTOP分別建立了

14、一個(gè)采用被動(dòng)監(jiān)測方式的的流量監(jiān)測系統(tǒng)。該系統(tǒng)可以實(shí)時(shí)的通過收集網(wǎng)絡(luò)上路由器、交換機(jī)或者需要被檢測設(shè)備上的狀態(tài)數(shù)據(jù)，并直觀的生成流量向量圖，同時(shí)對網(wǎng)絡(luò)參數(shù)的測量幾乎不會(huì)影響到網(wǎng)絡(luò)的正常運(yùn)行。關(guān)鍵詞：流量監(jiān)測；SNMP；NTOP；MRTGAbstractIn recent years,domestic Intemet with the rapid development of network infrastructure equipment continued to be refined，networking applicafions will continue to increase，in th

15、e day-to-day network management and maintenance work，how to effeefively monitor network trtlf6c and less interference in the operation 0f the network。network traffic monitoring is hotThe paper begins with a SNMP network management model，and analysis of network Performance management，followed by a de

16、tailed account of the flow monitoring structure，and the establishment of a Passive monitoring mode using the flow monitoring systemsThe system is capable of realtime network muter through the collection，switchboard，or rite state nds to be monitoring equipment and visual data flow vector generationTh

17、e measurements almost the same time the network will not affect the normal operation of the networkKeywords: flow monitoring；SNMP；NTOP；MRTG311 緒論隨著Internet重要性的日益提高和網(wǎng)絡(luò)結(jié)構(gòu)的日益復(fù)雜，越來越有必要對網(wǎng)絡(luò)的整體拓?fù)浣Y(jié)構(gòu)和網(wǎng)絡(luò)行為進(jìn)行深入的了解、分析，以利于發(fā)現(xiàn)網(wǎng)絡(luò)瓶頸，優(yōu)化網(wǎng)絡(luò)配置，并進(jìn)一步發(fā)現(xiàn)網(wǎng)絡(luò)中可能存在的潛在危險(xiǎn)。為此，需要對大規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行動(dòng)態(tài)描述，并根據(jù)網(wǎng)絡(luò)流量的變化分析網(wǎng)絡(luò)的性能，為加強(qiáng)網(wǎng)絡(luò)管理、提高網(wǎng)絡(luò)利用率、防范大規(guī)

18、模網(wǎng)絡(luò)攻擊提供技術(shù)平臺(tái)。人們在實(shí)時(shí)計(jì)算機(jī)系統(tǒng)中的資源管理方面己經(jīng)做了許多工作，這樣的系統(tǒng)通常包括通過一個(gè)或多個(gè)計(jì)算機(jī)網(wǎng)絡(luò)和許多實(shí)時(shí)應(yīng)用程序連接起來的大量的計(jì)算機(jī)。這些程序的服務(wù)質(zhì)量對于整個(gè)計(jì)算機(jī)系統(tǒng)的性能而言是至關(guān)重要的。為應(yīng)用程序維持合適的服務(wù)質(zhì)量需要資源管理中間件對計(jì)算機(jī)資源進(jìn)行管理，這些計(jì)算機(jī)資源包括計(jì)算資源和網(wǎng)絡(luò)資源。其中，計(jì)算資源是實(shí)現(xiàn)諸如計(jì)算機(jī)，CPU時(shí)間，內(nèi)存等在內(nèi)的一些計(jì)算機(jī)性能的應(yīng)用程序，這些直接關(guān)系到某個(gè)應(yīng)用的服務(wù)質(zhì)量；而網(wǎng)絡(luò)資源則提供了個(gè)體計(jì)算機(jī)和其它計(jì)算機(jī)之間彼此互聯(lián)的方式，比如網(wǎng)絡(luò)連接，接口，帶寬等等。1.1 網(wǎng)絡(luò)流量測量背景及研究現(xiàn)狀國外在網(wǎng)絡(luò)流量測量方面起步較早，

19、自從互聯(lián)網(wǎng)開始興起時(shí)就己開始，有許多科研機(jī)構(gòu)、大學(xué)、學(xué)術(shù)團(tuán)體和企業(yè)組織了網(wǎng)絡(luò)測量的研究。自從美國國家科學(xué)基金會(huì)NSF在二十世紀(jì)八十年代中期確立它的網(wǎng)絡(luò)計(jì)劃以來，高質(zhì)量的訪問因特網(wǎng)對教學(xué)、科研以及日常的生活都起著越來越重要的作用。但這些年來，因特網(wǎng)變得越來越復(fù)雜，即使是經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)工程師對數(shù)據(jù)傳輸服務(wù)的路徑、可靠性和性能等也只能有一個(gè)非常模糊的認(rèn)識(shí)。沒有準(zhǔn)確的Internet性能方面的數(shù)據(jù)，以及收集和分析這些數(shù)據(jù)的有效工具，教育、科研機(jī)構(gòu)，以及其他需要這些性能數(shù)據(jù)的用戶或組織，就很難對網(wǎng)絡(luò)的建立、管理和應(yīng)用等作出正確決策。為了解決諸如此類的問題，Internet工程任務(wù)組IETF(Intern

20、et Engineering Task Force)1專門成立了一個(gè)IPPM1(IP Performance Metrics)工作組，專門負(fù)責(zé)發(fā)展一套用于衡量Internet數(shù)據(jù)傳輸服務(wù)的質(zhì)量、性能、可靠性等方面的度量標(biāo)準(zhǔn)。同時(shí)許多組織、團(tuán)體、機(jī)構(gòu)或公司紛紛建立了它們的測量項(xiàng)目。近些年來，許多大型研究項(xiàng)目組和研究人員在網(wǎng)絡(luò)測量領(lǐng)域己經(jīng)開發(fā)出了很多測量系統(tǒng)。美國在1992年開始著手Internet特征的研究。其中比較著名的項(xiàng)目包括UC Berkeley的科學(xué)家們對Internet開展的兩次長達(dá)三個(gè)月的大規(guī)模測量，其改進(jìn)平臺(tái)NIMI已經(jīng)廣泛設(shè)置于許多國家，產(chǎn)生了非常深遠(yuǎn)的影響2。IEPM(Inte

21、rnet End-to-End Performance Measurement，Internet端到端性能測量)主要來監(jiān)視Intemet上的端到端性能；IPMA(Intemet Performance Measurement and Analysis， Internet性能測量和分析)主要研究局域網(wǎng)和廣域網(wǎng)環(huán)境中的網(wǎng)絡(luò)性能和網(wǎng)絡(luò)協(xié)議。MOAT of NLANR(Measurement&Operations Analysis Team of National Laboratory for Applied NetworkResearch)：主要研究高性能網(wǎng)絡(luò)的行為特征，并開發(fā)了一個(gè)網(wǎng)絡(luò)測量平臺(tái)。測

22、量平臺(tái)研究核心主要由兩個(gè)項(xiàng)目組成：被動(dòng)測量分析項(xiàng)目組PMA(Passive Measurement and Analysis Project)和主動(dòng)測量測量項(xiàng)目組AMP (Active Measurement project)。PMA在測量點(diǎn)被動(dòng)捕獲數(shù)據(jù)包，分析數(shù)據(jù)包頭得到負(fù)載信息；AMP項(xiàng)目的目的是為了增強(qiáng)參與站點(diǎn)和用戶對高性能網(wǎng)絡(luò)運(yùn)行情況的理解，幫助網(wǎng)絡(luò)用戶和服務(wù)提供商分析問題。AMP項(xiàng)目使用的測量工具有ping，traceroute等，測量包括：端到端的RTT，包丟失、拓?fù)湟约巴掏铝康刃阅苤笜?biāo)。Surveyor是一個(gè)能夠在Internet路徑上測量單向延遲，包丟失和路由信息的測量體系結(jié)構(gòu)

23、；其他項(xiàng)目還包括NLANR，和Skitter(CAIDA)。除美國外，其他國家也展開了對Internet的大規(guī)模測量和研究，如：加拿大的TRIUMF網(wǎng)絡(luò)監(jiān)視(主要目的是對國家Internet路徑上的丟包情況和路由特征進(jìn)行測量)和新西蘭的WAND (Waikato Applied Network Dynamic)WlTS(Waikato Intemet Traffic Storage)(主要目的是創(chuàng)建用于統(tǒng)計(jì)分析和創(chuàng)建模擬模型的Intemet流量模型)等。歐洲于1995年也展開了對Internet的測量，其中PPNCG(粒子物理網(wǎng)絡(luò)協(xié)作組)是在這方面做得較為成功的一個(gè)組織。Internet2 M

24、easurement working Group3：正在開發(fā)一個(gè)Internet2的分布測量平臺(tái)。該平臺(tái)將用來分析端到端的網(wǎng)絡(luò)性能，研究QoS性能特征等。并采用NetFlow，MRTG， SNMP等技術(shù)提供每天，每周，每月及每年的流量和性能分析報(bào)告。國內(nèi)清華大學(xué)提出了大規(guī)模互聯(lián)網(wǎng)絡(luò)性能監(jiān)控模型LIPM(Large scale Internet Performance Monitor model)，借鑒了ISO(The International Organization for Standardization)的層次結(jié)構(gòu)思想，將整個(gè)模型分為數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)表示四個(gè)層次，融匯了

25、TMN(Telecommunication Management Network)在對象管理方面的方法，易于實(shí)現(xiàn)和維護(hù)。西安交通大學(xué) 提出了互聯(lián)網(wǎng)應(yīng)用性能測量系統(tǒng)NAPM(Network Application Performance Measurement)，提出了應(yīng)用探針和區(qū)域探針的分布式體系結(jié)構(gòu)。隨著網(wǎng)絡(luò)性能測試的研究與發(fā)展，許多公司、組織或團(tuán)體等開發(fā)出大量的網(wǎng)絡(luò)性能測試方面的工具，其中應(yīng)用或電子商務(wù)方面的有CompuWare EcoScope Optimal Application Expert，Clevertools WebBoy等；帶寬吞吐量方面的有bing，Clink，Netpe

26、rf, Neaimer，Pathchar，Pchar，Treno，ttcp and nttcp等；延遲方面的有Ping，F(xiàn)ping，Traceping等；連接的利用率方面的有IPTraf,Libpcap等。1.2 網(wǎng)絡(luò)流量測量的意義通過對業(yè)務(wù)流量數(shù)據(jù)的監(jiān)測，可以獲取網(wǎng)絡(luò)性能特征參數(shù)，并由此建立準(zhǔn)確的流量模型，能夠指導(dǎo)網(wǎng)絡(luò)管理員及時(shí)排除問題，改善網(wǎng)絡(luò)運(yùn)行狀況。因而研究網(wǎng)絡(luò)流量測量技術(shù)具有以下幾個(gè)方面意義4：1)網(wǎng)絡(luò)體系架構(gòu)的需要從網(wǎng)絡(luò)體系架構(gòu)來說，網(wǎng)絡(luò)流量是一切研究的基礎(chǔ)。所有對網(wǎng)絡(luò)的應(yīng)用和網(wǎng)絡(luò)本身的行為特點(diǎn)的研究都可以通過對網(wǎng)絡(luò)流量的研究來獲得。網(wǎng)絡(luò)的行為特征可以通過其承載的流量的動(dòng)態(tài)特性來反

27、映，所以有針對性地監(jiān)測網(wǎng)絡(luò)中流量的各種參數(shù)(如packet interarrival,packet length，packet loss rate,packet delay，etc)，就能從中分析和研究網(wǎng)絡(luò)的運(yùn)行特征。通過分析和研究網(wǎng)絡(luò)上所運(yùn)載的流量特性，有可能提供一條有效的探索網(wǎng)絡(luò)內(nèi)部運(yùn)行機(jī)制的途徑。2）網(wǎng)絡(luò)協(xié)議部署的需要根據(jù)監(jiān)測的流量分布，可以配置路由器的路由協(xié)議、負(fù)載均衡策略、實(shí)施流量工程、進(jìn)行業(yè)務(wù)與協(xié)議的科學(xué)部署。而流量工程在傳輸業(yè)務(wù)時(shí)，能夠優(yōu)化資源利用率，提高應(yīng)用性能。網(wǎng)絡(luò)傳輸?shù)牧髁颗c網(wǎng)絡(luò)路由策略密切相關(guān)。流量測量還可以顯示鏈路權(quán)重的改變對流量的影響。3)網(wǎng)絡(luò)性能監(jiān)控的需要網(wǎng)絡(luò)流量反

28、映了網(wǎng)絡(luò)(物理鏈路)的運(yùn)行狀態(tài)，是判別網(wǎng)絡(luò)(物理鏈路)運(yùn)行是否正常的關(guān)鍵數(shù)據(jù)。在網(wǎng)絡(luò)中，如果網(wǎng)絡(luò)所接收的流量超過其實(shí)際運(yùn)載能力，就會(huì)引起網(wǎng)絡(luò)性能下降。吞吐量是表征網(wǎng)絡(luò)性能的重要標(biāo)志。然而在實(shí)際的網(wǎng)絡(luò)中，如果對網(wǎng)絡(luò)流量控制得不好或發(fā)生網(wǎng)絡(luò)擁塞，將會(huì)導(dǎo)致網(wǎng)絡(luò)吞吐量下降，網(wǎng)絡(luò)性能降低。通過流量測量不僅能反映網(wǎng)絡(luò)設(shè)備(如路由器、交換機(jī)等)工作是否正常，而且能反映出整個(gè)網(wǎng)絡(luò)運(yùn)行的資源瓶頸，這樣管理人員就可以根據(jù)網(wǎng)絡(luò)的運(yùn)行狀態(tài)及時(shí)采取故障補(bǔ)救措旌和進(jìn)行相關(guān)的業(yè)務(wù)部署，提高網(wǎng)絡(luò)的性能。4）網(wǎng)絡(luò)安全的需要隨著Intemet的應(yīng)用領(lǐng)域和應(yīng)用規(guī)模的快速增長，通過網(wǎng)絡(luò)傳播計(jì)算機(jī)病毒的種類越來越多，傳播速度更快，感染

29、面積更廣，全球的信息安全受到了普遍而嚴(yán)重的威脅。例如網(wǎng)絡(luò)蠕蟲病毒，其傳播速度快、傳播面積廣、破壞性強(qiáng)，大量占用路由器和交換機(jī)的帶寬，導(dǎo)致網(wǎng)絡(luò)阻塞甚至癱瘓。因而對網(wǎng)絡(luò)進(jìn)行流量監(jiān)測分析，可以建立網(wǎng)絡(luò)流量基準(zhǔn)，通過連接會(huì)話數(shù)的跟蹤，源目的地址對的分析，TCP流的分析，能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量，進(jìn)行實(shí)時(shí)告警，保障網(wǎng)絡(luò)安全。根據(jù)網(wǎng)絡(luò)流量在網(wǎng)絡(luò)運(yùn)行各個(gè)環(huán)節(jié)中的關(guān)鍵地位，對網(wǎng)絡(luò)流量進(jìn)行研究，同時(shí)采取一定的方法，科學(xué)地測量和分析流量特征成為一項(xiàng)艱巨而有意義的工作。2 網(wǎng)絡(luò)流量監(jiān)測技術(shù)要真實(shí)了解網(wǎng)絡(luò)的運(yùn)行情況，發(fā)現(xiàn)網(wǎng)絡(luò)運(yùn)行中存在的問題，必須對網(wǎng)絡(luò)中的流量狀況有一個(gè)全面了解。面對復(fù)雜多變的規(guī)模龐大的網(wǎng)絡(luò)環(huán)境，

30、這就需要一個(gè)能夠適應(yīng)不同場合和快速分析處理數(shù)據(jù)的流量監(jiān)測系統(tǒng)；而如何采集異構(gòu)環(huán)境下的網(wǎng)絡(luò)流量是系統(tǒng)實(shí)現(xiàn)的關(guān)鍵所在。下面我們重點(diǎn)討論網(wǎng)絡(luò)流量采集技術(shù)，并對不同的采集技術(shù)各自的優(yōu)缺點(diǎn)分析比較，為設(shè)計(jì)基于多模式的流量采集技術(shù)提供理論依據(jù)。2.1 網(wǎng)絡(luò)流量分類如今國外很多知名的公司或?qū)W校，已經(jīng)大規(guī)模開展了對網(wǎng)絡(luò)流量的分析研究和應(yīng)用。運(yùn)用這些技術(shù)，運(yùn)營商可以科學(xué)地估算出各種業(yè)務(wù)在網(wǎng)絡(luò)總流量中所占的比重和在各條鏈路上的分布，能夠科學(xué)地預(yù)測鏈路流量和業(yè)務(wù)流量的變化規(guī)律，從而客觀地評價(jià)各類用戶的上網(wǎng)特性。同時(shí)可預(yù)測當(dāng)上網(wǎng)用戶增多的情況下對網(wǎng)絡(luò)可能造成的影響，用以指導(dǎo)網(wǎng)絡(luò)建設(shè)，合理規(guī)劃網(wǎng)絡(luò)資源分布。以下根據(jù)網(wǎng)絡(luò)

31、流量包含的信息內(nèi)容對網(wǎng)絡(luò)流量進(jìn)行分類5，同時(shí)對當(dāng)前技術(shù)成熟的流量采集工具進(jìn)行描述。以期對本文的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)的設(shè)計(jì)有一個(gè)指導(dǎo)性作用。1網(wǎng)絡(luò)節(jié)點(diǎn)端口流量網(wǎng)絡(luò)節(jié)點(diǎn)端口流量指網(wǎng)絡(luò)節(jié)點(diǎn)設(shè)備端口流入和流出數(shù)據(jù)包的信息統(tǒng)計(jì)。它包括數(shù)據(jù)包的個(gè)數(shù)、字節(jié)數(shù)、包大小分布、丟包數(shù)等非常多的統(tǒng)計(jì)信息。在網(wǎng)絡(luò)上，網(wǎng)絡(luò)監(jiān)聽效果最好的地方是在網(wǎng)關(guān)、路由器、防火墻一類的設(shè)備處，通常由網(wǎng)絡(luò)管理員來操作。使用最方便的是在一個(gè)以太網(wǎng)中的任何一臺(tái)上網(wǎng)的主機(jī)上，它可以在不同的操作平臺(tái)上進(jìn)行監(jiān)聽。目前有許多能實(shí)現(xiàn)監(jiān)聽功能的優(yōu)秀軟件：1)Sniffit：由Lawrence Berkeley實(shí)驗(yàn)室開發(fā)，運(yùn)行于Solaris、SGI和Lin

32、ux等平臺(tái)?？梢赃x擇源、目標(biāo)地址或地址集合，還可選擇監(jiān)聽的端口、協(xié)議和網(wǎng)絡(luò)接口等。2)NetXRay：在Windows9X和WindowsNT上，NetXRay是一個(gè)功能強(qiáng)大、使用方便的協(xié)議分析和網(wǎng)絡(luò)監(jiān)控工具。它是一個(gè)優(yōu)秀的軟件，能監(jiān)控多個(gè)網(wǎng)段，并且允許多監(jiān)控實(shí)例存在，同時(shí)還能捕捉所需要對餓任何類型的報(bào)文。使用NetXRay還可以設(shè)置許多過濾條件，而且其操作界面也比較漂亮。3)Tcpdump：Tcpdump是網(wǎng)絡(luò)管理員的強(qiáng)大監(jiān)聽工具。它是從應(yīng)用程序中讀入網(wǎng)絡(luò)上有關(guān)的大量分組信息，與指定準(zhǔn)則進(jìn)行匹配來過濾這些分組信息。但是UNIX平臺(tái)上的監(jiān)聽軟件，界面都不是很友好，操作性不強(qiáng)。4)監(jiān)視節(jié)點(diǎn)端口流

33、量的典型工具是Multi Router Traffic Grapher(MRTG)它，是一款監(jiān)測網(wǎng)絡(luò)連接上網(wǎng)絡(luò)流量加載情況的軟件，它通過生成包含PNG圖形的HTML頁面來呈現(xiàn)出實(shí)時(shí)的網(wǎng)絡(luò)流量狀況。MRTG可以工作在大多數(shù)的UNIX和windowsNT平臺(tái)上，它是用Perl語言編寫的源代碼。MRTG利用一個(gè)完全用Perl語言編寫的極便攜的SNMP實(shí)現(xiàn)機(jī)制來進(jìn)行工作，且不用安裝任何額外的SNMP數(shù)據(jù)包，而且他還能夠讀取最新的SNMPv2 64位計(jì)數(shù)器。另外，MRTG也能以周期(最近7天、最近5周、最近12個(gè)月)為單位來建立一種直觀的流量表達(dá)方式，這是因?yàn)镸RTG可以保留來則路由器的所有數(shù)據(jù)情況的日

34、志，這個(gè)日志能夠自動(dòng)整理以便其不會(huì)因時(shí)間的推移而日益臃腫，但它仍可以保存最近兩年的所有流量數(shù)據(jù)的相關(guān)情況。因此，我們能夠監(jiān)測200個(gè)甚至更多網(wǎng)絡(luò)鏈路的使用情況。另外其他廠商的網(wǎng)管工具也提供監(jiān)視網(wǎng)絡(luò)節(jié)點(diǎn)端口流量的功能。如HP公司的orIenView平臺(tái)，Agilent平臺(tái)的Firehunter等?？梢钥紤]用這些工具的強(qiáng)大分析功能與MRTG結(jié)合起來使用。2端到端的IP流量端到端的IP流量指的是在網(wǎng)絡(luò)層從一個(gè)源地址到一個(gè)目的地址的IP包統(tǒng)計(jì)信息；通過對其分析，可以了解到網(wǎng)絡(luò)中的用戶都訪問了哪些目的網(wǎng)絡(luò)，是網(wǎng)絡(luò)分析、規(guī)劃、設(shè)計(jì)和優(yōu)化的重要依據(jù)。采集端到端口流量的典型工具包括Sniffe、Netflow

35、和流量探針等，根據(jù)其不同特點(diǎn)，它們分別適用于不同范圍的流量采集。3業(yè)務(wù)層流量業(yè)務(wù)層流量除了包含端到端口流量的信息之外，還包含了第四層(TCP層)的端口信息。顯而易見，它包含了應(yīng)用服務(wù)的種類信息，利用這些信息可以做更詳細(xì)的分析。Sniffer，Netflow和流量探針等工具也實(shí)現(xiàn)了這個(gè)層次的流量信息采集。4完整的用戶業(yè)務(wù)數(shù)據(jù)流量完整的用戶業(yè)務(wù)流量對于安全、性能等方面的分析非常有效251。例如，捕獲黑客的來訪數(shù)據(jù)包可以制止某些犯罪行為或得到重要證據(jù)：由于捕獲完整的用戶業(yè)務(wù)數(shù)據(jù)需要超強(qiáng)的硬盤存儲(chǔ)速度和容量，而利用Sniffer和流量探針等實(shí)現(xiàn)短時(shí)間內(nèi)數(shù)據(jù)包的捕獲和跟蹤。Niksun(獵信)都只能公司

36、在這個(gè)方面卻有自己獨(dú)到之處，其NetDetector產(chǎn)品能提供長時(shí)間的完整的用戶業(yè)務(wù)流量采集。通過上述對網(wǎng)絡(luò)流量分類的了解，可以在本文擬設(shè)計(jì)的網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)中充分全面地考慮系統(tǒng)可擴(kuò)展性，使得設(shè)計(jì)的系統(tǒng)能夠適應(yīng)不同的網(wǎng)絡(luò)環(huán)境，采集到不同類別的數(shù)據(jù)流量，使得系統(tǒng)的可用性大大增強(qiáng)。2.2 流量采集的體系結(jié)構(gòu)流量采集系統(tǒng)一般分為三個(gè)模塊6：監(jiān)聽模塊、讀取模塊、控制模塊。流量監(jiān)聽模塊是流量測量體系的核心部分，它通常是要設(shè)置在測量點(diǎn)上根據(jù)系統(tǒng)相關(guān)配置來記錄網(wǎng)絡(luò)上的活動(dòng)。在數(shù)據(jù)存儲(chǔ)之前，它可以對監(jiān)聽到的數(shù)據(jù)進(jìn)行聚類，變形等進(jìn)一步處理。監(jiān)聽模塊需要計(jì)量流量數(shù)據(jù)的屬性如字節(jié)數(shù)、包數(shù)，并且根據(jù)其他屬性例如源地址

37、，目的地址確定的計(jì)量實(shí)體進(jìn)行分類。計(jì)量實(shí)體可以是主機(jī)、子網(wǎng)，甚至是一組子網(wǎng)，它的粒度由監(jiān)聽模塊的配置決定。流量的數(shù)據(jù)信息存儲(chǔ)在監(jiān)聽模塊的流量表中，流量表是一個(gè)流量數(shù)據(jù)記錄的數(shù)組。讀取模塊可以根據(jù)網(wǎng)絡(luò)的實(shí)際狀況，采取任何合適的方式采集數(shù)據(jù)，例如可以通過下載整張流量表等。讀取模塊允許讀取流量屬性值的一個(gè)子集，而不需要讀出所有的流量數(shù)據(jù)記錄。讀取模塊可以從多個(gè)監(jiān)聽模塊中采集數(shù)據(jù)，而且這些采集之間不需要同步。讀取模塊將數(shù)據(jù)傳送給分析模塊?？刂颇K負(fù)責(zé)配置監(jiān)聽模塊和控制讀取模塊的流量采集，包括：(1)流的確定，如哪些流量被記錄，它們?nèi)绾尉垲愐约安杉男?shù)據(jù)；(2)監(jiān)聽模塊的控制參數(shù)，如流量表的大小(3)

38、抽樣率，通常每個(gè)包都被監(jiān)測，但是在一些情況下必須抽樣監(jiān)測。讀取模塊在從每個(gè)監(jiān)聽模塊讀取采集數(shù)據(jù)前，需要確定以下幾點(diǎn)：(1)監(jiān)聽模塊的唯一的ID(2)采集的間隔(3)需要采集哪些流量記錄(4)需要采集流量記錄的屬性值(所有屬性，或者僅僅是一部分)強(qiáng)調(diào)一點(diǎn)：一旦流量數(shù)據(jù)被監(jiān)聽模塊采集后，就可以用于分析模塊。但是，分析模塊的細(xì)節(jié)不屬于流量測量體系。2.3 流量采集技術(shù)研究傳統(tǒng)的方法是使用SNMP(Simple Network Management Protocol，簡單網(wǎng)絡(luò)管理協(xié)議)進(jìn)行流量采集，從開啟了SNMP服務(wù)的網(wǎng)絡(luò)設(shè)備的流量計(jì)數(shù)器(traffic counters讀取流量信息。較為普遍的用于

39、入侵檢測和協(xié)議分析的包嗅探法(packet sniffer)也被廣泛使用。而NetFlow技術(shù)正迅速發(fā)展起來，NetFlow版本9己經(jīng)作為IETF的標(biāo)準(zhǔn)之一向外發(fā)布。越來越多的廠商都使自己的設(shè)備支持NetFlow。而sFlow技術(shù)(RFC3176)是一種”統(tǒng)計(jì)采樣技術(shù)”，可提供完整的第2層到第7層、全網(wǎng)絡(luò)范圍內(nèi)的流量信息。SNMP為基于TCPIP的網(wǎng)絡(luò)環(huán)境提供了一種基本的網(wǎng)絡(luò)管理工具。協(xié)議的細(xì)節(jié)性描述可見RFC 1157。盡管SNMP被廣泛應(yīng)用于網(wǎng)絡(luò)監(jiān)測，但是他仍舊滯后于快速進(jìn)化的計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展速度。2.3.1 基于Sniffer的流量采集在Ntop系統(tǒng)實(shí)現(xiàn)的平臺(tái)Linux一9.03上，Li

40、bpcap是通過Packet Socket實(shí)現(xiàn)的。Packet Socket是被設(shè)計(jì)為用來在設(shè)備驅(qū)動(dòng)層(OSILayer2)即數(shù)據(jù)鏈路層收發(fā)原始數(shù)據(jù)包，它能讓用戶在物理層上在用戶空間實(shí)現(xiàn)協(xié)議模塊。在Linux內(nèi)核網(wǎng)絡(luò)包處理流程中，Packet Socket的實(shí)現(xiàn)是處于網(wǎng)卡驅(qū)動(dòng)程序和TCPIP協(xié)議棧處理代碼之間7。Packet Socket是通過如下的形式調(diào)用socket函數(shù)來獲得的：Socket(PF PACKET，SOCK RAW，htons(ETH-PALL)第一個(gè)參數(shù)表示建立的是Packet協(xié)議簇，這個(gè)協(xié)議簇使應(yīng)用程序能夠從網(wǎng)卡接收和通過網(wǎng)卡發(fā)送數(shù)據(jù)，這樣就繞過了傳統(tǒng)的TC協(xié)議棧的處理。

41、第二個(gè)參數(shù)指出了選擇的協(xié)議簇中使用的socket的類型。對于Packet協(xié)議簇，有兩種類型可以使用：SOCK DGRAM和SOCK RAW。SOCK DGRAM是將處理鏈路層包頭的任務(wù)留給了內(nèi)核，而SOCK RAW可以讓應(yīng)用程序直接處理鏈路層包頭。最后一個(gè)參數(shù)表示接受所有協(xié)議的包。Libpcap的過濾功能是對Packet Socket設(shè)置過濾選項(xiàng)來獲得的。Packet Socket的包過濾功能在Linux內(nèi)核中的實(shí)現(xiàn)被稱為LPF(Linux Packct Filter)。它在整個(gè)Linux網(wǎng)絡(luò)包處理流程中所處的位置如下圖1所示：用戶應(yīng)用程序TCP/IP作用層Socket 接口IP作用層協(xié)議簇操

42、作網(wǎng)卡驅(qū)動(dòng)LPF圖1 Libpcap 網(wǎng)絡(luò)包處理流程可以看到LPF所處的位置是協(xié)議簇處理階段，在這里的原因是希望包過濾能盡可能早進(jìn)行，因?yàn)樵皆鐚⒉恍枰陌鼇G棄，無謂的開銷也就越少，系統(tǒng)的整體效率也就越高。為了使過濾的實(shí)現(xiàn)盡可能的高效靈活，LPF采用的是BPF過濾模型。2.3.2 基于SNMP的流量采集簡單網(wǎng)絡(luò)管理協(xié)議SNMP(Simple Network Management Protoc01)，是由互聯(lián)網(wǎng)工程任務(wù)組定義的一套網(wǎng)絡(luò)管理協(xié)議，它提供了一種遠(yuǎn)程管理所有支持SNMP協(xié)議的網(wǎng)絡(luò)設(shè)備、監(jiān)視網(wǎng)絡(luò)狀態(tài)、從網(wǎng)絡(luò)設(shè)備中收集網(wǎng)絡(luò)管理信息的方法SNMP己成為網(wǎng)絡(luò)管理信息交換事實(shí)上的工業(yè)標(biāo)準(zhǔn)，幾乎所有

43、廠商的產(chǎn)品都兼容SNMP標(biāo)準(zhǔn)例如HPOpenView，SLJN NetManager，CISCO Works 2000以及IBMNetView等。在管理信息庫方面，現(xiàn)在己經(jīng)定義了幾種通用的標(biāo)準(zhǔn)管理信息庫，這些數(shù)據(jù)庫中包括了必須在網(wǎng)絡(luò)設(shè)備中支持的特殊對象，所以這幾種MIB可以支持SNMP。使用最廣泛、最通用的MIB是MIB-II。雖然通過SNMP協(xié)議從路由器的MIB信息庫中獲取口流量數(shù)據(jù)技術(shù)相當(dāng)成熟并且易于實(shí)現(xiàn)，但它存在以下幾點(diǎn)不足：1)流量數(shù)據(jù)可靠性差，由于路由器是基于口地址進(jìn)行流量統(tǒng)計(jì)，但主機(jī)的IP地址很容易被篡改、盜用，這就使得流量數(shù)據(jù)的可靠性得不到保證。2)基于SNMP協(xié)議安全性差，使得

44、非法用戶可以得到在網(wǎng)絡(luò)中傳遞的網(wǎng)管信息，對網(wǎng)絡(luò)設(shè)備進(jìn)行非法操作。3)從路由器采集流量數(shù)據(jù)，會(huì)占用路由器的處理時(shí)間，流量數(shù)據(jù)必須定時(shí)采集，否則會(huì)造成數(shù)據(jù)丟失，而頻繁地傳送流量數(shù)據(jù)又會(huì)造成網(wǎng)絡(luò)的擁塞。2.3.3基于sflow的流量采集sFlow技術(shù)獨(dú)特之處在于它能夠在整個(gè)網(wǎng)絡(luò)中，以連續(xù)實(shí)時(shí)的方式監(jiān)視每一個(gè)端口，但不需要鏡像監(jiān)視端口，對整個(gè)網(wǎng)絡(luò)性能的影響非常小。sFlow的完整實(shí)現(xiàn)一般由兩部分構(gòu)成：sFlow Agent和sFlow Receiver,sFlow Agent一般嵌入網(wǎng)絡(luò)設(shè)備數(shù)據(jù)報(bào)文，(交換機(jī)或路由器)ASIC芯片中，通過一種采樣機(jī)制采集網(wǎng)絡(luò)中的經(jīng)過特定的編碼后發(fā)給sFlow Rece

45、iver；sFlow Receiver收到Agent發(fā)來的數(shù)據(jù)后，經(jīng)過處理即可對網(wǎng)絡(luò)流量和數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)。2.4 幾種流量采集技術(shù)的比較Sniffer：嗅探法是一種常用的網(wǎng)絡(luò)技術(shù)8，通過HCTB或者在交換機(jī)的鏡像端口設(shè)置數(shù)據(jù)采集點(diǎn)，來捕獲數(shù)據(jù)報(bào)文的，這種方式采集的信息最全面，可以完全復(fù)制網(wǎng)絡(luò)中的數(shù)據(jù)報(bào)文。但是Sniffer技術(shù)的應(yīng)用也受到了一定的限制，大多數(shù)廠商的設(shè)備不支持跨VLAN或者跨模塊鏡像數(shù)據(jù)，因此可能需要在多個(gè)網(wǎng)段安裝裝探針，在部署上比較復(fù)雜，大型的網(wǎng)絡(luò)VLAN數(shù)量很多，一般都不可能實(shí)現(xiàn)全部VLAN的監(jiān)控。流量很大的網(wǎng)絡(luò)中采用端口鏡像對網(wǎng)絡(luò)設(shè)備的性能也會(huì)造成一定的影響，而且對所有數(shù)

46、據(jù)報(bào)文都進(jìn)行采集在吞吐量很大的網(wǎng)絡(luò)中也是難以實(shí)現(xiàn)的。SNMP：是一種主動(dòng)的采集方式，采集程序需要定時(shí)取出路由器內(nèi)存中的IP Accounting記錄，同時(shí)清空相應(yīng)的內(nèi)存記錄，才能繼續(xù)采集后續(xù)的數(shù)據(jù)，這對路由器的性能造成較大的影響，取得的數(shù)據(jù)只包含口層的數(shù)據(jù)，沒有MAC地址信息，對于偽造源口地址的蠕蟲病毒無能為力。sFlow：采用采樣的方式，通過設(shè)置一定的采樣率，進(jìn)行數(shù)據(jù)捕獲，對網(wǎng)絡(luò)設(shè)備的性能影響很小。sFlow agent一般采集數(shù)據(jù)報(bào)文前128個(gè)字節(jié)，通過封裝后發(fā)往sFlow receiver，數(shù)據(jù)報(bào)文中包括了完整的源和目標(biāo)的MAC地址、IP地址、協(xié)議類型、TCPUDP、端口號、應(yīng)用層協(xié)議，

47、甚至URL信息。3 基于MRTG的網(wǎng)絡(luò)流量監(jiān)測3.1 SNMP簡介3.1.1 SNMP的構(gòu)造一個(gè)網(wǎng)絡(luò)管理系統(tǒng)一般要包含以下幾個(gè)元素9：若干個(gè)(可能很多個(gè))需要被管理的網(wǎng)絡(luò)設(shè)備節(jié)點(diǎn)，如路由器、服務(wù)器等設(shè)備，每個(gè)節(jié)點(diǎn)上都運(yùn)行著一個(gè)稱為設(shè)備代理(agent)的應(yīng)用進(jìn)程，其實(shí)現(xiàn)對被管理設(shè)備的各種被管理對象的信息如流量等的搜集和對這些被管對象的訪問的支持；至少一個(gè)管理工作站，該管理站運(yùn)行著管理平臺(tái)應(yīng)用系統(tǒng)，實(shí)現(xiàn)為管理員提供對被管設(shè)備的可視化的圖形界面，從而使管理員可以方便的進(jìn)行管理；一個(gè)管理協(xié)議，用來定義設(shè)備代理和管理工作站之間管理信息傳送的規(guī)程。其中管理協(xié)議的操作是在管理框架下進(jìn)行的，管理框架定義了和

48、安全相關(guān)的認(rèn)證,授權(quán),訪問控制和加密策略等各種安全防護(hù)框架。SNMP一共發(fā)展有3個(gè)主版本，分別為SNMPv1 ，SNMPv2和SNMPv3。其中SNMPv2又分為若干個(gè)子版本，其中SNMPv2c應(yīng)用最為廣泛： SNMPv1: 是第一個(gè)正式協(xié)議版本，在RFC1155-RFC1158中定義，該版本采用了基于共同體名的安全機(jī)制； SNMPv2c: 這個(gè)版本被稱為基于共同體名的SNMPv2，使用基于共同體名的安全機(jī)制和SNMPv2p做出的協(xié)議操作方面的擴(kuò)充，由RFC1901-RFC1906定義； SNMPv3: 該協(xié)議版本采用基于用戶的安全機(jī)制，其安全機(jī)制是在SNMPv2u和SNMPv2*基礎(chǔ)上進(jìn)行大

49、量的評議以后進(jìn)行了更新，并且對協(xié)議機(jī)的邏輯功能模塊的進(jìn)行了劃分而保證了良好的可擴(kuò)充性，由RFC2271-RFC2275所定義。使用SNMP協(xié)議的網(wǎng)絡(luò)管理系統(tǒng)管理結(jié)構(gòu)工作一般包括：管理進(jìn)程通過定時(shí)向各個(gè)設(shè)備的設(shè)備代理進(jìn)程發(fā)送查詢請求消息(以輪詢方式)，來跟蹤各個(gè)設(shè)備的狀態(tài)；而當(dāng)設(shè)備出現(xiàn)異常事件如設(shè)備冷啟動(dòng)等時(shí)，設(shè)備代理進(jìn)程主動(dòng)向管理進(jìn)程發(fā)送陷阱消息，匯報(bào)出現(xiàn)的異常事件。這些輪詢消息和陷阱消息的發(fā)送和接受規(guī)程及其格式定義都是由SNMP協(xié)議定義的；而被管理設(shè)備將其各種管理對象的信息都存放在一個(gè)稱為管理信息庫（Management Information Base）庫結(jié)構(gòu)中。3.1.2 SNMP管理模

50、型概述SNMP管理模型具備典型的客戶服務(wù)器9（ClientServer）體系結(jié)構(gòu)，有以下幾部分組成：網(wǎng)絡(luò)管理站、被管設(shè)備、管理信息庫（MIB）、管理協(xié)議。使用SNMP協(xié)議的網(wǎng)絡(luò)管理結(jié)構(gòu)工作10一般包括：管理進(jìn)程通過定時(shí)向各個(gè)設(shè)備的設(shè)備代理進(jìn)程發(fā)送查詢請求消息（以輪詢方式），來跟蹤各個(gè)設(shè)備的狀態(tài)；而當(dāng)設(shè)備出現(xiàn)異常事件如設(shè)備冷啟動(dòng)等時(shí)，設(shè)備代理進(jìn)程主動(dòng)向管理進(jìn)程發(fā)送陷阱消息，匯報(bào)出現(xiàn)的異常事件。這些輪詢消息和陷阱消息的發(fā)送和接受規(guī)程及其格式定義都是由SNMP協(xié)議定義的；而被管理設(shè)備將其各種管理對象的信息都存放在一個(gè)稱為管理信息庫(Management Information Base)庫結(jié)構(gòu)中。其

51、中SNMP協(xié)議是運(yùn)行在UDP協(xié)議之上，它利用的是UDP協(xié)議的161162端口。其中161端口被設(shè)備代理監(jiān)聽，等待接受管理者進(jìn)程發(fā)送的管理信息查詢請求消息；162端口由管理者進(jìn)程監(jiān)聽等待設(shè)備代理進(jìn)程發(fā)送的異常事件報(bào)告陷阱消息，如Trap，如圖2所示為基于SNMP協(xié)議的流量監(jiān)測系統(tǒng)體系結(jié)構(gòu)關(guān)系圖。圖2 流量監(jiān)測系統(tǒng)體系結(jié)構(gòu)3.1.3 SNMP的工作原理SNMP定義了五種Manager與Agent之間的通訊形式。分別為：Get-request、Get-next-request、Set-request、Get-response、Trap。前三項(xiàng)都是屬于Manager向Agent發(fā)出的訊息，后兩項(xiàng)則屬于

52、Agent向Manager發(fā)出的訊息。圖3 SNMP中Manager與Agent的通訊形式每個(gè)Agent都是一個(gè)執(zhí)行程序，負(fù)責(zé)將該網(wǎng)絡(luò)節(jié)點(diǎn)的設(shè)定數(shù)據(jù)以及運(yùn)作現(xiàn)狀以數(shù)據(jù)結(jié)構(gòu)的方式儲(chǔ)存，客戶端程序如何表示需要擷取何種信息，以及服務(wù)器如何得知應(yīng)讀取內(nèi)存中的那個(gè)變量以符合要求？答案是SNMP根據(jù)一個(gè)稱為“管理信息基礎(chǔ)”（Management Information Base, MIB）的伴隨規(guī)格（companion specification）。當(dāng)Agent收到網(wǎng)管主機(jī)所發(fā)出的SNMP get-request、get-next-request、set-request時(shí)，便以相對應(yīng)的MIB數(shù)據(jù)透過SNM

53、P get-response方式響應(yīng)。MIB定義了可以從網(wǎng)絡(luò)節(jié)點(diǎn)取得的特定信息，MIB變量。下一節(jié)將描述一部份MIB變數(shù)。此外，有一種特殊的SNMP命令，稱為trap，可允許Agent在特殊的情況下（如error, shutdown）主動(dòng)發(fā)訊息給網(wǎng)管主機(jī)。3.1.4 MIB簡介MIB是Management Information Base的縮寫，中文名字叫“管理信息庫”，它是網(wǎng)絡(luò)管理數(shù)據(jù)的標(biāo)準(zhǔn)，在這個(gè)標(biāo)準(zhǔn)里規(guī)定了網(wǎng)絡(luò)代理設(shè)備必須保存的數(shù)據(jù)項(xiàng)目，數(shù)據(jù)類型，以及允許在每個(gè)數(shù)據(jù)項(xiàng)目中的操作。通過對這些數(shù)據(jù)項(xiàng)目的存取訪問，就可以得到該網(wǎng)關(guān)的所有統(tǒng)計(jì)內(nèi)容。再通過對多個(gè)網(wǎng)關(guān)統(tǒng)計(jì)內(nèi)容的綜合分析即可實(shí)現(xiàn)基本的

54、網(wǎng)絡(luò)管理。管理信息庫MIB指明了網(wǎng)絡(luò)元素所維持的變量（即能夠被管理進(jìn)程查詢和設(shè)置的信息）。MIB給出了一個(gè)網(wǎng)絡(luò)中所有可能的被管理對象的集合的數(shù)據(jù)結(jié)構(gòu)。SNMP的管理信息庫采用和域名系統(tǒng)DNS相似的樹型結(jié)構(gòu)，它的根在最上面，根沒有名字。對象命名樹的頂級對象有三個(gè)，即ISO、ITU-T和這兩個(gè)組織的聯(lián)合體。在ISO的下面有4個(gè)結(jié)點(diǎn)，其中的一個(gè)（標(biāo)號3）是被標(biāo)識(shí)的組織。在其下面有一個(gè)美國國防部（Department of Defense）的子樹（標(biāo)號是6），再下面就是Internet（標(biāo)號是1）。在只討論Internet中的對象時(shí)，可只畫出Internet以下的子樹（圖中帶陰影的虛線方框），并在In

55、ternet結(jié)點(diǎn)旁邊標(biāo)注上1.3.6.1即可。 在Internet結(jié)點(diǎn)下面的第二個(gè)結(jié)點(diǎn)是mgmt（管理），標(biāo)號是2。再下面是管理信息庫，原先的結(jié)點(diǎn)名是mib。1991年定義了新的版本MIB-II，故結(jié)點(diǎn)名現(xiàn)改為mib-2，其標(biāo)識(shí)為1.3.6.1.2.1，或Internet(1) .2.1。這種標(biāo)識(shí)為對象標(biāo)識(shí)符。 3.2 MRTG簡介3.2.1 MRTG的工作原理及組成MRTG11（多路由器流量圖示器）是一個(gè)基于SNMP協(xié)議的監(jiān)控網(wǎng)絡(luò)流量和主機(jī)資源的開放源代碼的管理工具。它通過SNMP請求得道被監(jiān)控對象的流量信息，將這些流量信息以PNG格式的圖形表示，并將包含這些圖形的HTML文檔通過Web方式

56、顯示給用戶，非常直觀地顯示流量負(fù)載。MRTG是用Perl和C編寫的，可以工作在Unix和Windows NT環(huán)境下。MRTG的Perl腳本用以使用SNMP來讀取路由器的流量信息，性能高的C程序則用來記錄負(fù)載數(shù)據(jù)，創(chuàng)建代表被監(jiān)控網(wǎng)絡(luò)連接的圖形，這些圖嵌入在Web頁面中。除了獲得每天的詳細(xì)信息之外，MRTG還可以創(chuàng)建前7天、前4個(gè)星期甚至前12個(gè)月沒網(wǎng)絡(luò)流量的直觀表示。MRTG主要由四個(gè)模塊組成：基礎(chǔ)模塊：包括定義SMI要求的數(shù)據(jù)結(jié)構(gòu)，并提供相應(yīng)的方法通過SNMP操作獲取被管理對象信息的SNMP模塊和MRTG支持模塊。日志文件：MRTG是使用的日志文件已ASCII文本形式來記錄測得的流量數(shù)據(jù)，日志

57、文件由Rate Up模塊進(jìn)行更新。日志更新和繪圖工具：在該模塊中，MRTG使用C語言程序來完成日志文件的更新和統(tǒng)計(jì)圖形的生成，與原來用Perl實(shí)現(xiàn)相比，大大提高了效率。配置和網(wǎng)頁組織工具：MRTG提供了相關(guān)的配置文件生成工具cfgmaker和網(wǎng)頁組織工具indexmaker，通過運(yùn)行cfgmaker，利用SNMP協(xié)議讀取被管設(shè)備中的對象信息，自動(dòng)生成該設(shè)備的框架配置文件。Index-maker通過讀取配置文件中的Target描述獲得對象信息，并用這些信息組織成該對象的HTML頁。3.2.2 MRTG的特點(diǎn)MRTG是一個(gè)功能強(qiáng)大的基于Perl的圖形化界面的流量統(tǒng)計(jì)分析工具，MRTG的特色12包括

58、：（1） 可移植性：目前可以運(yùn)行在大多數(shù)Linux系統(tǒng)Unix系統(tǒng)和Windows NT上；（2） 源碼開放：MRTG用Perl編寫，源代碼完全開放；（3） 高可移植性的SNMP支持：實(shí)現(xiàn)了不依賴于操作系統(tǒng)的SNMP模塊支持；（4） 支持SNMPv2：MRTG可以讀取SNMPv2的64位的計(jì)數(shù)器，大大減少了計(jì)數(shù)器回轉(zhuǎn)次數(shù)；（5） 常量大小的日志文件：MRTG的日志不會(huì)變大，因?yàn)檫@里使用了獨(dú)特的數(shù)據(jù)合并算法；（6） 自動(dòng)配置功能：MRTG自身有配置工具套件，使得配置過程非常簡單；（7） 性能：時(shí)間敏感的部分使用C代碼編寫，因此具有很好的性能；（8） PNG格式圖形：直接產(chǎn)生PNG格式的圖形。3.

59、3 網(wǎng)絡(luò)流量監(jiān)測的設(shè)計(jì)與實(shí)現(xiàn)MRTG網(wǎng)絡(luò)流量監(jiān)視系統(tǒng)由SNMP協(xié)議、Active Perl、MRTG流量采集和Web服務(wù)器四部分構(gòu)成，由于MRTG系統(tǒng)的運(yùn)行需要系統(tǒng)組件“管理和監(jiān)視工具”，所以在安裝MRTG系統(tǒng)前，請確認(rèn)操作系統(tǒng)組件“管理和監(jiān)視工具”已經(jīng)安裝。3.3.1 MRTG的安裝MRTG是用Perl編寫的，它的運(yùn)行需要Perl的支持，所以在安裝MRTG之前必須下載安裝Perl語言。在安裝MRTG時(shí)，我選擇了MRTG-2.16.3。3.3.2 MRTG的配置MRTG的配置13是實(shí)現(xiàn)對網(wǎng)絡(luò)流量監(jiān)測的關(guān)鍵，而MRTG的配置信息都保存在mrtg.cfg文件中，對MRTG的配置實(shí)際上就是生成和配置

60、mrtg.cfg文件。進(jìn)入CMD環(huán)境，依次執(zhí)行以下命令：cdc:mrtgbinperl cfgmaker global “WorkDir: c:inetpubwwwrootmrtg” ifref=nr ifdesc=nr noreversedns public192.168.1.100mrtg.cfg其中192.168.1.100是所檢測網(wǎng)絡(luò)的IP地址；public是SNMP Community串，然后“WorkDir：c:inetpubwwwroot”就是輸出html文件存放的路徑，mrtg.cfg就是為這個(gè)配置命名的文件。在生成mrtg.cfg文件后，我們要設(shè)置它的監(jiān)控周期，每五分鐘更新一

61、次，執(zhí)行以下命令：echorunasDaemon:yesmrtg.cfgechoInterval:5mrtg.cfg使用indexmaker生成監(jiān)控瀏覽文件，運(yùn)行：perlindexmakermrtg.cfgc:Inetpubwwwrootindex.htm運(yùn)行mrtg。perlmrtg-logging=mrtg.logmrtg.cfg運(yùn)行后，應(yīng)該會(huì)顯示DaemonizingMRTG.DoNotclosethiswindow.OrMRTGwilldie這樣MRTG就開始監(jiān)控流量，可是如果你關(guān)閉了這個(gè)窗口那么監(jiān)控就就隨之停止。打開index.htm就可以看到網(wǎng)絡(luò)流量監(jiān)測圖。3.4 網(wǎng)絡(luò)流量監(jiān)測圖

62、的分析通過上面的配置及運(yùn)行流量采集程序會(huì)生成大量的流量圖，并且系統(tǒng)會(huì)沒五分鐘更新一次流量信息。3.4.1 日流量監(jiān)測圖圖4 每日圖表圖中綠色表示每秒流入量（單位 Bits），藍(lán)色表示每秒流出量（單位 Bits）。如上圖所示，分析一天的流量監(jiān)測圖，可得到如下信息：最大流入值：198.6KB/s(1.6%);最大流出值：21.5KB/s（0.2%）；平均流入量：10.3KB/s(0.1%)；平均流出量：7682.0B/s(0.1%)；目前流入量：3785.0B/s（0.0%）；目前流出量：10.8KB/s(0.1%)。從圖中可以看出，上午十點(diǎn)以后流量開始增加，十一點(diǎn)達(dá)到最大，之后開始下降，下午18

63、點(diǎn)以后開始增加，并很快穩(wěn)定，到凌晨2點(diǎn)回落，正好反映了一天的實(shí)際上網(wǎng)情況。通過這些分析，具體的網(wǎng)絡(luò)流量數(shù)據(jù)反映了網(wǎng)絡(luò)的使用情況，對于網(wǎng)絡(luò)管理人員掌握網(wǎng)絡(luò)的流量、判斷網(wǎng)絡(luò)故障具有一定的意義。3.4.2 周流量監(jiān)測圖圖5 每周圖表圖5是總出口周的流量監(jiān)測圖，可以看到該端口一個(gè)星期流量的最大值、最小值、平均值，基本上可以得到該端口正常的流量范圍。3.4.3 月流量監(jiān)測圖圖6 每月圖表3.5 本章小結(jié)通過上面的分析，可以從日、周、月的流量圖中，得到網(wǎng)絡(luò)流量的一般規(guī)律，這對于網(wǎng)絡(luò)管理是十分必要的。管理員可以通過這種PNG格式的流量圖來判斷網(wǎng)絡(luò)的運(yùn)行情況，當(dāng)流量異常時(shí)能及時(shí)發(fā)現(xiàn)，并采取相應(yīng)的措施，避免了由于流量異常而影響到網(wǎng)絡(luò)的正常運(yùn)行。4 基于NTOP的網(wǎng)絡(luò)流量監(jiān)測NTOP是一款用C語言編寫的開源應(yīng)用程序，它是持有GNU的公共許可的免費(fèi)程序，并且被許多全世界從事網(wǎng)絡(luò)監(jiān)測工作的公司和個(gè)人