[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】

《[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《[03]爬蟲(chóng)項(xiàng)目【項(xiàng)目開(kāi)發(fā)計(jì)劃】（11頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、分布式互聯(lián)網(wǎng)爬蟲(chóng)及其在垂直領(lǐng)域的使用項(xiàng)目開(kāi)發(fā)計(jì)劃1引言11.1編寫(xiě)目的11.2 背景11.3定義11.4參考資料22項(xiàng)目概述32.1工作內(nèi)容32.2主要參加人員33.3產(chǎn)品32.3.1程序32.3.2文件42.3.3服務(wù)42.3.4非移交的產(chǎn)品42.4驗(yàn)收標(biāo)準(zhǔn)62.5完成項(xiàng)目的最遲期限62.6本計(jì)劃的審查者與批準(zhǔn)者63實(shí)施總計(jì)劃73.1工作任務(wù)的分解和接口人員73.2進(jìn)度73.3預(yù)算93.4關(guān)鍵問(wèn)題94支持條件104.1 計(jì)算機(jī)系統(tǒng)支持104.2 需由用戶(hù)承擔(dān)的工作114.3 由外單位提供的條件115專(zhuān)題計(jì)劃要點(diǎn)115.1 開(kāi)發(fā)人員培訓(xùn)計(jì)劃115.2 測(cè)試計(jì)劃115.3 質(zhì)量保證計(jì)劃111開(kāi)發(fā)

2、計(jì)劃項(xiàng)目開(kāi)發(fā)計(jì)劃1引言1.1編寫(xiě)目的編寫(xiě)此計(jì)劃的目的是為了合理安排組織成員，有效利用時(shí)間，以確保項(xiàng)目進(jìn)度，預(yù)見(jiàn)項(xiàng)目風(fēng)險(xiǎn)等活動(dòng)。使項(xiàng)目嚴(yán)格按照學(xué)院及老師要求開(kāi)發(fā)流程進(jìn)行，遵循正規(guī)的順序開(kāi)展。同時(shí)，項(xiàng)目開(kāi)發(fā)成員通過(guò)此計(jì)劃書(shū)明確項(xiàng)目目標(biāo)和各自職責(zé)。它說(shuō)明相關(guān)爬蟲(chóng)項(xiàng)目的開(kāi)發(fā)方法，是一種計(jì)劃，以指導(dǎo)工作之用。1.2背景大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)數(shù)據(jù)被認(rèn)為規(guī)模最大、結(jié)果最復(fù)雜、潛在價(jià)值最高的源數(shù)據(jù)。開(kāi)發(fā)一款具有較高數(shù)據(jù)質(zhì)量、對(duì)新數(shù)據(jù)探測(cè)周期短、可靈活擴(kuò)展的分布式互聯(lián)網(wǎng)爬蟲(chóng)。項(xiàng)目相關(guān)人員在助教及老師指導(dǎo)下，在203機(jī)房開(kāi)發(fā)。1.3定義MVC全名是ModelViewController是模型(model)視圖(vie

3、w)控制器(controller)的縮寫(xiě)，一種軟件設(shè)計(jì)典范，用一種業(yè)務(wù)邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個(gè)部件里面，在改進(jìn)和個(gè)性化定制界面及用戶(hù)交互的同時(shí)，不需要重新編寫(xiě)業(yè)務(wù)邏輯。MVC被獨(dú)特的發(fā)展起來(lái)用于映射傳統(tǒng)的輸入、處理和輸出功能在一個(gè)邏輯的圖形化用戶(hù)界面的結(jié)構(gòu)中。Eclipse是一個(gè)開(kāi)放源代碼的、基于Java的可擴(kuò)展開(kāi)發(fā)平臺(tái)。就其本身而言，它只是一個(gè)框架和一組服務(wù),用于通過(guò)插件組件構(gòu)建開(kāi)發(fā)環(huán)境。幸運(yùn)的是,Eclipse附帶了一個(gè)標(biāo)準(zhǔn)的插件集，包括Java開(kāi)發(fā)工(JavaDevelopmentKit，JDK)。MySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，由瑞典MySQL

4、AB公司開(kāi)發(fā)，目前屬于Oracle旗下產(chǎn)品oMySQL是最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng))應(yīng)用軟件。Tomcat是Apache軟件基金會(huì)(ApacheSoftwareFoundation)的Jakarta項(xiàng)目中的一個(gè)核心項(xiàng)目，由Apache、Sun和其他一些公司及個(gè)人共同開(kāi)發(fā)而成。1.4參考資料相關(guān)文檔及網(wǎng)絡(luò)資源2項(xiàng)目概述2.1工作內(nèi)容數(shù)據(jù)采集模板配置工程數(shù)據(jù)采集工程媒體傳播分析工程用戶(hù)可視化界面2.2主要參加人員2.3產(chǎn)品2.3.1 程序軟件名稱(chēng)：分布式互

5、聯(lián)網(wǎng)爬蟲(chóng)及其在垂直領(lǐng)域的使用編程語(yǔ)言：Java功能：軟件操作簡(jiǎn)便、快捷，數(shù)據(jù)采集部分可以通過(guò)簡(jiǎn)單、易懂的方式配置新網(wǎng)站數(shù)據(jù)的采集。數(shù)據(jù)分析模塊通過(guò)基關(guān)鍵詞過(guò)濾以及統(tǒng)計(jì)學(xué)思想計(jì)算媒體傳播排名及趨勢(shì)。界面設(shè)計(jì)風(fēng)格采用Web形式，用戶(hù)界面簡(jiǎn)單明了，符合業(yè)務(wù)辦理流程，具有人性化特點(diǎn)。軟件設(shè)計(jì)結(jié)構(gòu)模塊化、程序結(jié)構(gòu)化、數(shù)據(jù)格式標(biāo)準(zhǔn)化、代碼統(tǒng)一化，各種文檔資料規(guī)范化。2.3.2 文件用戶(hù)操作手冊(cè)：本手冊(cè)詳細(xì)描述軟件的功能、性能和用戶(hù)界面，使用戶(hù)對(duì)如何使用該軟件得到具體的了解,為操作人員提供該軟件各種運(yùn)行情況的有關(guān)知識(shí)，特別是操作方法的具體細(xì)節(jié)。軟件維護(hù)手冊(cè)：主要包括軟件系統(tǒng)說(shuō)明、程序模塊說(shuō)明、操作環(huán)境、支持

6、軟件的說(shuō)明、維護(hù)過(guò)程的說(shuō)明，便于軟件的維護(hù)。2.3.3服務(wù)計(jì)劃提供以下服務(wù)：課堂培訓(xùn)：以講課形式對(duì)客戶(hù)進(jìn)行培訓(xùn)，使其能夠正確使用件。免費(fèi)咨詢(xún)：客戶(hù)可以在工作時(shí)間向技術(shù)人員提出問(wèn)題并獲得解答。技術(shù)支持：對(duì)于某些客戶(hù)，采取上門(mén)指導(dǎo)的方式。軟件維護(hù)：獲取軟件使用中的問(wèn)題，提供補(bǔ)丁程序。升級(jí)通知：在軟件新版本發(fā)布的時(shí)候，及時(shí)通知（Email或郵寄信件）注冊(cè)的用戶(hù)，并提供試用版本。軟件升級(jí)：對(duì)于注冊(cè)用戶(hù)，只需較少的費(fèi)用即可升級(jí)到新的版本。2.3.4非移交的產(chǎn)品可行性分析報(bào)告：說(shuō)明該軟件開(kāi)發(fā)項(xiàng)目的實(shí)現(xiàn)在技術(shù)上、經(jīng)濟(jì)上和社會(huì)因素上的可行性，評(píng)述為了合理地達(dá)到開(kāi)發(fā)目標(biāo)可供選擇的各種可能實(shí)施方案，說(shuō)明并論證所選

7、定實(shí)施方案的理由。項(xiàng)目開(kāi)發(fā)計(jì)劃：為軟件項(xiàng)目實(shí)施方案制訂出具體計(jì)劃，應(yīng)該包括各部分工作的負(fù)責(zé)人員、開(kāi)發(fā)的進(jìn)度、開(kāi)發(fā)經(jīng)費(fèi)的預(yù)算、所需的硬件及軟件資源等。軟件需求說(shuō)明書(shū)（軟件規(guī)格說(shuō)明書(shū)）對(duì)所開(kāi)發(fā)軟件的功能、性能、用戶(hù)界面及運(yùn)行環(huán)境等做出詳細(xì)的說(shuō)明。它是在用戶(hù)與開(kāi)發(fā)人員雙方對(duì)軟件需求取得共同理解并達(dá)成協(xié)議的條件下編寫(xiě)的，也是實(shí)施開(kāi)發(fā)工作的基礎(chǔ)。該說(shuō)明書(shū)應(yīng)給出數(shù)據(jù)邏輯和數(shù)據(jù)采集的各項(xiàng)要求，為生成和維護(hù)系統(tǒng)數(shù)據(jù)文件做好準(zhǔn)備。概要設(shè)計(jì)說(shuō)明書(shū)：該說(shuō)明書(shū)是概要實(shí)際階段的工作成果，它應(yīng)說(shuō)明功能分配、模塊劃分、程序的總體結(jié)構(gòu)、輸入輸出以及接口設(shè)計(jì)、運(yùn)3開(kāi)發(fā)計(jì)劃行設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)和出錯(cuò)處理設(shè)計(jì)等，為詳細(xì)設(shè)計(jì)提供基礎(chǔ)

8、。詳細(xì)設(shè)計(jì)說(shuō)明書(shū)：著重描述每一模塊是怎樣實(shí)現(xiàn)的，包括實(shí)現(xiàn)算法、邏輯流程等。測(cè)試計(jì)劃：為做好集成測(cè)試和驗(yàn)收測(cè)試，需為如何組織測(cè)試制訂實(shí)施計(jì)劃。計(jì)劃應(yīng)包括測(cè)試的內(nèi)容、進(jìn)度、條件、人員、測(cè)試用例的選取原則、測(cè)試結(jié)果允許的偏差范圍等。測(cè)試分析報(bào)告：測(cè)試工作完成以后，應(yīng)提交測(cè)試計(jì)劃執(zhí)行情況的說(shuō)明，對(duì)測(cè)試結(jié)果加以分析，并提出測(cè)試的結(jié)論意見(jiàn)。開(kāi)發(fā)進(jìn)度月報(bào)：該月報(bào)系軟件人員按月向管理部門(mén)提交的項(xiàng)目進(jìn)展情況報(bào)告，報(bào)告應(yīng)包括進(jìn)度計(jì)劃與實(shí)際執(zhí)行情況的比較、階段成果、遇到的問(wèn)題和解決的辦法以及下個(gè)月的打算等。項(xiàng)目開(kāi)發(fā)總結(jié)報(bào)告：軟件項(xiàng)目開(kāi)發(fā)完成以后，應(yīng)與項(xiàng)目實(shí)施計(jì)劃對(duì)照，總結(jié)實(shí)際執(zhí)行的情況，如進(jìn)度、成果、資源利用、成本

9、和投入的人力，此外，還需對(duì)開(kāi)發(fā)工作做出評(píng)價(jià)，總結(jié)出經(jīng)驗(yàn)和教訓(xùn)。軟件問(wèn)題報(bào)告：指出軟件問(wèn)題的登記情況，如日期、發(fā)現(xiàn)人、狀態(tài)、問(wèn)題所屬模塊等，為軟件修改提供準(zhǔn)備文檔。軟件修改報(bào)告：軟件產(chǎn)品投入運(yùn)行以后，發(fā)現(xiàn)了需對(duì)其進(jìn)行修正、更改等問(wèn)題，應(yīng)將存在的問(wèn)題、修改的考慮以及修改的影響做出詳細(xì)的描述，提交審批。源程序：軟件開(kāi)發(fā)過(guò)程中的全部代碼以及注釋。2.4驗(yàn)收標(biāo)準(zhǔn)代碼：最后在交付客戶(hù)之前進(jìn)行小組內(nèi)評(píng)審，代碼編寫(xiě)符合HB6465標(biāo)準(zhǔn)，與文檔說(shuō)明保持一致，代碼書(shū)寫(xiě)風(fēng)格統(tǒng)一，采用標(biāo)準(zhǔn)規(guī)范，沒(méi)有下列錯(cuò)誤：由于軟件缺陷造成丟失數(shù)據(jù)，不符合設(shè)計(jì)要求，響應(yīng)時(shí)間太長(zhǎng)無(wú)法接受等問(wèn)題。文檔：最后在交付客戶(hù)之前進(jìn)行小組內(nèi)評(píng)審，

10、文檔格式符合HB6465標(biāo)準(zhǔn)，功能符合與客戶(hù)的合同要求，清晰易讀，沒(méi)有語(yǔ)病與歧義。服務(wù)：服務(wù)硬件達(dá)到文檔說(shuō)明的要求。2.5完成項(xiàng)目的最遲期限交付日期為2017年7月22日2.6本計(jì)劃的審查者與批準(zhǔn)者本項(xiàng)目批準(zhǔn)者是學(xué)院相關(guān)領(lǐng)導(dǎo)老師3實(shí)施總計(jì)劃3.1工作任務(wù)的分解和接口人員3.2進(jìn)度進(jìn)度安排3.3預(yù)算3.4關(guān)鍵問(wèn)題項(xiàng)目風(fēng)險(xiǎn)因素風(fēng)險(xiǎn)排序風(fēng)險(xiǎn)項(xiàng)名稱(chēng)風(fēng)險(xiǎn)描述風(fēng)險(xiǎn)緩解方案1專(zhuān)業(yè)基礎(chǔ)知識(shí)不牢本次項(xiàng)目開(kāi)發(fā)過(guò)程中涉及的知識(shí)較多，給項(xiàng)目開(kāi)發(fā)人員帶來(lái)一定的困難進(jìn)行相應(yīng)的培訓(xùn)2經(jīng)驗(yàn)欠缺成員開(kāi)發(fā)經(jīng)驗(yàn)不足，使項(xiàng)目質(zhì)量難以保證只有通過(guò)不斷的實(shí)踐3軟件性能的影響本次開(kāi)發(fā)過(guò)程中部分軟件可能容易出現(xiàn)死機(jī)現(xiàn)象選擇合適的軟件，搭建良

11、好的配置開(kāi)發(fā)環(huán)境4支持條件4.1計(jì)算機(jī)系統(tǒng)支持模板配置與數(shù)據(jù)分析應(yīng)用：系統(tǒng)架構(gòu)：MVC開(kāi)發(fā)工具：Eclipse數(shù)據(jù)庫(kù)：Mysql開(kāi)發(fā)技術(shù)：java、bootstarp、sql、FreeChart中間件：Tomcat、jdkl.8采集工具：開(kāi)發(fā)工具：Eclipse數(shù)據(jù)庫(kù)：Mysql、開(kāi)發(fā)技術(shù)：java、sql、線(xiàn)程池、MD5環(huán)境要求：CPU：1GHz以上內(nèi)存：8GB以上94.2 需由用戶(hù)承擔(dān)的工作向本小組成員進(jìn)行培訓(xùn)，其內(nèi)容包括全文檢索、httpclient等等相關(guān)技術(shù)。配備相應(yīng)硬件系統(tǒng)，做到規(guī)范操作，備份好數(shù)據(jù)防止數(shù)據(jù)丟失,軟件交付日期為軟件安裝測(cè)試人員提供環(huán)境。4.3由外單位提供的條件由學(xué)院提供上機(jī)環(huán)境及相關(guān)知識(shí)講座指導(dǎo)。5專(zhuān)題計(jì)劃要點(diǎn)5.1開(kāi)發(fā)人員培訓(xùn)計(jì)劃自項(xiàng)目實(shí)習(xí)之日起，項(xiàng)目相關(guān)人員自行安排時(shí)間學(xué)習(xí)，周末按學(xué)院要求周末聽(tīng)講座知識(shí)。5.2測(cè)試計(jì)劃項(xiàng)目周期第四周進(jìn)行各種數(shù)據(jù)測(cè)試。5.3質(zhì)量保證計(jì)劃嚴(yán)格按照項(xiàng)目開(kāi)發(fā)過(guò)程中的各項(xiàng)步驟，從項(xiàng)目立項(xiàng)，可行性研究報(bào)告、需求分析報(bào)告、項(xiàng)目開(kāi)發(fā)計(jì)劃等，具體實(shí)施。