把一切都監(jiān)控起來(轉(zhuǎn))

單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,把一切都監(jiān)控起來,-,思路,vs,技術(shù),vs,管理,互聯(lián)網(wǎng)行業(yè)現(xiàn)狀,運營網(wǎng)絡(luò)環(huán)境錯綜復雜、,不同操作系統(tǒng),/,瀏覽器及版本、不同網(wǎng)絡(luò)速度,大量服務器,測試環(huán)境跟外網(wǎng)差異大,敏捷開發(fā)、快是生存的根本,測試與開發(fā)人力比例很大,測試團隊價值如何最大化？,提問：,團隊自動化測試,ROI,目前是正值還是負值？,質(zhì)量與效率是否有清晰度量指標和平衡點？,可能的現(xiàn)狀？,明知版本差、仍然要發(fā)布,辛苦自動化測試投入，一個產(chǎn)品變更，輕松抹殺所有產(chǎn)出,痛苦的外網(wǎng)問題定位，測試被頻繁挑戰(zhàn),思考,/,挑戰(zhàn),敏捷開發(fā)下，如何更好體現(xiàn)測試的聲音和價值？,快速版本發(fā)布下，如何仍然把質(zhì)量持續(xù)提升？,除了測試（包括工具開發(fā)）， 測試團隊還可以做什么,?,大部分測試團隊的工作范疇,自動化測試（,B/S,、,C/S,、后臺）,平臺,/,框架建設(shè),安全測試,黑盒測試,白盒,/,單元,/,集成,/,灰盒測試,性能測試（前后臺）,用戶體驗測試,兼容性測試,。,這些工作呢？,配置管理（代碼）變更和規(guī)范性,開發(fā),/,編譯,/,測試環(huán)境穩(wěn)定性,外網(wǎng)發(fā)布部署過程質(zhì)量,外網(wǎng)產(chǎn)品運營質(zhì)量,IDC,運營質(zhì)量,外網(wǎng)環(huán)境質(zhì)量,僅僅是開發(fā)和運營支持人員的責任？,互聯(lián)網(wǎng)行業(yè)測試范疇新定義,可用性測試,監(jiān)控測試,監(jiān)控測試定義,規(guī)律性比對的自動化測試,+,不確定性下檢測預警,+,人腦智能分析,通過各種不同工具和統(tǒng)一的測試平臺從多個緯度給產(chǎn)品研發(fā)運營質(zhì)量輸出錯誤報告和預警分析,讓監(jiān)控型測試工作無所不在！,Testing Monitor Scope,代碼規(guī)范性,高危函數(shù)代碼,目錄,/,文檔,Makefile,靜態(tài)代碼檢測,SCM,變更,分支基線,代碼被評審度,Base lib,變更,Build,監(jiān)控,產(chǎn)品打包規(guī)范性,配置標準化監(jiān)控,部署變更監(jiān)控,發(fā)布一致性監(jiān)控,差異測試監(jiān)控,環(huán)境穩(wěn)定度監(jiān)控,外網(wǎng)黑盒性能,打開速度,服務器運行,Coredump/crash,網(wǎng)絡(luò)狀況,程序上下線,數(shù)據(jù)正確性,返回碼,代碼,環(huán)境,運營,缺陷進展監(jiān)控,項目,MileStone,Testing Plan,Task Status,流程,監(jiān)控測試下測試開發(fā)重點工作,持續(xù)集成平臺,依托在持續(xù)集成平臺下的各種測試工具,讓工具自動化執(zhí)行起來！,一些測試解決方案技術(shù)和原理介紹,基于,SVN,的二次開發(fā)封裝,充分利用,SVN,的,hook,技術(shù),讓開發(fā),CI,時更有樂趣和挑戰(zhàn)壓力,Pre-commit,和,post-commit,利用,Html/CSS/JS,給出變更的差異報告,Dom tree,變更的提醒和分析,CI,后的靜態(tài)檢測,C/C+,代碼：推薦開源,cppcheck,工具,高危險函數(shù)掃描分析預警,CI,前的編碼規(guī)范性、注視率、版本變更說明檢測,監(jiān)控結(jié)果或錯誤郵件推送,測試結(jié)果入持續(xù)集成數(shù)據(jù)庫,一些開源工具推薦,動態(tài)內(nèi)存泄漏測試和監(jiān)控,基于開源,Valgrind,工具的二次封裝開發(fā),+,持續(xù)集成平臺,(,執(zhí)行調(diào)度管理,+,歷史結(jié)果存儲,+,度量）,一些開源工具推薦,(,續(xù)）,靜態(tài)內(nèi)存,/,資源泄漏監(jiān)控,基于開源,cppcheck,工具的二次封裝開發(fā),+,持續(xù)集成平臺,一些開源工具推薦,(,續(xù)）,代碼覆蓋率監(jiān)控,基于開源,gcov/lcov,工具的二次封裝和開發(fā),+,持續(xù)集成平臺,一些開源工具推薦,(,續(xù)）,差異化比對工具,Python,的,difflib,工具包，可以容易實現(xiàn)友好界面代碼比對分析和支持,與自動化部署系統(tǒng)結(jié)合起來，部署完成后提供差異報告,安全自動化監(jiān)控,測試階段,SDL,思路,測試平臺管理,CGI,等相關(guān)資源,明確,get,或,post,參數(shù),結(jié)合,XSS/CSRF,等安全漏洞攻擊原理給與,input/output,的自動化結(jié)果分析,納入持續(xù)集成平臺統(tǒng)一調(diào)度執(zhí)行和管理和度量,B/S,前臺優(yōu)化監(jiān)控測試,讓前臺優(yōu)化不再只是開發(fā)工作，測試繼續(xù)延伸到產(chǎn)品的外網(wǎng)運營,把返回碼（,404/5XX,）、,cache,、壓縮、,JS,等混淆、,http,請求次數(shù)、打開速度、路由、,ping,速、打開耗時等統(tǒng)統(tǒng)以測試手段通過,IDC,間互訪實現(xiàn)監(jiān)控和問題定位分析,【,讓測試繼續(xù)延伸,】,通過,IDC,間的請求互訪支持！,IDC2,IDC1,IDC3,B/S,前臺優(yōu)化監(jiān)控測試,技術(shù)實現(xiàn),Ruby + httpwatch + watir +,優(yōu)化分析工具,+,持續(xù)集成平臺,【,僅支持,IE】,Selenium + Fiddler + Python/Ruby +,優(yōu)化分析工具,+,持續(xù)集成平臺,【,可支持多瀏覽器,】,最佳的性能測試方案是？,問題：日常測試工作開展，你的性能測試結(jié)果對外網(wǎng)產(chǎn)品運行指導價值有多大？,100%,價值參考？,80%,價值參考？,不到,50%,價值參考？,價值參考性不強的原因是啥？,測試環(huán)境,vs,外網(wǎng)環(huán)境,外網(wǎng)的訪問毛刺,持續(xù)攀升的峰值訪問次數(shù),最佳模式下突發(fā)網(wǎng)絡(luò)故障,產(chǎn)品架構(gòu)容災、柔性設(shè)計不夠,。,思考：,業(yè)務訪問頻率是幾十萬次,/,秒場景下，一次功能探測測試結(jié)果代表了啥？,一天里每秒執(zhí)行,1,次后的測試結(jié)果又有何作用可分析和參考？,新的性能測試方案,/,思路：,同前臺性能優(yōu)化測試的部署執(zhí)行思路,在,IDC,間互相部署測試平臺和執(zhí)行,agent,探測性,+,自動化測試用例執(zhí)行,驗證響應時間、超時率、錯誤率,針對性做閥值分析并短信等方式告警,最好的運營支持工具,+,最好的性能檢測,/,監(jiān)測利器！,可測試和監(jiān)控問題：,功能邏輯錯誤,服務器性能,/,負載,網(wǎng)絡(luò)問題（網(wǎng)絡(luò)不通、網(wǎng)絡(luò)波動、網(wǎng)絡(luò)丟包）,架構(gòu)合理性,。,開發(fā)、測試、運維終于可以睡安穩(wěn)覺！,運營環(huán)境下的自動化測試監(jiān)控,接入層（,CGI/HTML,）,后臺,Server,DB/File Cache,Database,OS,海量服務產(chǎn)品簡單架構(gòu)層級,HTTP Client Auto Test tool,TCP,發(fā)包,+,自定義協(xié)議結(jié)構(gòu),Test Tool,快慢,DB,查詢,Test Tool,Disk/,進程,/CPU/coredump Test Tool,測試,/,監(jiān)控平臺設(shè)計,用例管理和制作,測試數(shù)據(jù)管理,腳本語言支持,任務管理和調(diào)度,任務執(zhí)行,/,控制,結(jié)果上報,任務執(zhí)行,/,控制,結(jié)果上報,任務執(zhí)行,/,控制,結(jié)果上報,統(tǒng)計分析,配置管理,告警推送,結(jié)果展示,測試平臺,·,統(tǒng)計平臺,·,自動化監(jiān)控成果,再談持續(xù)集成,規(guī)則定義,工具開發(fā)規(guī)范,工具配置管理,任務定制、管理、調(diào)度和執(zhí)行,工具測試結(jié)果統(tǒng)計、度量,監(jiān)控型測試開展的最好支持平臺,輕量靈活化、插件化接口、集中管理和執(zhí)行約束,測試價值的新定位,質(zhì)量、效率、速度、成本,過去團隊發(fā)生的一些花絮（真實案例）,案例,1,： 一個體驗界面，只需前臺添加幾行,JS,代碼，體驗便差異非常大， 具體測試人員卻提不出改進方案來,案例,2,： 農(nóng)場的偷標記不正確顯示率很高，開發(fā)和測試都無從解決,案例,3,： 魔法卡片需求文檔推出后，被測試推翻重做,我的鑒語：技術(shù)決定未來、沒有技術(shù)沒有未來,單純聚焦黑盒測試，測試憑啥想得到產(chǎn)品、開發(fā)和其他團隊的尊重和支持？,謝謝,