碩士畢業(yè)論文： 行人車輛檢測算法研究與改進(jìn)研究

碩士畢業(yè)論文： 行人車輛檢測算法研究與改進(jìn)研究1.1 研究背景與意義隨著智慧城市建設(shè)的發(fā)展,獲取當(dāng)前環(huán)境的位置信息有著重要作用.目標(biāo)檢測從提出之初就成為了廣泛研究的熱點(diǎn),尤其在自然場景下有更加廣泛應(yīng)用.圖像檢測技術(shù)主要通過攝像機(jī)獲取圖像作為原始圖像,并在原始圖像上進(jìn)行目標(biāo)檢測實(shí)現(xiàn)1.其中應(yīng)用在城市建設(shè)中的影像服務(wù)方式主要是城市街景影像,城市街景作為一種全新的地圖服務(wù)方式,從推出以來就被寄予更多關(guān)注.街景影像地圖瀏覽服務(wù)通過對城市主要組成道路,建筑等目標(biāo)進(jìn)行拍攝,然后將這些照片經(jīng)過處理,再根據(jù)實(shí)際需求應(yīng)用于地圖瀏覽與地圖使用服務(wù).作為城市街景影像,同樣存在大量目標(biāo)檢測研究內(nèi)容,其中行人車輛信息構(gòu)成了街景環(huán)境中重要的組成部分,針對城市街景中行人車輛檢測已經(jīng)成為城市治理能力綜合提升的重要環(huán)節(jié),對于提升城市品質(zhì)具有不可替代的作用.城市街景影像雖然在為城市綜合服務(wù)方面提供了便利,但目前在影像中要實(shí)現(xiàn)良好的目標(biāo)檢測效果仍然存在一些問題,具體在城市影像行人車輛定位中的問題有:1.街景背景復(fù)雜性:相較于普通圖像,街景中存在大量的目標(biāo),如行人、車輛、建筑物、交通標(biāo)志等等,在考慮實(shí)際定位過程時(shí),需要從復(fù)雜的背景中提取出來我們想要獲取的目標(biāo)信息,但是由于背景復(fù)雜性,在匹配過程中容易出現(xiàn)匹配錯(cuò)誤的現(xiàn)象.2.影像檢索時(shí)間長:獲取大量的街景數(shù)據(jù)信息,采用對圖像的單一特征進(jìn)行提取研究(例如角點(diǎn)、直線、紋理)導(dǎo)致目標(biāo)檢測時(shí)間更長.同 時(shí)不同大小,外觀,光照遮擋等現(xiàn)象的存在導(dǎo)致在目標(biāo)檢測的準(zhǔn)確性上無法保證.3.影像目標(biāo)尺度變化較大:復(fù)雜場景下的行人、車輛檢測面臨著尺度變化、外觀姿態(tài)變化和遮擋等問題.例如存在較遠(yuǎn)處的小目標(biāo)行人、車輛被歸為小尺度信息難以被識別.另外密集場景下目標(biāo)之間互相遮擋,使得算法很難做出較為準(zhǔn)確全面的檢測,影響算法的精度,導(dǎo)致結(jié)果不準(zhǔn)確.與此同時(shí),以機(jī)器學(xué)習(xí)、知識圖譜為代表的人工智能技術(shù)逐漸變得普及.從最初的簡單目標(biāo)分類識別、發(fā)展到后續(xù)的圖像綜合應(yīng)用,再到實(shí)際應(yīng)用場景下的自動駕駛,逐 漸滲透到人們的日常生活中.可見計(jì)算機(jī)視覺是一門使機(jī)器"看"的學(xué)科.它使計(jì)算機(jī)和其他設(shè)備代替人眼進(jìn)行目標(biāo)檢測和進(jìn)一步的圖像處理2.圖像處理和計(jì)算機(jī)視覺成為研究的新趨勢,用于構(gòu)建人工智能系統(tǒng)從圖像中獲取信息等智能交通監(jiān)控系統(tǒng).目標(biāo)檢測也逐漸成為計(jì)算機(jī)視覺的一個(gè)重要分支.在不斷地發(fā)展中,其中基于深度學(xué)習(xí)的目標(biāo)檢測在速度和精度方面的表現(xiàn)要優(yōu)于傳統(tǒng)的特征提取算法.基于以上背景,本文利用城市街景影像,研究一種對于街景影像行人車輛目標(biāo)檢測的深度學(xué)習(xí)方法.旨在解決城市街景影像中由于背景復(fù)雜,遮擋尺度變化問題帶來的目標(biāo)檢測精度問題.1.2 國內(nèi)外研究現(xiàn)狀在影像目標(biāo)檢測課題發(fā)展的四十余年中,行業(yè)內(nèi)眾多學(xué)者取得了優(yōu)秀的成果.本論文研究方向是在城市街景影像中利用深度學(xué)習(xí)的方法進(jìn)行行人車輛檢測,屬于計(jì)算機(jī)視覺的目標(biāo)檢測任務(wù)的分支方向.因此,本節(jié)分別從影像行人檢測和車輛檢測兩個(gè)角度分析國內(nèi)外研究現(xiàn)狀.1.2.1 行人檢測研究現(xiàn)狀行人檢測是目標(biāo)檢測的一個(gè)重要研究分支,也是目標(biāo)檢測實(shí)例中較為基礎(chǔ)的應(yīng)用.其中主要應(yīng)用在行人形態(tài)分析,行人識別等領(lǐng)域.此外,其在視頻監(jiān)控,人流量統(tǒng)計(jì),自動駕駛中都有重要的地位.目前針對行人檢測的相關(guān)研究方法主要分為兩類,一類是基于傳統(tǒng)特征提取的方法進(jìn)行行人檢測,另一種是基于深度學(xué)習(xí)算法實(shí)現(xiàn)行人檢測.起初,傳統(tǒng)的行人檢測的最主流的方法是基于單一特征進(jìn)行影像中行人特征的選擇,國內(nèi)針對行人的特征選擇主要是利用基于方向梯度直方圖特征(HOG)3進(jìn)行行人特征的提取,葉林4提出了一種基于空間梯度直方圖的行人檢測算法,在不降低檢測效果的前提下,保證了行人檢測的效率.曲永宇6在梯度直方圖的基礎(chǔ)上,針對檢測精度有待提高、向量維數(shù)較大的問題,提出了利用梯度統(tǒng)計(jì)特征的直方圖加上顏色頻率和膚色特征來描述行人檢測的實(shí)現(xiàn).高修祥5提出了一種改進(jìn)的方向梯度直方圖(directionalgradient histogram)算法,將 HOG 特征向量分成兩部分,然后結(jié)合殘差網(wǎng)絡(luò)進(jìn)行特征融合,提高了行人檢測的準(zhǔn)確性,降低了檢測的失敗率.陳銳7提出了一種基于多特征融合的行人檢測算法.利用主成分分析(PCA)對 HOG 進(jìn)行降維,并與局部二值特征(LBP)融合.在 INDIA 數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn),以提高訓(xùn)練和檢測的速度.由于行人檢測的影像大部分屬于自然場景,往往選取單一的特征提取思路會造成結(jié)果的不準(zhǔn)確,精度無法滿足要求.在后續(xù)的行人檢測工作研究中,研究者們將影像預(yù)處理與行人本身特點(diǎn)進(jìn)行結(jié)合,對算法模型進(jìn)行了優(yōu)化與設(shè)計(jì),汪成亮8對于快速移動人體檢測,首先采用高斯混合模型進(jìn)行背景剔除,減少了檢測掃描的時(shí)間.最后將主成分分析與梯度直方圖相結(jié)合,提高了檢測窗口的分類速度.王波9提出了一種有效的行人特征點(diǎn)模型,用于街景視頻監(jiān)控中的行人檢測,并對行人的輪廓特征進(jìn)行了研究.然后利用 Canny 算子邊緣檢測方法對行人樣本圖像邊緣進(jìn)行檢測,并結(jié)合形態(tài)學(xué)對圖像進(jìn)行進(jìn)一步處理.從而有效、準(zhǔn)確地獲取行人輪廓.在針對行人特點(diǎn)進(jìn)行了一系列的探索后,后續(xù)的研究者還加入了級聯(lián)的思想,王奕波10在街景圖像中,提出了基于級聯(lián)特征的行人檢測方法.首先確定可能包含行人的潛在區(qū)域,利用基于概率接受度的方法,根據(jù)方向梯度的直方圖特征進(jìn)行強(qiáng)化掃描分類,最后通過非最大抑制(NMS)過程對分類結(jié)果進(jìn)行匯總.實(shí)驗(yàn)結(jié)果表明,基于級聯(lián)特征的方法一方面可以使兩種特征互補(bǔ),提高檢測精度.另一方面,基于概率接受的強(qiáng)化掃描分類方法使檢測時(shí)間顯著縮短.國外傳統(tǒng)行人檢測的研究主要集中在區(qū)分行人與其他目標(biāo)的分類算法研究與分類器使用上,David McAllester 等人11提出了一種基于邊緣特征的數(shù)據(jù)挖掘方法,考慮行人檢測中邊緣特征信息,利用多尺度的學(xué)習(xí)特征提高行人檢測的速度和精度.Payam 等 人12提出了在行人檢測過程中使用 shapelet 特征的算法,這種特征有利于區(qū)分行人與非行人信息的梯度構(gòu)建,使用 AdaBoost 分類器,shapelet 特性可以把行人檢測的重點(diǎn)放在更小的特征集上,最后在 INRIA 數(shù)據(jù)集上證實(shí)了算法的有效性.在模型結(jié)構(gòu)與優(yōu)化方面,創(chuàng)新性的提出了 DPM 思想.Rodrigo Benenson 等人13針對過去十幾年在行人檢測方面的算法進(jìn)行了總結(jié),概括了主流算法包括 HOG+SVM 特征提取檢測、可變形部分檢測器(DPM),將傳統(tǒng)的行人檢測算法應(yīng)用在 Caltech-USA 數(shù)據(jù)集上,對比不同算法的效果評價(jià)特征.傳統(tǒng)的行人檢測算法大多在低層特征表達(dá)基礎(chǔ)上構(gòu)建復(fù)雜的模型來提升檢測精度,但是仍然存在單一特征帶來的精度問題,使用特征融合的方式會提升一部分的精度,但是會帶來特征提取成本的增加.之后卷積神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生,優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)層次,更加準(zhǔn)確的特征信息描述,高維特征提取,以及針對不同場景下特征的多元化描述都使得神經(jīng)網(wǎng)絡(luò)發(fā)揮出更大的優(yōu)勢.基于深度學(xué)習(xí)的行人檢測的思路成功地應(yīng)用在場景檢測中,從 2006 年以來,大量深度神經(jīng)網(wǎng)絡(luò)的論文被發(fā)表,2012 年,Hinton 課題組通過構(gòu)建 CNN網(wǎng)絡(luò) AlexNet14一舉奪得圖像識別比賽冠軍,從此神經(jīng)網(wǎng)絡(luò)開始受到廣泛的關(guān)注.在深度學(xué)習(xí)算法獲取候選框區(qū)域的研究中,夏金銘15在 Fast R-CNN 基礎(chǔ)上引入了困難樣本挖掘的策略,提升檢測的泛化能力.王斌16利用深度學(xué)習(xí)網(wǎng)絡(luò)身視覺特征提取的優(yōu)越性,在此基礎(chǔ)上設(shè)計(jì)了多種策略融合的窗口選擇方法,改變傳統(tǒng)滑動窗口耗時(shí)長的問題.采用了選擇性搜索算法,提高特征提取的性能.劉芷含17提出了通過挖掘遺漏的負(fù)樣本來充實(shí)分類器的訓(xùn)練樣本,提出一種新的網(wǎng)絡(luò)結(jié)構(gòu)以實(shí)現(xiàn)多層特征融合,利用獨(dú)立模塊進(jìn)行候選區(qū)域的選擇.針對候選區(qū)域的選擇依然會帶來檢索時(shí)間長的問題,后續(xù)深度學(xué)習(xí)目標(biāo)檢測發(fā)展的進(jìn)程轉(zhuǎn)向了由端到端的研究中,胡振寰18針對遮擋行人檢測問題,提出了在 SSD 算法的前置網(wǎng)絡(luò)中加入更加先進(jìn)的 SE-Inception 結(jié)構(gòu),對 SSD 的先驗(yàn)框進(jìn)行重新設(shè)計(jì),修改了相應(yīng)的 Loss,保證遮擋情況下行人檢測的精度.祝慶發(fā)20針對密集場景下的行人檢測,改進(jìn)了 Yolo 算法的網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù),在人工標(biāo)注的實(shí)際場景中進(jìn)行測試和訓(xùn)練.胡超超19以 Yolo V2 網(wǎng)絡(luò)作為目標(biāo)檢測的基礎(chǔ)模型,在獲取小目標(biāo)的基礎(chǔ)上加入了殘差網(wǎng)絡(luò),構(gòu)建訓(xùn)練的行人樣本庫,并且修改網(wǎng)絡(luò)參數(shù),訓(xùn)練出更符合行人檢測的網(wǎng)絡(luò)模型,通過匹配算法進(jìn)一步對行人進(jìn)行分類,利用卡爾曼濾波進(jìn)行跟蹤,大大提升檢測速度.針對行人特征的卷積網(wǎng)絡(luò)過程中,國外更加側(cè)重于結(jié)合多特征進(jìn)行卷積網(wǎng)絡(luò)的實(shí)現(xiàn),Shao 等人21結(jié)合圖像的多光譜特征,提出了四種卷積網(wǎng)絡(luò)融合體系結(jié)構(gòu),結(jié)合了不同通道的特征,針對 KAIST 數(shù)據(jù)集上的精度提高了 11%.Garrick Brazil 等人22提出了一種融合了語義分割和行人檢測功能的分割融合網(wǎng)絡(luò),針對場景中遮擋和形狀變化問題都有了很大的提高.Ping 等人23提出一種新的深度模型,從多個(gè)任務(wù)和多個(gè)數(shù)據(jù)源中學(xué)習(xí)行人高層特征,將已有的場景分割數(shù)據(jù)集中的屬性信息轉(zhuǎn)移到行人數(shù)據(jù)集,減少數(shù)據(jù)集之間的差異,在 Caltech 數(shù)據(jù)集上測試,失誤率降低了 17%.1.2.2 車輛檢測研究現(xiàn)狀車輛識別同樣作為場景應(yīng)用中常見的檢測目標(biāo),在相關(guān)目標(biāo)檢測研究中具有重要的意義.保證車輛識別速度快,得到準(zhǔn)確率高的車輛檢測信息,決定了能否更好地服務(wù)于城市發(fā)展管理工作中.車輛信息檢測作為當(dāng)前圖像處理領(lǐng)域正在研究和廣泛關(guān)注的課題, 在衡量城市綜合發(fā)展水平中具有良好的發(fā)展前景.最初針對傳統(tǒng)的車輛檢測算法中主要是采用人工特征提取的檢測方法.錢晉24研究了基于背景差法的晝間視頻車輛檢測算法的相關(guān)問題,提出了背景提取與更新算法,滿足視頻車輛動態(tài)檢測的要求.郭磊27提出了一種應(yīng)用單目視覺進(jìn)行車輛檢測的方法,以車輛陰影以及邊緣作為檢測的主要特征并且結(jié)合雷達(dá)探測數(shù)據(jù),提高車輛檢測的準(zhǔn)確率.張濤25研究了車輛檢測區(qū)域設(shè)置特定模型,在 Haar 特征的基礎(chǔ)上,修改了遍歷邏輯,提高了系統(tǒng)檢測的實(shí)時(shí)性.金立生26提出了一種將圖像特征與分類器融合的思想識別算法,實(shí)現(xiàn)了對前方車輛的準(zhǔn)確識別.在國外進(jìn)行車輛檢測的研究中研究者們多側(cè)重于車輛進(jìn)行實(shí)時(shí)檢測的思路上,Amirali Jazayeri 等人28介紹了一種在多種環(huán)境條件下對視頻目標(biāo)車輛進(jìn)行定位的綜合方法.從視頻中提取的幾何特征被連續(xù)地投射到一維剖面上,根據(jù)場景特征和車輛運(yùn)動模型,對視場中的運(yùn)動進(jìn)行概率建模,實(shí)現(xiàn)實(shí)時(shí)檢測車輛的效果.Jun-Wei Hsieh 等人29研究了 SURF 算法特征,提出了一種新的車輛檢測方案來檢測移動攝像機(jī)中的車輛.該方案的優(yōu)點(diǎn)是不需要背景建模,就能實(shí)現(xiàn)良好的檢測結(jié)果.Margrit Betke 等人30提出了一種實(shí)時(shí)視覺系統(tǒng),使用顏色、邊緣和運(yùn)動信息的組合來識別和跟蹤道路邊界、車道標(biāo)記和道路上的其他車輛,利用多種特征融合的思路進(jìn)行車輛的檢測.Tehrani 等人31提出了一種基于 HOG 特征和 SVM 的車輛檢測方法來實(shí)現(xiàn)城市道路中的車輛檢測.傳統(tǒng)的學(xué)習(xí)方法只支持對少量數(shù)據(jù)的訓(xùn)練,因此對車輛多樣性的檢測仍然存在不足.近年來,隨著 CNN 的發(fā)展,物體的分類和檢測方法也相應(yīng)飛速發(fā)展.利用神經(jīng)網(wǎng)絡(luò)訓(xùn) 練對于圖像的精確度有了明顯的提升.網(wǎng)絡(luò)特征的使用擺脫了傳統(tǒng)目標(biāo)檢測方法的限制,受外界環(huán)境變化小,不易受圖像基本特征的影響,應(yīng)用在復(fù)雜場景中也有較好的檢測識別效果.劉敦強(qiáng)33在 Faster R-CNN 基礎(chǔ)上進(jìn)行了改進(jìn),使用多尺度預(yù)測分支,增加樣本挖掘機(jī)制,適當(dāng)?shù)倪x取正負(fù)樣本,滿足車輛檢測的精度要求.黃皓宇32對 Mask R-CNN 算法模型進(jìn)行改進(jìn),在進(jìn)行預(yù)處理操作后,車輛檢測的精度達(dá)到了 80%左右.宋煥生34在進(jìn)行車輛檢測過程中選取了不同的分類情況與構(gòu)建不同視角下的數(shù)據(jù)測試集與驗(yàn)證集, 將檢測的精度提升了近 10%.王宇寧36提出一種基于 Yolo 算法的車輛實(shí)時(shí)檢測方法,選擇交通監(jiān)控視頻作為數(shù)據(jù)集進(jìn)行車輛檢測試驗(yàn).達(dá)到了 89.3%的查準(zhǔn)率.卞山峰35針對傳統(tǒng)的車輛檢測算法存在魯棒性差、檢測速度慢和準(zhǔn)確率低等問題,提出基于改進(jìn) Yolo V2 模型的車輛實(shí)時(shí)檢測算法.通過目標(biāo)框維度聚類、網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)以及輸入圖像多尺度變換等方法對 YoloV2 算法進(jìn)行改進(jìn),明顯提升了檢測的精度和速度.Moran Ju 等人37提出了一種基于 YoloV3 的多尺度目標(biāo)檢測方法.基于 IOU 的數(shù)學(xué)推導(dǎo)方法,為改進(jìn)的 Yolo V3 的每個(gè)尺度選擇候選錨盒的數(shù)量和長寬比維數(shù),同時(shí)將輸出檢測層前的 6 個(gè)卷積層轉(zhuǎn)化為 2 個(gè)殘差單元, 最后在 PASCAL VOC 數(shù)據(jù)集和 KITTI 數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn),改進(jìn)后的網(wǎng)絡(luò)能提高目標(biāo)檢測的平均精度.Chi Ma 等人38提出了一種基于 Yolo 深度學(xué)習(xí)算法的航空圖像車輛檢測方法.集成了一個(gè)適合 Yolo 訓(xùn)練的航空圖像數(shù)據(jù)集.該訓(xùn)練模型特別是對小目標(biāo)、旋轉(zhuǎn)以及緊湊密集目標(biāo),滿足實(shí)時(shí)性檢測的要求.1.3 研究內(nèi)容及技術(shù)路線1.3.1 研究內(nèi)容本文針對城市街景影像中的行人、車輛目標(biāo)信息,利用深度學(xué)習(xí)的算法實(shí)現(xiàn)街景影像中行人車輛檢測.在已有研究的基礎(chǔ)上針對城市街景影像數(shù)據(jù)來源大,數(shù)據(jù)量豐富,影像尺度特征變化大的特點(diǎn),提出了改進(jìn)的 Yolo V3 算法,保證檢索速度提高的情況下,同時(shí)對圖像中行人,車輛數(shù)量多,存在遮擋及尺度變化明顯等問題,進(jìn)行了精度的提升.最后進(jìn)行了不同算法的對比,得到改進(jìn)的算法在檢測目標(biāo)上精度與準(zhǔn)確度上的提高.具 體研究內(nèi)容主要包含以下部分:(1)解決街景中行人車輛檢測中數(shù)量多、尺度變化大的問題針對城市街景影像中行人車輛目標(biāo)數(shù)量多,重復(fù)目標(biāo)出現(xiàn)的特點(diǎn),結(jié)合街景數(shù)據(jù)集本身的特征,由此帶來的目標(biāo)檢測尺度變化大,存在遮擋的問題.主要思路為利用深度學(xué)習(xí)適用于處理圖像視覺中目標(biāo)檢測識別的思想.文章中采用目前深度學(xué)習(xí)主流的不同代表算法應(yīng)用于街景影像中的行人與車輛目 標(biāo)檢測中,即采用 Two-stage 算法代表 Faster R-CNN 算法與 One-stage 算法代表 Yolo V3算法實(shí)現(xiàn).在基于 One-stage 算法的快速檢索的前提下,本文同時(shí)也選取一種輕量級主 干網(wǎng)絡(luò)的 Yolo 算法最后結(jié)果的對比.最后采用改進(jìn)算法與其他三類算法進(jìn)行對比分析.(2)改進(jìn) Yolo 算法實(shí)現(xiàn)行人車輛檢測本文在已有深度學(xué)習(xí)算法基礎(chǔ)上,提出了一種改進(jìn)的 Yolo V3 算法,在保證檢索速度的同時(shí),能夠?qū)⒔志皥鼍爸械某叨茸兓黠@導(dǎo)致識別精度不高的行人車輛能夠準(zhǔn)確檢測.文章最后通過精度速度評價(jià)指標(biāo)對比以及不同算法影像輸出結(jié)果,進(jìn)行四種不同深度學(xué)習(xí)算法的比較,得出改進(jìn)算法具有良好的實(shí)驗(yàn)結(jié)果,驗(yàn)證算法的有效性.