基于FPGA DSP的視頻控制的智能交通燈設計理念

基于FPGA+DSP的視頻控制的智能交通燈設計智能交通燈是未來交通管理和車流量控制的發(fā)展方向，通過它可以更高效地對交通流進行限制、調(diào)整、疏導以改善通行效率、保障交通安全。本設計通過綜合目前各種交通燈的利弊，針對國內(nèi)車輛種類多、隨機性大、影響因素多等實際情況，提出1套完整的新型的基于視頻監(jiān)控的智能交通燈設計方案，該交通燈由視頻采集、圖像處理和控制模塊組成，使用FPGA核心搭建專用高速視頻采集模塊，使用DSP處理器進行實時圖像運算，通過圖像算法提取車流量信息，最終結(jié)合模糊算法實現(xiàn)智能控制。1、系統(tǒng)設計概述本系統(tǒng)完成了1種新型智能交通燈的設計，分為視頻采集模塊、視頻分析模塊和控制模塊3部分，該系統(tǒng)把精簡性、高效性、智能性和實用性進行了極大的集成。其系統(tǒng)結(jié)構框圖如圖1所示。視頻采集模塊以FPGA為核心，其高速并行的邏輯運算能力用于控制CMOS圖像傳感器的時序，并高效地存儲和傳輸圖像數(shù)據(jù)。圖1  系統(tǒng)結(jié)構圖像處理模塊以DSP為核心，其豐富的硬件運算部件和加強的CPU多總線結(jié)構用來實時處理圖像數(shù)據(jù)、分析交通流量狀態(tài)?？刂颇K主要由軟件控制算法和DSP端口組成，這種預留的控制接口外接上不同的驅(qū)動電路即可控制不同規(guī)格的信號燈。2、視頻采集模塊視頻采集模塊結(jié)構框圖如圖2所示。整個模塊以FPGA為核心，外圍擴展了CMOS圖像傳感器以及SDRAM存儲器。圖2 視頻采集模塊結(jié)構CMOS圖像傳感器OV7660的控制信號端和數(shù)據(jù)信號端直接與FPGA相連，通過近400個狀態(tài)機精確完成OV7660各類指令的時序操作。為了協(xié)調(diào)各模塊的處理速率，采集過程以幀為單位對圖像數(shù)據(jù)進行緩存，在SDRAM中開辟緩存空間存儲當前幀和前一幀，在當前幀寫入的時候進行前一幀讀取。DSP通過EMIF接口將FPGA模擬為外部SRAM進行圖像幀的讀取。使用定時器控制DMA將圖像數(shù)據(jù)送入圖像處理模塊。該信號鏈路精簡高效，極大地發(fā)揮了FPGA時序控制優(yōu)勢，并通過優(yōu)化緩存方案提高了數(shù)據(jù)傳輸?shù)姆€(wěn)定性，為后端圖像數(shù)據(jù)分析打下了堅實的基礎。3、圖像處理模塊車流檢測是智能交通系統(tǒng)的重要組成部分。通過視頻圖像來分析車流相比其他方式具有更大的優(yōu)勢，如成本低、系統(tǒng)精簡、適應性強、擴展性強等。圖像處理模塊的主要目標是實現(xiàn)前景分離，即分離出靜止的背景和相對運動的車輛。傳統(tǒng)的運動目標檢測方法有光流法、幀間差分法和背景差分法。背景差分法是目前最常用的1種前景檢測方法，背景差分法通過當前幀減去背景參考幀，然后對差分圖像選擇合適的閾值二值化后，就得到了運動目標。背景差分法檢測運動目標的效果在很大程度上取決于背景圖像的質(zhì)量。背景圖像會隨著光照和其他因素而變動，背景差分法的關鍵在于找到1個背景模型的自適應更新算法。本系統(tǒng)采用均值法獲取初始背景圖像，利用卡爾曼濾波原理建立背景模型，OTSU算法進行圖像的二值化分割。圖像處理模塊結(jié)構框圖如圖3所示。圖3  視頻圖像處理流程3.1、幀灰度化DSP從雙口RAM中讀到16位RGB565格式的彩色圖像數(shù)據(jù)，為了提高圖像處理的速度同時保留圖像的大部分細節(jié)，可以提取圖像中的亮度信息，將圖像轉(zhuǎn)換為YUV格式。其中亮度信息：處理效果如圖4（b）所示。3.2、去噪攝像頭采集到的原始圖像通常包含椒鹽噪聲和白噪聲。椒鹽噪聲是由傳感器，傳輸信道等引起的噪點，白噪聲是頻率意義上的隨機信號干擾，服從高斯分布。為了提高后續(xù)處理效果，必須對原始圖像進行去噪處理。去噪操作同時會一定程度降低圖像質(zhì)量，所以在方法選擇上應適度權衡。本系統(tǒng)采用3x3滑動窗口中值濾波進行去噪處理，其去噪效果明顯且能較好保存圖像邊緣。雖然中值濾波執(zhí)行效率一般，但經(jīng)優(yōu)化后對實時性影響甚微。將3x3的數(shù)據(jù)序列分為3組分別排序，獲得最大值組、中值組、最小值組，然后在最大值組的最小值、中值組的中值和最小值組的最大值3個值中取中值，結(jié)果即為序列的中值。處理效果如圖4（c）所示。3.3、背景提取與更新常用的目標檢測算法主要有：光流法、幀差法、背景差分法。光流法計算復雜度高，主要用在有硬件支持和場合;幀差法運算速度快且適應性強，但對于不同速度的物體容易出現(xiàn)前景空洞現(xiàn)象，影響準確性;背景差分法的核心思想為分離靜態(tài)背景和動態(tài)前景，通過背景幀和當前幀個像素的差分來提取前景。本系統(tǒng)采用卡爾曼濾波思想建立背景模型，提取和更新背景?？柭鼮V波是根據(jù)過去的信號，利用統(tǒng)計估計理論，并使用線性最小均方誤差作為最優(yōu)準則，預測將來某個時刻的值。初始背景通過多幀平均求得。背景更新的迭代公式為：式中：B（x，y，t）為當前背景，B（x，y，t+1）是對下一幀背景的預測，I（x，y，t）是輸入圖像，M（x，y，t）是前景的二值化圖像，TH為分割閾值。根據(jù)卡爾曼濾波理論，以上計算將預測值和1個相關項來計算出新的背景估計。背景提取效果如圖4（d）所示。3.4、前景提取及增強二值化操作由差分圖像獲取前景目標，由于光線和環(huán)境因素的影響，固定閾值法不能適應多變的現(xiàn)場，本系統(tǒng)采用OTSU方法進行自適應閾值分割。OTSU方法的基本思想是選取的最佳閾值T應該使得不同類之間的分離性最好。經(jīng)典OTSU方法法在沒有前景或者前景與背景灰度較接近時，閾值會趨近極小值而出現(xiàn)誤判。對此本系統(tǒng)將差分圖像進行灰度拉伸，即將每個像素的灰度值擴大一定倍數(shù)，加大背景和前景的灰度差，便于對黑色車輛的分割;同時對閾值下限進行處理，以避免沒有車輛時出現(xiàn)誤判。二值化效果如圖4（e）所示。圖4  視頻圖像處理效果由于一些不定因素的影響，二值圖中存在以下2點缺陷：一是背景環(huán)境中有噪點干擾;另一是前景未提取完全，存在空洞現(xiàn)象。為了彌補以上缺陷，使后續(xù)模塊能更好的得到車流信息，使用形態(tài)學方法來增強二值圖像，針對白色像素，先膨脹后腐蝕，即可消除一定大小范圍內(nèi)的背景噪聲和前景空洞。膨脹和腐蝕像素范圍都設置成2時的結(jié)果如圖4（f）所示。3.5、提取車流信息本系統(tǒng)需要得到的車流信息為紅燈時每一相位上等待的車流量和綠燈時每一相位通行的車流量，以此為基礎進行交通燈的智能控制。紅燈時每一相位等待的車流量通過統(tǒng)計二值圖像中前景的面積，根據(jù)相應的上下限范圍得到車流量。綠燈時每一相位通行的車流量通過分析警戒線后矩形區(qū)域內(nèi)二值圖像的面積變化得出。當矩形內(nèi)前景面積由小到大大于某一閾值再減小視為檢測到一輛車通過。4、交通燈的模糊控制對單交叉口的信號燈進行控制，主要是尋找最佳信號周期和各相位的綠信比，使交叉口排隊長度盡可能短，車輛平均延誤盡可能小。模糊控制器的輸入此時為紅燈相位上等待的車流量和綠燈相位上通行的車流量，輸出為下一周期亮紅燈的時間。車流量的模糊集合取5個等級，隸屬函數(shù)如圖5所示。模糊規(guī)則的制定原則是使通行的車流量最大，同時使等待的時間不至于過長。模糊規(guī)則如表1所示。圖5  車流量隸屬函數(shù)表1模糊控制規(guī)則5、結(jié)論本設計以FPGA為核心搭建專用高速視屏傳輸通道，通過DSP實時視頻處理得出車流信息，再通過模糊控制原理生成單相交通燈控制字，實現(xiàn)交通燈的智能控制。