基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)

《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)（48頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、本科畢業(yè)論文（設(shè)計(jì)）專(zhuān)用 本科畢業(yè)論文（設(shè)計(jì)） 論 文 題 目 ： 基于深度學(xué)習(xí)技術(shù)的人員行為異常檢 測(cè)系統(tǒng)設(shè)計(jì) 摘 要 隨著人工智能領(lǐng)域技術(shù)的不斷發(fā)展，人工智能與制造業(yè)的融合應(yīng)用已具備一定的基礎(chǔ)。 現(xiàn)代工廠中人員基數(shù)較大，人員行為狀況復(fù)雜，發(fā)生突發(fā)意外事件的情況可能性較大，為 了方便企業(yè)對(duì)員工異常行為的判斷，提高工廠安防能力，本設(shè)計(jì)擬設(shè)計(jì)一款現(xiàn)代工廠作業(yè) 人員行為異常檢測(cè)系統(tǒng)。 本設(shè)計(jì)利用深度學(xué)習(xí)技術(shù)，對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練與驗(yàn)證，依靠 open pose 框架對(duì)權(quán)重進(jìn)行 設(shè)置，以達(dá)到視覺(jué)檢測(cè)的效果，使用 Open Po

2、se 在做動(dòng)作識(shí)別的時(shí)候可以有效的提高動(dòng)作 識(shí)別度，增加視覺(jué)識(shí)別的準(zhǔn)確性和數(shù)據(jù)交互能力。同時(shí)，利用 Open Pose 算法對(duì)目標(biāo)進(jìn)行 檢測(cè)與數(shù)據(jù)分析，并對(duì)所檢測(cè)的圖像中的人體骨架的關(guān)鍵信息點(diǎn)進(jìn)行目標(biāo)檢測(cè)和數(shù)據(jù)分析， 將算法檢測(cè)出的圖像中人體骨架進(jìn)行信息關(guān)鍵點(diǎn)標(biāo)注，將骨架關(guān)鍵點(diǎn)連接形成一個(gè)類(lèi)似火 柴人的骨架，然后計(jì)算每一個(gè)關(guān)鍵點(diǎn)的夾角，以此來(lái)判斷人體動(dòng)作的姿態(tài)顯示。 本設(shè)計(jì)系統(tǒng)通過(guò) Visual Studio Code 軟件搭載 python3.75 進(jìn)行程序設(shè)計(jì)實(shí)現(xiàn)對(duì)人體姿態(tài) 識(shí)別，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證，通過(guò)實(shí)驗(yàn)表明：本系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，設(shè)備需求量減小、數(shù)據(jù)集中， 系統(tǒng)穩(wěn)定性好，與傳統(tǒng)人體姿態(tài)識(shí)別

3、方法相比，數(shù)據(jù)交互性強(qiáng)，使用成本較低，數(shù)據(jù)量較 小。 關(guān)鍵詞：Open pose；姿態(tài)識(shí)別；人體姿態(tài)；目標(biāo)檢測(cè) Abstract With the continuous development of artificial intelligence technology, the fusion application of artificial intelligence and manufacturing industry has a certain basis. In modern factories, the personnel base is large,

4、 the personnel behavior is complex, and the possibility of accidents is large. In order to facilitate the enterprise to judge the abnormal behavior of employees and improve the factory security ability, this design intends to design a modern factory personnel behavior abnormal detection system. T

5、his design uses deep learning technology to train and verify data, and relies on open pose framework to set weights, so as to achieve the effect of visual detection. Open Pose can effectively improve the degree of motion recognition, increase the accuracy of visual recognition and the ability of da

6、ta interaction when doing motion recognition. At the same time, the Open Pose algorithm was used for target detection and data analysis, and the key information points of human skeleton in the detected images were detected and data analysis. The key information points of human skeleton in the images

7、 detected by the algorithm were marked, and the skeleton key points were connected to form a skeleton similar to that of a match man, and then the included Angle of each key point was calculated. To judge the posture display of human movement. In this design system, the Visual Studio Code softw

8、are is equipped with python3.75 for program design to realize the recognition of human posture, and the experimental verification is carried out. The experiment shows that: The system has the advantages of simple structure, reduced equipment demand, stable data, good system stability and strong da

9、ta robustness. Compared with traditional human body posture recognition methods, the data interaction is strong, the use cost is low, and the data volume is small. Key words: Open pose；Gesture recognition；The body posture；Target detection 目 錄 1 引 論 1 1.1 研究目的及意義 1 1.2 國(guó)內(nèi)外研究現(xiàn)狀 3

10、 1.3 設(shè)計(jì)的主要內(nèi)容 4 2 行為異常檢測(cè)系統(tǒng)總體方案 5 2.1 系統(tǒng)需求與分析 5 2.2 系統(tǒng)總體方案設(shè)計(jì) 5 3 系統(tǒng)硬件設(shè)計(jì) 6 3.1 硬件方案設(shè)計(jì) 6 3.2 深度相機(jī)選型 7 3.3 視覺(jué)板卡選型 8 3.4 聲光報(bào)警裝置選型 10 3.5 光源裝置選型 11 4 行為異常檢測(cè)系統(tǒng)通訊設(shè)計(jì) 13 4.1 通信協(xié)議的選擇 13 4.2 深度相機(jī)與 JETSON NANO 板卡 TCP/IP 通訊 13 4.3 深度相機(jī)與 JETSON NANO 板卡 CSI 通訊 14 5 行為異常檢測(cè)系統(tǒng)軟件設(shè)計(jì) 16 5.1 軟件方案設(shè)計(jì)

11、 16 5.2 數(shù)據(jù)采集 18 5.3 數(shù)據(jù)集收集與圖片標(biāo)注 18 5.4 圖片預(yù)處理 19 5.5 手部特征算法及程序設(shè)計(jì) 22 5.6 身體特征算法及程序設(shè)計(jì) 23 5.7 人體姿態(tài)識(shí)別算法及程序設(shè)計(jì) 25 6 行為異常檢測(cè) 27 6.1 識(shí)別權(quán)重準(zhǔn)備 27 6.2 檢測(cè)系統(tǒng)識(shí)別準(zhǔn)備 27 6.3 行為異常檢測(cè)系統(tǒng) 29 7 結(jié) 語(yǔ) 33 參考文獻(xiàn) 34 致 謝 35 附 錄 36 附錄一 36 附錄二 42 1 引 論 1.1 研究目的及意義 1.1.1 研究目的 隨著經(jīng)濟(jì)發(fā)展，社會(huì)體系的逐步完善，社會(huì)治安的能

12、力得到大幅度提升，在 2020 年 11 月國(guó)家信息中心提出《全觀智慧城市白皮書(shū)》，首次提出全光智慧城市的發(fā)展理念。 隨著這一政策推出，各地方開(kāi)始紛紛跟進(jìn)“智慧城市”建設(shè)項(xiàng)目，由各大城市開(kāi)始向鄉(xiāng)鎮(zhèn) 擴(kuò)散。智慧城市是運(yùn)用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、空間地理信息集成等新一代信息技術(shù)， 促進(jìn)城市規(guī)劃、建設(shè)、管理和服務(wù)智慧化的新理念和新模式。 至 2010 起年我國(guó)安防行業(yè)總收入已達(dá) 2350 億元，并逐年快速增長(zhǎng)態(tài)勢(shì)。2013 年我 國(guó)安防行業(yè)總收入達(dá)到 3800 億元。到了 2016 年我國(guó)安防行業(yè)總收入達(dá)到了 5400 億元， 截止至 2017 年底，我國(guó)安防企業(yè)數(shù)量大約有 2.1 萬(wàn)家，行

13、業(yè)總收入增長(zhǎng)至突破 6000 億元， 年均增長(zhǎng) 14.4%，全行業(yè)實(shí)現(xiàn)增加值 1960 億元，年均增長(zhǎng) 12.7%。2018 年我國(guó)安防行業(yè) 總收入將達(dá)到 6678 億元左右。2020 年我國(guó)安防行業(yè)總收入將突破 8000 億元，達(dá)到了 8212 億元左右，如圖 1.1 所示。 圖 1.1 視覺(jué)市場(chǎng)分析 智能安防市場(chǎng)空間廣闊，視頻監(jiān)控高增速。AI 技術(shù)賦予安防感知和認(rèn)知能力，從人 臉識(shí)別、視頻行為分析到后端有效數(shù)據(jù)的提取及挖掘，協(xié)助解決安防場(chǎng)景中諸多復(fù)雜、動(dòng) 態(tài)問(wèn)題，推動(dòng)安防行業(yè)智能化發(fā)展。據(jù)預(yù)測(cè)，全球智能視頻監(jiān)控市場(chǎng) 2020-2025 年復(fù)合增 1 速為

14、7.1%，2025 年市場(chǎng)規(guī)模將達(dá)到 318 億美元，如圖 1.2 所示。 圖 1.2 視覺(jué)市場(chǎng)規(guī)模示意圖 由于深度學(xué)習(xí)算法在在語(yǔ)音和圖像識(shí)別領(lǐng)域的重大突破，通過(guò)攝像頭識(shí)別人臉開(kāi)始成 為現(xiàn)實(shí)。伴隨安防監(jiān)控系統(tǒng)的越發(fā)龐大，監(jiān)控?cái)?shù)據(jù)也隨之而來(lái)，針對(duì)視頻監(jiān)控的中出現(xiàn)的 行為異常時(shí)間的檢測(cè)與事故發(fā)生的誘導(dǎo)因素，這需要安防人員時(shí)時(shí)刻刻的觀察各個(gè)監(jiān)控?cái)?shù) 據(jù)，但是人的精力是有限的，無(wú)法時(shí)時(shí)刻刻保持高度集中的注意力進(jìn)行觀察各監(jiān)控?cái)?shù)據(jù)， 因此會(huì)產(chǎn)生各種因素導(dǎo)致漏檢與誤檢等情況，從而導(dǎo)致安防能力下降。如今，工廠人員密 集，人員活動(dòng)范圍變大，在此過(guò)程中突發(fā)的異常行為事件就變得各式各樣，有的行為異常 很難去辨

15、認(rèn)，甚至難以察覺(jué)，如此以來(lái)，大大的增加了視頻監(jiān)控技術(shù)的技術(shù)難度。針對(duì)這 種情況本設(shè)計(jì)提出一種基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)，用 以輔助監(jiān)控人員的工作，以此減少監(jiān)控工作人員壓力提高安防能力。 5G 帶來(lái)了網(wǎng)絡(luò)環(huán)境的全新變革，多項(xiàng)智慧城市的標(biāo)準(zhǔn)體系的落地、加上 AI 技術(shù)條 件的逐漸成熟，智慧城市建設(shè)有望將進(jìn)入快車(chē)道。人工智能改變了機(jī)器視覺(jué)在物理世界朝 數(shù)字世界轉(zhuǎn)換的方式，這兩大技術(shù)在安防領(lǐng)域的融合應(yīng)用，目前正在構(gòu)成“5G+AI+安防” 的全新的組合，助推視頻監(jiān)控行業(yè)邁向超高清、AI 智能的新階段。 1.1.2 研究意義 異常事件檢測(cè)技術(shù)（或者稱(chēng)為行為異常檢測(cè)技術(shù)）的

16、研究能不斷推進(jìn)智能化技術(shù)的發(fā) 展，這對(duì)促進(jìn)社會(huì)和諧意義重大。在社會(huì)治安方面;可以對(duì)視頻監(jiān)控地點(diǎn)進(jìn)行實(shí)時(shí)監(jiān)控， 當(dāng)檢測(cè)點(diǎn)發(fā)生打架，搶劫，斗毆等做出有違社會(huì)治安穩(wěn)定的異常行為時(shí)通過(guò)視覺(jué)檢測(cè)進(jìn)行 判斷其異常行為模式并及時(shí)向相關(guān)部門(mén)進(jìn)行數(shù)據(jù)交互提醒，以此可以大幅度提升該地區(qū)安 防效率，有效避免惡性事件的發(fā)生；在交通監(jiān)管方面，行人橫穿馬路，發(fā)生車(chē)禍，都可以 通過(guò)行為異常檢測(cè)技術(shù)進(jìn)行監(jiān)控識(shí)別；在工廠生產(chǎn)方面，能檢測(cè)出檢測(cè)區(qū)的作業(yè)人員發(fā)生 9 跌倒，違規(guī)攀爬，碰撞和突發(fā)性的異常行為動(dòng)作進(jìn)行報(bào)警提示，使監(jiān)控人員第一時(shí)間注意 到，并給予解決，在關(guān)鍵時(shí)刻甚至可以挽救工作人員的生命；行為異常檢測(cè)

17、技術(shù)也可以運(yùn) 用于商場(chǎng)，小區(qū)，銀行，景點(diǎn)園區(qū)，博物館等場(chǎng)景，通過(guò)及時(shí)有效的檢測(cè)監(jiān)控中的異常行 為，降低突發(fā)事件造成的危害。將視頻識(shí)別與動(dòng)作檢測(cè)，這種高效的行為異常檢測(cè)技術(shù)運(yùn) 用在安防技術(shù)上，能減少人力物力 ，對(duì)群眾與社會(huì)治安提供一定量的保障。所以，對(duì)針 對(duì)這種行為異常檢測(cè)算法的研究顯得極為急迫和重要。 1.2 國(guó)內(nèi)外研究現(xiàn)狀 1.2.1 國(guó)外研究現(xiàn)狀 人工智能技術(shù)通過(guò)搭載著大數(shù)據(jù)時(shí)代的帆船得到了飛速的發(fā)展，監(jiān)控安防系統(tǒng)也越來(lái) 越智能化普及化，如圖 1.3 所示。研究人員基于這個(gè)實(shí)驗(yàn)，發(fā)現(xiàn)動(dòng)作和骨骼關(guān)鍵點(diǎn)的關(guān)系， 于是開(kāi)始針對(duì)骨骼關(guān)鍵點(diǎn)進(jìn)行研究。2019 年曾經(jīng)開(kāi)源 Open Pose 的

18、卡內(nèi)基梅隆大學(xué)（CMU） 公布了 ICCV 2019 論文 Single-Network Whole-Body Pose Estimation，提出一種在單一網(wǎng) 絡(luò)實(shí)現(xiàn)全人體姿態(tài)估計(jì)的算法，相對(duì) Open Pose 大幅提高了速度。在 Open Pose 只能達(dá)到 幀率 1.6 fps 的圖像上，該文提出的算法運(yùn)行幀率可達(dá)到 13.2 fps，且精度還有改進(jìn)。相對(duì) 與原來(lái)的人體姿態(tài)估計(jì)，即對(duì)人體軀干、人臉、手部都進(jìn)行姿態(tài)估計(jì)，這可以通過(guò)先檢測(cè) 人體軀干關(guān)鍵點(diǎn)，然后再針對(duì)人臉和手部進(jìn)行單獨(dú)的關(guān)鍵點(diǎn)定位實(shí)現(xiàn)，這種方法需要多個(gè) 姿態(tài)估計(jì)網(wǎng)絡(luò)，速度并不快。 卡內(nèi)基梅隆大學(xué)在 Open Pose 算法框

19、架下，使用單一網(wǎng)絡(luò) 實(shí)現(xiàn)全人體的姿態(tài)估計(jì)并在論文 Open Pose: reatime multi-person 2D pose estimation using Part Affinity Fields 基礎(chǔ)上進(jìn)行了改進(jìn)，將原本人臉、手部 Part Affinity Fields 直接合并進(jìn) 入人體的 Part Affinity Fields， 進(jìn)行多任務(wù)學(xué)習(xí)，實(shí)現(xiàn)上述功能。 圖 1.3 全球視覺(jué)市場(chǎng)規(guī)模分布圖 1.2.2 國(guó)內(nèi)研究現(xiàn)狀 2022 年由國(guó)內(nèi)蘇波，柴自強(qiáng)，王莉[7]等學(xué)者提出針對(duì)人體姿態(tài)估計(jì)模型 Open Pose 計(jì) 算量大、檢測(cè)速度慢等問(wèn)題，提出了一種

20、改進(jìn) Open Pose 模型，替換其主干網(wǎng)絡(luò)為八度卷 積與 Mobile Net 融合而成的 Oct - Mobile Net，并優(yōu)化縮減預(yù)測(cè)階段的重復(fù)分支。實(shí)驗(yàn)表 明，改進(jìn)模型的計(jì)算量降低為原來(lái)的 12%且檢測(cè)速度提升 300%。應(yīng)用改進(jìn) Open Pose 模 型提取標(biāo)準(zhǔn)視頻與測(cè)試視頻的姿態(tài)向量時(shí)間序列，其中姿態(tài)向量由關(guān)鍵點(diǎn)坐標(biāo)經(jīng)歸一化處 理后組合得到。采用姿態(tài)向量之間的余弦距離表征單幀動(dòng)作相似度，通過(guò)動(dòng)態(tài)時(shí)間規(guī)整算 法計(jì)算標(biāo)準(zhǔn)序列與測(cè)試序列之間的累積距離作為序列整體相似度。該評(píng)分方法計(jì)算復(fù)雜度 低且適用于視頻 時(shí)長(zhǎng)不一致的情況，在八段錦健身動(dòng)作評(píng)估中取得了較好應(yīng)用效果，具 有一定的推廣

21、應(yīng)用價(jià)值，如圖 1.4 所示。 1.3 設(shè)計(jì)的主要內(nèi)容 圖 1.4 姿態(tài)估計(jì) 本文提出了一種基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)，通過(guò)了解深度學(xué)習(xí) 技術(shù)的人員行為異常檢測(cè)系統(tǒng)的組成單元，首先對(duì)深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng) 進(jìn)行功能分析，根據(jù)功能進(jìn)行設(shè)備選型，選擇適當(dāng)?shù)囊曈X(jué)板卡和深度相機(jī)等硬件，合理構(gòu) 建空連接布局。 通過(guò)運(yùn)用 Open pose 算法對(duì)讀取的圖像進(jìn)行關(guān)鍵點(diǎn)識(shí)別方法，該方法通過(guò)輕量化 Open pose 對(duì)視頻流進(jìn)行骨骼圖像提取，中間通過(guò)對(duì)得到的圖像進(jìn)行姿態(tài)數(shù)據(jù)集標(biāo)注，最 后再通過(guò) COCO 模型對(duì)標(biāo)注圖像進(jìn)行分類(lèi)訓(xùn)練，將訓(xùn)練出來(lái)的權(quán)

22、重文件進(jìn)行分類(lèi)。根據(jù) 所需要的識(shí)別狀態(tài)更換合適的權(quán)重文件，然后利用 Python3.75 結(jié)合 Visual Studio Code 編 寫(xiě)深度學(xué)習(xí)系統(tǒng)程序，最后通過(guò)識(shí)別檢測(cè)驗(yàn)證程序調(diào)試，使深度相機(jī)可以實(shí)現(xiàn)實(shí)時(shí)的姿態(tài) 獲取，以檢測(cè)人體姿態(tài)。 2 行為異常檢測(cè)系統(tǒng)總體方案 2.1 系統(tǒng)需求與分析 由于現(xiàn)在人工智能技術(shù)的發(fā)展，企業(yè)與公司對(duì)安防意識(shí)的需求增大，參考?？低暫?百度對(duì)視覺(jué)安防的技術(shù)攻堅(jiān)，視覺(jué)安防得到了一定量的普及，人工智能視覺(jué)識(shí)別作為安防 監(jiān)控的能力得到大幅度提升。針對(duì)這一發(fā)展需求與時(shí)代發(fā)展趨勢(shì)，提出一種基于深度學(xué)習(xí) 技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)來(lái)實(shí)

23、時(shí)監(jiān)測(cè)定位人體，判斷特殊時(shí)段、核 心區(qū)域是否有人員入侵；基于人體關(guān)鍵點(diǎn)信息，進(jìn)行二次開(kāi)發(fā)，識(shí)別特定的異常行為，及 時(shí)預(yù)警管控。 學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)，技術(shù)通過(guò)相機(jī)作為視覺(jué)采集裝置，在特定的工作 區(qū)域或指定的安裝位置進(jìn)行數(shù)據(jù)采集，根據(jù)分析數(shù)據(jù)自動(dòng)檢測(cè)區(qū)域內(nèi)是否存在異常行為， 來(lái)提高安防效率，可以通過(guò)不同場(chǎng)景的實(shí)際需求更換不同的采集設(shè)備與視覺(jué)處理設(shè)備來(lái)實(shí) 現(xiàn)不同類(lèi)型的異常行為識(shí)別。 2.2 系統(tǒng)總體方案設(shè)計(jì) 通過(guò)在各工作地點(diǎn)內(nèi)安裝高清視覺(jué)攝像頭，實(shí)時(shí)監(jiān)控工作人員的工作狀態(tài)。通過(guò)以太 網(wǎng)通信，將攝像頭的數(shù)據(jù)畫(huà)面實(shí)時(shí)傳播給 Jetson Nano 板卡進(jìn)行視覺(jué)處理，通過(guò)算法的深度 學(xué)習(xí)

24、將視頻中的人分為若干個(gè)點(diǎn)，在拼合運(yùn)用模型將人體進(jìn)行姿態(tài)估計(jì)，形成一個(gè)由多個(gè) 關(guān)鍵點(diǎn)合成的人體骨架并更具視頻傳輸回來(lái)的畫(huà)面進(jìn)行實(shí)時(shí)更新用以檢測(cè)，當(dāng)工作人員出 現(xiàn)異常行為，身體姿態(tài)發(fā)生變化，Jetson Nano 視覺(jué)處理檢測(cè)到行為異常的姿態(tài)輸出信號(hào)。 聲光報(bào)警器接收到信號(hào)后報(bào)警觸發(fā)，人體姿態(tài)示意實(shí)時(shí)在 PC 端顯示。方案如圖 2.1 所示 圖 2.1 系統(tǒng)方案示意圖 3 系統(tǒng)硬件設(shè)計(jì) 3.1 硬件方案設(shè)計(jì) 本設(shè)計(jì)主要由 4 個(gè)部分組成，分別是采集點(diǎn)，處理點(diǎn)，報(bào)警點(diǎn)，反饋點(diǎn)四個(gè)部分組成。 首先通過(guò)攝像頭進(jìn)行目標(biāo)進(jìn)行圖像檢測(cè)，然后通過(guò)通訊進(jìn)行數(shù)據(jù)交互，將數(shù)據(jù)給于視覺(jué)板

25、 卡進(jìn)行視覺(jué)處理。視覺(jué)板卡將得到的數(shù)據(jù)圖像通過(guò) open pose 算法框架進(jìn)行算法識(shí)別數(shù)據(jù) 通過(guò)對(duì)比已經(jīng)訓(xùn)練好的權(quán)重進(jìn)行數(shù)據(jù)驗(yàn)證，然后通過(guò)顯示設(shè)備將圖像處理處理，圖片中每 一個(gè)都變成了一幅幅由多個(gè)關(guān)鍵目標(biāo)數(shù)據(jù)信息點(diǎn)組成的一副火柴人形狀的人體骨架，然后 通過(guò)骨架去判斷人體姿態(tài)。當(dāng)人體發(fā)生異常的時(shí)候算法會(huì)輸出一個(gè)信號(hào)，該信號(hào)經(jīng)過(guò) Jetson Nano 內(nèi)置 I/O 口輸出信號(hào)，使報(bào)警裝置進(jìn)行報(bào)警等工作提示，硬件方案如圖 3.1～3.2 所示。 通過(guò)本方案的設(shè)計(jì)與需求的分析結(jié)合設(shè)計(jì)需求主要硬件產(chǎn)品表 3.1 所示； 表3.1 硬件設(shè)計(jì)產(chǎn)品序列表 產(chǎn)品名稱(chēng) 產(chǎn)品型號(hào) 產(chǎn)品數(shù)量 ?？低?/p>

26、雙目行為分析攝像機(jī) DS-2CD8426F/B-I 4 英偉達(dá)視覺(jué)板卡 Jetson Nano 1 聯(lián)想 TF 高速存儲(chǔ)卡 專(zhuān)業(yè)版 128G 1 施耐 Schneider Electric 信號(hào)燈帶蜂鳴器 Schneider XVR 多功能 LED 信號(hào)燈 1 圖 3.1 硬件設(shè)備整體連接示意圖 3.2 深度相機(jī)選型 圖 3.2 硬件設(shè)備控制連接示意圖 傳統(tǒng)相機(jī)，僅支持普通監(jiān)控功能，脫離不了人員值守監(jiān)控范疇，不能減少人員疲勞， 松懈，短時(shí)間離開(kāi)，無(wú)法支持照顧多點(diǎn)的常規(guī)缺陷。傳統(tǒng)監(jiān)控的圖像不能長(zhǎng)時(shí)間顯示。攝 像機(jī)采

27、集到的海量視頻圖像傳輸?shù)奖O(jiān)控中心后，值班人員很可能沒(méi)看到重要的異常情況。 因?yàn)槿狈χ悄芤蛩?，錄像?shù)據(jù)無(wú)法被有效地分類(lèi)存儲(chǔ)，數(shù)據(jù)工作非常耗時(shí)，人們很難獲得 全部信息。 海康威視 DS-2CD8426F/B-I 200 萬(wàn)深眸雙目行為分析攝像機(jī)，內(nèi)置高性能 GPU，內(nèi)嵌 專(zhuān)為視頻監(jiān)控場(chǎng)景設(shè)計(jì)、優(yōu)化的深度學(xué)習(xí)算法和雙目立體視覺(jué)算法，具備了比人腦更精準(zhǔn) 的安防大數(shù)據(jù)歸納能力，可以實(shí)現(xiàn)穿越警戒線、徘徊、奔跑檢測(cè)、人數(shù)異常檢測(cè)、間距異 常檢測(cè)、劇烈運(yùn)動(dòng)檢測(cè)、離崗檢測(cè)、倒地檢測(cè)、滯留檢測(cè)等 9 項(xiàng)人工智能視覺(jué)檢測(cè)技術(shù)。 只需要將權(quán)重訓(xùn)練好則無(wú)需二次配置，該設(shè)備采用人體仿生雙目式設(shè)計(jì)，可以像人眼由于 立體識(shí)

28、別圖像而不是簡(jiǎn)單的二維平面識(shí)別，如圖 3.3 所示。 當(dāng)設(shè)備供電開(kāi)始工作時(shí)一對(duì)雙目鏡頭實(shí)時(shí)獲取同一目標(biāo)檢測(cè)的場(chǎng)景并各自獨(dú)立生成 的兩幅圖像，通過(guò)自帶的數(shù)據(jù)計(jì)算，目標(biāo)在同一個(gè)空間點(diǎn)時(shí)所生成的兩幅圖像的視覺(jué)差距”， 用以來(lái)定位該目標(biāo)場(chǎng)景的深度，通過(guò)數(shù)據(jù)算法對(duì)圖片的目標(biāo)檢測(cè)圖像進(jìn)行生成一種立體結(jié) 構(gòu)的視圖,在雙目攝像頭在工作過(guò)程中識(shí)別到需要檢測(cè)的目標(biāo)后，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間位 置偏差，獲取目標(biāo)的三維信息, 瞬間完成圖像獲取,大大提高了行為分析檢測(cè)的準(zhǔn)確性。支 持手動(dòng)標(biāo)定、自動(dòng)標(biāo)定、智能標(biāo)定三種標(biāo)定方式 可滿足不同場(chǎng)景下的參數(shù)標(biāo)定并且支持 單次報(bào)警或者定時(shí)循環(huán)報(bào)警功能和多種協(xié)議接入，方便和第三方系統(tǒng)

29、集成。 攝像機(jī)后端接口簡(jiǎn)潔，包含 DC36V 電源接口、RJ45 10M/100M 自適應(yīng)以太網(wǎng)口以及 1 路報(bào)警輸入/輸出、1 路音頻輸入/輸出，實(shí)測(cè)中功耗最大 27W，無(wú)需復(fù)雜的接線和配置， 安裝簡(jiǎn)單便捷。 通過(guò)傳統(tǒng)相機(jī)與深度相機(jī)進(jìn)行對(duì)比，如表 3.2 所示。 表3.2 傳統(tǒng)相機(jī)與深度相機(jī) 傳統(tǒng)相機(jī) 深度相機(jī) 功能 普通監(jiān)控功能 視頻監(jiān)控，多傳感器協(xié)調(diào) 應(yīng)用 脫離不了人員值守監(jiān)控范疇，不能減少 帶有計(jì)算機(jī)人工智能分析功能，無(wú)需人 人員疲勞，松懈，短時(shí)間離開(kāi) 員值守，所有值守均由計(jì)算機(jī)執(zhí)行 報(bào)警 只能監(jiān)控，出現(xiàn)警況只能事后回放，不 實(shí)時(shí)預(yù)警，出

30、現(xiàn)警況第一時(shí)間進(jìn)行自動(dòng) 能及時(shí)預(yù)警 報(bào)警 回放 回放視頻只能播放全部時(shí)刻錄像，費(fèi)時(shí) 可以根據(jù)多種條件線索智能檢索錄像， 費(fèi)力 快速定位 儲(chǔ)存 錄像只能無(wú)差別存放，大量無(wú)效數(shù)據(jù)占 報(bào)警數(shù)據(jù)和無(wú)效數(shù)據(jù)分類(lèi)存放，可以根 用空間，儲(chǔ)存服務(wù)器投資大 據(jù)需要自動(dòng)清理無(wú)效數(shù)據(jù) 資料來(lái)源：辰啟智科 所以本論文工業(yè)相機(jī)選型選擇海康威視 DS-2CD8426F/B-I 的相機(jī)，其功能強(qiáng)，性價(jià)比 高，能實(shí)現(xiàn)本設(shè)計(jì)需求。 3.3 視覺(jué)板卡選型 圖 3.3 深度相機(jī) 樹(shù)莓派 3B+是在 2018 年 pi 日（3 月 14 日）發(fā)售的目前為止樹(shù)莓派家族當(dāng)中最新

31、，性 能最強(qiáng)，也是功耗最高的一款產(chǎn)品=,Raspberry Pi 3 Model B +作為 Raspberry Pi 3 系列的最 終版本，擁有 1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；千兆以太網(wǎng) over USB 2.0；1G LPDDR2；PoE 支持（Power-over-Ethernet，with PoE HAT）；改進(jìn) PXE 網(wǎng)絡(luò)與 USB 大容量存儲(chǔ)啟動(dòng)，如圖 3.4 所示。 圖 3.4 樹(shù)莓派 3B+板卡 Jetson Nano 是一款功能強(qiáng)大

32、的人工智能(AI)開(kāi)發(fā)板，可助你快速入門(mén)學(xué)習(xí) AI 技術(shù)， 并將其應(yīng)用到各種智能設(shè)備。它搭載四核 Cortex-A57 處理器，128 核 Maxwell GPU 及 4GB LPDDR 內(nèi)存，擁有足夠的 AI 算力，可以并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)，適用于需要圖像分類(lèi)、 目標(biāo)檢測(cè)、分割、語(yǔ)音處理等功能的 AI 應(yīng)用。它支持 NVIDIA Jet Pack，其中包括用于深 度學(xué)習(xí)，計(jì)算機(jī)視覺(jué)，GPU 計(jì)算，多媒體處理，CUDA，CUDNN 和 TensorRT 等軟件庫(kù)， 以及其他一系列流行的 AI 框架和算法，比如 TensorFlow，PyTorch，Caffe / Caffe2，Keras， M

33、XNet 等，如圖 3.5 所示。 圖 3.5 Jetson Nano 視覺(jué)板卡 1-SD 卡插槽；2-40 針膨脹針頭；3-MicroUSB 接口；4-以太網(wǎng)口；5-USB3.0 接口；6-HDMI 輸出 端口；7-視頻接口；8-供電口；9-攝像頭連接口；10-Poe 接口 首先主板正中上面是一個(gè)很大的散熱片，1 是主存儲(chǔ) SD 卡插槽；2 是 40 引腳的 CPIO； 3 是個(gè) 5V2A 的 Micro USB 接口（可以使用電源供電，或者使用 PC 連接）；4 是一個(gè) RJ45 千兆以太網(wǎng)接口；5 是 4 個(gè) USB3.0 接口；6 是 1 個(gè) HDMI 2.

34、0 視頻接口；7 是顯示端口連 接器；8 是 5V 的 DC 供電口；9 是 MIPI CSI 攝像頭連接口；10 是 Poe 接口。一般看視頻 是推薦使用 5V4A 的 DC 供電方式（使用 DC 電源需要短接 J48 跳線帽），因?yàn)殡娫催B接 這里可以開(kāi)啟 15w 的高功率模式。據(jù)說(shuō) YoloV3 的應(yīng)用，電流需要 2.9A 左右，如果連接右 下角的電源口，會(huì)讓 Nano 板不斷地發(fā)熱和重啟。 通過(guò)市場(chǎng)常用的幾款板卡進(jìn)行參數(shù)對(duì)比可知，如表 3.3 所示。 表3.3 板卡參數(shù)對(duì)比表 型號(hào) 樹(shù)莓派 3B+ Intel NCS2 神經(jīng)計(jì)算棒 （僅模塊） Jetson Na

35、no 算力（INTB） - 4TOPS 7TOPS 功耗 1.4W 2W 10W 算力/功耗 - 2 0.7 重量 42g 77.8g 249.47 價(jià)格 850 900 1500 資料來(lái)源：芯板坊 本論文設(shè)計(jì)的視覺(jué)系統(tǒng)核心在于深度學(xué)習(xí)算法，但是深度學(xué)習(xí)的訓(xùn)練加速離不開(kāi)算力 的支持，Jetson Nano 開(kāi)發(fā)板是我目前主打深度學(xué)習(xí)方向的開(kāi)發(fā)板。所以經(jīng)過(guò)對(duì)比分析我選 擇 Jetson Nano 開(kāi)發(fā)板。 3.4 聲光報(bào)警裝置選型 Schneider XVR 多功能 LED 信號(hào)燈（內(nèi)置蜂鳴器），作為市場(chǎng)中暢銷(xiāo)的幾款信號(hào)燈， 他的功能不容置疑，

36、尤其是 Harmony XVR 系列電動(dòng)機(jī)旋轉(zhuǎn)信號(hào)燈及蜂鳴器是可視音頻信 號(hào)裝置，設(shè)計(jì)用于工廠應(yīng)用、建筑車(chē)輛和公共區(qū)域。該 蜂鳴器信號(hào)燈提供 4 種不同的顏 色，并隨附可擴(kuò)展照明區(qū)域的有小面的透鏡。 帶蜂鳴器的 XVR 信號(hào)燈獨(dú)特且美觀的設(shè) 計(jì)已獲得 2014 年 Red Dot 工業(yè)設(shè)計(jì)大獎(jiǎng)。 由于靈活的電壓輸入、光模式選擇器和允許 直向和側(cè)面布線的集成橡膠基座，可以輕松安裝這些可視音頻信號(hào)裝置。且依托于電動(dòng)機(jī) LED 技術(shù)，使得使用壽命更長(zhǎng)且免維護(hù)，可實(shí)現(xiàn)旋轉(zhuǎn)、閃光和閃爍 LED 等工作狀態(tài)。10 種照明模式使其易于使用且易于選擇寬電壓輸入，可滿足不同應(yīng)用可以進(jìn)行直向和側(cè)面布 線，如圖 3

37、.6 所示。 19 圖 3.6 Schneider XVR 多功能 LED 信號(hào)燈 簡(jiǎn)單且易于安裝，無(wú)需使用任何工具。1m 時(shí)可調(diào)節(jié) 90 dB 蜂鳴器外部蜂鳴器音量在 70 dB 至 90 dB 范圍內(nèi)可調(diào)，提供綠色、紅色、橙色和藍(lán)色，獨(dú)特的美觀設(shè)計(jì)。有小面的 透鏡可擴(kuò)展照明區(qū)域，集成橡膠基座可提高 IP 等級(jí)，高達(dá) IP65 保護(hù)等級(jí)，取決于蜂鳴 器選項(xiàng)。7.1G 的高抗振性，CE 認(rèn)證，且符合 ROHS 標(biāo)準(zhǔn)，通過(guò) 400 mm 飛線連接，截 面為 0.57 mm2。報(bào)警信號(hào)燈主要參數(shù)如表 3.4 所示。 表 3.4 報(bào)警信號(hào)燈參數(shù) 屬性 數(shù)值

38、 電源電壓 12 → 24 V 直流 光效 閃光，旋轉(zhuǎn) 1m 距離外分貝 90dB 最小分貝 70dB 最大分貝 90dB 安裝樣式 基座安裝 透鏡顏色 紅色 資料來(lái)源：Schneider官網(wǎng) 3.5 光源裝置選型 光源從大類(lèi)上可分為普通自然光和人造光源，由光照強(qiáng)度、色溫及光源的幾何形狀來(lái) 描述。在實(shí)際應(yīng)用中，應(yīng)優(yōu)先選擇明場(chǎng)照明方式，從而可以抑制自然光源及外界環(huán)境的干 擾。常用光源及相關(guān)特性如表 3.5 所示。 表 3.5 主要光源類(lèi)型及其特性 類(lèi)型 光效(lm/W) 平均壽命/(h) 色溫/K 特點(diǎn) 鹵素?zé)? 12~24 1000 2800

39、~3000 發(fā)熱量大，價(jià)格便宜，形體小 熒光燈 50~120 1500~3000 3000~6000 價(jià)格便宜，適用于大面積照射 LED 燈 110~250 100000 全系列 功耗低，發(fā)熱小，使用壽命長(zhǎng)，價(jià)格便 宜，使用范圍廣 氙燈 150~330 1000 5500~12000 光照強(qiáng)度高，可連續(xù)快速點(diǎn)亮 激光 50000 全系列 具有良好的方向性、單色性與相干性 其中熒光燈光源作為工廠中主要照明光源具有價(jià)格便宜，適用于大面積照射等優(yōu)點(diǎn)， 因此，常使用熒光燈作為照明光源。本課題將熒光燈作為檢測(cè)系統(tǒng)中識(shí)別作業(yè)人員

40、的照明 光源。如圖 3.7 所示熒光燈。 圖 3.7 大功率 LED 熒光燈 T5LED 熒光燈 T8LED 熒光燈 4 行為異常檢測(cè)系統(tǒng)通訊設(shè)計(jì) 4.1 通信協(xié)議的選擇 根據(jù)實(shí)際設(shè)計(jì)需求，本設(shè)計(jì)針對(duì)相機(jī)類(lèi)型自主選擇 TCP/IP 通訊協(xié)議或 MIPI CSI-2CSI (Camera Serial Interface)通訊協(xié)議。 （1）CSI (Camera Serial Interface) 是 MIPI 定義的規(guī)范，用于連接攝像頭和 CPU，傳 輸攝像頭的視頻信號(hào)，最新的規(guī)范是 2012 發(fā)布的 CSI-3，使用的物理層為 M-PHY。而這 里要介紹的

41、CSI-2 規(guī)范在 2005 發(fā)布、使用 D -PHY 作為物理層。DSI(Display Serial Interface) 同樣基于 D- PHY，不同的是，它主要用于 host 將圖像傳輸給顯示設(shè)備。 （2）TCP/IP 通訊協(xié)議 TCP/IP 是用于因特網(wǎng) (Internet) 的通信協(xié)議。 TCP/IP 通信協(xié) 議是對(duì)計(jì)算機(jī)必須遵守的規(guī)則的描述，只有遵守這些規(guī)則，計(jì)算機(jī)之間才能進(jìn)行通信。 互聯(lián)網(wǎng)進(jìn)行通信時(shí)，需要相應(yīng)的網(wǎng)絡(luò)協(xié)議，TCP/IP 原本就是為使用互聯(lián)網(wǎng)而開(kāi)發(fā)制定 的協(xié)議族。因此，互聯(lián)網(wǎng)的協(xié)議就是 TCP/IP，TCP/IP 就是互聯(lián)網(wǎng)的協(xié)議。 4.2 深度相機(jī)與 JET

42、SON NANO 板卡 TCP/IP 通訊 連接 nano 網(wǎng)卡槽進(jìn)行以太網(wǎng)通訊，對(duì)以太網(wǎng)通過(guò) IP 地址 mac 碼進(jìn)行更改后進(jìn)行連接 通信，當(dāng)電腦與 nano 處于同一個(gè)網(wǎng)段時(shí)，即可實(shí)現(xiàn)通信。 該通訊模式中，前面字節(jié)為 08，后面的字節(jié)為 00 或 06，表示 IP 包或 ARP 包，通過(guò) 網(wǎng)線進(jìn) IP 連接設(shè)置每個(gè)設(shè)備的 IP 與 mac 和 DNS 進(jìn)行通信設(shè)置，因?yàn)橐蕴W(wǎng)中所有的主機(jī) 共享一個(gè)通信信道，當(dāng)局域網(wǎng)中的攝像頭任意一臺(tái)設(shè)備發(fā)出數(shù)據(jù)后，通過(guò)交換機(jī)該局域網(wǎng) 中的 nano 收到該數(shù)據(jù)。通過(guò)每一個(gè)設(shè)備對(duì)應(yīng)的 IP 和 mac 去對(duì)應(yīng)每一個(gè)相機(jī)傳輸?shù)臄?shù)據(jù)對(duì) nano 進(jìn)行數(shù)據(jù)交

43、互，nano 讀取相機(jī)的內(nèi)容進(jìn)行深度學(xué)習(xí)并通過(guò)網(wǎng)口反饋給顯示端口，如圖 4.1 所示。 圖 4.1 TCP/IP 模型圖 4.3 深度相機(jī)與 JETSON NANO 板卡 CSI 通訊 深度相機(jī)是網(wǎng)絡(luò)設(shè)備，需要有通訊協(xié)議，原有的私有協(xié)議無(wú)法勝任產(chǎn)業(yè)合作模式，因 此行業(yè)標(biāo)準(zhǔn)化的接口由此而生。 CSI 為單向傳輸，包括一個(gè) clock lane 和一到四個(gè)的 data lane 組成，傳輸圖像數(shù)據(jù)。采 用 D -PHY 物理層協(xié)議。在物理層之上，即是 CSI 協(xié)議層，由三層構(gòu)成，每一層有著明確 的功能。這一層中，發(fā)送端接收來(lái)自應(yīng)用層的像素?cái)?shù)據(jù)，并打包成字節(jié)格式發(fā)送到下一層；

44、 在接收端，解包來(lái)自 LLP 層的數(shù)據(jù)并傳輸?shù)綉?yīng)用層。 該層的主要目的是將不同像素格式(例如 YUYV, RGBA 等)都轉(zhuǎn)換成為 8bit 字節(jié)格式， 消除不同圖像格式差異，減少傳輸?shù)膹?fù)雜度。例如，對(duì)于 RGB888 格式，一個(gè) pixel 為 24 bit， 將轉(zhuǎn)換為三個(gè)字節(jié)；RGB565 格式，一個(gè) pixel 為 16 bit，轉(zhuǎn)換為兩個(gè)字節(jié)。而對(duì)于 RGB444， 大小為 12 bit，需要通過(guò) padding 變成 RGB565 格式，為兩個(gè)字節(jié)，如圖 4.2 所示。 圖 4.2 CSI 協(xié)議層示意圖 Low Level Protocol(LLP)層為 CSI 協(xié)議的主要

45、功能層，不僅定義了包格式，還定義了 傳輸中使用的同步機(jī)制。在發(fā)送端，該層負(fù)責(zé)將上層傳輸過(guò)來(lái)的數(shù)據(jù)打包，添加校驗(yàn)字段， 增加同步包，發(fā)送到下一層；在接收端首先校驗(yàn)包的完整性，并解析各個(gè)字段，根據(jù)包類(lèi) 型執(zhí)行對(duì)應(yīng)操作，將圖像數(shù)據(jù)傳到上一層。LLP 處理的 play load 數(shù)據(jù)為經(jīng)過(guò)轉(zhuǎn)換后的純字 節(jié)數(shù)據(jù)，沒(méi)有像素概念。通過(guò)定義不同的的字段和包類(lèi)型，實(shí)現(xiàn)一幀一幀圖像數(shù)據(jù)的傳輸。 Jetson Nano 與?？狄曈X(jué)相機(jī)通訊代碼如下； import cv2 import multiprocessing as mp num = 0 def image_put(q, name, pwd, ip,

46、channel): #cv2.namedWindow(ip, cv2.WINDOW_NORMAL) global url url="rtsp://%s:%s@%s:%s//Streaming/Channels/1" \ % (name, pwd, ip, channel) cap = cv2.VideoCapture(url) # 獲取視頻幀率 fps = cap.get(cv2.CAP_PROP_FPS) print('fps: ', fps) #打印 fps 內(nèi)容 if cap.isOpened(): print('HIKVISION1') print('ca

47、mera ' + ip + " connected.") while cap.isOpened(): ret, frame = cap.read()# 抓取圖片不成功再重新抓取 if not ret: cap = cv2.VideoCapture("rtsp://%s:%s@%s:%s//Streaming/Channels/1" \ % (name, pwd, ip, channel)) print('HIKVISION2') ret, frame = cap.read() frame = cv2.resize(frame, (800,600)) cv2.imshow(ip,fr

48、ame) # Press esc on keyboard to exit if cv2.waitKey(1) & 0xFF == 27: break cap.release()# 解決進(jìn)程問(wèn)題 def run_multi_camera(): user_name, user_pwd = "admin", "a12345678" camera_ip_l = ["10.16.14.151",] ports = ['556'] mp.set_start_method(method='spawn') # init queues = [mp.Queue(maxsize=2) for _ in

49、 camera_ip_l] processes = [] for queue, camera_ip,port in zip(queues, camera_ip_l,ports): processes.append(mp.Process(target=image_put,args=(queue,user_name, user_pwd, camera_ip,port))) for process in processes: process.daemon = True process.start() for process in processes: process.join() if

50、 name == ' main ': run_multi_camera() 5 行為異常檢測(cè)系統(tǒng)軟件設(shè)計(jì) 本基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)通過(guò) Visual Studio Code 軟件搭載 python3.75 進(jìn)行程序設(shè)計(jì)，實(shí)現(xiàn)對(duì)人體姿態(tài)識(shí)別。 5.1 軟件方案設(shè)計(jì) 本軟件設(shè)計(jì)主要由編譯器，依賴(lài)包，庫(kù)環(huán)境，GPU 算力驅(qū)動(dòng)組成。首先在 Github 上 下載 pytorch -open pose 壓縮包進(jìn)行 open pose 學(xué)習(xí)框架搭建，然后安裝 Numpy，Matplotlib， Opencv -python，Scipy，Sc

51、ikit -image，Tqdm 等依賴(lài)包文件對(duì)電腦庫(kù)環(huán)境進(jìn)行配置，最后 搭載 python3.75 編譯器進(jìn)行程序編譯與調(diào)試。通過(guò)在系統(tǒng)中安裝 VS 與 Visual Studio Code 作為程序設(shè)計(jì)軟件，配置軟件 pip 下載源地址使 Visual Studio Code 可以搜尋到所需要文件 因?yàn)槌绦蛑行枰{(diào)用多種工具包和庫(kù)文件，所以需要針對(duì) open pose 去安裝對(duì)應(yīng)的工具包 與庫(kù)文件，使程序能正常運(yùn)轉(zhuǎn)。 當(dāng)程序開(kāi)始運(yùn)前時(shí)需要根據(jù)處理器選擇 CUDA 版本與 CUDNN 版本。由于算力在計(jì)算 的時(shí)候需要很強(qiáng)的算力，所以需要安裝 CUDNN 來(lái)配置 torch 提高計(jì)算機(jī)算力，

52、加快識(shí)別 進(jìn)程。CUDNN 啟動(dòng)后數(shù)據(jù)方式將會(huì)從 CPU 處理轉(zhuǎn)為 GPU 處理，理論上運(yùn)行速度會(huì)提高 5 倍，如圖 5.1 所示。 圖 5.1 CUDA 示意圖 針對(duì)目前行為異常檢測(cè)這方面，常用的姿態(tài)估計(jì)算法 Alpha pose 與 open pose。首先 Alpha pose 是自上而下的算法，也就是先檢測(cè)倒人體，再得到關(guān)鍵點(diǎn)和骨架。因此他的準(zhǔn) 確率、A p 值要比 open pose 高。但是缺點(diǎn)就是隨著圖片上的人數(shù)增加，他的計(jì)算量增大， 速度變慢。這一缺點(diǎn)注定他無(wú)法應(yīng)用于多人的實(shí)時(shí)姿態(tài)識(shí)別，更適用于單人的精確識(shí)別， 從而不符合本設(shè)計(jì)需要滿足的工作條件。 Open Pose

53、 是基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以 caffe 為框架寫(xiě)成的開(kāi)源庫(kù)，可以實(shí)現(xiàn) 人的面部表情、軀干和四肢甚至手指的跟蹤，不僅適用于單人也適用于多人，同時(shí)具有較 好的魯棒性。最終結(jié)合兩則優(yōu)缺點(diǎn)選擇更貼合設(shè)計(jì)的 open pose 算法。軟件設(shè)計(jì)流程如圖 5.2 所示。 圖 5.2 軟件設(shè)計(jì)流程圖 5.2 數(shù)據(jù)采集 由攝像頭對(duì)目標(biāo)進(jìn)行采集，將視頻進(jìn)行取幀，圖片的清晰度將直接影響后期圖像識(shí)別 的精確度與識(shí)別速度。圖片的遮擋，目標(biāo)點(diǎn)的缺失，關(guān)鍵信息點(diǎn)的重疊，圖像檢測(cè)的范圍 也將對(duì)后期的識(shí)別造成一定的影響。 通過(guò)模擬人體姿態(tài)幾種情況進(jìn)行識(shí)別測(cè)試，通過(guò)對(duì)采集的

54、圖片進(jìn)行判斷來(lái)判斷初期所 采集的圖片是否正常。以此來(lái)保障后期的權(quán)重訓(xùn)練，提高精確度。舉例如圖 5.3 所示。 圖 5.3 姿態(tài)動(dòng)作舉例 所識(shí)別的圖片的狀態(tài)與畫(huà)質(zhì)直接影響識(shí)別效果，圖片關(guān)鍵點(diǎn)缺失和圖片清晰度不夠?qū)?會(huì)導(dǎo)致位置關(guān)建點(diǎn)存在一定缺失，無(wú)法完全體現(xiàn)人體姿態(tài)情況，因此我在圖片采集的時(shí)候 需要避免這些問(wèn)題。 5.3 數(shù)據(jù)集收集與圖片標(biāo)注 打開(kāi)標(biāo)注精靈軟件，修改標(biāo)注類(lèi)別，如何開(kāi)始標(biāo)注，并保存在指定文件夾，如圖 5.4 所示。 由于標(biāo)注完的輸出文件格式，還不是所需要的數(shù)據(jù)集格式，所以運(yùn)行程序?qū)⑵滢D(zhuǎn)換成 所需的數(shù)據(jù)。主要實(shí)現(xiàn)代碼如下： import os,glob #調(diào)用庫(kù)，查找

55、 glob 下的文件 LabelPaths = glob.glob('整合/*.json') #查找路徑文件 for LabelPath in LabelPaths: Print(LabelPath) #打印 LabelPath 的結(jié)果 Name = os.path.basename(LabelPath).split('.')[0] cmd = 'labelme_json_to_dataset {0} -o {1}'.format(LabelPath, Name) os.system(cmd) 5.4 圖片預(yù)處理 圖 5.4 標(biāo)注精靈標(biāo)注示意圖

56、 在相機(jī)進(jìn)行采集處理的時(shí)候，相機(jī)必須穩(wěn)定，識(shí)別區(qū)域需要提前確定，環(huán)境不能相差 過(guò)大。不然識(shí)別效果會(huì)存在一定降低。識(shí)別圖像的特征的過(guò)程中，需要對(duì)采集圖片進(jìn)行預(yù) 處理。由于剛處理的圖片還是一個(gè)空?qǐng)D片，沒(méi)有進(jìn)行特征提取，如圖 5.5～5.6 所示，所以 主要運(yùn)行程序代碼如下； import cv2 import numpy as np import math import time from scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as plt import matplotlib imp

57、ort torch from torchvision import transforms #import util from src import util from src.model import bodypose_model class Body(object): def init (self, model_path): self.model = bodypose_model() if torch.cuda.is_available(): self.model = self.model.cuda() model_dict = util.transfer(self

58、.model, torch.load(model_path)) self.model.load_state_dict(model_dict) self.model.eval() def call (self, oriImg): # scale_search = [0.5, 1.0, 1.5, 2.0] scale_search = [0.5] boxsize = 368 stride = 8 padValue = 128 thre1 = 0.1 thre2 = 0.05 multiplier = [x * boxsize / oriImg.shape[0]

59、 for x in scale_search] heatmap_avg = np.zeros((oriImg.shape[0], oriImg.shape[1], 19)) paf_avg = np.zeros((oriImg.shape[0], oriImg.shape[1], 38)) for part in range(18): map_ori = heatmap_avg[:, :, part] one_heatmap = gaussian_filter(map_ori, sigma=3) map_left = np.zeros(one_heatmap.shape) map_lef

60、t[1:, :] = one_heatmap[:-1, :] map_right = np.zeros(one_heatmap.shape) map_right[:-1, :] = one_heatmap[1:, :] map_up = np.zeros(one_heatmap.shape) map_up[:, 1:] = one_heatmap[:, :-1] map_down = np.zeros(one_heatmap.shape) map_down[:, :-1] = one_heatmap[:, 1:] peaks_binary = np.logical_and.reduce(

61、(one_heatmap >= map_left, one_heatmap >= map_right, one_heatmap >= map_up, one_heatmap >= map_down, one_heatmap > thre1)) peaks = list(zip(np.nonzero(peaks_binary)[1], np.nonzero(peaks_binary)[0])) # 29 note reverse  peaks_with_score = [x + (map_ori[x[1], x[0]],) for x in peaks] peak_id =

62、range(peak_counter, peak_counter + len(peaks)) peaks_with_score_and_id = [peaks_with_score[i] + (peak_id[i],) for i in range(len(peak_id))] all_peaks.append(peaks_with_score_and_id) peak_counter += len(peaks) # find connection in the specified sequence, center 29 is in the posit

63、ion 15 # 按指定順序查找連接，中心 29 位于位置 15 limbSeq = [[2, 3], [2, 6], [3, 4], [4, 5], [6, 7], [7, 8], [2, 9], [9, 10], \ [10, 11], [2, 12], [12, 13], [13, 14], [2, 1], [1, 15], [15, 17], \ [1, 16], [16, 18], [3, 17], [6, 18]] # 中間關(guān)節(jié)熱圖相關(guān)性 mapIdx = [[31, 32], [39, 40], [33, 34], [35, 36], [41, 42

64、], [43, 44], [19, 20], [21, 22], \ [23, 24], [25, 26], [27, 28], [29, 30], [47, 48], [49, 50], [53, 54], [51, 52], \ [55, 56], [37, 38], [45, 46]] 圖 5.5 手部特征關(guān)鍵點(diǎn) 圖 5.6 身體特征關(guān)鍵點(diǎn) 5.5 手部特征算法及程序設(shè)計(jì) 手部關(guān)鍵點(diǎn)檢測(cè)，旨在找出給定圖片中手指上的關(guān)節(jié)點(diǎn)及指尖關(guān)節(jié)點(diǎn)，一共 21 個(gè)關(guān) 鍵點(diǎn)，如圖 5.7 所示。其類(lèi)似于面部關(guān)鍵點(diǎn)檢測(cè)(Facial Landmark Detectio

65、n) 和人體關(guān)鍵點(diǎn) 檢測(cè)(Human Body Pose Estimation)。手部關(guān)鍵點(diǎn)檢測(cè)的應(yīng)用場(chǎng)景包括：手勢(shì)識(shí)別、手語(yǔ)識(shí) 別與理解和手部的行為識(shí)別等。程序主要代碼如下； import cv2 import json import numpy as np import math import time from scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as plt import matplotlib import torch from skimage.measure impor

66、t label from src.model import handpose_model from src import util class Hand(object): def init (self, model_path): self.model = handpose_model() if torch.cuda.is_available(): self.model = self.model.cuda() model_dict = util.transfer(self.model, torch.load(model_path)) self.model.load_state_dict(model_dict) self.model.eval() def call (self, oriImg): scale_search = [0.5, 1.0, 1.5, 2.0] # scale_search = [0.5] boxsize = 368 stride = 8 padValue = 128 thre = 0.05 multiplier = [x * box