《圖像傳感器》PPT課件.ppt

第七章 圖像傳感器 機(jī)械工業(yè)出版社 2016.8 學(xué)習(xí)目標(biāo) 掌握常見 CCD和 CMOS圖像傳感器的基本工作原理、 主要參數(shù)及選型方法。 了解圖像傳感器的一般應(yīng)用，能進(jìn)行簡(jiǎn)易圖像檢測(cè) 系統(tǒng)的操作，如圖像獲取與顯示、圖像識(shí)別等。 能夠根據(jù)工作任務(wù)，檢索文獻(xiàn)、查找閱讀資料（含 英文資料）以獲得有用的信息； 能自主學(xué)習(xí)新知識(shí)、新技術(shù)，具有綜合與創(chuàng)新能力 。 專業(yè) 能力 方法 能力 第七章 圖像傳感器 CMOS圖像傳感器 2 實(shí)訓(xùn)課題 機(jī)器人智能視覺 4 CCD圖像傳感器 1 本章小結(jié) 5 圖像傳感器的應(yīng)用 3 圖像傳感器 視覺獲取的信息占人類所能獲取的信息總量的 80%以上，作為視覺系統(tǒng)的延伸，圖像檢測(cè)在工業(yè)、 農(nóng)業(yè)及日常生活發(fā)揮出越來越重要的作用。 圖像檢測(cè)采用圖像傳感器將被檢測(cè)的目標(biāo)轉(zhuǎn)換成 圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分 布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)，圖像處 理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征， 如面積、數(shù)量、位置、長(zhǎng)度，再根據(jù)預(yù)設(shè)的允許度和 其他條件輸出結(jié)果，包括尺寸、角度、個(gè)數(shù)、合格 /不 合格、有 /無等，實(shí)現(xiàn)自動(dòng)識(shí)別功能。 圖像傳感器 圖像檢測(cè)系統(tǒng)按功能可劃分為圖像輸入（圖像檢 測(cè)）、圖像處理及圖像輸出組成。 7.1 CCD圖像傳感器 CCD圖像傳感器由電荷耦合器件（ Charge Coupled Device）制成，因集成度高，功耗小、耐沖擊、壽命長(zhǎng)等 特點(diǎn)，而被廣泛應(yīng)用于軍事、天文、醫(yī)療、廣播、電視、 傳真、通信等領(lǐng)域。 在硅襯底上生長(zhǎng)一層很薄的二氧化硅，再在二氧化硅薄 層上依次沉積金屬或摻雜多晶硅形成電極，稱為柵極。該 柵極和硅襯墊就形成了規(guī)則的 MOS電容器陣列，再加上兩 端的輸入及輸出二極管就構(gòu)成了 CCD電荷耦合器件芯片。 CCD器件 CCD有線針型和面陣型兩種 。 線陣型 CCD常用于掃描 儀 、 傳真機(jī)等設(shè)備 。 CCD攝像機(jī) 、 照相機(jī)就是通過透 鏡把外界的景像投射到二維 MOS電容器面陣上 ， 產(chǎn)生 MOS電容器面陣的光電轉(zhuǎn)換和記憶 。 （ b）面陣 CCD （ a）線陣 CCD CCD圖像傳感器工作原理 一個(gè)完整的 CCD器件由光敏元 、 轉(zhuǎn)移柵 、 移位寄存 器及一些輔助輸入 、 輸出電路組成 。 CCD工作時(shí) ， 在設(shè)定的積分時(shí)間內(nèi) ， 光敏元對(duì)光信 號(hào)進(jìn)行取樣 ， 將光的強(qiáng)弱轉(zhuǎn)換為各光敏元的電荷量 。 取樣結(jié)束后 ， 各光敏元的電荷在轉(zhuǎn)移柵信號(hào)驅(qū)動(dòng)下 ， 轉(zhuǎn)移到 CCD內(nèi)部的移位寄存器相應(yīng)單元中 。 移位寄存器在驅(qū)動(dòng)時(shí)鐘的作用下 ， 將信號(hào)電荷順次 轉(zhuǎn)移到輸出端 。 輸出信號(hào)可接到示波器 、 圖象顯示器 或其他信號(hào)存儲(chǔ) 、 處理設(shè)備中 ， 可對(duì)信號(hào)再現(xiàn)或進(jìn)行 存儲(chǔ)處理 。 CCD圖像傳感器工作原理 以簡(jiǎn)單三相 CCD為例 ， 在時(shí)刻 t1， 第一相時(shí)鐘 1處于高電 壓 ， 2、 3處于低電壓 ， 第一組電極 1、 4、 7 下面形 成深勢(shì)阱 ， 在勢(shì)阱中可以貯存信號(hào)電荷形成 “ 電荷包 ” , 2、 5、 8 ， 3、 6、 9 未形成勢(shì)阱 。 在 t2時(shí)刻 ， 1線性減少 ， 2為高電壓 ， 3仍為低電壓 ， 在 第一組電極下的勢(shì)阱變淺 ， 而第二組 (2、 5、 8 )電極下 形成深勢(shì)阱 ， 信息電荷從第一組電極下面向第二組轉(zhuǎn)移 。 直到 t3時(shí)刻 ， 2為高電壓 ， 1、 3為低電壓 ， 信息電荷全 部轉(zhuǎn)移到第二組電極下面 。 （ a） 驅(qū)動(dòng)信號(hào) （ b）電荷轉(zhuǎn)移 CCD圖像傳感器工作原理 上述 CCD電荷轉(zhuǎn)移過程也可用虹吸雨量收集作形象的類比 。 用雨滴表示光學(xué)圖像中的光子 ， 小盆表示傳感器像元 ， 盆 深度表示像元容納的電荷 ， 虹吸泵表示 CCD的移位寄存器 ， 雨量筒表示 CCD的輸出放大器 。 a） 接受雨水 b）雨水逐行收集 c) 收集完成等待下次收集 色彩信息的獲取 CCD 芯片按比例將一定數(shù)目的光子轉(zhuǎn)換為一定數(shù)目的電子 ， 但光子的波長(zhǎng) ， 也就是光線的顏色 ， 卻沒有在這一過程中 被轉(zhuǎn)換為任何形式的電信號(hào) ， 因此 CCD 無法區(qū)分顏色的 ， 即獲取的是灰度圖像 。 為獲取彩色圖像 ， 一種方法是采用分光棱鏡和 3個(gè) CCD器件 。 棱鏡將光線中的紅 、 綠 、 藍(lán)三個(gè)基本色分開 ， 使其分別投 射在一個(gè) CCD 上 ， 每個(gè) CCD 就只對(duì)一種基本色分量感光 。 實(shí)際應(yīng)用中的效果非常好 ， 但結(jié)構(gòu)復(fù)雜 ， 價(jià)格昂貴 。 3CCD彩色成像原理圖 色彩信息的獲取 另一種方式是采用單一 CCD器件 ， 將馬賽克濾光片 （ 也稱 拜爾濾鏡 ， Bayer filter） 加裝在 CCD上 。 每四個(gè)像素形成 一個(gè)單元 ， 一個(gè)過濾紅色 、 一個(gè)過濾藍(lán)色 ， 兩個(gè)過濾綠色 （ 因?yàn)槿搜蹖?duì)綠色比較敏感 ） 。 每個(gè)像素都接收到感光信 號(hào) ， 但色彩分辨率不如感光分辨率 。 采用每四個(gè)感光單元 為一組 ， 分別獲取 G、 B、 R、 G光度信號(hào)并合成為一個(gè)像 素點(diǎn)色彩信息 。 單 CCD彩色成像原理圖 單 CCD彩色圖像傳感器結(jié)構(gòu) CCD圖像傳感器的基本參數(shù) 1. 光譜靈敏度 CCD的光譜靈敏度取決于量子效率、波長(zhǎng)、積分時(shí) 間等參數(shù)。量子效率表征 CCD芯片對(duì)不同波長(zhǎng)光信號(hào) 的光電轉(zhuǎn)換能力。 2. 動(dòng)態(tài)范圍 表征同一幅圖像中最強(qiáng)但未飽和的點(diǎn)與最弱點(diǎn)強(qiáng)度 的比值。數(shù)字圖像一般用 DN表示。 3. 非均勻性 CCD芯片全部像素對(duì)同一波長(zhǎng)、同一強(qiáng)度信號(hào)響應(yīng) 能力的不一致性。 CCD圖像傳感器的基本參數(shù) 4. 非線性度 CCD芯片對(duì)于同一波長(zhǎng)的輸入信號(hào)，其輸出信號(hào)強(qiáng) 度與輸入信號(hào)強(qiáng)度比例變化的不一致性。 5. 分辨率 包括灰度值分辨率和空間分辨率。 灰度值分辨率是利用圖像多級(jí)亮度來表示分辨率的 方法，機(jī)器能分辨給定點(diǎn)的測(cè)量光強(qiáng)度，所需光強(qiáng)度 越小則灰度值分辨率就越高，一般采用 256級(jí)灰度值， 它具有很強(qiáng)的精確區(qū)別目標(biāo)特征的能力； 空間分辨率是指 CCD分辨精度的能力，通常用像素 來表示，即規(guī)定覆蓋原始圖像的柵網(wǎng)的大小，柵網(wǎng)越 細(xì)，網(wǎng)點(diǎn)和像素越高，說明 CCD的分辨精度越高。 7.2 CMOS圖像傳感器 采用標(biāo)準(zhǔn) CMOS（ Complementary Metal-Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體）制造工藝制 造，優(yōu)點(diǎn)是功耗小，成本低，速度快 ；缺點(diǎn)：分辨率 低，動(dòng)態(tài)范圍小，光照靈敏度弱，圖像質(zhì)量差 。 類別 CMOS圖像傳感器 CCD圖像傳感器 靈敏度 高 高 信噪比 良 優(yōu) 動(dòng)態(tài)范圍 小 大 最大幀頻 1000fps（幀 /秒） 30fps（幀 /秒） 集成度 高 低 加工工藝 通用工藝 特殊工藝 電路結(jié)構(gòu) 簡(jiǎn)單 復(fù)雜 模塊體積 小 大 可靠性 高 低 成本 低 高 CMOS圖像傳感器的組成 CMOS 圖像傳感器一般由光敏單元陣列（像元陣列）、 行選通邏輯、列選通邏輯、定時(shí)和控制電路，片上模擬信 號(hào)處理器構(gòu)成。更高級(jí)的 CMOS 圖像傳感器還集成有片上 A/D轉(zhuǎn)換器，將光敏感光單元（光電二極管）陣列、放大器、 A/D 轉(zhuǎn)換器、數(shù)字信號(hào)處理器行陣列驅(qū)動(dòng)器、列時(shí)序控制 邏輯單元、數(shù)據(jù)總線輸出接口以及控制接口等部分采用傳 統(tǒng)的芯片工藝方法集成在一塊硅片板上。 a) 常用 CMOS圖像傳感器組成 b) 帶 A/D的 CMOS圖像傳感器組成 CMOS圖像傳感器的像元結(jié)構(gòu) CMOS圖像傳感器的每一個(gè)基本感光單元也稱為像 素單元（簡(jiǎn)稱為像素或像元），主要是以 MOS電容和 P-N結(jié)光敏二極管組成，采用陣列式結(jié)構(gòu)，有線型和面 型之分。 CMOS圖像傳感器像素結(jié)構(gòu)目前主要有無源像素圖 像傳感器和有源像素圖像傳感器兩種 。 無源像素圖像傳感器信噪比低、成像質(zhì)量差，所以 目前絕大多數(shù) CMOS圖像傳感器采用的是有源像素圖 像傳感器結(jié)構(gòu)。 無源型像素單元 CMOS圖像傳感器的像元結(jié)構(gòu) 光敏二極管型有源像素單元 光柵型有源像素單元 對(duì)數(shù)有源像素單元 CMOS圖像傳感器的工作原理 電荷存儲(chǔ)和傳輸?shù)墓ぷ骰驹硎牵合葘⒐饷舳O管的 PN結(jié)反向偏置到某一固定電壓，然后斷開，存儲(chǔ)在光敏二 極管電容上的電荷的衰減速度與入射光照度成比例。經(jīng)過 一定的積分時(shí)間后，讀出二極管兩端的電壓。讀出結(jié)束后， 再通過開關(guān)使二極管兩端的恢復(fù)到原來的電壓。 1. 首先進(jìn)入“復(fù)位狀態(tài)”。這時(shí)打開行選通場(chǎng)效應(yīng)管 M， 電源向電容 C充電至固定電壓 Ur，光敏二極管 D處于反向狀 態(tài)； 2. 然后進(jìn)入“取樣狀態(tài)”。這時(shí)關(guān)閉場(chǎng)效應(yīng)管 M，在光 照下二極管產(chǎn)生光電流，使電容上存貯的電荷放電，經(jīng)過 一個(gè)固定時(shí)間間隔后，電容 C上存留的電荷量就與光照成正 比例，這時(shí)就將一幅圖像攝入到了敏感元件陣列之中； 3. 最后進(jìn)入“讀出狀態(tài)”。再打開場(chǎng)效應(yīng)管 M，逐個(gè)讀 取各像素中電容 C上存貯的電荷電壓。 CMOS圖像傳感器的工作流程 CMOS圖像傳感器的應(yīng)用 攝像頭 7.3 圖像傳感器的應(yīng)用 光路圖 結(jié)構(gòu) 掃描儀 7.3 圖像傳感器的應(yīng)用 數(shù)碼攝像機(jī) 7.3 圖像傳感器的應(yīng)用 數(shù)碼相機(jī)結(jié)構(gòu)示意圖 CMOS數(shù)碼相機(jī)圖像工作原理 7.3 圖像傳感器的應(yīng)用 CMOS數(shù)碼相機(jī)圖像工作原理 7.3 圖像傳感器的應(yīng)用 工件尺寸測(cè)量 根據(jù)工件成像輪廓覆蓋的光敏單元數(shù)量來計(jì)算工件尺 寸數(shù)據(jù)。例如，在光學(xué)系統(tǒng)放大率為 1： M的裝置中，有 L=（ Nd 2d） M 式中 L 工件尺寸； N 覆蓋的光敏單元數(shù)； d 相鄰光敏單元中心距離。 7.3 圖像傳感器的應(yīng)用 生產(chǎn)線工件質(zhì)量檢測(cè) 廢料收集桶 傳輸鏈 控制柜 冷卻臺(tái) CCD檢測(cè)系統(tǒng) 機(jī)器人 壓鑄機(jī) 安全門 工作區(qū)域 圍擋 7.3 圖像傳感器的應(yīng)用 鈔票檢查系統(tǒng) 7.3 圖像傳感器的應(yīng)用 防盜檢測(cè) 7.3 圖像傳感器的應(yīng)用 字符識(shí)別 牌照識(shí)別 7.3 圖像傳感器的應(yīng)用 工業(yè)機(jī)器人焊錫系統(tǒng) 通過人工將散熱片、 IGBT、 PCB板固定到基板的過程存在 不確定性因素，將會(huì)造成 IGBT的待焊接管腳的空間位置不固 定。為保證焊接質(zhì)量，須配置視覺系統(tǒng)。 7.3 圖像傳感器的應(yīng)用 工業(yè)機(jī)器人焊錫系統(tǒng)組成圖 7.3 圖像傳感器的應(yīng)用 機(jī)器人視覺控制系統(tǒng)原理圖 7.4 實(shí)訓(xùn)課題 機(jī)器人智能視覺 機(jī)器人智能視覺系統(tǒng)是由視覺控制器、及監(jiān)視顯示器等組 成。 CCD圖像傳感器用于識(shí)別工件的特性，如數(shù)字、顏色、 形狀、姿態(tài)方位等，提供機(jī)器人所需的裝配信息，比如讓機(jī) 器人按工件序號(hào)、顏色將工件放置到相應(yīng)工 /庫(kù)位，對(duì)工件 放置的姿態(tài)方位進(jìn)行調(diào)整等。 視覺控制器 CCD圖像傳感器 7.4 實(shí)訓(xùn)課題 機(jī)器人智能視覺 CCD圖像傳感器 機(jī)器人本體 工件組裝單元 顯示器 視覺控制器 機(jī)器人智能視覺系統(tǒng) 實(shí)訓(xùn)操作 打開電源，啟動(dòng)視覺控制器，系統(tǒng)啟動(dòng)后自動(dòng)運(yùn)行智能 視覺軟件并進(jìn)入軟件主畫面 。 d f e c b a a-菜單欄 b-測(cè)量信息顯示區(qū)域 c-工具欄 d-圖像顯示區(qū)域 e-控制區(qū)域 f-測(cè)量管理欄 主畫面 實(shí)訓(xùn)操作 單擊“場(chǎng)景切換”，在對(duì)話框中選擇一個(gè)場(chǎng)景，然 后確定，新建一個(gè)場(chǎng)景。 場(chǎng)景切換 實(shí)訓(xùn)操作 在主界面單擊“流程編輯”，進(jìn)入流程編輯界面， 進(jìn)行流程編輯。 流程編輯 實(shí)訓(xùn)操作 單擊“分類”圖標(biāo)，進(jìn)入設(shè)置界面在“分類”界面 先設(shè)置“模型參數(shù)”，在初始狀態(tài)下設(shè)定，選擇“旋 轉(zhuǎn)”，還要設(shè)定旋轉(zhuǎn)范圍、跳躍角度、穩(wěn)定度和精度 等。 模型登錄參數(shù)設(shè)置 實(shí)訓(xùn)操作 進(jìn)入“模型登錄”界面，單擊左邊圖形圖標(biāo)，在右 邊顯示界面會(huì)出現(xiàn)一個(gè)圓圈，移動(dòng)圓圈把數(shù)字圈在中 間，設(shè)置測(cè)量區(qū)域，單擊“確定”就可以一個(gè)工件的 登錄工作，并回到分類界面。 模型登錄界面 實(shí)訓(xùn)操作 完成一個(gè)模型登錄 實(shí)訓(xùn)操作 回到主界面，取已建立模型庫(kù)的任一顏色的工件， 鏡頭對(duì)準(zhǔn)工件，單擊“執(zhí)行測(cè)量”，此時(shí)會(huì)在右下角 對(duì)話框顯示測(cè)量信息，即顯示顏色識(shí)別的結(jié)果。 參照上述操作方法完成工件編號(hào)識(shí)別及擺放角度測(cè) 量。 7.4 小結(jié) 主要介紹了 CCD和 CMOS固態(tài)圖像傳感器的基本知 識(shí)，包括傳感器的制作工藝，敏感單元構(gòu)成，傳感器 的組成結(jié)構(gòu)、信號(hào)獲取及傳輸?shù)然竟ぷ髟怼?CMOS和 CCD兩種圖像傳感器的的主要性能，優(yōu)、 缺點(diǎn)和應(yīng)用領(lǐng)域。 并就基于圖像傳感器的典型產(chǎn)品和 應(yīng)用案例進(jìn)行了詳細(xì)闡述，以工業(yè)機(jī)器人智能視覺為 例闡述了圖像傳感器顏色識(shí)別操作過程。