機械視覺原理_AOI

機 械 視 覺 概 論生 產(chǎn) 自 動 化 背 景n 近 年 來 ， 機 器 視 覺 已 在 各 式 各 樣 的 領(lǐng) 域 中 扮 演 著 舉 足 輕重 的 地 位 ， 並 大 量 的 運 用 在 遙 測 、 醫(yī) 工 、 地 質(zhì) 探 測 、 物件 識 別 檢 測 以 及 家 電 用 品 等 場 合 。 這 些 應(yīng) 用 技 術(shù) 的 實 例正 快 速 的 成 長 ， 也 由 於 電 子 硬 體 ， 電 腦 效 率 的 大 幅 進 步， 而 以 驚 人 的 變 革 速 度 在 更 新 它 們 的 面 貌 而 在 促 進 產(chǎn) 業(yè)升 級 的 呼 聲 中 ， 大 力 推 展 自 動 化 機 器 視 覺 乃 當(dāng) 務(wù) 首 要 之急 。n 國 內(nèi) 在 一 般 生 產(chǎn) 系 統(tǒng) 中 ， 由 於 產(chǎn) 品 的 檢 測 耗 費 人 力 資 源且 淘 汰 劣 品 而 降 低 生 產(chǎn) 量 ， 而 與 生 產(chǎn) 單 位 的 目 標(biāo) 相 衝 突， 因 此 業(yè) 界 往 往 無 法 進 行 線 上 之 產(chǎn) 品 檢 驗 ， 而機 器 視 覺 系 統(tǒng) 乃 自 動 化 檢 測 之 經(jīng) 濟 有 效 的 方 式 。 什 麼 是 機 器 視 覺 ?n 模 擬 人 類 的 眼 、 腦 與 手 的 動 作 。n 機 器 視 覺 系 統(tǒng) 是 一 項 集 光 學(xué) 、 電 子 、 機 械 及電 腦 資 訊 技 術(shù) 整 合 的 科 技 。n 為 了 取 得 某 些 資 訊 以 控 制 機 器 或 製 程 ， 而 利用 光 學(xué) 及 非 接 觸 性 觸 感 方 式 來 擷 取 影 像 並 解釋 影 像 。 CCD 電 腦 機 器 人 機 器 視 覺 系 統(tǒng) 相 關(guān) 領(lǐng) 域 為 什 麼 要 機 械 視 覺 ？n 安 全n 全 檢n 重 現(xiàn) 性 (降 低 人 為 誤 差 )n 降 低 成 本n 高 速 化n 細 微 化n 回 饋 化n 高 精 度 應(yīng) 用 層 面n 近 來 科 技 的 發(fā) 展 ， 所 產(chǎn) 生 的機 器 視 覺 系 統(tǒng) 不 斷 推 陳 出 新， 在 一 切 要 求 自 動 化 的 前 題之 下 機 器 視 覺 加 上 影 像 處 理系 統(tǒng) 已 經(jīng) 在 許 多 工 廠 自 動 化量 測 方 面 扮 演 著 重 要 的 角 色， 例 如 布 匹 線 上 檢 測 系 統(tǒng) 、銲 道 追 蹤 及 熔 渣 監(jiān) 控 、 射 出成 型 產(chǎn) 品 之 應(yīng) 力 測 量 ， 生 產(chǎn)工 件 形 狀 檢 測 、 沖 壓 元 件 的曲 面 測 量 ， 熱 軋 鋼 板 尺 寸 及瑕 疵 檢 測 等 ， 在 非 接 觸 性 的要 求 下 ， 均 可 利 用 機 器 視 覺處 理 系 統(tǒng) 來 完 成 ， 不 僅 可 提高 工 廠 生 產(chǎn) 效 率 ， 更 可 使 產(chǎn) 品 之 品 質(zhì) 達 到 標(biāo) 準(zhǔn) 。 機 器 視 覺 技 術(shù) 之 應(yīng) 用 機 械 視 覺 系 統(tǒng) 之 組 成n 主 控 器 (Host Computer)n 影 像 擷 取 卡 (Frame Grabber)+影 像 處 理 器n 影 像 攝 影 機n 照 明 設(shè) 備n 影 像 顯 示 器n 機 構(gòu) 及 控 制 系 統(tǒng) 視 覺 系 統(tǒng) 組 成 電 腦 視 覺 系 統(tǒng) 的 主 件n 硬 體 : n 必 須 具 有n 成 本 效 益 (cost-effective)n 與 其 他 系 統(tǒng) 無 關(guān) (off-the-shelf system)的 特 性n 在 設(shè) 計 上n 容 易 使 用 (easy of use) n 具 模 組 和 彈 性 化 (modular flexibility)n 軟 體n 速 度 快 (speed)n 可 靠 (reliability) 成 像 基 本 原 理 成 像 基 本 原 理 CCD攝 影 機n 類 比 式 輸 出 訊 號 ： 美 規(guī) RS170(黑 白 )/NTSC(彩 色 ) 歐 規(guī) CCIR(黑 白 )/PAL(彩 色 ) 掃 瞄 方 式 ： 交 錯 (Interlace)/非 交 錯 (Non-Interlace)n 數(shù) 位 式 輸 出 訊 號 ： RS422/LVDS/IEEE-1394/USB/特 定 格 式 歐 規(guī) CCIR(黑 白 )/PAL(彩 色 ) 掃 瞄 方 式 ： 非 交 錯 式n 種 類 面 掃 瞄 Line掃 瞄 TDI(Time Delay Integration)掃 瞄 CCD輸 出 時 序 圖 場 影 像 處 理 器n 固 定 功 能 影 像 處 理 器n 影 像 擷 取 卡n 特 色 ： 擷 取 卡 功 能 依 需 要 有 多 種 選 擇 架 構(gòu) 在 個 人 電 腦 具 彈 性 影 像 卡 結(jié) 構(gòu)n A/D轉(zhuǎn) 換 器n 擷 取 CCD影 像 類 比 信 號 轉(zhuǎn) 換 為 數(shù) 位 信號n PC匯 流 排 介 面n 扮 演 電 腦 與 影 像 卡 之 間 橋 樑n 影 像 儲 存n 影 像 處 理 器 介 面n 影 像 處 理 器 存 取 記 憶 體 之 緩 衝 電 路n 影 像 處 理 器 n 快 速 執(zhí) 行 低 階 運 算n 系 統(tǒng) 鐘 脈n 提 供 穩(wěn) 定 工 作 頻 率n 控 制 單 元n 協(xié) 調(diào) 各 模 組 間 之 運 作n D/A轉(zhuǎn) 換 器n 將 數(shù) 位 影 像 轉(zhuǎn) 換 以 輸 出 監(jiān) 視 器 PC匯 流 排 界 面影 像 處 理 器 系 統(tǒng) 鐘 脈控 制 單 元 /轉(zhuǎn) 換 器 /轉(zhuǎn) 換 器 影 像 處 理 器界 面影 像 儲 存512 480PCCCD 監(jiān)視器影 像 卡 基 本 模 組 影 像 擷 取 卡 主 要 基 本 功 能n 可 接 美 規(guī) /歐 規(guī) ， 彩 色 /黑 白 訊 號n PCI BUS/AGP BUSn 美 規(guī) 可 抓 取 640(H)x480(V)pixels 歐 規(guī) 可 抓 取 768(H)x576(V)pixels 影 像 擷 取 卡 Enhanced功 能n 可 由 外 部 觸 發(fā) (trigger)取 像n on board DSP/processorn 特 殊 運 算 處 理 器n Variable Scan接 不 同 規(guī) 格 訊 號 鏡 頭n CCTV鏡 頭 ： 1.提 供 不 同 固 定 焦 距 選 擇 2.變 焦 鏡 頭n Telecentric鏡 頭n 35mm SLR Camera鏡 頭 :nikon、 canon等 照 相機 鏡 頭n 顯 微 鏡 頭n 120相 機 (60 x45mm film)用 鏡 頭 光 源 裝 置n Halogen光 源n LED光 源n 高 週 波 螢 光 燈 源n 閃 光 燈 源n 其 他 特 殊 光 源 機 構(gòu) /控 制 單 元n 系 統(tǒng) 機 臺n 電 控 (PLC、 PC-Base)n X-Y精 密 Tablen 系 統(tǒng) 整 合 、 穩(wěn) 定 度 測 試 Area CCD Camera感 光 元 件 大 小 CCD Camera主 要 功 能n 電 子 快 門 (shutter)n Auto Gain Control(AGC):n Gamman Syncn Resolutionn Trigger CCD Sensor 規(guī) 格n Sensor尺 寸 大 小 (2/3” 、 1/2” 、 1/3” 、1/4” 、 特 別 尺 寸 ）n 有 效 畫 素 ： NTSC 768Hx494V PAL 752Hx582Vn 全 部 畫 素 ： NTSC 811Hx508V PAL 795Hx596Vn Sensitivity(最 小 照 度 )n Cell Size(810 m)n 頻 譜 響 應(yīng) 鏡 頭 基 本 觀 念n 景 深 (Depth of View)n 視 野 (Field of View)n 解 析 力 (Resolution)n 光 圈 (IRIS/Aperture)n 視 角 (View / angle)n 焦 距 長 (Focal length) 鏡 頭 參 數(shù) 相 互 關(guān) 係n 光 圈 大 小 與 景 深 成 反 比n 鏡 頭 焦 距 與 景 深 成 反 比n 視 角 愈 廣 ， 景 深 長n 以 對 焦 點 為 界 ， 前 方 景 深 短 ， 後 方 景 深 長 景 深n 將 成 像 幕 移 動 而 不 致 影 響 清 晰 度 之 最 大 距 離 CCTV鏡 頭n 固 定 焦 距 (f=6mmf=100mm)n 便 宜n 會 隨 工 件 距 離 不 同 ， 影 像 大 小 改 變n 可 搭 配 延 伸 環(huán) ， 達 到 放 大 效 果n 有 變 焦 鏡 頭 供 選 擇n 工 作 距 離 很 長 （ 低 倍 率 ）n 失 真 高 （ 高 倍 率 時 ）n 可 用 不 同 濾 鏡 加 強 影 像 特 徵 Telecentric鏡 頭n 平 行 光 輸 入 ， 沒 有 視 角 誤 差n 鏡 頭 大 於 實 際 FOVn 同 軸 光 輸 入n 價 錢 較 貴n 低 失 真n 體 積 小 重 量 輕n 工 件 距 離 固 定n 可 另 外 選 擇 不 同 工 作 距 離 鏡 頭 n 適 合 顯 微 放 大 應(yīng) 用 Telecentric鏡 頭 35mm鏡 頭n 鏡 頭 口 徑 大n 可 選 購 C-mount轉(zhuǎn) 接 環(huán) 接 C-mount攝 影 機n 透 光 性 較 好 ， 鏡 頭 較 銳 利n 高 解 析 CCD(2048pixel以 上 )適 用 顯 微 鏡 頭n 1x、 2x、 5x、 10 x、 20 x、 50 x、 60 x不同 倍 率 供 選 擇n 景 深 淺n 工 作 距 離 短 何 謂 放 大 倍 率n 鏡 頭 放 大 倍 率 （ 光 學(xué) 倍 率 /主 要 放 大 倍 率 ） 定 義 ： 感 光 元 件 大 小 和 FOV的 比 例n Monitor放 大 倍 率 (9吋 /14吋 ) 定 義 ： Monitor影 像 對 角 線 大 小 和 感 光 元 件對 角 線 大 小 比 例n 系 統(tǒng) 全 部 放 大 倍 率 ： 主 要 放 大 倍 率 X Monitor放 大 倍 率 如 何 使 CCTV鏡 頭 做 顯 微 放 大n 用 延 伸 環(huán)n 使 用 加 倍 鏡 （ 放 在 鏡 頭 和 CCD中 間 ）n Close up鏡 （ 縮 短 距 離 ） M（ 放 大 倍 率 ） I(像 距 )O(物 距 ) CCTV鏡 頭 和 Telecentric鏡 頭 比 較CCTV Lens 物 體 側(cè)Telecentric Lens 兩 側(cè) Telecentric Lens 優(yōu) 點 *尺 寸 小*價 錢 便 宜 *工 作 距 離 改 變 ，Sample大 小 不 會改 變*當(dāng) 使 用 同 軸 光 時， 可 達 到 小 型 化 *光 圈 可 調(diào) ， 可 提高 景 深*零 失 真缺 點 *工 作 距 離 改 變 Sample大 小改 變 *當(dāng) 有 同 軸 光 時 ，鏡 頭 會 大 於 一 般 鏡 頭 大 小 *沒 有 同 軸 光 時 ，鏡 頭 較 大 ， 且 價位 高 光 源 基 本 介 紹n 光 源 種 類n 色 溫 觀 念 (色 溫 color ccd感 光 愈 好 )n 打 光 的 重 要 性n 光 源 照 射 頻 率 ： 恆 定 光 源 /閃 光 光 源n 光 源 的 光 線 擴 散 及 導(dǎo) 引 方 式 ： 光 纖 、 空 氣 、壓 克 力 、 玻 璃 鏡 組 等 打 光 技 巧n 打 光 好 壞 直 接 影 響 到 取 影 品 質(zhì) ， 好 的 打 光 技 巧 不 但可 以 凸 顯 物 體 的 對 比 且 清 楚 的 顯 示 被 攝 物 體 表 現(xiàn) 的紋 路 、 特 徵 以 及 減 少 影 像 的 雜 訊 。 常 見 打 光 的 技 巧有 n a. Back lightingn b. Directed lightingn c. Vertical lightingn d. Fluorescent lighting n e. Bidirectional lighting n f. Diffuse lighting 打 光 技 巧 照 明 的 目 的n 獲 得 良 好 的 對 比n 顯 示 顯 像 細 節(jié)n 降 低 系 統(tǒng) 複 雜 度n 強 化 物 體 特 徵n 增 加 信 號 /雜 訊 比 例 人 工 光 源 Halogen光 源n 特 色 ：n 提 供 高 亮 度 光 源 (50W、 100W、 150W、 200W)n 不 同 light guide可 搭 配n Remote control亮 度 功 能 （ 數(shù) 位 或 類 比 ）n 燈 泡 更 換 容 易n 可 加 裝 濾 鏡n 亮 度 穩(wěn) 定 ， 不 會 產(chǎn) 生 熱 Halogen光 源n 光 纖 導(dǎo) 管 （ light guide )種 類n 環(huán) 形n 線 型n 背 光 板n 單 束n 雙 束n 多 束n 擴 散 型 n 特 別 設(shè) 計 LED光 源n 特 色 ：n 低 消 耗 功 率 ， power單 純n 針 對 不 同 應(yīng) 用 ， 不 同 形 式 設(shè) 計n 可 提 供 不 同 顏 色 的 LED， 產(chǎn) 生 不 同 效 應(yīng)n 壽 命 長 (約 40000小 時 以 上 ) LED光 源n LED模 組 種 類n 環(huán) 形 投 射n 低 角 度 投 射n 擴 散 投 射n 無 影 投 射n 四 邊 投 射n 背 光 板 式 投 射n 特 殊 設(shè) 計 高 週 波 螢 光 燈 源n 特 色 ：n 高 頻 點 燈 ， 避 免 閃 爍 (30KHZ50KHZ)n 不 同 外 徑 供 選 擇n 可 選 擇 不 同 顏 色 燈 管 ， 做 不 同 應(yīng) 用n 色 溫 高 （ 約 5400oK以 上 ） 彩 色 CCD適 用n 燈 管 壽 命 長 (約 2000小 時 )n 擴 散 板 光 線 柔 和 ， 減 少 反 光 閃 光 燈 源n 特 色 ：n 閃 光 頻 率 快 ， 瞬 間 能 量 強n 適 合 快 速 檢 測n 可 由 外 部 調(diào) 整 頻 率n 燈 管 壽 命 約 4000小 時 ， 但 價 錢 高n 可 外 接 不 同 light guide導(dǎo) 光 濾 光 鏡n 為 一 種 輔 助 CCD而 用 來 擷 取更 清 晰 影 像 的 工 具 ， 可 視 為一 種 影 像 前 處 理 。n 常 用 濾 光 鏡 及 其 相 對 功 能n UV Filter 過 濾 紫 外 線n KR Filter 降 低 色 溫 ， 使 影 像偏 向 紅 色n KB Filter 增 加 色 溫 ， 使 影 像偏 向 藍 色 n PL Filter 消 除 反 射 光n PF Filter 檢 視 透 明 工 件 於 射出 成 型 所 造 成 內(nèi) 部 材 料 應(yīng) 力的 分 佈 影 像 分 析 處 理 流 程 影 像 分 析 處 理 基 本 原 理 介 紹n影 像 表 示n基 本 分 析n影 像 前 處 理n影 像 分 割 n進 階 分 析n特 徵 擷 取n建 立 和 訓(xùn) 練 分 類 模型n偵 測 /確 認 影 像 表 示n 影 像 資 料 最 容 易 的 表 達 方 法 為 利 用 矩 陣 ， 矩 陣 內(nèi) 的每 一 點 表 示 待 測 物 經(jīng) 光 源 反 射 後 被 所 擷 取 的數(shù) 值 透 過 影 像 卡 所 轉(zhuǎn) 換 的 數(shù) 值 ， 就 不 同 領(lǐng) 域 上 的 應(yīng)用 分 析 可 分 成 兩 大 領(lǐng) 域n 空 間 域n 二 值 影 像 (Binary Images) : 其 數(shù) 值 由 0,1所 組 成n 灰 階 值 影 像 (Gray-Scale Images) : 其 數(shù) 值 介 於 0至 255之間n 彩 色 影 像 (Color Images) : 由 R,G,B所 組 成 ,其 數(shù) 值 介 於 0至255之 間 n 頻 率 域 : 由 空 間 域 影 像 透 過 轉(zhuǎn) 換 (如 複 利 葉 , 小 波 )而形 成 的 影 像 表 示 空 間 黑 白 影 像灰 階 影 像 , 其 數(shù) 值 為 0至 255 二 值 影 像 , 其 數(shù) 值 為 0或 1 複 利 葉 轉(zhuǎn) 換 影 像 前 處 理 - 濾 波 技 巧n Noise Removal by filtersn Mean filters n Median filters n Image Enhancement by filtersn Roberts filtersn Sobel filtersn Laplacian filtersn Prewitt filters n Kirsch filtersn Robinson filtersn Frei-Chen filters 濾 波 (Filters)基 本 概 念0 41 011 010 42 23 54253 1Laplacian Filter (03)+(1 5)+(0 2)+(1 2)+(-4 3)+(1 4)+(0 4)+(1 2)+(0 5)=1 Example of Noise RemovalMean Filters Image Enhancement by Filters Sobel filter Image Enhancement by Thresholding 影 像 分 割n 目 的 : 將 影 像 做 細 分 成 某 些 組 成 部 份 ,其 細分 程 度 取 決 於 所 欲 分 離 的 目 的 物 , 當(dāng) 目 的 物被 分 離 , 則 分 割 停 止 。n 方 法 :n 濾 波 技 巧n 臨 界 值 (threshold)法 使 用 濾 波 進 行 影 像 分 割Soble Filter 臨 界 值 技 巧 進 行 影 像 分 割n 臨 界 值 基 本 概 念 : 利 用 影 像 灰 階 直 方 圖 對 影像 做 分 割n 依 影 像 特 性 可 分 成 兩 大 類 :n 二 值 法n 多 值 法 ExampleThreshold 特 徵 擷 取n 何 謂 特 徵 擷 取 ？n 對 於 工 件 的 辨 識 或 是 瑕 疵 分 類 來 說 ， 通 常 要 從 原 始 影 像直 接 做 分 析 並 非 易 事 。 因 此 在 作 法 上 ， 會 先 對 原 始 影 像作 一 先 前 處 理 ， 如 影 像 強 化 ， 接 著 利 用 影 像 分 割 技 巧 將所 要 辨 識 或 是 分 類 的 物 件 框 起 來 ， 然 後 對 所 框 區(qū) 域 的 灰階 值 （ 以 單 色 為 例 ） 資 料 進 行 彙 總 。 此 彙 總 的 值 就 稱為 特 徵 值 ， 其 目 的 再 於 透 過 特 徵 值 可 以 用 來 區(qū) 分 不 同 物件 之 間 的 差 異 性 。n 特 徵 擷 取 的 重 要 性 n 一 個 好 的 特 徵 值 不 但 可 以 使 辨 識 變 得 簡 單 容 易 ， 而 且 可以 提 高 辨 識 的 準(zhǔn) 確 度 。 如 要 進 行 犯 罪 的 辨 識 採 用 指 紋 作為 特 徵 值 一 定 會 比 用 年 齡 或 性 別 來 的 有 效 。 特 徵 擷 取 的 原 則n 需 要 對 資 料 的 特 性 有 充 分 的 瞭 解 。 基 本 上 這 是 要 靠經(jīng) 驗 或 是 專 家 來 決 定 而 無 客 觀 的 標(biāo) 準(zhǔn) 可 循 。 總 括 而言 ， 可 根 據(jù) 底 下 原 則 作 為 參 考n 就 數(shù) 量 而 言 宜 少 不 宜 多 ， 就 計 算 而 言 宜 簡 不 宜 繁 。n 要 有 一 定 程 度 的 代 表 性 (物 理 性 )且 能 夠 真 正 使 物 件 之 間有 明 顯 差 異 。n 特 徵 值 應(yīng) 具 可 測 性 、 可 行 性 及 獨 立 性 。n 具 穩(wěn) 健 性 。 n 考 慮 對 影 像 旋 轉(zhuǎn) 、 放 大 、 及 平 移 的 影 響 。 常 用 特 徵 變 數(shù)n Arean Perimetern No. of holesn Hole arean Centeredn Radiusn Center of gravity distance n second momentn Minimum enclosing rectangle n Box arean Major axisn Minor axisn Anglesn Area ration Elongationn Circularityn Euler numbern Shape number Example 1 of Feature MeasureObj AREA PERI XMIN XMAX YMIN YMAX WDTH HGHT ANGLE 1 62966 1096.1 0 319 0 239 320 240 -0.8 2 663 91.0 83 111 27 55 29 29 -6.3 3 1409 133.0 186 228 57 98 43 42 -8.9 Object 1Object 3 Object 2 Example 2 of Feature Measure 結(jié) 論 如 何 使 視 覺 系 統(tǒng) 成 功n 打 光 重 要 性 優(yōu) 先 考 量n 鏡 頭 正 確 選 擇 （ 大 小 、 空 間 、 失 真 考 量 ）n 攝 影 機 正 確 選 擇 （ 功 能 性 、 穩(wěn) 定 性 、 耐 用 ）n 機 構(gòu) 穩(wěn) 定 、 避 免 干 擾 、 接 地 問 題 考 量n 經(jīng) 驗 累 積 （ 多 嘗 試 、 思 考 解 決 問 題 ）n 斤 斤 計 較 （ 精 度 提 升 、 縮 短 Process Time）