機(jī)器學(xué)習(xí)的挑戰(zhàn)(周志華)

機(jī) 器 學(xué) 習(xí) 及 其 挑 戰(zhàn)周 志 華http:/ 京 大 學(xué) 軟 件 新 技 術(shù) 國 家 重 點(diǎn) 實(shí) 驗 室 2003 年 12 月 27 日 機(jī) 器 學(xué) 習(xí) 及 其 重 要 性機(jī) 器 學(xué) 習(xí) 角 色 的 轉(zhuǎn) 變五 個 挑 戰(zhàn) 問 題匯 報 內(nèi) 容 機(jī) 器 學(xué) 習(xí)經(jīng) 典 定 義 ： 利 用 經(jīng) 驗 改 善 系 統(tǒng) 自 身 的 性 能 T.Mitchell, Book 97隨 著 該 領(lǐng) 域 的 發(fā) 展 ， 主 要 做 智 能 數(shù) 據(jù) 分 析典 型 任 務(wù) ： 預(yù) 測例 如 ： 天 氣 預(yù) 報 機(jī) 器 學(xué) 習(xí) （ 續(xù) ）數(shù) 據(jù) 挖 掘 數(shù) 據(jù) 庫機(jī) 器 學(xué) 習(xí)數(shù) 據(jù) 分 析 技 術(shù) 數(shù) 據(jù) 管 理 技 術(shù) 美 國 航 空 航 天 局 JPL實(shí) 驗 室 的 科 學(xué) 家 在 Science（ 2001年 9月 ） 上 撰 文 指 出 ： 機(jī) 器 學(xué) 習(xí) 對 科 學(xué) 研 究的 整 個 過 程 正 起 到 越 來 越 大 的 支 持 作 用 ， ， 該 領(lǐng) 域在 今 后 的 若 干 年 內(nèi) 將 取 得 穩(wěn) 定 而 快 速 的 發(fā) 展重 要 性 生 物信 息 學(xué) 計 算金 融 學(xué) 分 子生 物 學(xué) 行 星地 質(zhì) 學(xué)工 業(yè) 過程 控 制 機(jī) 器 人 遙 感 信息 處 理信 息安 全機(jī) 器 學(xué) 習(xí) 重 要 性 ： 例 子 網(wǎng) 絡(luò) 安 全入 侵 檢 測 ：是 否 是 入 侵 ？ 是 何 種 入 侵 ？ 如 何 檢 測 ？歷 史 數(shù) 據(jù) ： 以 往 的 正 常訪 問 模 式 及 其 表 現(xiàn) 、 以 往的 入 侵 模 式 及 其 表 現(xiàn) 對 當(dāng) 前 訪 問 模 式 分 類這 是 一 個 典 型 的 預(yù) 測型 機(jī) 器 學(xué) 習(xí) 問 題常 用 技 術(shù) ：神 經(jīng) 網(wǎng) 絡(luò) 決 策 樹支 持 向 量 機(jī) k近 鄰 序 列 分 析 聚 類 重 要 性 ： 例 子 生 物 信 息 學(xué) 常 用 技 術(shù) ：神 經(jīng) 網(wǎng) 絡(luò) 支 持 向 量 機(jī)隱 馬 爾 可 夫 模 型k近 鄰 決 策 樹序 列 分 析 聚 類 重 要 性 （ 續(xù) ）計 算 機(jī) 科 學(xué) 在 過 去 十 年 中 發(fā) 展 極 為 迅 速 ， 今 后 會 快速 穩(wěn) 定 地 發(fā) 展 、 對 科 學(xué) 做 出 更 大 貢 獻(xiàn) 的 領(lǐng) 域E.Mjolsness & D. DesCoste, Science 01人 工 智 能 中 最 活 躍 、 應(yīng) 用 潛 力 最 明 顯 的 領(lǐng) 域 （ 之 一 ）T.G. Dietterich, AIMag 97美 國 、 歐 洲 各 國 都 投 入 了 大 量 人 力 物 力大 型 公 司 如 波 音 、 微 軟 、 通 用 電 器 等 都 有 研 究 課 題已 有 一 些 研 究 成 果 進(jìn) 入 產(chǎn) 品 機(jī) 器 學(xué) 習(xí) 角 色 的 轉(zhuǎn) 變?nèi)?果 我 們 想 做 出 重 要 的 貢 獻(xiàn) ， 首 先 需 要 把 握 住 該領(lǐng) 域 發(fā) 展 的 脈 搏機(jī) 器 學(xué) 習(xí) 現(xiàn) 在 似 乎 已 經(jīng) 發(fā) 展 到 一 個 新 階 段機(jī) 器 學(xué) 習(xí) 起 源 于 人 工 智 能 對 人 類 學(xué) 習(xí) 能 力的 追 求 ， 上 一 階 段 的 研 究 幾 乎 完 全 局 限 在人 工 智 能 這 一 領(lǐng) 域 中 （ 學(xué) 習(xí) 本 身 是 目 的 ）而 現(xiàn) 在 ， 機(jī) 器 學(xué) 習(xí) 已 經(jīng) 開 始 進(jìn) 入 了 計 算 機(jī)科 學(xué) 的 不 同 領(lǐng) 域 ， 甚 至 其 他 學(xué) 科 ， 成 為 一種 支 持 技 術(shù) 、 服 務(wù) 技 術(shù) （ 學(xué) 習(xí) 本 身 是 手 段 ） 機(jī) 器 學(xué) 習(xí) 角 色 的 轉(zhuǎn) 變 （ 續(xù) ）現(xiàn) 階 段 對 機(jī) 器 學(xué) 習(xí) 的 研 究 可 能 不 應(yīng) 再 過 多 地強(qiáng) 調(diào) 模 擬 人 的 學(xué) 習(xí) 能 力可 能 應(yīng) 該 把 機(jī) 器 學(xué) 習(xí) 真 正 當(dāng) 成 一 種 支 持 技 術(shù)（ 手 段 而 非 目 的 ） ， 考 慮 不 同 領(lǐng) 域 甚 至 不 同學(xué) 科 對 機(jī) 器 學(xué) 習(xí) 的 需 求 ， 找 出 其 中 具 有 共性 的 、 必 須 解 決 的 問 題 ， 并 進(jìn) 而 著 手 研 究 我 們 暫 且 把 這 種 視 角 下 的 機(jī) 器 學(xué) 習(xí) 稱 為 ： “ 普 適 機(jī) 器 學(xué) 習(xí) ” （ Pervasive ML） 挑 戰(zhàn) 問 題 (1)： 泛 化 能 力共 性 問 題 ：幾 乎 所 有 的 領(lǐng) 域 ， 都 希 望 越 準(zhǔn) 越 好提 高 泛 化 能 力 是 永 遠(yuǎn) 的 追 求目 前 泛 化 能 力 最 強(qiáng) 的 技 術(shù) ：支 持 向 量 機(jī) （ SVM） 產(chǎn) 生 途 徑 ： 理 論 -實(shí) 踐集 成 學(xué) 習(xí) （ ensemble learning） 產(chǎn) 生 途 徑 ： 實(shí) 踐 -理 論 挑 戰(zhàn) 問 題 (1)： 泛 化 能 力 （ 續(xù) ）第 一 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 更 “ 準(zhǔn) ” ？如 果 能 ， 會 從 哪 兒 來 ？ 挑 戰(zhàn) 問 題 (2)： 速 度共 性 問 題 ：幾 乎 所 有 的 領(lǐng) 域 ， 都 希 望 越 快 越 好加 快 速 度 也 是 永 遠(yuǎn) 的 追 求“ 訓(xùn) 練 速 度 ” vs. “測 試 速 度 訓(xùn) 練 速 度 快 的 往 往 測 試 速 度 慢 ： k近 鄰 測 試 速 度 快 的 往 往 訓(xùn) 練 速 度 慢 ： 神 經(jīng) 網(wǎng) 絡(luò) 挑 戰(zhàn) 問 題 (2)： 速 度 （ 續(xù) ）第 二 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 更 “ 快 ” ？能 做 到 “ 訓(xùn) 練 快 ” 、 “ 測 試 也 快 ” 嗎 ？如 果 能 ， 如 何 做 ？ 挑 戰(zhàn) 問 題 (3)： 可 理 解 性共 性 問 題 ：絕 大 多 數(shù) 領(lǐng) 域 都 希 望 有 “ 可 理 解 性 ” 例 子 ： 醫(yī) 療 診 斷 地 震 預(yù) 測目 前 強(qiáng) 大 的 技 術(shù) 幾 乎 都 是 （ 或 基 本 上 是 ）“ 黑 盒 子 ” 神 經(jīng) 網(wǎng) 絡(luò) 、 支 持 向 量 機(jī) 、 集 成 學(xué) 習(xí)“ 黑 盒 子 ” 能 滿 足 需 要 嗎 ？ 挑 戰(zhàn) 問 題 (3)： 可 理 解 性 （ 續(xù) ）第 三 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 產(chǎn) 生 “ 白 盒 子 ” ？是 和 “ 黑 盒 子 ” 完 全 不 同 的 東 西 ，還 是 從 “ 黑 盒 子 ” 變 出 來 ？ 挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力傳 統(tǒng) 的 機(jī) 器 學(xué) 習(xí) 技 術(shù) 對 有 標(biāo) 記 數(shù) 據(jù) 進(jìn) 行 學(xué) 習(xí)“ 標(biāo) 記 ” 事 件 所 對 應(yīng) 的 結(jié) 果共 性 問 題 ： 隨 著 數(shù) 據(jù) 收 集 能 力 飛 速 提 高 、 Internet的 出 現(xiàn) ， 在 大 多 數(shù) 領(lǐng) 域 中 都 可 以 很 容 易地 獲 得 大 量 未 標(biāo) 記 數(shù) 據(jù) 例 子 ： 醫(yī) 學(xué) 圖 象 分 析 垃 圾 郵 件 過 濾沒 有 標(biāo) 記 的 數(shù) 據(jù) 是 沒 用 的 嗎 ？ 挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力 （ 續(xù) ）共 性 問 題 ： 在 絕 大 多 數(shù) 領(lǐng) 域 中 都 會 遇 到 “ 壞 ” 數(shù) 據(jù) ，有 時 甚 至 只 有 “ 壞 ” 數(shù) 據(jù) 例 子 ： 海 軍 艦 隊 Web“壞 ” 數(shù) 據(jù) 大 量 噪 音 、 屬 性 缺 失 、 不 一 致 、 傳 統(tǒng) 的 “ 壞 ” 數(shù) 據(jù) 處 理 方 式 “ 扔 掉 ”“壞 ” 數(shù) 據(jù) 一 點(diǎn) 用 也 沒 有 嗎 ？ 第 四 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 “ 數(shù) 據(jù) 通 吃 ” ？如 何 “ 吃 ” ？挑 戰(zhàn) 問 題 (4)： 數(shù) 據(jù) 利 用 能 力 （ 續(xù) ） 挑 戰(zhàn) 問 題 (5)： 代 價 敏 感目 前 的 機(jī) 器 學(xué) 習(xí) 技 術(shù) 降 低 錯 誤 率“錯 誤 ” 是 沒 有 區(qū) 別 的 嗎 ？把 “ 好 ” 當(dāng) 成 “ 壞 ”把 “ 壞 ” 當(dāng) 成 “ 好 ”共 性 問 題 ：大 多 數(shù) 領(lǐng) 域 中 的 錯 誤 代 價 都 不 一 樣 例 子 ： 入 侵 檢 測 癌 癥 診 斷 一 樣 嗎 ？ 第 五 個 挑 戰(zhàn) 問 題 ：今 后 10年能 否 “ 趨 利 避 害 ” ？在 達(dá) 到 較 低 的 總 錯 誤 率 的 基 礎(chǔ) 上 ， 如 何 “ 趨 ” 、 如 何 “ 避 ” ？挑 戰(zhàn) 問 題 (5)： 代 價 敏 感 （ 續(xù) ） 挑 戰(zhàn) 問 題 ： More 在 任 何 一 個 挑 戰(zhàn) 問 題 上 取 得突 破 性 進(jìn) 展 ， 都 可 能 成 為對 機(jī) 器 學(xué) 習(xí) 的 重 要 貢 獻(xiàn) 謝 謝 ！恭 請 各 位 專 家 批 評 指 正 ！