《機器學習》PPT課件

機 器 學 習 什 么 是 機 器 學 習 ？l 人 工 智 能 大 師 Herb Simon這 樣 定 義 學 習 ： 學 習 ： 系 統(tǒng) 在 不 斷 重 復(fù) 的 工 作 中 對 本 身 能 力 的增 強 或 改 進 ， 使 得 系 統(tǒng) 在 下 一 次 執(zhí) 行 相 同 任 務(wù)或 類 似 任 務(wù) （ 指 的 是 具 有 相 同 分 布 的 任 務(wù) ） 時 ，比 現(xiàn) 在 做 的 更 好 或 效 率 更 高 。機 器 學 習 ： 通 過 經(jīng) 驗 提 高 系 統(tǒng) 自 身 的 性 能 的過 程 （ 系 統(tǒng) 自 我 改 進 ） 。 機 器 學 習 的 重 要 性l 機 器 學 習 是 人 工 智 能 的 主 要 核 心 研 究 領(lǐng) 域 之一 , 也 是 現(xiàn) 代 智 能 系 統(tǒng) 的 關(guān) 鍵 環(huán) 節(jié) 和 瓶 頸 。l 很 難 想 象 : 一 個 沒 有 學 習 功 能 的 系 統(tǒng) 是 能 被稱 為 是 具 有 智 能 的 系 統(tǒng) 。 信 息 檢 索 （ Information Retrieval ) 5 機 器 學 習 的 任 務(wù)l 令 W是 這 個 給 定 世 界 的 有 限 或 無 限 所 有 對 象 的集 合 ， 由 于 觀 察 能 力 的 限 制 ， 我 們 只 能 獲 得 這個 世 界 的 一 個 有 限 的 子 集 Q W， 稱 為 樣 本 集 。l 機 器 學 習 就 是 根 據(jù) 這 個 有 限 樣 本 集 Q ， 推 算 這個 世 界 的 模 型 ， 使 得 其 對 這 個 世 界 為 真 。 機 器 學 習 的 三 要 素l 一 致 性 假 設(shè) ： 機 器 學 習 的 條 件 。l 樣 本 空 間 劃 分 ： 決 定 模 型 對 樣 本 集 合 的有 效 性 。l 泛 化 能 力 ： 決 定 模 型 對 世 界 的 有 效 性 。 要 素 1： 一 致 性 假 設(shè)l 假 設(shè) 世 界 W與 樣 本 集 Q具 有 某 種 相 同 的 性 質(zhì) 。l 原 則 上 說 ， 存 在 各 種 各 樣 的 一 致 性 假 設(shè) 。l 在 統(tǒng) 計 意 義 下 ， 一 般 假 設(shè) ：l W與 Q具 有 同 分 布 。 或 ，l 給 定 世 界 W的 所 有 對 象 獨 立 同 分 布 。 要 素 2： 對 樣 本 空 間 的 劃 分l 樣 本 集 合 模 型 ：將 樣 本 集 放 到 一 個 n維 空 間 ， 尋 找 一 個 超平 面 (等 價 關(guān) 系 )， 使得 問 題 決 定 的 不 同 對象 被 劃 分 在 不 相 交 的區(qū) 域 。 要 素 3： 泛 化 能 力l 泛 化 能 力 ： 學 習 的 目 的 是 學 到 隱 含 在 數(shù) 據(jù) 對 背后 的 規(guī) 律 ,對 具 有 同 一 規(guī) 律 的 學 習 集 以 外 的 數(shù)據(jù) ,該 神 經(jīng) 網(wǎng) 絡(luò) 仍 具 有 正 確 的 響 應(yīng) 能 力 ,稱 為 泛化 能 力 .l 通 過 機 器 學 習 方 法 ， 從 給 定 有 限 樣 本 集 合 計 算一 個 模 型 ， 泛 化 能 力 是 這 個 模 型 對 世 界 為 真 程度 的 指 標 。 關(guān) 于 三 要 素l 不 同 時 期 ， 研 究 的 側(cè) 重 點 不 同l 劃 分 :早 期 研 究 主 要 集 中 在 該 要 素 上l 泛 化 能 力 (在 多 項 式 劃 分 ):80年 代 以 來 的 近 期 研究l 一 致 性 假 設(shè) :未 來 必 須 考 慮 （ Transfer learning） Transfer learningl Transfer learning 這 一 概 念 是 由 DARPA（ 美 國 國 防 高 級 研 究 計 劃 局 ） 在 2005年正 式 提 出 來 的 一 項 研 究 計 劃 。l Transfer Learning 是 指 系 統(tǒng) 能 夠 將 在 先 前任 務(wù) 中 學 到 的 知 識 或 技 能 應(yīng) 用 于 一 個 新的 任 務(wù) 或 新 的 領(lǐng) 域 。 傳 統(tǒng) 機 器 學 習 &轉(zhuǎn) 移 學 習 Transfer Learning = “舉 一 反 三 ”l 我 們 人 類 也 具 有 這 樣 的 能 力 ， 比 如 我 們 學 會 了國 際 象 棋 ， 就 可 以 將 下 棋 的 方 法 應(yīng) 用 于 跳 棋 ，或 者 說 學 起 跳 棋 來 會 更 容 易 一 些 ； 學 會 了 C+，可 以 把 它 的 一 些 思 想 用 在 學 習 Java中 ； 再 比 如某 人 原 來 是 學 物 理 的 ， 后 來 學 習 計 算 機 時 ， 總習 慣 把 物 理 中 的 某 些 思 想 和 概 念 用 于 計 算 機 科學 中 。 用 我 們 通 俗 的 話 總 結(jié) ， 就 是l 傳 統(tǒng) 機 器 學 習 = “種 瓜 得 瓜 ， 種 豆 得 豆 ”l 遷 移 學 習 = “舉 一 反 三 ” 機 器 學 習 是 多 學 科 的 交 叉 機 器 學 習 學 科l 1983年 ， R.S. Michalski等 人 撰 寫 機 器 學 習 ：通 往 人 工 智 能 的 途 徑 一 書l 1986年 ， Machine Learning雜 志 創(chuàng) 刊l 1997年 以 Tom Mitchell的 經(jīng) 典 教 科 書 machine learning 中 都 沒 有 貫 穿 始 終 的基 礎(chǔ) 體 系 ， 只 不 個 是 不 同 方 法 和 技 術(shù) 的 羅 列l(wèi) 機 器 學 習 還 非 常 年 輕 、 很 不 成 熟 機 器 學 習 的 分 類l 傳 統(tǒng) 上 ， 大 致 可 分 為 4類 ：l 歸 納 學 習l 解 釋 學 習l 遺 傳 學 習 （ GA)l 連 接 學 習 (神 經(jīng) 網(wǎng) 絡(luò) ） 歸 納 學 習l 是 從 某 一 概 念 的 分 類 例 子 集 出 發(fā) 歸 納 出 一 般 的概 念 描 述 。l 這 是 目 前 研 究 得 最 多 的 學 習 方 法 ， 其 學 習 目 的是 為 了 獲 得 新 的 概 念 、 構(gòu) 造 新 的 規(guī) 則 或 發(fā) 現(xiàn) 新的 理 論 。l 這 種 方 法 要 求 大 量 的 訓(xùn) 練 例 ， 而 且 歸 納 性 能 受到 描 述 語 言 、 概 念 類 型 、 信 噪 比 、 實 例 空 間 分布 、 歸 納 模 式 等 的 影 響 。 解 釋 學 習l （ 分 析 學 習 ） 是 從 完 善 的 領(lǐng) 域 理 論 出 發(fā) 演 繹 出有 助 于 更 有 效 地 利 用 領(lǐng) 域 理 論 的 規(guī) 則 。 其 學 習目 的 是 提 高 系 統(tǒng) 性 能 ， 而 不 是 修 改 領(lǐng) 域 理 論 。l 它 與 歸 納 學 習 相 反 ， 只 需 要 少 量 的 訓(xùn) 練 例 ， 但要 求 有 完 善 的 領(lǐng) 域 理 論 ， 而 且 學 習 效 果 也 與 例子 表 示 形 式 、 學 習 方 法 （ 正 例 學 習 或 反 例 學習 ） 、 概 括 程 度 等 有 關(guān) 。 機 器 學 習 面 臨 的 挑 戰(zhàn)l 隨 著 應(yīng) 用 的 不 斷 深 入 ,出 現(xiàn) 了 很 多 被 傳 統(tǒng) 機 器學 習 研 究 忽 視 、 但 非 常 重 要 的 問 題 （ 下 面 將 以醫(yī) 療 和 金 融 為 代 表 來 舉 幾 個 例 子 ）l 機 器 學 習 正 與 眾 多 學 科 領(lǐng) 域 產(chǎn) 生 了 交 叉 ， 交 叉領(lǐng) 域 越 多 ,問 題 也 越 多 ,也 正 是 大 有 可 為 處 . 例 子 1： 代 價 敏 感 問 題l 醫(yī) 療 ： 以 癌 癥 診 斷 為 例 ， “ 將 病 人 誤 診 為 健 康人 的 代 價 ” 與 “ 將 健 康 人 誤 診 為 病 人 的 代 價 ”是 不 同 的 。l 金 融 ： 以 信 用 卡 盜 用 檢 測 為 例 ， “ 將 盜 用 誤 認為 正 常 使 用 的 代 價 ” 與 “ 將 正 常 使 用 誤 認 為 盜用 的 代 價 ” 是 不 同 的 。l 傳 統(tǒng) 的 ML技 術(shù) 基 本 上 只 考 慮 同 一 代 價l 如 何 處 理 代 價 敏 感 性 ？l 在 教 科 書 中 找 不 到 現(xiàn) 成 的 答 案 。 例 子 2： 不 平 衡 數(shù) 據(jù) 問 題l 醫(yī) 療 ： 以 癌 癥 診 斷 為 例 ， “ 健 康 人 ” 樣 本 遠 遠多 于 “ 病 人 ” 樣 本 。l 金 融 ： 以 信 用 卡 盜 用 檢 測 為 例 ， “ 正 常 使 用 ”樣 本 遠 遠 多 于 “ 被 盜 用 ” 樣 本 。l 傳 統(tǒng) 的 ML技 術(shù) 基 本 上 只 考 慮 平 衡 數(shù) 據(jù)l 如 何 處 理 數(shù) 據(jù) 不 平 衡 性 ？l 在 教 科 書 中 找 不 到 現(xiàn) 成 的 答 案 例 子 3： 可 理 解 性 問 題l 醫(yī) 療 ： 以 乳 腺 癌 診 斷 為 例 ， 需 要 向 病 人 解 釋“ 為 什 么 做 出 這 樣 的 診 斷 ”l 金 融 ： 以 信 用 卡 盜 用 檢 測 為 例 ， 需 要 向 保 安 部門 解 釋 “ 為 什 么 這 是 正 在 被 盜 用 的 卡 ”l 傳 統(tǒng) 的 ML技 術(shù) 基 本 上 只 考 慮 泛 化 不 考 慮 理 解l 如 何 處 理 可 理 解 性 ？l 在 教 科 書 中 找 不 到 現(xiàn) 成 的 答 案 機 器 學 習 的 最 新 進 展l 算 法 驅(qū) 動 (建 模 與 數(shù) 據(jù) 分 析 )l 應(yīng) 用 驅(qū) 動 算 法 驅(qū) 動l 海 量 非 線 性 數(shù) 據(jù) (108-10)l 算 法 的 泛 化 能 力 考 慮l 學 習 結(jié) 果 數(shù) 據(jù) 的 解 釋l 代 價 加 權(quán) 的 處 理 方 法l 不 同 數(shù) 據(jù) 類 型 的 學 習 方 法 應(yīng) 用 驅(qū) 動l 自 然 語 言 分 析 、 網(wǎng) 絡(luò) 與 電 信 數(shù) 據(jù) 分 析 、 圖 像 數(shù)據(jù) 分 析 、 金 融 與 經(jīng) 濟 數(shù) 據(jù) 分 析 、 零 售 業(yè) 數(shù) 據(jù) 分析 、 情 報 分 析 。l Web信 息 的 有 效 獲 取 (新 一 代 搜 索 引 擎 )。 由 此 導(dǎo) 致 各 種 學 習 任 務(wù) ： 數(shù) 據(jù) 流 學 習 、 多 實 例 學 習 (部分 放 棄 獨 立 同 分 布 條 件 )、 Ranking學 習 、 蛋 白 質(zhì)功 能 分 析 , DNA數(shù) 據(jù) 分 析 ， . 它 們 需 要 使 用 各 種 不 同 方 法 ， 解 決 實 際 問 題 。 應(yīng) 用 驅(qū) 動 機 器 學 習l 流 形 機 器 學 習l 半 監(jiān) 督 機 器 學 習l 多 實 例 機 器 學 習l Ranking機 器 學 習l 數(shù) 據(jù) 流 機 器 學 習l 圖 模 型 機 器 學 習l 流 形 機 器 學 習 高 維 數(shù) 據(jù) 的 低 維 表 示l 流 形 （ manifold） 就 是 一 般 的 幾 何 對 象 的 總 稱 。 比 如 人 ，有 中 國 人 、 美 國 人 等 等 ； 流 形 就 包 括 各 種 維 數(shù) 的 曲 線 曲面 等 。 和 一 般 的 降 維 分 析 一 樣 ， 流 形 學 習 把 一 組 在 高 維空 間 中 的 數(shù) 據(jù) 在 低 維 空 間 中 重 新 表 示 。l 比 如 在 基 于 內(nèi) 容 的 圖 像 檢 索 中 ， 當 特 征 向 量 的 維 數(shù) 非 常高 時 ， 建 立 圖 像 特 征 庫 時 的 存 儲 高 維 特 征 的 空 間 復(fù) 雜 度和 度 量 圖 像 之 間 相 似 性 的 運 算 復(fù) 雜 度 都 將 非 常 的 高 。 l 線 性 方 法l PCA (Principal Component Analysis)l ICA (Independent Component Analysis)l 非 線 性 方 法l LLE (Local linear Embeding)(Roweis, Science,2000)l Isomap (Tenenbaum, Science, 2000) l 比 較 常 用 的 降 維 算 法 比 如 PCA， 是 針 對 線 性 分 布的 高 維 數(shù) 據(jù) 進 行 降 維 的 算 法 ， 并 且 有 局 部 最 優(yōu) 的問 題 。 而 LLE（ Local Linear Embedding） 算 法 則 針對 于 非 線 性 數(shù) 據(jù) 。 在 這 個 例 子 里 ， 用 LLE 進 行 降 維 成 功 的 體 現(xiàn) 了 數(shù)據(jù) 內(nèi) 在 的 局 部 分 布 結(jié) 構(gòu) ， 而 用 PCA 映 射 則 會 將 高 維 空間 里 的 遠 點 映 射 到 低 維 空 間 后 變 成 了 近 鄰 點 。 半 監(jiān) 督 機 器 學 習l 半 監(jiān) 督 的 學 習 :有 少 量 訓(xùn) 練 樣 本 ,學 習 機 以 從 訓(xùn)練 樣 本 獲 得 的 知 識 為 基 礎(chǔ) ,結(jié) 合 測 試 樣 本 的 分布 情 況 逐 步 修 正 已 有 知 識 ,并 判 斷 測 試 樣 本 的類 別 。 多 示 例 機 器 學 習l 傳 統(tǒng) 的 機 器 學 習 中 ， 一 個 對 象 有 一 個 描 述 ，而 在 一 些 實 際 問 題 中 ， 一 個 對 象 可 能 同 時 有 多個 描 述 ， 到 底 哪 個 描 述 是 決 定 對 象 性 質(zhì) (例 如類 別 )的 ， 卻 并 不 知 道 。 解 決 這 種 “ 對 象 ： 描述 ： 類 別 ” 之 間 1:N:1關(guān) 系 的 學 習 就 是 多 示 例 學習 Ranking機 器 學 習l 其 原 始 說 法 是 learning for rankingl 問 題 主 要 來 自 信 息 檢 索 ， 假 設(shè) 用 戶 的 需 求 不 能簡 單 地 表 示 為 “ 喜 歡 ” 或 “ 不 喜 歡 ” ， 而 需 要將 “ 喜 歡 ” 表 示 為 一 個 順 序 ， 問 題 是 如 何 通 過學 習 ， 獲 得 關(guān) 于 這 個 “ 喜 歡 ” 順 序 的 模 型 。 數(shù) 據(jù) 流 機 器 學 習l 在 網(wǎng) 絡(luò) 數(shù) 據(jù) 分 析 與 處 理 中 ， 有 一 類 問 題 ，從 一 個 用 戶 節(jié) 點 上 流 過 的 數(shù) 據(jù) ， 大 多 數(shù)是 無 意 義 的 ， 由 于 數(shù) 據(jù) 量 極 大 ， 不 能 全部 存 儲 ， 因 此 ， 只 能 簡 單 判 斷 流 過 的 文件 是 否 有 用 ， 而 無 法 細 致 分 析l 如 何 學 習 一 個 模 型 可 以 完 成 這 個 任 務(wù) ，同 時 可 以 增 量 學 習 ， 以 保 證 可 以 從 數(shù) 據(jù)流 中 不 斷 改 善 (或 適 應(yīng) )用 戶 需 求 的 模 型 研 究 現(xiàn) 狀l 主 要 以 任 務(wù) 為 驅(qū) 動 力 ,學 習 方 法 有 待 創(chuàng) 新l 以 上 這 些 機 器 學 習 方 式 還 處 于 實 驗 觀 察階 段 ， 缺 乏 堅 實 的 理 論 基 礎(chǔ)l 實 際 應(yīng) 用 效 果 仍 有 待 研 究 當 前 機 器 學 習 所 面 臨 情 況 是 ：l 數(shù) 據(jù) 復(fù) 雜 、 海 量 ， 用 戶 需 求 多 樣 化 。 從 而 , 要 求 ：(1)需 要 科 學 和 高 效 的 問 題 表 示 ， 以 便 將 其 學 習 建立 在 科 學 的 基 礎(chǔ) 上(2)應(yīng) 用 驅(qū) 動 成 為 必 然 , 從 而 針 對 某 個 或 某 類 應(yīng) 用 給出 特 定 的 學 習 方 法 將 不 斷 涌 現(xiàn)(3)對 機 器 學 習 的 檢 驗 問 題 只 能 在 應(yīng) 用 中 檢 驗 自 己(4)對 機 器 學 習 的 結(jié) 果 的 解 釋 , 將 逐 漸 受 到 重 視 現(xiàn) 在 我 們 逐 一 討 論 幾 種 比 較常 用 的 學 習 算 法 7.3 機 械 學 習l機 械 學 習 （ Rote Learning） 又 稱 為 記 憶 學 習 或 死 記 硬 背 式 的 學 習 。這 種 學 習 方 法 直 接 記 憶 或 存 儲 環(huán) 境 提 供 的 新知 識 ， 并 在 以 后 通 過 對 知 識 庫 的 檢 索 來 直 接使 用 這 些 知 識 ， 而 不 再 需 要 進 行 任 何 的 計 算和 推 導(dǎo) 。 l 機 械 學 習 是 一 種 基 本 的 學 習 過 程 ， 雖 然 它 沒 有足 夠 的 能 力 獨 立 完 成 智 能 學 習 ， 但 存 儲 對 于 任何 智 能 型 的 程 序 來 說 ， 都 是 必 要 的 和 基 本 的 。 記 憶 學 習 是 任 何 學 習 系 統(tǒng) 的 一 部 分 ， 任 何 學 習系 統(tǒng) 都 要 將 它 所 獲 取 的 知 識 存 儲 在 知 識 庫 中 ，以 便 使 用 這 些 知 識 。 機 械 學 習 的 過 程 l 執(zhí) 行 機 構(gòu) 每 解 決 一 個 問 題 ， 系 統(tǒng) 就 記 住 這 個 問題 和 它 的 解 。 簡 單 的 機 械 學 習 模 型 ： 1 2 1 2( , , , ) ( , , , )n pX X X Y Y Y 1 2 1 2( , , , ),( , , , )n pX X X Y Y Y f存 儲輸 入 輸 出知 識 聯(lián) 想 對執(zhí) 行 單 元 例 子 ： 汽 車 修 理 成 本 估 算 系 統(tǒng) l 輸 入 ： 有 關(guān) 待 修 理 汽 車 的 描 述 ， 包 括 制 造 廠 家 、出 廠 日 期 、 車 型 、 汽 車 損 壞 的 部 位 以 及 它 的 損壞 程 度l 輸 出 ： 該 汽 車 的 修 理 成 本 例 子 ： 汽 車 修 理 成 本 估 算 系 統(tǒng)l 為 了 進 行 估 算 ， 系 統(tǒng) 必 須 在 其 知 識 庫 中 查 找 同一 廠 家 ， 同 一 出 廠 日 期 、 同 一 車 型 、 同 樣 損 壞情 況 的 汽 車 ， 然 后 把 知 識 庫 中 對 應(yīng) 的 數(shù) 據(jù) 作 為修 理 成 本 的 估 算 數(shù) 據(jù) 輸 出 給 用 戶 。 如 果 在 系 統(tǒng)的 知 識 庫 中 沒 有 找 到 這 樣 的 汽 車 ， 則 系 統(tǒng) 將 請求 用 戶 給 出 大 致 的 費 用 并 進 行 確 認 ， 系 統(tǒng) 則 會將 該 車 的 描 述 和 經(jīng) 過 確 認 的 估 算 費 用 存 儲 到 知識 庫 中 ， 以 便 將 來 查 找 使 用 。 數(shù) 據(jù) 化 簡 級 別 圖l 萊 納 特 (Lenat)， 海 斯 羅 思 (Hayes Roth)和 克拉 爾 (Klahr)等 人 于 1979年 提 出 ： 可 以 把 機 械學 習 看 成 是 數(shù) 據(jù) 化 簡 分 級 中 的 第 一 級 。 機 械 學習 與 計 算 、 歸 納 和 推 理 之 間 的 關(guān) 系 如 下 圖 所 示 。 存 儲 計 算 推 導(dǎo) 歸 納算 法 與 理 論機 械 記 憶 搜 索 規(guī) 則可 以 在 大 量 病 例 的 基 礎(chǔ) 上 歸 納 總 結(jié)出 治 療 的 一 般 規(guī) 律 ， 形 成 規(guī) 則 ， 當遇 見 個 新 病 例 時 ， 就 使 用 規(guī) 則去 處 理 它 ， 而 不 必 再 重 新 推 斷 解 決辦 法 ， 提 高 了 工 作 效 率 。在 機 械 學 習 中 ， 我 們 忽 略 計 算 過 程 ，只 記 憶 計 算 的 輸 入 輸 出 ， 這 樣 就 把計 算 問 題 化 簡 成 另 外 存 儲 問 題 。數(shù) 據(jù) 化 簡 級 別 圖 例 如 ， 第 一 次 解 一 個 一 元 二 次 方 程 的時 候 ， 必 須 使 用 很 長 的 一 段 推 導(dǎo) 才 能得 出 解 方 程 的 求 根 公 式 。 但 是 一 旦 有了 求 根 公 式 ， 以 后 再 解 一 元 二 次 方 程時 ， 就 不 必 重 復(fù) 以 前 的 推 導(dǎo) 過 程 ， 可以 直 接 使 用 求 根 公 式 計 算 出 根 ， 這 樣就 把 推 導(dǎo) 問 題 簡 化 成 計 算 問 題 機 械 學 習 要 注 意 的 問 題l 存 儲 組 織 信 息l 如 何 存 儲 ？ 使 得 檢 索 時 間 Q(a) (2)推 廣 ： ,P(x） - Q(x) (3) ,P(x） - Q(x) (4)利 用 假 言 推 理 ， P(b)， P(x） - Q(x)，得 出 b具 有 性 質(zhì) Q。x S x T 類 比 學 習 研 究 類 型l 問 題 求 解 型 已 知 因 果 關(guān) 系 S1:A-B,現(xiàn) 有 A A,則 可 能 有 B滿 足 A -B求 解 一 個 新 問 題 時 ， 先 回 憶 以 前是 否 求 解 過 類 似 問 題 ， 若 是 ， 則以 此 為 依 據(jù) 求 解 新 問 題 。用 來 推 斷 一 個 不 完 全 確 定 的 事 物可 能 還 有 的 其 他 屬 性l 預(yù) 測 推 理 型l傳 統(tǒng) 的 類 比 法 l因 果 關(guān) 系 型 7.6 解 釋 學 習 l 基 于 解 釋 的 學 習 (Explanation-based learning, EBL) 解 釋 學 習 興 起 于 20世 紀 80年 代 中 期 ， 根 據(jù)任 務(wù) 所 在 領(lǐng) 域 知 識 和 正 在 學 習 的 概 念 知 識 ， 對當 前 實 例 進 行 分 析 和 求 解 ， 得 出 一 個 表 征 求 解過 程 的 因 果 解 釋 樹 ， 以 獲 取 新 的 知 識 。 l 例 如 ， 學 生 根 據(jù) 教 師 提 供 的 目 標 概 念 、該 概 念 的 一 個 例 子 、 領(lǐng) 域 理 論 及 可 操 作 準則 ， 首 先 構(gòu) 造 一 個 解 釋 來 說 明 為 什 該 例 子滿 足 目 標 概 念 ， 然 后 將 解 釋 推 廣 為 目 標 概念 的 一 個 滿 足 可 操 作 準 則 的 充 分 條 件 。l EBL已 被 廣 泛 應(yīng) 用 于 知 識 庫 求 精 和 改 善系 統(tǒng) 的 性 能 。 著 名 的 EBL系 統(tǒng) 有 迪 喬 恩（ G.DeJong） 的 GENESIS, 米 切 爾（ T.Mitchell） 的 LEXII和 LEAP, 以 及 明 頓（ S.Minton） 等 的 PRODIGY。 解 釋 學 習 的 一 般 性 描 述l 米 切 爾 提 出 了 一 個 解 釋 學 習 的 統(tǒng) 一 算 法 EBG,建 立 了 基 于 解 釋 的 概 括 過 程 ， 并 用 知 識 的 邏輯 表 示 和 演 繹 推 理 進 行 問 題 求 解 。 其 一 般 性描 述 為 ： 給 定 ： 領(lǐng) 域 知 識 DT 目 標 概 念 TC 訓(xùn) 練 實 例 TE 操 作 性 準 則 OC 找 出 ： 滿 足 OC的 關(guān) 于 TC的 充 分 條 件目 標 概 念 新 規(guī) 則操 作 準 則訓(xùn) 練 例 子 知 識 庫 l 系 統(tǒng) 進 行 學 習 時 ， 首 先 運 用 領(lǐng) 域 知 識 DT找 出訓(xùn) 練 實 例 TE為 什 么 是 目 標 概 念 TC的 實 例 的 解釋 ， 然 后 根 據(jù) 操 作 性 準 則 OC對 解 釋 進 行 推 廣 ，從 而 得 到 關(guān) 于 目 標 概 念 TC的 一 個 一 般 性 描 述 ，即 一 個 可 供 以 后 使 用 的 形 式 化 表 示 的 一 般 性知 識 。 解 釋 學 習 的 學 習 過 程 與 算 法EBG算 法 可 概 括 為 兩 步 ：1. 構(gòu) 造 解 釋 運 用 領(lǐng) 域 知 識 進 行 演 繹 ， 證 明 提 供 給 系 統(tǒng)的 訓(xùn) 練 實 例 為 什 么 是 滿 足 目 標 概 念 的 一 個 實例 。 例 如 ： 設(shè) 要 學 習 的 目 標 概 念 是 “ 一 個 物 體 （ Obj1）可 以 安 全 地 放 置 在 另 一 個 物 體 （ Obj2） 上 ” ， 即 Safe-To-Stack(Obj1,obj2) l 訓(xùn) 練 實 例 為 描 述 物 體 Obj1與 Obj2的 下 述 事 實 ： On(Obj1,Obj2) Isa(Obj1,book of AI) Isa(Obj2,table) Volume(Obj1,1) Density(Obj1,0.1) l 領(lǐng) 域 知 識 是 把 一 個 物 體 放 置 在 另 一 個 物 體 上 面 的 安 全 性 準 則 ： Fragile (y) Safe-To-Stack (x ,y) Lighter (x, y) Safe-To-Stack (x ,y) Volume (p, v) Density (p, d) *(v, d, w) Weight (p, w) Isa(p,table)Weight (p, 15) Weight(p1,w1) Weight(p2,w2) Smaller(w1,w2)Lighter(p1,p2) Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1) Weight(Obj2,15) Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1) Density(Obj1,0.1) *(1,0.1,0.1)圖 1 Safe-To-Stack(Obj1,obj2)解 釋 結(jié) 構(gòu) 這 是 一 個 由 目 標 概 念 引 導(dǎo) 的 逆 向 推 理 ， 最 終 得到 了 一 個 解 釋 結(jié) 構(gòu) 。 2. 獲 取 一 般 性 的 知 識 任 務(wù) ： 對 上 一 步 得 到 的 解 釋 結(jié) 構(gòu) 進 行 一 般 化 的 處理 ， 從 而 得 到 關(guān) 于 目 標 概 念 的 一 般 性 知 識 。 方 法 ： 將 常 量 換 成 變 量 ， 并 把 某 些 不 重 要 的 信 息去 掉 ， 只 保 留 求 解 問 題 必 須 的 關(guān) 鍵 信 息 。 圖 2為 圖 1的一 般 化 解 釋 結(jié) 構(gòu) ， 可 以 得 到 如 下 一 般 性 知 識 ： Volume (O1, v1) Density (O1, d1) *(v1, d1, w1) Isa(O2,table) Smaller(w1,15) Safe-To-Stack(Obj1,obj2) Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1) Weight(O2,15) Smaller(w1,15)Isa(O2,table)Voume(O1,v1) Density(O1,d1) *(v1,d1,w1)圖 2 Safe-To-Stack(O1,O2)一 般 化 解 釋 結(jié) 構(gòu) 以 后 求 解 類 似 問 題 時 ， 就 可 以 直 接 利 用 這 個 知識 進 行 求 解 ， 提 到 了 系 統(tǒng) 求 解 問 題 的 效 率 。 領(lǐng) 域 知 識 的 完 善 性l 領(lǐng) 域 知 識 對 證 明 的 形 成 起 著 重 要 的 作 用 ， 只 有完 善 的 領(lǐng) 域 知 識 才 能 產(chǎn) 生 正 確 的 學 習 描 述 。 但是 ， 不 完 善 是 難 以 避 免 的 ， 此 時 有 可 能 出 現(xiàn) 如下 兩 種 極 端 情 況 ： 1.構(gòu) 造 不 出 解 釋 2. 構(gòu) 造 出 了 多 種 解 釋l 解 決 辦 法 ： 1.最 根 本 的 辦 法 是 提 供 完 善 的 領(lǐng) 域 知 識2.學 習 系 統(tǒng) 也 應(yīng) 具 有 測 試 和 修 正 不 完 善 知 識 的 能力 ， 使 問 題 能 盡 早 地 被 發(fā) 現(xiàn) ， 盡 快 地 被 修 正 。 7.7 神 經(jīng) 學 習l 我 們 先 簡 單 回 顧 一 下 神 經(jīng) 網(wǎng) 絡(luò) 的 基 本 原 理 。 人 工 神 經(jīng) 元 的 基 本 構(gòu) 成Inputsignal Synaptic weights Summingfunction ActivationfunctionLocalFieldv Outputox1x2xn w2wnw1 )(fw0 x0 = +1 人 工 神 經(jīng) 元 模 擬 生 物 神 經(jīng) 元 的 一 階 特 性 。l 輸 入 ： X=（ x1， x2， ， xn）l 聯(lián) 接 權(quán) ： W=（ w1， w2， ， wn） Tl 網(wǎng) 絡(luò) 輸 入 ： net= xiwil 向 量 形 式 ： net=XWl 激 活 函 數(shù) ： fl 網(wǎng) 絡(luò) 輸 出 ： o=f（ net） 1一 組 突 觸 和 聯(lián) 結(jié) ， 聯(lián) 結(jié) 具 有 權(quán) 值 W1, W2, , Wn2通 過 加 法 器 功 能 ， 將 計 算 輸 入 的 權(quán) 值 之 和 net=xiwi3激 勵 函 數(shù) 限 制 神 經(jīng) 元 輸 出 的 幅 度o=f（ net） 典 型 激 勵 函 數(shù) netooc線 性 函 數(shù) （ Liner Function） f（ net） =k*net+c - - net o 非 線 性 斜 面 函 數(shù) （ Ramp Function）a+b o (0,c) netac=a+b/2 S形 函 數(shù) （ Sigmoid） 神 經(jīng) 網(wǎng) 絡(luò) 常 見 三 大 類 模 型 神 經(jīng) 網(wǎng) 絡(luò) 中 常 見 三 大 類 模 型 ： 前 向 神 經(jīng) 網(wǎng) 絡(luò) ；反 饋 神 經(jīng) 網(wǎng) 絡(luò) ； 自 組 織 神 經(jīng) 網(wǎng) 絡(luò) 。l 前 向 神 經(jīng) 網(wǎng) 絡(luò) 各 神 經(jīng) 元 接 受 前 一 層 的 輸 入 并 輸 出給 下 一 層 ， 無 反 饋 ， 常 見 的 有 BP神 經(jīng) 網(wǎng) 絡(luò) 和 RBF徑 向 基 神 經(jīng) 網(wǎng) 絡(luò) 。l 反 饋 神 經(jīng) 網(wǎng) 絡(luò) ， 其 輸 入 數(shù) 據(jù) 決 定 反 饋 系 統(tǒng) 的 初 始狀 態(tài) ， 然 后 系 統(tǒng) 經(jīng) 過 一 系 列 的 狀 態(tài) 轉(zhuǎn) 移 后 逐 漸 收斂 于 平 衡 狀 態(tài) ， 即 為 反 饋 神 經(jīng) 網(wǎng) 絡(luò) 經(jīng) 過 計 算 后 的輸 出 結(jié) 果 。 自 組 織 神 經(jīng) 網(wǎng) 絡(luò) 是 一 種 無 教 師 學 習 神 經(jīng) 網(wǎng) 絡(luò) ，可 以 模 擬 人 類 根 據(jù) 過 去 經(jīng) 驗 自 動 適 應(yīng) 無 法 預(yù)測 的 環(huán) 境 變 化 ， 通 常 利 用 競 爭 原 則 進 行 學 習 ，可 以 通 過 學 習 提 取 一 組 數(shù) 據(jù) 中 的 重 要 特 征 或某 種 內(nèi) 在 規(guī) 律 性 。 對 生 物 神 經(jīng) 系 統(tǒng) 的 觀 察 可以 發(fā) 現(xiàn) 局 部 相 關(guān) 作 用 可 以 導(dǎo) 致 整 體 的 某 種 有序 性 ， 自 組 織 神 經(jīng) 網(wǎng) 絡(luò) 。 即 基 于 這 種 原 理 。 x1 x2 xny1 y2 yn x1 x2 xny1 y2 yn x1 x2 xny1 y2 yn x1x2 x3 x4y1y2 y3 y4 學 習 算 法 上 的 分 類 在 人 工 神 經(jīng) 網(wǎng) 絡(luò) 中 ， 權(quán) 是 一 個 反 映 信 息 存 儲 的 關(guān) 鍵 量 ，在 結(jié) 構(gòu) 和 轉(zhuǎn) 換 函 數(shù) 定 了 以 后 ， 如 何 設(shè) 計 權(quán) 使 網(wǎng) 絡(luò) 達 到 一 定的 要 求 這 是 人 工 神 經(jīng) 網(wǎng) 絡(luò) 必 不 可 少 的 部 分 ， 大 多 數(shù) 神 經(jīng) 網(wǎng)絡(luò) 權(quán) 的 設(shè) 計 是 通 過 學 習 得 到 的 ， 目 前 可 分 為 下 列 幾 種 。 死 記 式 學 習 網(wǎng) 絡(luò) 的 權(quán) 是 事 先 設(shè) 計 的 ， 值 是 固 定 的 。 學 習 律 這 種 方 法 是 用 已 知 例 子 作 為 教 師 對 網(wǎng) 絡(luò) 的 權(quán) 進 行 學 習 。 P1iyx ii , 設(shè) 為 已 知 的 輸 入 、 輸 出 例 子 ，ix ， 為 n和 m維 矢 量 ，iy Tmyyy , 21iy ix Tnxxx , 21 ， 把 作 為 神 經(jīng) 網(wǎng) 絡(luò) 的 輸 入 ，在 權(quán) 的 作 用 下 ， 可 計 算 出 實 際 神 經(jīng) 網(wǎng) 絡(luò) 的輸 出 為 iy Tmj21 yyyy , ix設(shè) 任 一 個 輸 入 神 經(jīng) 元 q 到 的 權(quán) 為 wqj則 其 權(quán) 的 改 變 量 為jy qjqj Vw jjj yyF 其 中 為 步 長 ， 為 誤 差 ， 為 第 q 個 神 經(jīng) 元 的 jj yy qV輸 出 ， 函 數(shù) 是 根 據(jù) 不 同 的 情 況 而 定 ， 多 數(shù) 人 工 神 經(jīng) 網(wǎng) 絡(luò)F jjj yy ； 。 xxF 自 組 織 的 學 習 和 H ebbian學 習 律兩 個 神 經(jīng) 元 之 間 的 連 接 權(quán) ， 正 比 于兩 個 神 經(jīng) 元 的 活 動 值 ， 如 ，iV jV表 示 兩 個 神 經(jīng) 元 的 輸 出 值 ， 則 他 們 之 間 的 權(quán) 的 變 化 為jiij VVw 這 里 為 步 長 或 常 數(shù) 。 相 近 學 習設(shè) 為 從 神 經(jīng) 元 i到 神 經(jīng) 元 j的 權(quán) ，ijw為 i 神 經(jīng) 元 的 輸 出 ， 則 iV )( ijiij wVw 在 這 個 學 習 中 ， 使 十 分 逼 近 的 值 。如 Kohonen和 ART等 都 采 用 這 類 學 習 方 法 。iVijw 非 線 性 變 換 單 元 組 成 的 前 饋 網(wǎng) 絡(luò) （ 簡 稱 B-P網(wǎng) 絡(luò) ） 網(wǎng) 絡(luò) 的 結(jié) 構(gòu) 與 數(shù) 學 描 述 1 uf u0ikjl x 0 x1 xn-1y0 y1 ym-1 1/2X0X0 1 1nX 2 1nX 1n 0i jiijj 1n 0j kjjkk 1n 0k lkkll xwfx xwfx xwfy 12 juj e1 1uf B-P網(wǎng) 絡(luò) 是 完 成 n維 空 間 向 量 對 m維 空 間 的 近 似 映 照 。（ F為 近 似 映 照 函 數(shù) ） (1) (2) 如 果 輸 入 第 P1個 樣 本 對 11 PP yx ,通 過 一 定 方 式 訓(xùn) 練 后 ， 得 到 一 組 權(quán) 1PW包 括 網(wǎng) 絡(luò) 中 所 有 的 權(quán) 和 閾 值 ， 此 時1PW 1PW 的 解 不 是 唯 一 的 ， 而 是 在 權(quán) 空 間 中 的 一 個 范 圍 ， 也 可 為幾 個 范 圍 。 對 于 所 有 的 學 習 樣 本 P1=1,2, ,P都 可 以 滿 足 ： 111 PPP WxFy ,各 自 的 解 為 W1， W2， ， WP， 通 過 對 樣 本 集 的 學 習 ， 得 到滿 足 所 有 樣 本 正 確 映 照 的 解 為P1P P 1 1WW 學 習 的 過 程 就 是 求 解 W的 過 程 ， 因 為學 習 不 一 定 要 求 很 精 確 ， 所 以 得 到 的是 一 種 近 似 解 。 B-P的 學 習 算 法去 ， 令 ： ； ； ； ； 為 了 方 便 起 見 ， 在 圖 a的 網(wǎng) 絡(luò) 中 ， 把 閾 值 寫 入 連 接 權(quán) 中l(wèi)nl 2w knk 1w njj w 1x2n 1x1n ； ； 則 方 程 （ 2） 改 為1xn 2n 0k kkll xwfy 1n 0j jjkk xwfx n0i iijj xwfx (2a)(2c)(2b) B-P算 法 屬 于 學 習 律 ， 是 一 種 有 教 師 的 學 習 算 法 。 第 P1樣 本 輸 入 到 圖 a所 示 的 網(wǎng) 絡(luò) ， 得 到 輸 出 yl， l=0,1, ,m-1， 其 誤 差 為 各 輸 出 單 元 誤差 之 和 ， 滿 足 ： 21m 0l PlPlP 111 yt21E 對 于 P個 樣 本 的 學 習 ， 其 總 誤 差 為 P1P 21m 0l PlPl 1 11 yt21E總 (3)這 里 用 梯 度 法 可 以 使 總 的 誤 差 向 減 小 的 方 向 變 化 ，直 到 E總 =0為 止 ， 這 種 學 習 方 式 其 矢 量 W能 夠 穩(wěn) 定到 一 個 解 ， 但 并 不 保 證 是 E總 的 全 局 最 小 解 ， 可 能 是一 個 局 部 極 小 解 。 具 體 學 習 算 法 的 解 析 式 推 導(dǎo) 如 下 ：令 n0為 迭 代 次 數(shù) ， 根 據(jù) （ 3） 式 和梯 度 算 法 ， 可 得 到 每 一 層 的 權(quán) 的迭 代 公 式 為 kl0kl0kl wEnw1nw 總 jk0jk0jk wEnw1nw 總 ij0ij0ij wEnw1nw 總 (4a)(4c)(4b) 從 (4a)式 可 以 看 出 ， 是 第 k 個 神 經(jīng) 元 與 輸 出層 第 l個 神 經(jīng) 元 之 間 的 連 接 權(quán) ， 它 只 與 輸 出 層中 一 個 神 經(jīng) 元 有 關(guān) ， 將 (3)式 代 入 (4a)中 的 第二 項 ， 利 用 公 式 (1)得 ：klw klPlPlPlP 1P PlPkl wuuyyEwE 1111 11 總 P1P PkPlPlPl 1 1111 xufyt (5)這 里 121 Pkn0k klPl xwu 1Pkx 為 P1樣 本 輸 入 網(wǎng) 絡(luò) 時 ， 的 輸 出 值 。kx 2uuPl 1Pl1Pl1 e1 euf 1111 PlPlPlPl y1yuf1uf (6)將 (6) 、 (5)代 入 (4a)， 得 ： 11 1 PkP1P Pkl0kl0kl xnw1nw 這 里 的 11111 PlPlPlPlPkl y1yyt 對 于 中 間 隱 層 ， 根 據(jù) (4b)式 有 ：jkjk wEw 總而 jkPkPkPkPk PlP1P 1m0l PlPlPlPljk wuuxxuuyytwE 1 11111 1111 總 1111 111 PjPkPkklP1P 1m 0l PlPlPl xx1xwufyt 111 1 1 PjPkPkklP1P 1m 0l Pkl xx1xw 11 1 PjP1P Pjk x 其 中 ： 1111 PkPk1m 0l klPklPjk x1xw 所 以 P1P PjPjk0jk0jk 1 11xnw1nw 是 與 輸 出 層 中 每 個 神 經(jīng) 元 都 有 關(guān) 系 。jkw 11 PlPl ufy 21 n 0k kklPl xwu 11 PkPk ufx 11 n0j jjkPk xwu 同 理 可 得 P1P PiPij0ij0ij 1 11xnw1nw 其 中 ： 2 1111 n0k PjPjjkPjkPij x1xw BP算 法 （ 反 向 傳 播 算 法 ）1985年 ， 發(fā) 展 了 BP網(wǎng) 絡(luò) 學 習 算 法 ， 包 括 正 向傳 播 和 反 向 傳 播 ， 正 向 傳 播 過 程 中 ， 輸 入 信息 從 輸 入 層 經(jīng) 隱 單 元 逐 層 處 理 傳 向 輸 出 層 ，每 層 神 經(jīng) 元 狀 態(tài) 僅 影 響 下 一 層 神 經(jīng) 元 的 狀 態(tài) ，如 圖 ： 如 在 輸 出 層 得 不 到 期 望 的 輸 出 ， 則 轉(zhuǎn) 入 反 向傳 播 ， 將 誤 差 信 號 沿 原 來 的 通 路 返 回 ， 修 改各 層 神 經(jīng) 元 的 權(quán) 值 使 誤 差 信 號 最 小 ， 如 圖 ： 反 向 傳 播 學 習 示 例 熟 人 學 習 問 題H1 H2 ARobertRaquelRomeoJoanJamesJuliet 問 題 就 是 要 修 正 網(wǎng)絡(luò) 的 權(quán) 值 ， 從 某 個初 試 值 集 合 開 始 ，直 到 所 有 判 斷 都 是一 致 的l 假 設(shè) 正 好 有 兩 個 輸 入 為 1值 ， 而 其 余 輸 入 為 0值 。 H1和 H2為 隱 節(jié) 點 ，具 有 與 門 作 用 。 該 網(wǎng) 絡(luò) 的 目 標 是 要 確 定 對 應(yīng) 于 輸 入 的 兩 個 人 是 否相 識 。 該 網(wǎng) 絡(luò) 的 任 務(wù) 為 學 習 上 面 一 組 3人 中 的 任 何 一 人 是 下 面 一 組3人 中 任 何 一 人 的 熟 人 。 如 果 網(wǎng) 絡(luò) 的 輸 出 大 于 0.9， 那 么 就 判 斷 這兩 個 人 為 相 識 ； 如 果 輸 出 小 于 0.1， 就 判 斷 為 不 相 識 ； 其 它 結(jié) 果 被認 為 是 模 糊 不 定 的 。 節(jié) 點 A為 熟 人 。 表 1 BP網(wǎng) 絡(luò) 學 習 經(jīng) 驗 數(shù) 據(jù) 表 2 訓(xùn) 練 NN時 觀 察 到 的 權(quán) 值 變 化第 一 個 初 始 閾 值 為 0.1， 第 二 個 為0.2， 其 他 的 每 次 遞 增 0.1， 直 到 1.1。通 過 BP算 法 改 變 初 始 值 ， 直 到 所 有輸 出 均 方 誤 差 在 0.1內(nèi) 為 止 。 當 所 有 采 樣 輸 人 產(chǎn) 生一 個 合 適 的 輸 出 值 時的 閾 值 和 權(quán) 值 圖 1 認 識 熟 人 問 題 的 學 習 試 驗 結(jié) 果權(quán) 值 變 化 周 期均方誤差這 個 網(wǎng) 絡(luò) 大 約 經(jīng) 過 了 255次 權(quán) 值 修 正 后 ， 網(wǎng) 絡(luò)性 能 才 變 得 滿 意 ， 即 均 方 誤 差 0.1。 圖 2 學 習 行 為 與 比 率 參 數(shù) 的 關(guān) 系權(quán) 值 變 化 周 期均方誤差 比 率 參 數(shù) r是 用 來 調(diào) 節(jié) 權(quán) 值 變 化 的 一 個 參 數(shù) 。 r值 越 大 越 有 利 于 提 高 學 習 速 度 ， 但 又 不 能 太 大 ， 以 免使 輸 出 過 分 地 超 出 期 望 值 而 引 起 超 調(diào) 。 BP算 法 的 不 足 ：l 收 斂 速 度 非 常 慢 ， 且 隨 著 訓(xùn) 練 樣 例 維 數(shù) 增 加 ，網(wǎng) 絡(luò) 性 能 變 差 。l 不 完 備 的 算 法 ， 可 能 出 現(xiàn) 局 部 極 小 問 題l 網(wǎng) 絡(luò) 中 隱 節(jié) 點 個 數(shù) 的 選 取 尚 無 理 論 指 導(dǎo)l 新 樣 例 的 加 入 會 影 響 已 學 習 過 的 樣 例 基 于 Hopfield網(wǎng) 絡(luò) 的 學 習l 1982年 ， J Hopfield提 出 了 可 用 作 聯(lián) 想 存 儲器 的 互 連 網(wǎng) 絡(luò) ， 這 個 網(wǎng) 絡(luò) 稱 為 Hopfield網(wǎng) 絡(luò) 模型 ， 也 稱 Hopfield模 型 。 1984年 ， 他 又 提 出 連續(xù) 時 間 神 經(jīng) 網(wǎng) 絡(luò) 模 型 。 這 兩 種 模 型 的 許 多 重要 特 性 是 密 切 相 關(guān) 的 。 一 般 在 進 行 計 算 機 仿真 時 采 用 離 散 模 型 ， 而 在 用 硬 件 實 現(xiàn) 時 則 采用 連 續(xù) 模 型 。 聯(lián) 想 存 儲 器Associative Memory l Nature of associative memoryl part of information givenl the rest of the pattern is recalled 聯(lián) 想 存 儲 器 網(wǎng) 絡(luò) 的 幾 點 要 素l Hopfield提 出 ， 如 果 把 神 經(jīng) 網(wǎng) 絡(luò) 的 各 平 衡 點 設(shè) 想為 存 儲 于 該 網(wǎng) 絡(luò) 的 信 息 ， 而 且 網(wǎng) 絡(luò) 的 收 斂 性 保證 系 統(tǒng) 的 動 態(tài) 特 性 隨 時 間 而 達 到 穩(wěn) 定 ， 那 么 這種 網(wǎng) 絡(luò) 稱 為 聯(lián) 想 存 儲 器 。 1.聯(lián) 想 存 儲 網(wǎng) 絡(luò) 可 以 由 一 個 狀 態(tài) 向 量 v = (v1, v2, , vm)來 表 示 2.網(wǎng) 絡(luò) 有 一 組 穩(wěn) 定 的 狀 態(tài) 向 量 v1 , v2 , , vn . 3.網(wǎng) 絡(luò) 總 是 從 任 意 的 初 始 狀 態(tài) v， 隨 著 能 量 函 數(shù) E的減 少 吸 引 到 某 個 穩(wěn) 定 狀 態(tài) 優(yōu) 化 問 題 （ 能 量 函 數(shù) E ）0dEdt 這 表 明 若 函 數(shù) E是 有 界 函 數(shù) ， Hopfield網(wǎng)絡(luò) 總 是 吸 引 到 E函 數(shù) 的 局 部 最 小 值 上 。 通過 適 當 地 選 取 Wij的 值 和 外 部 輸 入 信 號 Ii ，就 可 以 將 優(yōu) 化 問 題 匹 配 到 神 經(jīng) 網(wǎng) 絡(luò) 上 。101 1 ( )2 ivi j i j i i ii j i iE w vv f v I v 對 E求 微 分 （ 省 略 推 導(dǎo) 過 程 ）得 優(yōu) 化 問 題 （ 能 量 函 數(shù) E ）l 在 實 際 應(yīng) 用 中 ， 任 何 一 個 系 統(tǒng) ， 如 果 其 優(yōu) 化 問題 可 以 用 能 量 函 數(shù) E(t)作 為 目 標 函 數(shù) ， 那 么 ，總 可 以 用 連 續(xù) Hopfield網(wǎng) 絡(luò) 對 其 進 行 求 解 。 由于 引 入 能 量 函 數(shù) E(t)， Hopfield使 神 經(jīng) 網(wǎng) 絡(luò) 和問 題 優(yōu) 化 直 接 對 應(yīng) 。 利 用 神 經(jīng) 網(wǎng) 絡(luò) 進 行 優(yōu) 化 計算 ， 就 是 在 神 經(jīng) 網(wǎng) 絡(luò) 這 一 動 力 系 統(tǒng) 給 出 初 始 的估 計 點 ， 即 初 始 條 件 ； 然 后 隨 網(wǎng) 絡(luò) 的 運 動 傳 遞而 找 到 相 應(yīng) 極 小 點 。 這 樣 ， 大 量 的 優(yōu) 化 問 題 都可 以 用 連 續(xù) 的 Hopfield網(wǎng) 來 求 解 。 離 散 Hopfield神 經(jīng) 網(wǎng) 絡(luò)l 三 個 神 經(jīng) 元 組 成 的 Hopfield網(wǎng) 絡(luò) l 霍 普 菲 爾 特 提 出 的 離 散 網(wǎng) 絡(luò) 模 型 是 一 個 離散 時 間 系 統(tǒng) ， 每 個 神 經(jīng) 元 只 有 兩 種 狀 態(tài) ，可 用 1和 -1， 或 者 1和 0表 示 ， 由 連 接 權(quán) 值 wij所 構(gòu) 成 的 矩 陣 是 一 個 零 對 角 的 對 稱 矩 陣 ，即 ,0, jii j w i jw i j l 在 該 網(wǎng) 絡(luò) 中 ， 每 當 有 信 息 進 入 輸 入 層 時 ， 在 輸 入層 不 做 任 何 計 算 ， 直 接 將 輸 入 信 息 分 布 地 傳 遞 給下 一 層 各 有 關(guān) 節(jié) 點 。 若 用 Xj(t)表 示 節(jié) 點 j在 時 刻t的 狀 態(tài) 則 該 節(jié) 點 在 下 一 時 刻 (即 t+1)的 狀 態(tài) 由下 式 決 定 ： 1, H ( ) 0( 1) 1 0 H ( ) 0 j j tX t j t （ 或 ） ,1( ) ( )nj i j i jiH t w X t 這 里i jw j 為 從 節(jié) 點 i到 節(jié) 點 j的 連 接 權(quán) 值 ， 為 節(jié) 點 j的 閾 值 l 整 個 網(wǎng) 絡(luò) 的 狀 態(tài) 用 X(t)表 示 ， 它 是 由 各節(jié) 點 的 狀 態(tài) 所 構(gòu) 成 的 向 量 。 對 于 上 圖 ，若 假 設(shè) 輸 出 層 只 有 兩 個 節(jié) 點 ， 并 用 1和 0分 別 表 示 每 個 節(jié) 點 的 狀 態(tài) ， 則 整 個 網(wǎng) 絡(luò)共 有 四 種 狀 態(tài) ， 分 別 為 ： 00， 01， 10， 11 110111001 011100000 010101三 個 神 經(jīng) 元 的 八 個 狀 態(tài) 種 狀 態(tài) ， 每 個 狀態(tài) 是 一 個 三 位 的二 進 制 數(shù) ， 如 圖所 示 。 在 該 圖 中 ，立 方 體 的 每 一 個頂 角 代 表 一 個 網(wǎng)絡(luò) 狀 態(tài) 。 l 如 果 假 設(shè) 輸 出 層 有 三 個 節(jié) 點 ，則 整 個 網(wǎng) 絡(luò) 共 有 八 l 一 般 來 說 ， 如 果 在 輸 出 層 有 n個 神 經(jīng) 元 ，則 網(wǎng) 絡(luò) 就 有 2n個 狀 態(tài) ， 它 可 以 與 一 個 n維超 立 體 的 頂 角 相 聯(lián) 系 。 當 有 一 個 輸 入 向 量輸 入 到 網(wǎng) 絡(luò) 后 ， 網(wǎng) 絡(luò) 的 迭 代 過 程 就 不 斷 地從 一 個 項 角 轉(zhuǎn) 向 另 一 個 頂 角 ， 直 至 穩(wěn) 定 于一 個 頂 角 為 止 。 如 果 網(wǎng) 絡(luò) 的 輸 入 不 完 全 或只 有 部 分 正 確 ， 則 網(wǎng) 絡(luò) 將 穩(wěn) 定 于 所 期 望 頂角 附 近 的 一 個 頂 角 那 里 。 Hopfield模 型 算 法1. 設(shè) 置 互 連 權(quán) 值 10 ,0, ,0 , 1m s si jsi j x x i jW i j i j n six其 中 ， 為 s類 樣 例 的 第 i個 分 量 ， 它 可 以 為 +1或 -1(0)， 樣 例 類 別 數(shù) 為 m， 節(jié) 點 數(shù) 為 n 2. 未 知 類 別 樣 本 初 始 化 yi(0)=xi 0in-1 其 中 ,yi（ t） 為 節(jié) 點 i在 t時 刻 的 輸 出 ， 當 t 0時 ， yi(0)就 是 節(jié) 點 i的 初 始 值 ， xi為 輸 入 樣 本 的第 i個 分 量 。3. 迭 代 直 到 收 斂 10( 1) ( ( ), 0 1ni i j iiy t f W y t j n 該 過 程 將 一 直 重 復(fù) 進 行 ， 直 到 進 一 步 的 迭 代不 再 改 變 節(jié) 點 的 輸 出 為 止 。4. 轉(zhuǎn) 2繼 續(xù) 。 Hopfield網(wǎng) 絡(luò) 的 不 足l 很 難 精 確 分 析 網(wǎng) 絡(luò) 的 性 能l 其 動 力 學