《機(jī)器學(xué)習(xí)》課程教學(xué)大綱

機(jī)器學(xué)習(xí) 課程教學(xué)大綱課程中文名稱：機(jī)器學(xué)習(xí)課程英文名稱：Machine Learning適用專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)，管理科學(xué)與工程總學(xué)時(shí)： 36（講課：28 ，實(shí)驗(yàn)： 8）學(xué)分： 2大綱撰寫人：大綱審核人：編寫日期：一、 課程性質(zhì)及教學(xué)目的：本課程是面向計(jì)算機(jī)與信息工程學(xué)院研究生開設(shè)的專業(yè)基礎(chǔ)課。其教學(xué)重點(diǎn)是使學(xué)生掌握常見機(jī)器學(xué)習(xí)算法，包括算法的主要思想和基本步驟，并通過編程練習(xí)和典型應(yīng)用實(shí)例加深了解；同時(shí)對(duì)機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計(jì)算學(xué)習(xí)理論，以及無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。二、對(duì)選課學(xué)生的要求：要求選課學(xué)生事先受過基本編程訓(xùn)練，熟悉C/C+ 或 Matlab 編程語言，具有多元微積分、高等代數(shù)和概率統(tǒng)計(jì)方面基本知識(shí)。三、課程教學(xué)內(nèi)容和要求 （ 200 字左右的概述， 然后給出各 “章”“節(jié)” 目錄及內(nèi)容簡介）1. 決策論與信息論基礎(chǔ)：a) 損失函數(shù)、錯(cuò)分率的最小化、期望損失的最小化等b) 相對(duì)熵、互信息2. 概率分布：a) 高斯分布、混合高斯分布、 Dirichlet 分布、 beta 分布等b) 指數(shù)分布族：最大似然估計(jì)、充分統(tǒng)計(jì)量、共軛先驗(yàn)、無信息先驗(yàn)等c) 非參數(shù)方法：核密度估計(jì)、近鄰法3. 回歸的線性模型：a) 線性基函數(shù)模型b) 貝葉斯線性回歸c) 貝葉斯模型比較4. 分類的線性模型：a)判別函數(shù)：二分類和多分類的Fisher 線性判別b) 概率生成模型：連續(xù)輸入、離散特征5. 核方法：a) 對(duì)偶表示b) 構(gòu)造核函數(shù)c) 徑向基函數(shù)網(wǎng)絡(luò)： Nadaraya-Watson 模型d)高斯過程：高斯過程模型用于回歸和分類、Laplace 逼近、與神經(jīng)網(wǎng)絡(luò)的聯(lián)系6. 支持向量機(jī)：a) 最大邊緣分類器：歷史回顧b) 用于多分類和回歸的支持向量機(jī)：幾何背景、各種變種c) 統(tǒng)計(jì)學(xué)習(xí)理論簡介： Vapnik 等人的工作7. 圖模型：a) 貝葉斯網(wǎng)絡(luò)b) Markov 隨機(jī)場：條件獨(dú)立、因子分解c) 圖模型中的推斷8. 混合模型和期望最大化（ Expectation Maximization ， EM）算法（ 3 學(xué)時(shí)）：a)高斯混合模型的參數(shù)估計(jì)：最大似然估計(jì)、EM 算法b) EM 一般算法及其應(yīng)用：貝葉斯線性回歸9.隱 Markov 模型和條件隨機(jī)場模型（3 學(xué)時(shí)）：a) 隱 Markov 模型：向前 -向后算法、 Viterbi 算法、 Baum-Welch 算法等b) 條件隨機(jī)場及其應(yīng)用四、 課程教學(xué)環(huán)節(jié)的學(xué)時(shí)安排和基本要求1. 決策論與信息論基礎(chǔ)（ 2 學(xué)時(shí)）：了解并掌握統(tǒng)計(jì)決策理論和信息論的基礎(chǔ)知識(shí)。2. 概率分布（ 3 學(xué)時(shí)）：熟悉常見的分布，熟練掌握最大似然估計(jì)方法，學(xué)會(huì)利用無信息先驗(yàn)和共軛先驗(yàn)簡化計(jì)算，了解一些常用的非參數(shù)方法。3.回歸的線性模型（3 學(xué)時(shí)）：掌握線性回歸的一般方法，學(xué)會(huì)使用R 中有關(guān)回歸的程序包，并能將之用于解決實(shí)際問題。4. 分類的線性模型（ 3 學(xué)時(shí)）：對(duì)分類問題有一個(gè)全面的了解，掌握一些常用的分類方法。5. 核方法（ 3 學(xué)時(shí)）：了解核方法的最新進(jìn)展，熟練掌握核函數(shù)參數(shù)估計(jì)的常用方法。6.支持向量機(jī) （ 4 學(xué)時(shí)）：掌握支持向量機(jī)的基本原理，面對(duì)各自研究領(lǐng)域中的具體問題學(xué)會(huì)使用支持向量機(jī)，粗略了解統(tǒng)計(jì)學(xué)習(xí)理論。7. 圖模型（ 4 學(xué)時(shí)）：從建模到算法實(shí)現(xiàn)。8. 混合模型和期望最大化（ Expectation Maximization ， EM ）算法（ 3 學(xué)時(shí)）：掌握 EM 算法的基本理論，學(xué)會(huì)使用 EM 算法。9. 隱 Markov 模型和條件隨機(jī)場模型（ 3 學(xué)時(shí)）：掌握隱 Markov 模型的幾個(gè)經(jīng)典算法，學(xué)會(huì)利用隱 Markov 模型和條件隨機(jī)場模型解決具體問題，如自然語言處理中的詞性標(biāo)注等。五、教材及參考文獻(xiàn)：1. Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science + Business Media, LLC2. Mitchell, T. M. (1997) Machine Learning, The McGraw-Hill Companies, Inc.六、必要的說明