數(shù)據(jù)挖掘技術(shù) 分類挖掘及其應(yīng)用PPT課件

第5章 分類挖掘及其應(yīng)用5.1 分類概念分類概念 5.1.1概述概述 分類和預(yù)測(cè)是兩種數(shù)據(jù)分析形式，可以用于描述重要數(shù)據(jù)類的分類和預(yù)測(cè)是兩種數(shù)據(jù)分析形式，可以用于描述重要數(shù)據(jù)類的模型或預(yù)測(cè)未來(lái)的數(shù)據(jù)趨勢(shì)。然而模型或預(yù)測(cè)未來(lái)的數(shù)據(jù)趨勢(shì)。然而,分類是預(yù)測(cè)分類標(biāo)號(hào)（或離散值分類是預(yù)測(cè)分類標(biāo)號(hào)（或離散值),而預(yù)測(cè)建立連續(xù)值函數(shù)模型。而預(yù)測(cè)建立連續(xù)值函數(shù)模型。 數(shù)據(jù)分類（數(shù)據(jù)分類（data classification）是一個(gè)兩步過(guò)程）是一個(gè)兩步過(guò)程: 第一步，建立一個(gè)模型第一步，建立一個(gè)模型,描述預(yù)定的數(shù)據(jù)類集或概念集描述預(yù)定的數(shù)據(jù)類集或概念集 ； 第二步，使用模型進(jìn)行分類。第二步，使用模型進(jìn)行分類。 如果認(rèn)為模型的準(zhǔn)確率可以接受如果認(rèn)為模型的準(zhǔn)確率可以接受,就可以用它對(duì)類標(biāo)號(hào)未知的數(shù)據(jù)就可以用它對(duì)類標(biāo)號(hào)未知的數(shù)據(jù)元組或?qū)ο筮M(jìn)行分類。元組或?qū)ο筮M(jìn)行分類。 分類具有廣泛的應(yīng)用分類具有廣泛的應(yīng)用,包括信譽(yù)證實(shí)、醫(yī)療診斷、性能預(yù)測(cè)和選擇包括信譽(yù)證實(shí)、醫(yī)療診斷、性能預(yù)測(cè)和選擇購(gòu)物。購(gòu)物。第1頁(yè)/共22頁(yè)5.1.2分類預(yù)處理分類預(yù)處理準(zhǔn)備分類的數(shù)據(jù)準(zhǔn)備分類的數(shù)據(jù) 可以對(duì)數(shù)據(jù)使用下面的預(yù)處理以便提高分類過(guò)程的準(zhǔn)確性、可以對(duì)數(shù)據(jù)使用下面的預(yù)處理以便提高分類過(guò)程的準(zhǔn)確性、有效性有效性 和可伸縮性。和可伸縮性。 1）數(shù)據(jù)清理）數(shù)據(jù)清理 2）相關(guān)性分析）相關(guān)性分析 3）數(shù)據(jù)變換）數(shù)據(jù)變換 分類方法評(píng)估分類方法評(píng)估 分類方法可以根據(jù)下列標(biāo)準(zhǔn)進(jìn)行比較和評(píng)估。分類方法可以根據(jù)下列標(biāo)準(zhǔn)進(jìn)行比較和評(píng)估。 1）測(cè)的準(zhǔn)確率）測(cè)的準(zhǔn)確率 2）速度）速度 3）強(qiáng)壯性）強(qiáng)壯性 4）可伸縮性）可伸縮性 5）可解）可解釋性釋性 數(shù)據(jù)庫(kù)研究界對(duì)數(shù)據(jù)挖掘的分類的貢獻(xiàn)一直強(qiáng)調(diào)可伸縮性，數(shù)據(jù)庫(kù)研究界對(duì)數(shù)據(jù)挖掘的分類的貢獻(xiàn)一直強(qiáng)調(diào)可伸縮性，特別是特別是 對(duì)判定樹歸納。對(duì)判定樹歸納。第5章 分類挖掘及其應(yīng)用第2頁(yè)/共22頁(yè)5.2 分類挖掘算分類挖掘算法法 5.2.1決策樹分類決策樹分類 決策樹學(xué)習(xí)算法包括如決策樹學(xué)習(xí)算法包括如ID3算法（算法（C4.5）, SLI（supervised learning in quest）算法。）算法。 5.2.2 貝葉斯分類貝葉斯分類 貝葉斯分類算法是利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的分類算法。貝葉斯分類算法是利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的分類算法。 5.2.3 基于關(guān)聯(lián)規(guī)則分類基于關(guān)聯(lián)規(guī)則分類 CBA算法（算法（classification based on association）是）是基于關(guān)聯(lián)規(guī)則的分類算法。基于關(guān)聯(lián)規(guī)則的分類算法。 LB（Large Bayes）算法是綜合了概率統(tǒng)計(jì)和關(guān)聯(lián)規(guī)則的）算法是綜合了概率統(tǒng)計(jì)和關(guān)聯(lián)規(guī)則的知識(shí)而提出的分類算法。知識(shí)而提出的分類算法。 5.2.4 基于數(shù)據(jù)庫(kù)技術(shù)分類基于數(shù)據(jù)庫(kù)技術(shù)分類 在分類算法中，利用數(shù)據(jù)庫(kù)技術(shù)解決分類問題的算法。目前，在分類算法中，利用數(shù)據(jù)庫(kù)技術(shù)解決分類問題的算法。目前，有有MIND和和GAC-RDB兩類。兩類。第5章 分類挖掘及其應(yīng)用第3頁(yè)/共22頁(yè) 5.2.5 基于支持向量機(jī)分類基于支持向量機(jī)分類 支持向量機(jī)（支持向量機(jī)（SVM）分類算法是在有較堅(jiān)實(shí)數(shù)學(xué)理論基礎(chǔ)的）分類算法是在有較堅(jiān)實(shí)數(shù)學(xué)理論基礎(chǔ)的統(tǒng)計(jì)學(xué)理論及優(yōu)化技術(shù)之上發(fā)展起來(lái)的機(jī)器學(xué)習(xí)方法。統(tǒng)計(jì)學(xué)理論及優(yōu)化技術(shù)之上發(fā)展起來(lái)的機(jī)器學(xué)習(xí)方法。 One-class是標(biāo)準(zhǔn)是標(biāo)準(zhǔn)SVM分類算法的改進(jìn)，該算法（無(wú)監(jiān)督）分類算法的改進(jìn)，該算法（無(wú)監(jiān)督）僅僅需要使用正例作為輸入數(shù)據(jù)，通過(guò)從正例中識(shí)別出孤立點(diǎn)作僅僅需要使用正例作為輸入數(shù)據(jù)，通過(guò)從正例中識(shí)別出孤立點(diǎn)作為反例，然后再使用基于為反例，然后再使用基于SVM的標(biāo)準(zhǔn)分類技術(shù)來(lái)完成分類的標(biāo)準(zhǔn)分類技術(shù)來(lái)完成分類 。 其他分類算法還包括神經(jīng)網(wǎng)絡(luò)方法，其他分類算法還包括神經(jīng)網(wǎng)絡(luò)方法，k_最鄰近分類，粗糙集合最鄰近分類，粗糙集合方法，模糊集方法等。方法，模糊集方法等。 5.2.6 基于基于AIS模型分類算法模型分類算法 這種分類算法主要用來(lái)找尋樣本集合中主要類別的分類規(guī)則，這種分類算法主要用來(lái)找尋樣本集合中主要類別的分類規(guī)則，用于劃分主類和其他類。對(duì)于其他類，同樣可以看做一個(gè)樣本集用于劃分主類和其他類。對(duì)于其他類，同樣可以看做一個(gè)樣本集合，再次利用該分類算法進(jìn)行分類。合，再次利用該分類算法進(jìn)行分類。 第5章 分類挖掘及其應(yīng)用第4頁(yè)/共22頁(yè)5.3人工免疫算法及其在故障診斷中的應(yīng)人工免疫算法及其在故障診斷中的應(yīng)用用 5.3.1人工免疫算法人工免疫算法5.3.1.1引言引言 本節(jié)闡明了不同免疫算法或免疫理論的原理，同時(shí)也提出了常用本節(jié)闡明了不同免疫算法或免疫理論的原理，同時(shí)也提出了常用的人工免疫系統(tǒng)的一般模型框架。這些技術(shù)己經(jīng)被成功的用于模式識(shí)別的人工免疫系統(tǒng)的一般模型框架。這些技術(shù)己經(jīng)被成功的用于模式識(shí)別和數(shù)據(jù)挖掘、故障檢測(cè)與診斷、計(jì)算機(jī)安全及其它各種應(yīng)用。和數(shù)據(jù)挖掘、故障檢測(cè)與診斷、計(jì)算機(jī)安全及其它各種應(yīng)用。5.3.1.2典型的人工免疫算法典型的人工免疫算法（1）克隆選擇算法；）克隆選擇算法；（2）否定選擇算法；）否定選擇算法；（3）免疫網(wǎng)絡(luò)算法）免疫網(wǎng)絡(luò)算法 ；（4）基于信息嫡的免疫算法；）基于信息嫡的免疫算法；（5）免疫進(jìn)化算法；）免疫進(jìn)化算法；（6）其它學(xué)習(xí)算法：免疫目標(biāo)算法、免疫）其它學(xué)習(xí)算法：免疫目標(biāo)算法、免疫Agent算法、免疫算法、免疫DNA算法、算法、基于人工免疫系統(tǒng)的無(wú)監(jiān)督學(xué)習(xí)策略?；谌斯っ庖呦到y(tǒng)的無(wú)監(jiān)督學(xué)習(xí)策略。第5章 分類挖掘及其應(yīng)用第5頁(yè)/共22頁(yè)5.3.2基于否定選擇算法的故障診斷方基于否定選擇算法的故障診斷方法法 在現(xiàn)階段的故障診斷領(lǐng)域，常用的診斷方法包括模在現(xiàn)階段的故障診斷領(lǐng)域，常用的診斷方法包括模糊診斷、專家系統(tǒng)、人工神經(jīng)網(wǎng)絡(luò)等，主要思想是將人糊診斷、專家系統(tǒng)、人工神經(jīng)網(wǎng)絡(luò)等，主要思想是將人們掌握的有關(guān)故障的知識(shí)加工成智能診斷系統(tǒng)所能接受們掌握的有關(guān)故障的知識(shí)加工成智能診斷系統(tǒng)所能接受的語(yǔ)言或語(yǔ)法，并將其存儲(chǔ)記錄下來(lái)，診斷過(guò)程的實(shí)質(zhì)的語(yǔ)言或語(yǔ)法，并將其存儲(chǔ)記錄下來(lái)，診斷過(guò)程的實(shí)質(zhì)是待診樣本與系統(tǒng)所記憶的故障知識(shí)的匹配過(guò)程。是待診樣本與系統(tǒng)所記憶的故障知識(shí)的匹配過(guò)程。第5章 分類挖掘及其應(yīng)用第6頁(yè)/共22頁(yè)5.3.2.1基于基于aiNet故障樣本約減研究故障樣本約減研究免疫網(wǎng)絡(luò)模型免疫網(wǎng)絡(luò)模型 ）網(wǎng)絡(luò)定義與描述網(wǎng)絡(luò)定義與描述 【定義定義】aiNet是一個(gè)邊界加權(quán)圖，無(wú)需全部連接，是一個(gè)邊界加權(quán)圖，無(wú)需全部連接，又稱為又稱為細(xì)胞的節(jié)點(diǎn)集合組成，節(jié)點(diǎn)對(duì)集合稱為邊界。細(xì)胞的節(jié)點(diǎn)集合組成，節(jié)點(diǎn)對(duì)集合稱為邊界。 2）網(wǎng)絡(luò)算法約減過(guò)程網(wǎng)絡(luò)算法約減過(guò)程（如下圖）（如下圖）第5章 分類挖掘及其應(yīng)用第7頁(yè)/共22頁(yè) 圖圖5-1 aiNet算法流程圖算法流程圖 第5章 分類挖掘及其應(yīng)用第8頁(yè)/共22頁(yè) 3）實(shí)驗(yàn)結(jié)果分析）實(shí)驗(yàn)結(jié)果分析 綜上分析表明綜上分析表明aiNet網(wǎng)絡(luò)具有較好的數(shù)據(jù)約網(wǎng)絡(luò)具有較好的數(shù)據(jù)約減能力，在樣本壓縮率減能力，在樣本壓縮率較高的情況下，仍能保較高的情況下，仍能保持原有的數(shù)據(jù)結(jié)構(gòu)和聚持原有的數(shù)據(jù)結(jié)構(gòu)和聚類特性類特性.第5章 分類挖掘及其應(yīng)用免疫網(wǎng)絡(luò)模型第9頁(yè)/共22頁(yè)5.3.2.2基于否定選擇算法的變壓器故障診斷基于否定選擇算法的變壓器故障診斷方法方法 傳統(tǒng)變壓器故障診斷方法傳統(tǒng)變壓器故障診斷方法-三比值法簡(jiǎn)介三比值法簡(jiǎn)介 三比值法是三比值法是IEC推薦的一種方法推薦的一種方法,是羅杰斯比值法的是羅杰斯比值法的一種改進(jìn)一種改進(jìn)。該方法是通過(guò)計(jì)該方法是通過(guò)計(jì)C2H2/C2H4,CH4/H2,C2H4/C2H6三種比值三種比值,根據(jù)根據(jù)已知的編碼規(guī)則和故障類別已知的編碼規(guī)則和故障類別,查表確定故障類別。查表確定故障類別。 基于否定選擇算法故障診斷方法基于否定選擇算法故障診斷方法 1）數(shù)據(jù)處理及編碼）數(shù)據(jù)處理及編碼 2）匹配原則）匹配原則 3）生成檢測(cè)器）生成檢測(cè)器 4）仿真實(shí)驗(yàn)）仿真實(shí)驗(yàn) 第5章 分類挖掘及其應(yīng)用第10頁(yè)/共22頁(yè)5.3.2.3免疫算法診斷結(jié)果和傳統(tǒng)免疫算法診斷結(jié)果和傳統(tǒng)“三比值三比值”診斷結(jié)果的的比診斷結(jié)果的的比較較 從實(shí)例分析的結(jié)果來(lái)看，基于人工免疫的否定選擇算法的故從實(shí)例分析的結(jié)果來(lái)看，基于人工免疫的否定選擇算法的故障診斷準(zhǔn)確率要高于障診斷準(zhǔn)確率要高于IEC三比值法三比值法。 (1)檢測(cè)器的個(gè)數(shù)檢測(cè)器的個(gè)數(shù) 一般情況下，檢測(cè)器的個(gè)數(shù)越多，對(duì)非我空間的覆蓋越好，一般情況下，檢測(cè)器的個(gè)數(shù)越多，對(duì)非我空間的覆蓋越好，但生成檢測(cè)器的時(shí)間也越長(zhǎng)。而如果檢測(cè)器數(shù)量太少，則會(huì)導(dǎo)致對(duì)但生成檢測(cè)器的時(shí)間也越長(zhǎng)。而如果檢測(cè)器數(shù)量太少，則會(huì)導(dǎo)致對(duì)非我空間的覆蓋過(guò)小而造成漏診。非我空間的覆蓋過(guò)小而造成漏診。 (2)正常樣本的個(gè)數(shù)正常樣本的個(gè)數(shù) 否定選擇算法是通過(guò)對(duì)正常樣本的學(xué)習(xí)來(lái)生成檢測(cè)器的，所以否定選擇算法是通過(guò)對(duì)正常樣本的學(xué)習(xí)來(lái)生成檢測(cè)器的，所以正常樣本越多，則對(duì)自我空間的描述越完全，但由于生成檢測(cè)器時(shí)，正常樣本越多，則對(duì)自我空間的描述越完全，但由于生成檢測(cè)器時(shí)，候選檢測(cè)器要與每個(gè)自我集合的元素匹配，這樣自我集合的元素越候選檢測(cè)器要與每個(gè)自我集合的元素匹配，這樣自我集合的元素越多，生成檢測(cè)器的時(shí)間也就越長(zhǎng)，而如果正常樣本少，則會(huì)導(dǎo)致誤多，生成檢測(cè)器的時(shí)間也就越長(zhǎng)，而如果正常樣本少，則會(huì)導(dǎo)致誤診現(xiàn)象診現(xiàn)象。第5章 分類挖掘及其應(yīng)用第11頁(yè)/共22頁(yè)(3)自我集合的半徑自我集合的半徑 自我集合的半徑選取非常重要，取得大會(huì)造成漏診，較自我集合的半徑選取非常重要，取得大會(huì)造成漏診，較小。則會(huì)造成誤診，通過(guò)反復(fù)試驗(yàn)選取自我集合半徑為小。則會(huì)造成誤診，通過(guò)反復(fù)試驗(yàn)選取自我集合半徑為0.01時(shí)效果最好。時(shí)效果最好。 (4)窗寬及窗口移動(dòng)步長(zhǎng)窗寬及窗口移動(dòng)步長(zhǎng) 窗寬越小對(duì)原始數(shù)據(jù)描述得越好，同時(shí)也增加了算法的復(fù)窗寬越小對(duì)原始數(shù)據(jù)描述得越好，同時(shí)也增加了算法的復(fù)雜度。通過(guò)對(duì)窗口移動(dòng)步長(zhǎng)雜度。通過(guò)對(duì)窗口移動(dòng)步長(zhǎng)winstep選取不同的值選取不同的值1,2,3,4,5進(jìn)行試驗(yàn)，發(fā)現(xiàn)當(dāng)窗口移動(dòng)步長(zhǎng)進(jìn)行試驗(yàn)，發(fā)現(xiàn)當(dāng)窗口移動(dòng)步長(zhǎng)winstep=1時(shí)時(shí)效果最好，因?yàn)橐苿?dòng)步長(zhǎng)越小，數(shù)據(jù)段之間的交迭越大，效果最好，因?yàn)橐苿?dòng)步長(zhǎng)越小，數(shù)據(jù)段之間的交迭越大，這樣便能夠更好地刻畫原始數(shù)據(jù)的特征。這樣便能夠更好地刻畫原始數(shù)據(jù)的特征。第5章 分類挖掘及其應(yīng)用第12頁(yè)/共22頁(yè)5.3.3基于克隆變異機(jī)理的故障診斷方法研基于克隆變異機(jī)理的故障診斷方法研究究5.3.3.1引言引言 在本書中，借鑒免疫系統(tǒng)的克隆變異機(jī)理及已有人在本書中，借鑒免疫系統(tǒng)的克隆變異機(jī)理及已有人工免疫系統(tǒng)成果，結(jié)合故障診斷的實(shí)際應(yīng)用，研究具有工免疫系統(tǒng)成果，結(jié)合故障診斷的實(shí)際應(yīng)用，研究具有故障診斷能力，同時(shí)又具有對(duì)故障樣本的連續(xù)學(xué)習(xí)功能故障診斷能力，同時(shí)又具有對(duì)故障樣本的連續(xù)學(xué)習(xí)功能的自適應(yīng)故障診斷方法。最后通過(guò)對(duì)標(biāo)準(zhǔn)樣本的分類識(shí)的自適應(yīng)故障診斷方法。最后通過(guò)對(duì)標(biāo)準(zhǔn)樣本的分類識(shí)別及實(shí)際的故障診斷實(shí)例驗(yàn)證了本書提出方法的有效性。別及實(shí)際的故障診斷實(shí)例驗(yàn)證了本書提出方法的有效性。第5章 分類挖掘及其應(yīng)用第13頁(yè)/共22頁(yè)5.3.3.2免疫克隆變異機(jī)理與克隆選擇免疫克隆變異機(jī)理與克隆選擇算法算法 當(dāng)非己抗原模式被當(dāng)非己抗原模式被B細(xì)胞識(shí)別時(shí)免疫系統(tǒng)將會(huì)把與細(xì)胞識(shí)別時(shí)免疫系統(tǒng)將會(huì)把與抗原具有高親和力的抗原具有高親和力的B細(xì)胞進(jìn)行克隆變異形成大量抗體，細(xì)胞進(jìn)行克隆變異形成大量抗體，即克隆選擇原理。即克隆選擇原理。De Castro博士依據(jù)此原理提出了博士依據(jù)此原理提出了克隆選擇算法。這是一種模擬免疫系統(tǒng)學(xué)習(xí)過(guò)程的進(jìn)化克隆選擇算法。這是一種模擬免疫系統(tǒng)學(xué)習(xí)過(guò)程的進(jìn)化算法算法。 第5章 分類挖掘及其應(yīng)用第14頁(yè)/共22頁(yè)5.3.3.3故障診斷方法研究故障診斷方法研究（1）初始化）初始化 初始化可采用這種方法進(jìn)行：用已知抗原進(jìn)行初始化初始化可采用這種方法進(jìn)行：用已知抗原進(jìn)行初始化。 （2）記憶細(xì)胞辨識(shí)和人工辨識(shí)球的產(chǎn)生）記憶細(xì)胞辨識(shí)和人工辨識(shí)球的產(chǎn)生 在完成初始化后，對(duì)于給定抗原，首先將其與記憶細(xì)胞集進(jìn)在完成初始化后，對(duì)于給定抗原，首先將其與記憶細(xì)胞集進(jìn)行匹配，在記憶細(xì)胞集中，找出與抗原同類且激勵(lì)水平最高的記行匹配，在記憶細(xì)胞集中，找出與抗原同類且激勵(lì)水平最高的記憶細(xì)胞，并將該細(xì)胞命名為憶細(xì)胞，并將該細(xì)胞命名為 。如果在記憶細(xì)胞集中相同。如果在記憶細(xì)胞集中相同于抗原類的記憶細(xì)胞為空，則將該抗原加入記憶細(xì)胞，并令其于抗原類的記憶細(xì)胞為空，則將該抗原加入記憶細(xì)胞，并令其為為 。一旦被確定，該細(xì)胞將被加入到人工辨識(shí)球集合，然。一旦被確定，該細(xì)胞將被加入到人工辨識(shí)球集合，然后對(duì)后對(duì) 進(jìn)行克隆變異，以便產(chǎn)生新的人工辨識(shí)球。這一過(guò)進(jìn)行克隆變異，以便產(chǎn)生新的人工辨識(shí)球。這一過(guò)程模擬了免疫系統(tǒng)克隆變異的自適應(yīng)進(jìn)化機(jī)理。程模擬了免疫系統(tǒng)克隆變異的自適應(yīng)進(jìn)化機(jī)理。matchmcmatchmcmatchmc第5章 分類挖掘及其應(yīng)用第15頁(yè)/共22頁(yè) （3）候選記憶細(xì)胞）候選記憶細(xì)胞 經(jīng)過(guò)資源的競(jìng)爭(zhēng)后，每類中都刪除了一些低辨識(shí)水平的人工經(jīng)過(guò)資源的競(jìng)爭(zhēng)后，每類中都刪除了一些低辨識(shí)水平的人工辨識(shí)球，是整個(gè)辨識(shí)水平得到了提高。當(dāng)進(jìn)化條件滿足后，選擇辨識(shí)球，是整個(gè)辨識(shí)水平得到了提高。當(dāng)進(jìn)化條件滿足后，選擇與訓(xùn)練抗原具有相同類且激勵(lì)水平最高的人工辨識(shí)球作為候選記與訓(xùn)練抗原具有相同類且激勵(lì)水平最高的人工辨識(shí)球作為候選記憶細(xì)胞，將該細(xì)胞定為。憶細(xì)胞，將該細(xì)胞定為。 （4）記憶細(xì)胞矩陣的形成）記憶細(xì)胞矩陣的形成 首先計(jì)算候選記憶細(xì)胞首先計(jì)算候選記憶細(xì)胞 ， 兩個(gè)細(xì)胞與給兩個(gè)細(xì)胞與給定抗原的激勵(lì)值，當(dāng)滿足式（定抗原的激勵(lì)值，當(dāng)滿足式（5-22）和式（）和式（5-23）兩個(gè)條件時(shí)，）兩個(gè)條件時(shí)，可將可將 取代取代 ，如果只滿足式（，如果只滿足式（5-22），直接將），直接將 加入記憶細(xì)胞矩陣。加入記憶細(xì)胞矩陣。candidateMCmatchmccandidateMCcandidateMCmatchmccandidateMC(,)(,)stim mccandidate agstim mcmatch ag(,) affi mccandidate mcmatchATS AT（5-22）（5-23）第5章 分類挖掘及其應(yīng)用第16頁(yè)/共22頁(yè)（5）故障診斷過(guò)程）故障診斷過(guò)程圖圖5-2 基于克隆變異機(jī)理的故障診斷框圖基于克隆變異機(jī)理的故障診斷框圖（6）實(shí)驗(yàn)仿真）實(shí)驗(yàn)仿真第5章 分類挖掘及其應(yīng)用第17頁(yè)/共22頁(yè) 本章闡述了分類概念，論述了決策樹分類、貝葉斯分類、本章闡述了分類概念，論述了決策樹分類、貝葉斯分類、基于關(guān)聯(lián)規(guī)則分類、基于數(shù)據(jù)庫(kù)技術(shù)分類、基于支持向量機(jī)基于關(guān)聯(lián)規(guī)則分類、基于數(shù)據(jù)庫(kù)技術(shù)分類、基于支持向量機(jī)的分類、基于的分類、基于AIS模型分類算法等分類算法。對(duì)課題人工免模型分類算法等分類算法。對(duì)課題人工免疫算法及其在故障診斷中的應(yīng)用進(jìn)行了詳細(xì)的討論，以此說(shuō)疫算法及其在故障診斷中的應(yīng)用進(jìn)行了詳細(xì)的討論，以此說(shuō)明分類挖掘在解決復(fù)雜工程問題中的應(yīng)用情況。明分類挖掘在解決復(fù)雜工程問題中的應(yīng)用情況。 本章以人工免疫算法的理論和應(yīng)用為研究?jī)?nèi)容做了一些本章以人工免疫算法的理論和應(yīng)用為研究?jī)?nèi)容做了一些工作。除了在理論上對(duì)人工免疫系統(tǒng)及其算法的基礎(chǔ)原理和工作。除了在理論上對(duì)人工免疫系統(tǒng)及其算法的基礎(chǔ)原理和各種類型的免疫算法做了研究和分析外，最主要的是通過(guò)對(duì)各種類型的免疫算法做了研究和分析外，最主要的是通過(guò)對(duì)人工免疫算法的研究分析，提出了新的改進(jìn)算法，開拓了免人工免疫算法的研究分析，提出了新的改進(jìn)算法，開拓了免疫算法的應(yīng)用領(lǐng)域疫算法的應(yīng)用領(lǐng)域。第5章 分類挖掘及其應(yīng)用第18頁(yè)/共22頁(yè)習(xí)習(xí) 題題 51簡(jiǎn)述判定樹分類的主要步驟。簡(jiǎn)述判定樹分類的主要步驟。2在判定樹歸納中，為什么樹剪枝是有用的？用一個(gè)單獨(dú)的樣在判定樹歸納中，為什么樹剪枝是有用的？用一個(gè)單獨(dú)的樣 本集計(jì)值剪枝的缺點(diǎn)是什么？本集計(jì)值剪枝的缺點(diǎn)是什么？3給定判定樹，你有兩種可能的選擇。給定判定樹，你有兩種可能的選擇。 （1）將判定樹轉(zhuǎn)換成規(guī)則）將判定樹轉(zhuǎn)換成規(guī)則,然后對(duì)結(jié)果規(guī)則剪枝。然后對(duì)結(jié)果規(guī)則剪枝。 （2）對(duì)判定樹剪枝）對(duì)判定樹剪枝,然后將剪枝后的樹轉(zhuǎn)換成規(guī)然后將剪枝后的樹轉(zhuǎn)換成規(guī)則則。相對(duì)于（相對(duì)于（2），（），（1）的優(yōu)點(diǎn)是什么？）的優(yōu)點(diǎn)是什么？4為什么樸素貝葉斯分類稱為為什么樸素貝葉斯分類稱為“樸素樸素”的？簡(jiǎn)述樸素貝葉斯分類的主要思想。的？簡(jiǎn)述樸素貝葉斯分類的主要思想。5比較急切分類（如判定樹、貝葉斯、神經(jīng)網(wǎng)絡(luò)）相對(duì)于懶散分類（如，比較急切分類（如判定樹、貝葉斯、神經(jīng)網(wǎng)絡(luò)）相對(duì)于懶散分類（如，K-最臨近、基于案例的推理）的優(yōu)缺點(diǎn)。最臨近、基于案例的推理）的優(yōu)缺點(diǎn)。第5章 分類挖掘及其應(yīng)用第19頁(yè)/共22頁(yè)習(xí)習(xí) 題題 56下表由雇員數(shù)據(jù)庫(kù)的訓(xùn)練數(shù)據(jù)組成。數(shù)據(jù)已概化。對(duì)于給定的行，下表由雇員數(shù)據(jù)庫(kù)的訓(xùn)練數(shù)據(jù)組成。數(shù)據(jù)已概化。對(duì)于給定的行，count表示表示department，status，age和和salary在該行上具有給定值的元組數(shù)。設(shè)在該行上具有給定值的元組數(shù)。設(shè)salary是類標(biāo)號(hào)屬性。是類標(biāo)號(hào)屬性。 （1）你將如何修改你將如何修改ID3算法，以便考慮每個(gè)概化數(shù)據(jù)元組（即每一行）算法，以便考慮每個(gè)概化數(shù)據(jù)元組（即每一行） 的的count？ （2）使用你修改過(guò)的使用你修改過(guò)的ID3算法，構(gòu)造給定數(shù)據(jù)的判定樹。算法，構(gòu)造給定數(shù)據(jù)的判定樹。 （3）給定一個(gè)數(shù)據(jù)樣本，它在屬性）給定一個(gè)數(shù)據(jù)樣本，它在屬性department，status和和age上的值分上的值分別為別為“systems”、“junior”和和“2024”。該樣本的。該樣本的salary的樸素貝葉斯的樸素貝葉斯分類是什么？分類是什么？ （4）為給定的數(shù)據(jù)設(shè)計(jì)一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)。標(biāo)記輸入和輸出層節(jié)點(diǎn)。）為給定的數(shù)據(jù)設(shè)計(jì)一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)。標(biāo)記輸入和輸出層節(jié)點(diǎn)。 （5）使用上面得到的多層前饋神經(jīng)網(wǎng)絡(luò)，給定訓(xùn)練實(shí)例）使用上面得到的多層前饋神經(jīng)網(wǎng)絡(luò)，給定訓(xùn)練實(shí)例“(sales, senior, 3135, 46K50K)”，給出后向傳播算法一次迭代后的權(quán)值。指出你使用的，給出后向傳播算法一次迭代后的權(quán)值。指出你使用的初始權(quán)值和偏置以及學(xué)習(xí)率。初始權(quán)值和偏置以及學(xué)習(xí)率。第5章 分類挖掘及其應(yīng)用第20頁(yè)/共22頁(yè)departmentstatus age salary count salessenior 3135 46K50K 30 Salesjunior 2630 26K30K 40 Salesjunior 3135 31K35K 40 systemsjunior 2125 46K50K 20 systemssenior 3135 66K70K 5 systemsjunior 2630 46K50K 3 systemssenior 4145 66K70K 3 marketing senior 3640 46K50K 10 marketing junior 3135 41K45K 4secretary senior 4650 36K40K 4secretary junior 2630 26K30K 67給定和描述每個(gè)樣本的屬性數(shù)，寫一個(gè)給定和描述每個(gè)樣本的屬性數(shù)，寫一個(gè)K-最臨近分類算法。最臨近分類算法。第5章 分類挖掘及其應(yīng)用習(xí) 題 5第21頁(yè)/共22頁(yè)感謝您的觀看。第22頁(yè)/共22頁(yè)