數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在企業(yè)信息系統(tǒng)建設(shè)中的應(yīng)用.doc

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在企業(yè)信息系統(tǒng)建設(shè)中的應(yīng)用謝新建 宋曄 ( 北京理工大學(xué) 計(jì)算機(jī)科學(xué)系, 北京 100081)摘要：本文從建設(shè)原則、體系結(jié)構(gòu)、關(guān)鍵環(huán)節(jié)等幾個(gè)方面并結(jié)合某電信運(yùn)營(yíng)商的具體案例說明了數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在國(guó)內(nèi)電信業(yè)的應(yīng)用,其中重點(diǎn)說明了異種數(shù)據(jù)源集成、ODS層的設(shè)計(jì)、ETL過程的設(shè)計(jì)、倉(cāng)庫(kù)模型設(shè)計(jì)、元數(shù)據(jù)管理以及專題數(shù)據(jù)挖掘等關(guān)鍵環(huán)節(jié)，對(duì)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的工程實(shí)施有一定的參考價(jià)值。關(guān)鍵詞： 數(shù)據(jù)倉(cāng)庫(kù)；ETL；元數(shù)據(jù)；遺留系統(tǒng)中圖分類號(hào)： TP311 文獻(xiàn)標(biāo)識(shí)碼：A 1、 引言數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是經(jīng)過了十幾年的研究與發(fā)展，在理論與工程實(shí)踐上都取得了顯著的成果。國(guó)際上許多重要的學(xué)術(shù)會(huì)議，如超大型數(shù)據(jù)庫(kù)國(guó)際會(huì)議（VLDB），數(shù)據(jù)工程國(guó)際會(huì)議（Data Engineering）等，都出現(xiàn)了大量專門研究數(shù)據(jù)倉(cāng)庫(kù)（Data Warehousing）、聯(lián)機(jī)分析處理（On-Line Analytical Processing）、數(shù)據(jù)挖掘（Data Mining）1的論文，同時(shí)各大數(shù)據(jù)庫(kù)廠商紛紛推出相應(yīng)產(chǎn)品支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)，比如NCR、SAS、Oracle、IBM、Informix、Sybase等都提出了相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)解決方案；另一方面 ，隨著信息技術(shù)的飛速發(fā)展，企業(yè)內(nèi)部產(chǎn)生了越來越多的數(shù)據(jù)，但這些數(shù)據(jù)并沒有產(chǎn)生應(yīng)有的信息，為此出現(xiàn)了“數(shù)據(jù)爆炸，知識(shí)貧乏”的窘迫局面，有效地整合與充分利用現(xiàn)有的信息資源成為企業(yè)提高核心競(jìng)爭(zhēng)力的關(guān)鍵。本文以電信行業(yè)為例分析了企業(yè)經(jīng)營(yíng)分析與決策支持系統(tǒng)的建設(shè)應(yīng)用，重點(diǎn)闡述數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù)。2、 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)2.1、系統(tǒng)設(shè)計(jì)原則 （1） 通用化性原則 企業(yè)各地分支機(jī)構(gòu)在組織構(gòu)架、業(yè)務(wù)劃分與側(cè)重、其所運(yùn)行的OLTP系統(tǒng)所依賴RDBMS、電信數(shù)據(jù)綜合分析與決策支持系統(tǒng)所需要的數(shù)據(jù)源的類型與格式等不盡相同，這些都在企業(yè)數(shù)據(jù)綜合分析與決策支持系統(tǒng)通用化設(shè)計(jì)的考慮范圍之內(nèi)。（2） 可擴(kuò)展性原則隨著業(yè)務(wù)內(nèi)容的變化，業(yè)務(wù)系統(tǒng)的信息范圍會(huì)發(fā)生變化，而對(duì)于作為統(tǒng)一信息服務(wù)平臺(tái)應(yīng)設(shè)計(jì)性能良好的體系結(jié)構(gòu)，保證系統(tǒng)靈活的功能可擴(kuò)展性。即在保持系統(tǒng)架構(gòu)與原業(yè)務(wù)分析邏輯的前提下，系統(tǒng)能實(shí)現(xiàn)簡(jiǎn)潔的分析主題與功能性擴(kuò)充。 （3） 技術(shù)開放性原則為保護(hù)用戶投資，通過透明訪問技術(shù)，要保證系統(tǒng)能夠獨(dú)立于具體平臺(tái)工具，對(duì)用戶形成統(tǒng)一的功能和界面。在工具和平臺(tái)的選擇上給用戶提供自由選擇的最大余地。 （4） 兼容性原則 企業(yè)在信息化建設(shè)的過程所積累的信息資源是企業(yè)最為寶貴的財(cái)富，新建的經(jīng)營(yíng)決策分析系統(tǒng)應(yīng)有效的兼容原系統(tǒng)，尤其兼容原系統(tǒng)的數(shù)據(jù)資源。2.2、系統(tǒng)體系結(jié)構(gòu)根據(jù)上述的設(shè)計(jì)原則，并結(jié)合系統(tǒng)設(shè)計(jì)目標(biāo)，提出電信經(jīng)營(yíng)分析與決策系統(tǒng)的總體結(jié)構(gòu)如下： 圖1 經(jīng)營(yíng)分析與決策支持系統(tǒng)總體結(jié)構(gòu)如上圖所示，異種數(shù)據(jù)源的企業(yè)應(yīng)用集成接口實(shí)現(xiàn)異種數(shù)據(jù)源的透明訪問，要支持各種關(guān)系數(shù)據(jù)庫(kù)、平面文件、XML文件等形式。根據(jù)企業(yè)的分析應(yīng)用需求，通過設(shè)計(jì)與實(shí)現(xiàn)操作數(shù)據(jù)存儲(chǔ)（ODS）2層來達(dá)到面向應(yīng)用的企業(yè)級(jí)數(shù)據(jù)視圖，系統(tǒng)也支持通過異種數(shù)據(jù)源的企業(yè)應(yīng)用集成接口直接實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的ETL過程。在基于元數(shù)據(jù)的控制邏輯的驅(qū)動(dòng)下，系統(tǒng)實(shí)現(xiàn)從業(yè)務(wù)數(shù)據(jù)源和ODS的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換與加載的過程，以面向主題的形式來組織數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)；數(shù)據(jù)集市是面向部門級(jí)分析而組織分析模型，一般組織成Cube立方體的形式向上支持在線多維分析。同時(shí)為了對(duì)特定問題（如欠費(fèi)離網(wǎng)）進(jìn)行深入分析，系統(tǒng)要建立相應(yīng)的分析挖掘模型，一般采用星型與挖掘?qū)挶淼男问竭M(jìn)行處理。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，即反映系統(tǒng)結(jié)構(gòu)性本質(zhì)信息的數(shù)據(jù)描述。一般認(rèn)為包括技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)，為了實(shí)現(xiàn)系統(tǒng)應(yīng)用層對(duì)物理層的透明訪問系統(tǒng)引入了元數(shù)據(jù)內(nèi)聯(lián)映射的概念，對(duì)于元數(shù)據(jù)的存儲(chǔ)系統(tǒng)采用兩層接口封裝實(shí)現(xiàn)元數(shù)據(jù)存儲(chǔ)的規(guī)范性與靈活性。從數(shù)據(jù)集市、挖掘模型以及從ODS獲取的數(shù)據(jù)集與以元數(shù)據(jù)存儲(chǔ)的報(bào)表模板、分析模板、門戶Portal模板、XML Schema等結(jié)合來生成滿足分析與決策需要的各種展現(xiàn)內(nèi)容，包括預(yù)定義報(bào)表、即席查詢（Ad Hoc）、OLAP分析、業(yè)務(wù)挖掘分析報(bào)告、企業(yè)經(jīng)營(yíng)指標(biāo)監(jiān)控Portal等，滿足企業(yè)經(jīng)營(yíng)分析與決策支持的需要。系統(tǒng)實(shí)現(xiàn)了基于元數(shù)據(jù)的全程管理，涉及數(shù)據(jù)獲取層、數(shù)據(jù)整合層以及數(shù)據(jù)展現(xiàn)層的全過程，支持分析模型的維護(hù)以及數(shù)據(jù)源的結(jié)構(gòu)性變化，通過經(jīng)營(yíng)分析與決策支持監(jiān)控門戶提供包括展現(xiàn)報(bào)表定制、元數(shù)據(jù)維護(hù)、門戶定制、統(tǒng)一安全管理等管理服務(wù)。2.3、系統(tǒng)關(guān)鍵環(huán)節(jié) 2.3.1 異種數(shù)據(jù)源集成 企業(yè)在進(jìn)行經(jīng)營(yíng)分析與決策支持系統(tǒng)建設(shè)時(shí)必須將遺留系統(tǒng)（Legacy System）3進(jìn)行高效全面地集成，由于遺留系統(tǒng)是在企業(yè)發(fā)展的不同時(shí)期建設(shè)的，往往缺乏全局的規(guī)劃，所以常表現(xiàn)為不同的操作系統(tǒng)平臺(tái)、不同的數(shù)據(jù)庫(kù)平臺(tái)、不同的網(wǎng)絡(luò)通信機(jī)制等等，形成了所謂的“信息孤島”；系統(tǒng)中采用異種數(shù)據(jù)源的企業(yè)應(yīng)用集成接口來實(shí)現(xiàn)對(duì)異種數(shù)據(jù)源的透明訪問，包括數(shù)據(jù)源元數(shù)據(jù)訪問以及業(yè)務(wù)操作數(shù)據(jù)訪問。數(shù)據(jù)源分為在線數(shù)據(jù)源和離線數(shù)據(jù)源，在線數(shù)據(jù)源是指允許在線抽取的業(yè)務(wù)數(shù)據(jù)源，如營(yíng)業(yè)數(shù)據(jù)，離線數(shù)據(jù)源是指不允許直接在線抽取的數(shù)據(jù)源，如計(jì)費(fèi)樣單數(shù)據(jù)，采用以脫機(jī)平面文件數(shù)據(jù)的格式以FTP方式集成進(jìn)本系統(tǒng)。對(duì)數(shù)據(jù)源實(shí)現(xiàn)元數(shù)據(jù)級(jí)的管理，數(shù)據(jù)源的連接類型（ODBC、OLEDB、JDBC、Native）、連接字符串以及該數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)信息都以技術(shù)元數(shù)據(jù)的形式存儲(chǔ)于元數(shù)據(jù)庫(kù)中，通過控制臺(tái)對(duì)其進(jìn)行業(yè)務(wù)語(yǔ)義定義，使用戶對(duì)整個(gè)企業(yè)的信息系統(tǒng)有了全面的掌握。 2.3.2 ODS層的設(shè)計(jì) 操作數(shù)據(jù)存儲(chǔ)ODS（Operation Data Storage）是一個(gè)集成了來自不同數(shù)據(jù)庫(kù)數(shù)據(jù)的環(huán)境。其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。它可以幫助用戶輕松應(yīng)對(duì)跨多個(gè)商業(yè)功能的操作挑戰(zhàn)。它是面向主題的、集成的、近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)。設(shè)計(jì)ODS層的目的在于：改善了對(duì)關(guān)鍵操作數(shù)據(jù)庫(kù)的存?。挥脩裟塬@得對(duì)于收益、客戶等主題的企業(yè)級(jí)的完整視圖，有利于更好地通觀全局；近實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)提供了查詢產(chǎn)品與服務(wù)的能力；以更高的性能生成操作報(bào)告。設(shè)計(jì)ODS的核心是實(shí)現(xiàn)焦點(diǎn)主題全局試圖應(yīng)用，如企業(yè)的客戶管理系統(tǒng)，可以CRM的理念建立以客戶為中心的ODS客戶主題視圖，向上層提供高效的服務(wù)。而對(duì)于話費(fèi)結(jié)算則采取了從綜合結(jié)算系統(tǒng)中直接抽取到數(shù)據(jù)倉(cāng)庫(kù)的方式，抽取周期為結(jié)算周期，能完全滿足決策分析的時(shí)間窗要求。 2.3.3 ETL過程的設(shè)計(jì) 數(shù)據(jù)抽取、轉(zhuǎn)換和加載，是數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)過程中，進(jìn)行數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向數(shù)據(jù)倉(cāng)庫(kù)加載的主要方法，對(duì)于整個(gè)數(shù)據(jù)處理過程，實(shí)現(xiàn)如下： 數(shù)據(jù)抽?。簭臄?shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需要的數(shù)據(jù)。數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，也可以從文件抽取，對(duì)于不同數(shù)據(jù)平臺(tái)、不同的源數(shù)據(jù)形式、不同性能要求的業(yè)務(wù)系統(tǒng)以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同。為保證抽取效率，同時(shí)減少對(duì)生產(chǎn)運(yùn)營(yíng)系統(tǒng)的影響，對(duì)于大數(shù)據(jù)量的抽取，采取“數(shù)據(jù)分割、縮短抽取周期”的原則，對(duì)于直接的數(shù)據(jù)庫(kù)抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)的安全。為了滿足經(jīng)營(yíng)分析系統(tǒng)進(jìn)行分析、挖掘的需要，同時(shí)保證不能影響業(yè)務(wù)系統(tǒng)的性能，設(shè)計(jì)抽取策略、抽取方式、抽取時(shí)機(jī)、抽取周期非常關(guān)鍵。數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換是指對(duì)抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)模型的要求，進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型的一致性和完整性，并按要求裝入數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)加載：數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)加載采用數(shù)據(jù)加載工具，也可以采用API編程進(jìn)行數(shù)據(jù)加載。數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略。對(duì)于電信企業(yè)級(jí)應(yīng)用我們采用對(duì)ETL工具DataStage進(jìn)行功能封裝，向上提供監(jiān)控與調(diào)度接口。數(shù)據(jù)加載周期要綜合考慮經(jīng)營(yíng)分析需求和系統(tǒng)加載的代價(jià)，對(duì)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采用不同的加載周期，但必須保持同一時(shí)間業(yè)務(wù)數(shù)據(jù)的完整性和一致性。 2.3.4 倉(cāng)庫(kù)模型設(shè)計(jì) 由于經(jīng)營(yíng)分析需求的不斷變化，數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存儲(chǔ)必須采用主題分域的方式和盡可能小的業(yè)務(wù)單元來進(jìn)行數(shù)據(jù)的組織和存儲(chǔ)，這樣才能滿足數(shù)據(jù)倉(cāng)庫(kù)的靈活性，適應(yīng)需求的變化；同時(shí)任何一個(gè)信息系統(tǒng)都有整體性、結(jié)構(gòu)性、層次性、相對(duì)性、可變性；將數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)邏輯結(jié)構(gòu)的設(shè)計(jì)體現(xiàn)系統(tǒng)的這些特征，是對(duì)目標(biāo)系統(tǒng)正確反映的客觀要求。 經(jīng)過詳細(xì)的業(yè)務(wù)需求分析，某電信運(yùn)營(yíng)商的業(yè)務(wù)可以按照不同的主題域分為八類：客戶、帳務(wù)、資源、服務(wù)、客服、營(yíng)銷、服務(wù)使用、結(jié)算。其中，客戶主題包含了與客戶相關(guān)的基本信息，如客戶的自然屬性（姓名、年齡、職業(yè)等）、客戶的分類信息（現(xiàn)有客戶、潛在客戶、大客戶等）、客戶的重要屬性信息（信用度、忠誠(chéng)度、消費(fèi)層次等）。帳務(wù)主題中包含了與客戶相關(guān)的費(fèi)用信息，如明細(xì)賬單、綜合帳單、帳本、帳戶、付費(fèi)記錄、銷帳流水等信息。資源主題中包含了網(wǎng)絡(luò)資源和服務(wù)資源的信息及占用情況。服務(wù)主題中包含了產(chǎn)品、套餐、資費(fèi)與優(yōu)惠規(guī)則等的信息。客服主題中包含了與客戶服務(wù)相關(guān)的部門信息、流程信息、分類信息等。營(yíng)銷主題中包含了銷售機(jī)會(huì)、營(yíng)銷渠道、促銷活動(dòng)等相關(guān)信息。服務(wù)使用主題中描述客戶購(gòu)買和使用電信服務(wù)產(chǎn)品的信息，主要包含了用戶、服務(wù)使用記錄、清單等。結(jié)算主題中包含了結(jié)算清單、結(jié)算明細(xì)賬單、合作服務(wù)方等信息。對(duì)于主題的建模采用星型結(jié)構(gòu)，以事實(shí)表或概要表加相關(guān)維表來構(gòu)成。 2.3.5 元數(shù)據(jù)管理元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)、操縱數(shù)據(jù)的進(jìn)程和應(yīng)用程序的結(jié)構(gòu)和意義的描述信息，其主要目標(biāo)是提供數(shù)據(jù)資源的全面指南4。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)（Technical Metadata）、業(yè)務(wù)元數(shù)據(jù)（Business Metadata）和內(nèi)聯(lián)映射元數(shù)據(jù)（Inter-Mapping Metadata）。 技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)使用的數(shù)據(jù)，它主要包括：數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述，包括各個(gè)主題的定義，星型模式或雪花型模式的描述定義等;ODS層的企業(yè)數(shù)據(jù)模型的描述，以描述關(guān)系表及其關(guān)聯(lián)關(guān)系為形式；對(duì)數(shù)據(jù)稽核規(guī)則的定義;數(shù)據(jù)集市的定義描述與裝載描述，包括Cube的維度、層次、度量以及相應(yīng)事實(shí)表、概要表的抽取規(guī)則。由數(shù)據(jù)源的定義、ETL的抽取定規(guī)則的定義，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則;安全認(rèn)證的數(shù)據(jù)也作為元數(shù)據(jù)的一個(gè)重要部分進(jìn)行管理。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠理解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息；具體包括：企業(yè)概念模型：這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個(gè)企業(yè)的業(yè)務(wù)概念和相互關(guān)系;多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分，它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實(shí)表和維表的多維組織形式。內(nèi)聯(lián)映射元數(shù)據(jù)（Inter-Mapping Metadata）實(shí)現(xiàn)技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的層間映射，使得信息系統(tǒng)的概念模型與物理模型相互獨(dú)立，使得企業(yè)的概念、業(yè)務(wù)模型重組以及物理模型的變化相互透明；內(nèi)聯(lián)映射元數(shù)據(jù)從技術(shù)上為業(yè)務(wù)需求驅(qū)動(dòng)、企業(yè)數(shù)據(jù)驅(qū)動(dòng)的雙驅(qū)動(dòng)信息系統(tǒng)建設(shè)模型提供了重要保證,使得信息系統(tǒng)的建設(shè)具有更高的靈活性與適應(yīng)性。 基于元模型數(shù)據(jù)倉(cāng)庫(kù)建模的過程如下圖所示： 圖2 基于元數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)建模2.3.6 專題數(shù)據(jù)挖掘電信企業(yè)在長(zhǎng)期信息化建設(shè)過程中積累了大量的業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和業(yè)務(wù)管理數(shù)據(jù)，一般企業(yè)級(jí)的數(shù)據(jù)量已超過了TB級(jí)以上；同時(shí)市場(chǎng)的激烈競(jìng)爭(zhēng)和管理過程的復(fù)雜性，決定了一個(gè)企業(yè)為了生存與發(fā)展，需要對(duì)客戶關(guān)系、市場(chǎng)營(yíng)銷、產(chǎn)品工程、投資分析等方面的歷史數(shù)據(jù)進(jìn)行提取與分析，將數(shù)據(jù)轉(zhuǎn)化為有用的信息。數(shù)據(jù)挖掘一般用于在海量的數(shù)據(jù)集中發(fā)現(xiàn)間接的、隱藏的、新穎的規(guī)則、規(guī)律來輔助決策。數(shù)據(jù)挖掘技術(shù)的優(yōu)勢(shì)在于通過對(duì)數(shù)據(jù)集進(jìn)行有限步驟的采集、整理、分析、推理、比較等分析手段來揭露埋在數(shù)據(jù)表面下的有用信息。數(shù)據(jù)挖掘又是對(duì)信息的一種高度歸納的技術(shù)，將大量的、豐富的數(shù)據(jù)集整理成可操作性的、能夠指導(dǎo)決策的若干條歸納結(jié)論或規(guī)則。數(shù)據(jù)挖掘常用的算法包括：關(guān)聯(lián)規(guī)則、聚類檢測(cè)、決策樹、神經(jīng)網(wǎng)絡(luò)、遺傳算法、支持向量機(jī)等，在SAS、IM8等數(shù)據(jù)挖掘工具中支持的算法包括決策樹、聚類分析、神經(jīng)網(wǎng)絡(luò)、回歸分析等。本項(xiàng)目中數(shù)據(jù)挖掘?qū)ｎ}分析支持對(duì)電信經(jīng)營(yíng)數(shù)據(jù)分類與預(yù)測(cè)分析。分類包括客戶分類、網(wǎng)元分類等；預(yù)測(cè)包括客戶發(fā)展分析與預(yù)測(cè)、業(yè)務(wù)量發(fā)展分析與預(yù)測(cè)、客戶流失分析與預(yù)測(cè)、營(yíng)銷管理與銷售機(jī)會(huì)分析與預(yù)測(cè)、市場(chǎng)競(jìng)爭(zhēng)分析與預(yù)測(cè)、大客戶分析與預(yù)測(cè)等。采用回歸分析業(yè)務(wù)量進(jìn)行預(yù)測(cè)，如下圖所示： 圖3 某電信業(yè)務(wù)量預(yù)測(cè)分析結(jié)果 以2001年7月1日到29日的通話次數(shù)歷史數(shù)據(jù)，預(yù)測(cè)2001年7月30日的通話次數(shù) ，結(jié)果為：2001年7月30日的預(yù)測(cè)通話次數(shù)為：31715.84323 ，2001年7月30日的實(shí)際通話次數(shù)為30926；應(yīng)用中取得較好的預(yù)測(cè)準(zhǔn)確率。 3、 結(jié)語(yǔ)大型企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)是一項(xiàng)復(fù)雜的系統(tǒng)工程，通過本項(xiàng)目的實(shí)施，用戶形成了一套有自己特色的涵蓋企業(yè)客戶、產(chǎn)品、帳務(wù)等主題的數(shù)據(jù)模型，建立了企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)，并進(jìn)行數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行驗(yàn)證，在產(chǎn)生報(bào)表的速度、質(zhì)量，數(shù)據(jù)分析的結(jié)論都基本上達(dá)到數(shù)據(jù)倉(cāng)庫(kù)應(yīng)有的效能，為企業(yè)的各項(xiàng)經(jīng)營(yíng)分析與決策行為提供了科學(xué)的依據(jù)。參考文獻(xiàn)：1欒誠(chéng). 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)淺析. 山東通信技術(shù),2003,01:32-34.2 Corinne Baragoin, Marty Marini, Andrew Perkins. http:/www-900.ibm.com/developerWorks/cn/dmdd/support/redbooks/abstract/sg246513.shtml.2001 123王英林，周潔，張申生. 遺留軟件系統(tǒng)的一種重構(gòu)方法. 上海交通大學(xué)學(xué)報(bào) 2002 9（36）4戴超凡，陳文偉，鄧蘇，陸昌輝，唐九陽(yáng). 數(shù)據(jù)倉(cāng)庫(kù)中元數(shù)據(jù)技術(shù)研究. 計(jì)算機(jī)工程與應(yīng)用 2001,14: 85