數(shù)據(jù)倉庫的開發(fā)流程.ppt

數(shù)據(jù)倉庫的技術(shù)與開發(fā),數(shù)據(jù)倉庫設(shè)計(jì)開發(fā)流程,數(shù)據(jù)庫系統(tǒng)的開發(fā)流程,數(shù)據(jù)庫設(shè)計(jì)流程的特點(diǎn),有明確的應(yīng)用需求；嚴(yán)格遵循系統(tǒng)生命同期的階段劃分，較清楚的設(shè)計(jì)開發(fā)步驟；良好的可操作性，每一步驟的任務(wù)、文檔內(nèi)容與格式有細(xì)致的規(guī)定。舉例：項(xiàng)目文檔,數(shù)據(jù)庫設(shè)計(jì)舉例,1.需求分析（溝通、會議演示、軟件需求說明書）2.系統(tǒng)概念設(shè)計(jì)（系統(tǒng)功能結(jié)構(gòu)、流程、數(shù)據(jù)結(jié)構(gòu)等）3.系統(tǒng)詳細(xì)設(shè)計(jì)（E-R、功能模塊、界面、業(yè)務(wù)過程、接口）5.系統(tǒng)實(shí)現(xiàn)（數(shù)據(jù)庫實(shí)現(xiàn)、程序?qū)崿F(xiàn)）4.系統(tǒng)測試與實(shí)施,數(shù)據(jù)庫與數(shù)據(jù)倉庫設(shè)計(jì)的區(qū)別,數(shù)據(jù)倉庫開發(fā)流程的特點(diǎn),原始需求不明確，且不斷變化與增加，不能較準(zhǔn)確地預(yù)見到以后的需求；采用原型法開發(fā)，從構(gòu)建系統(tǒng)的簡單的基本框架著手；數(shù)據(jù)驅(qū)動，著眼于有效地抽取、綜合、集成和挖掘已有數(shù)據(jù)庫的數(shù)據(jù)資源。,原型法,原型（Prototype）是開發(fā)信息系統(tǒng)的一個可執(zhí)行模型或引導(dǎo)性版本；幫助得到目標(biāo)系統(tǒng)明確而嚴(yán)格的需求，促進(jìn)客戶和各階段系統(tǒng)人員之間的相互有效的信息交流，并以此為基礎(chǔ)進(jìn)行需求分析和系統(tǒng)設(shè)計(jì)。從本質(zhì)上看，原型是未來目標(biāo)系統(tǒng)的一個模型。,原型法,原型不是系統(tǒng)開發(fā)的最終產(chǎn)品，而是在某個開發(fā)階段中為達(dá)到一定的目的所生成的系統(tǒng)簡化模擬版本；可能只是目標(biāo)系統(tǒng)的一個式樣，或只包含目標(biāo)系統(tǒng)的某些功能，或僅僅是具有目標(biāo)系統(tǒng)的一個結(jié)構(gòu)。,原型法,數(shù)據(jù)倉庫的開發(fā)流程,數(shù)據(jù)倉庫的開發(fā)流程,數(shù)據(jù)倉庫系統(tǒng)的開發(fā)是一個經(jīng)過不斷循環(huán)、反饋而使系統(tǒng)不斷增長與完善的過程，這也是原型法區(qū)別于系統(tǒng)生命周期法的主要特點(diǎn)。,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),數(shù)據(jù)倉庫的設(shè)計(jì)步驟,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫運(yùn)行與維護(hù),概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫的基礎(chǔ)上建立一個較為穩(wěn)固的概念模型。,概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫的基礎(chǔ)上建立一個較為穩(wěn)固的概念模型。,界定系統(tǒng)邊界（初步需求分析）,基本的方向性需求：要做的決策類型有哪些？決策者感興趣的是什么問題？這些問題需要什么樣的信息？要得到這些信息需要包含原有數(shù)據(jù)庫系統(tǒng)的哪些部分的數(shù)據(jù)？可以劃定一個當(dāng)前的大致的系統(tǒng)邊界，集中精力進(jìn)行最需要的部分的開發(fā)。,概念模型設(shè)計(jì),任務(wù)：界定系統(tǒng)邊界確定主題域及其屬性描述數(shù)據(jù)模型（多維數(shù)據(jù)模型，或E-R）成果：是在原有的數(shù)據(jù)庫的基礎(chǔ)上建立一個較為穩(wěn)固的概念模型。,確定主題域及其內(nèi)容,確定主要的主題域?qū)γ總€主題域的內(nèi)容進(jìn)行較明確的描述：主題域的公共碼鍵；主題域之間的聯(lián)系；充分代表主題的屬性組。舉例以商場的數(shù)據(jù)倉庫設(shè)計(jì)為例,商場數(shù)據(jù)倉庫概念模型設(shè)計(jì),日趨激烈的市場競爭要求商場經(jīng)營者更加準(zhǔn)確地了解商場經(jīng)營狀況，跟蹤市場趨勢，更加合理地制定商品采購與銷售策略。由于商場以前的一些OLTP的需要，在各個部門建立了許多分散的數(shù)據(jù)庫，分別處理各自的業(yè)務(wù)。如在人事、采購、庫存、銷售等部門分別存儲著各自的數(shù)據(jù)庫，各個部門的數(shù)據(jù)按自己業(yè)務(wù)需要加以組織。這樣的組織使得數(shù)據(jù)各自為政，缺乏全局性，管理層想要在這些數(shù)據(jù)的基礎(chǔ)上得到一些全局報表、進(jìn)行一些分析工作是比較困難的。因此商場的領(lǐng)導(dǎo)決定要在原有的數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上建立一個數(shù)據(jù)倉庫。,界定系統(tǒng)的邊界,需求：主要是商品采購和銷售情況商場經(jīng)營者目前所要進(jìn)行的分析主要有：分析顧客的購買趨勢；分析商品供應(yīng)市場的變化趨勢；分析供應(yīng)商信用等級。,界定系統(tǒng)的邊界,所需要的數(shù)據(jù)應(yīng)包括：商品銷售數(shù)據(jù)；商品采購數(shù)據(jù)；商品庫存數(shù)據(jù)；顧客信息；供應(yīng)商信息。所以，我們可以將系統(tǒng)的邊界定為包含原有的銷售子系統(tǒng)、采購子系統(tǒng)以及庫存子系統(tǒng)在內(nèi)的集合。,確定主要的主題域,三個基本主題：商品、供應(yīng)商和顧客。主題之間的聯(lián)系是：供應(yīng)商供應(yīng)多種商品，一種商品可由多個供應(yīng)商提供，即“商品”主題與“供應(yīng)商”供應(yīng)的商品直接聯(lián)系；供應(yīng)商供應(yīng)的商品同樣也可以被不同的顧客購買，但“顧客”主題與“供應(yīng)商”主題間并不是直接發(fā)生關(guān)系的，它們之間的聯(lián)系是經(jīng)過“商品”主題的間接聯(lián)系。,E-R模型,各主題的屬性信息,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),技術(shù)準(zhǔn)備工作,工作包括：技術(shù)評估，技術(shù)環(huán)境準(zhǔn)備。成果是：技術(shù)評估報告，軟硬件配置方案，系統(tǒng)（軟、硬件）總體設(shè)計(jì)方案。,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),邏輯模型設(shè)計(jì),分析主題域確定粒度層次劃分確定數(shù)據(jù)分割策略關(guān)系模式定義數(shù)據(jù)源及抽取模型的定義,分析主題域,對概念模型設(shè)計(jì)步驟中確定的幾個基本主題域進(jìn)行分析，選擇首先要實(shí)施的主題域；如果所選擇的主題域很大并且很復(fù)雜，我們甚至可以針對它的一個有意義的子集來進(jìn)行開發(fā)；商場數(shù)據(jù)倉庫設(shè)計(jì)的例子：“商品”主題既是一個商場的最基本的業(yè)務(wù)對象，又是進(jìn)行決策分析的最主要的領(lǐng)域，因而較之另兩個主題來說，“商品”主題具有更重要的意義與作用。所以，我們可以先選定“商品”主題來實(shí)施。,粒度層次劃分,粒度層次劃分適當(dāng)與否直接影響到數(shù)據(jù)倉庫中的數(shù)據(jù)量和所適合的查詢類型；通過估算數(shù)據(jù)行數(shù)和所需的DASD數(shù)，確定采用單一粒度或多重粒度，以及粒度劃分的層次。DASD（DirectAccessStorageDevice）例子：商品主題多重粒度,數(shù)據(jù)分割策略,數(shù)據(jù)量的大小是決定是否進(jìn)行數(shù)據(jù)分割和如何分割的主要因素；數(shù)據(jù)分析處理的要求是選擇數(shù)據(jù)分割標(biāo)準(zhǔn)的一個主要依據(jù)；還要考慮到所選擇的數(shù)據(jù)分割標(biāo)準(zhǔn)應(yīng)是自然的、易于實(shí)施的；同時也要考慮數(shù)據(jù)分割的標(biāo)準(zhǔn)與粒度劃分層次是適應(yīng)的。,關(guān)系模式定義,由多個表實(shí)現(xiàn)；對于多維數(shù)據(jù)模型：事實(shí)表和維度表；對于E-R模型：主題的相關(guān)信息的內(nèi)容表如，商品主題的關(guān)系模式定義包括：商品固有信息、商品采購信息、商品銷售信息、商品庫存信息、其它數(shù)據(jù)等。,數(shù)據(jù)源及抽取模型的定義,由三種表實(shí)現(xiàn)；數(shù)據(jù)源抽取對象表；數(shù)據(jù)源抽取規(guī)則表；數(shù)據(jù)目標(biāo)列與源列對應(yīng)關(guān)系表。,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),物理模型設(shè)計(jì),工作：確定數(shù)據(jù)的存儲結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，確定存儲分配。前提要求：1.全面了解所選用的數(shù)據(jù)庫管理系統(tǒng)，特別是存儲結(jié)構(gòu)和存取方法。2.了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻度、使用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時間要求等，這些是對時間和空間效率進(jìn)行平衡和優(yōu)化的重要依據(jù)。3.了解外部存儲設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的IO特性等。,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),數(shù)據(jù)倉庫的生成,工作：接口編程，數(shù)據(jù)裝入；成果：數(shù)據(jù)已經(jīng)裝入到數(shù)據(jù)倉庫中，可以在其上建立數(shù)據(jù)倉庫的應(yīng)用，即DSS應(yīng)用。,數(shù)據(jù)倉庫的生成,接口編程：在兩個不同環(huán)境的記錄系統(tǒng)之間建立一個接口，能完整、準(zhǔn)確地完成從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的數(shù)據(jù)抽取、轉(zhuǎn)換與集成。數(shù)據(jù)裝入：運(yùn)行接口程序，將數(shù)據(jù)裝入到數(shù)據(jù)倉庫中。,數(shù)據(jù)倉庫的設(shè)計(jì)步驟,概念模型設(shè)計(jì)技術(shù)準(zhǔn)備工作邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)倉庫生成數(shù)據(jù)倉庫使用與維護(hù),數(shù)據(jù)倉庫使用與維護(hù),使用數(shù)據(jù)倉庫：在數(shù)據(jù)倉庫中建立起DSS應(yīng)用；維護(hù)：根據(jù)用戶使用情況和反饋來的新的需求，開發(fā)人員進(jìn)一步完善系統(tǒng)，并管理數(shù)據(jù)倉庫的一些日?；顒?。包括：刷新數(shù)據(jù)倉庫的當(dāng)前詳細(xì)數(shù)據(jù)，將過時的數(shù)據(jù)轉(zhuǎn)化成歷史數(shù)據(jù)，清除不再使用的數(shù)據(jù)，管理元數(shù)據(jù)，利用接口定期從操作型環(huán)境向數(shù)據(jù)倉庫追加數(shù)據(jù)，確定數(shù)據(jù)倉庫的數(shù)據(jù)刷新頻率，等等。,數(shù)據(jù)倉庫使用與維護(hù),在“商品”主題的數(shù)據(jù)裝人數(shù)據(jù)倉庫后，就可以進(jìn)行在“商品”主題上的分析處理，即建立“商品這一分析領(lǐng)域上的DSS應(yīng)用，如有關(guān)商品銷售情況的月統(tǒng)計(jì)分析或商品庫存情況的分析等。在分析應(yīng)用中，我們會對“商品”主題有一個實(shí)踐基礎(chǔ)上的更深的認(rèn)識，從而對原來的設(shè)計(jì)作出評價和調(diào)整。比如，實(shí)踐證明原來的粒度劃分不合理，就應(yīng)該調(diào)整粒度定義。,數(shù)據(jù)倉庫使用與維護(hù),在這一過程中，商場經(jīng)營者可能會提出新的要求，對消費(fèi)市場進(jìn)行分析研究，以進(jìn)行市場定位等，那么就要著手開發(fā)“顧客”主題，并可能要對原有的“商品”主題進(jìn)行調(diào)整，如“商品”主題中可能要增加“商品檔次”這么一個屬性。,討論,在學(xué)習(xí)了數(shù)據(jù)倉庫的相關(guān)知識和技術(shù)后，你覺得日常生活中，那些方面可以用到數(shù)據(jù)倉庫技術(shù)？,舉例,零售個性化系統(tǒng)。在系統(tǒng)中，客戶閱讀到由零售商編制的目錄或宣傳廣告后促使他有了購買的念頭，或者至少想查詢一下目錄，結(jié)果是給零售商打電話。,舉例,舉例,當(dāng)客戶定貨或咨詢情況時，零售商代表查出一些與此有關(guān)的其他信息，如：客戶上次購物的時間；上次購物的類型；客戶所屬的市場地段。,舉例,對話的過程中，銷售代表說出以下一些事情：“我記得我們曾在二月份通過話”“你購買的蘭色運(yùn)動衫怎么樣？”“你的那條褲子的問題解決了嗎？”交談進(jìn)行得很有人情味。這樣，將會更加激起客戶的購買欲望。,舉例,數(shù)據(jù)倉庫的分析功能給出市場地段信息，如：男/女專業(yè)/其他用品市場城市/鄉(xiāng)村市場兒童用品市場（年齡、性別）體育用品市場,舉例,對話可以進(jìn)行得很個性化。銷售代表能夠根據(jù)客戶所屬的市場地段信息進(jìn)行針對性的提問，如：“你知道我們在泳裝方面還有未公布的產(chǎn)品嗎？”“我們剛剛進(jìn)一批意大利太陽鏡，我想你可能有興趣?！薄疤鞖忸A(yù)報這是打野鴨的寒冬，我們有一種特制的長筒靴?！?舉例,客戶已經(jīng)完全投入了電話對話中，個性化的電話和關(guān)于客戶對什么商品感興趣的知識使得銷售商在不增加資本投入、不增加廣告量的情況下增加了收入。,舉例,這種個性化的電話對話是通過對數(shù)據(jù)倉庫的間接訪問而完成的,舉例,后臺(即數(shù)據(jù)倉庫環(huán)境中)有一個分析程序在不斷讀入和分析客戶的記錄。這個分析程序通過一種復(fù)雜的方法掃描，分析客戶的歷史記錄。它定時地提供給操作型環(huán)境一個包括下面內(nèi)容的文件：上次購物的類型；上次購物的日期;市場分析/市場地段信息。,