新一代數(shù)據(jù)倉庫建設(shè)模式探索實踐.docx
《新一代數(shù)據(jù)倉庫建設(shè)模式探索實踐.docx》由會員分享,可在線閱讀,更多相關(guān)《新一代數(shù)據(jù)倉庫建設(shè)模式探索實踐.docx(4頁珍藏版)》請在裝配圖網(wǎng)上搜索。
新一代數(shù)據(jù)倉庫建設(shè)模式探索實踐隨著我國金融業(yè)對外開放的腳步不斷加快,越來越多的外資銀行涌入中國,導致我國銀行業(yè)面臨的競爭壓力越來越大。為提升銀行業(yè)競爭能力,國家在“十一五”期間明確提出,我國銀行要向風險可控、規(guī)范運營的現(xiàn)代商業(yè)銀行轉(zhuǎn)型。今天,我們正處在轉(zhuǎn)型的關(guān)鍵時期。銀行業(yè)的轉(zhuǎn)型要求改變傳統(tǒng)的“拍腦袋”決策的方式,實施科學決策。更多最新相關(guān)資訊請點擊合時代進行瀏覽實現(xiàn)這一轉(zhuǎn)變的關(guān)鍵在于將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識,為高層管理和決策提供強有力的依據(jù),采用商業(yè)智能技術(shù)是達到這一目標的有效途徑。實施商業(yè)智能要求企業(yè)建立數(shù)據(jù)倉庫,全面加強數(shù)據(jù)的完整性、準確性、一致性,實現(xiàn)企業(yè)級海量數(shù)據(jù)的集中與共享,并以此為基礎(chǔ)建立各種應(yīng)用,提高銀行的經(jīng)營決策效率和水平,增強核心競爭力。數(shù)據(jù)倉庫發(fā)展問題數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策和信息的共享。數(shù)據(jù)倉庫的主要優(yōu)勢在于海量數(shù)據(jù)處理,為復雜模型計算、數(shù)據(jù)挖掘等深層次的數(shù)據(jù)應(yīng)用提供技術(shù)平臺和穩(wěn)定、統(tǒng)一的數(shù)據(jù)支持,這些特點使得它成為商業(yè)智能系統(tǒng)的基礎(chǔ)。正是由于看到了數(shù)據(jù)倉庫對于銀行業(yè)的重要作用,國內(nèi)重要的銀行,例如工商銀行、建設(shè)銀行、交通銀行、浦發(fā)銀行等早在2005年左右啟動并建立了企業(yè)級數(shù)據(jù)倉庫,積累了豐富的經(jīng)驗:數(shù)據(jù)標準滯后或缺乏,容易產(chǎn)生沖突,造成口徑不一致。數(shù)據(jù)倉庫需要整合大量的數(shù)據(jù)源,而不同的源在數(shù)據(jù)的表示等方面存在較大的差異,數(shù)據(jù)標準的滯后或缺乏,一方面導致數(shù)據(jù)的入庫比較困難,另一方面,系統(tǒng)中存在同一數(shù)據(jù)的多種形式,容易造成口徑不一致。數(shù)據(jù)管控缺失,入倉數(shù)據(jù)質(zhì)量不高。這主要體現(xiàn)在數(shù)據(jù)入庫的環(huán)節(jié)上,由于管理、流程支持的不足,控制力度的缺乏,導致入庫的數(shù)據(jù)質(zhì)量不高。低劣的數(shù)據(jù)質(zhì)量會影響到?jīng)Q策的質(zhì)量,進而降低數(shù)據(jù)倉庫建設(shè)的效果。數(shù)據(jù)應(yīng)用不足,難以體現(xiàn)數(shù)據(jù)倉庫價值。數(shù)據(jù)倉庫的重點在于數(shù)據(jù)的應(yīng)用,通過應(yīng)用發(fā)揮數(shù)據(jù)的價值。但目前各行倉庫建設(shè)時,重點的工作只是實現(xiàn)了數(shù)據(jù)的集中,缺乏在其上的應(yīng)用或應(yīng)用的種類與數(shù)目很少,倉庫投資建設(shè)的價值得不到充分體現(xiàn)。因此,基于對國內(nèi)外銀行業(yè)數(shù)據(jù)倉庫建設(shè)理論與實踐的分析,結(jié)合國家開發(fā)銀行(以下簡稱:“開行”)的實際,我們提出了新一代數(shù)據(jù)倉庫建設(shè)方法,進行了開行數(shù)據(jù)倉庫一期項目建設(shè),是新一代數(shù)據(jù)倉庫建設(shè)模式的大膽探索和有益嘗試。新一代數(shù)據(jù)倉庫建設(shè)模式開行數(shù)據(jù)倉庫于2010年12月啟動建設(shè),創(chuàng)造性地提出了“數(shù)據(jù)標準先行、數(shù)據(jù)管控落地、應(yīng)用驅(qū)動與數(shù)據(jù)驅(qū)動相結(jié)合”數(shù)據(jù)倉庫建設(shè)方法論,將數(shù)據(jù)標準化、數(shù)據(jù)管控以及數(shù)據(jù)應(yīng)用工作都統(tǒng)一納入數(shù)據(jù)倉庫建設(shè)工作的范疇,為開行數(shù)據(jù)倉庫的順利實施奠定了基礎(chǔ),如圖1所示。數(shù)據(jù)標準先行2008年開行啟動數(shù)據(jù)標準化工作,通過借鑒金融業(yè)通用的FS-LDM(金融業(yè)務(wù)邏輯數(shù)據(jù)模型),并結(jié)合開行集團架構(gòu)下“投、貸、債、租、證”綜合型金融業(yè)務(wù)的特點,將數(shù)據(jù)標準體系劃分為基礎(chǔ)類數(shù)據(jù)標準、分析類數(shù)據(jù)標準和專有類數(shù)據(jù)標準三大類,全面覆蓋了開行的業(yè)務(wù)領(lǐng)域和管理需要。在制訂過程中,又將基礎(chǔ)類數(shù)據(jù)標準與分析類數(shù)據(jù)進行映射,保證了從基礎(chǔ)數(shù)據(jù)到指標數(shù)據(jù)的貫通。數(shù)據(jù)標準不僅在于制定,更重要的是在業(yè)務(wù)領(lǐng)域和技術(shù)領(lǐng)域的落地。數(shù)據(jù)標準化工作的常規(guī)思路是先制定、后落地,而開行將制定與落地同步開展,抓住系統(tǒng)建設(shè)的關(guān)鍵時機,推動數(shù)據(jù)標準的落地,既在落地過程中檢驗了標準制定成果,又通過落地將標準制定成果效益最大化。在開行數(shù)據(jù)標準制定的同時,提出了數(shù)據(jù)標準邏輯參考模型,直接構(gòu)成了開行數(shù)據(jù)倉庫的骨架和核心內(nèi)容,保證了數(shù)據(jù)標準在數(shù)據(jù)倉庫的落地執(zhí)行。目前開行數(shù)據(jù)標準化工作已經(jīng)陸續(xù)完成基礎(chǔ)類數(shù)據(jù)標準和分析類數(shù)據(jù)標準的制定與發(fā)布,其中基礎(chǔ)類數(shù)據(jù)標準包括客戶、產(chǎn)品、交易、協(xié)議、財務(wù)、資產(chǎn)、機構(gòu)和員工七個主題,共計2046項,分析類數(shù)據(jù)標準包括分析類指標定義框架、分析類指標分類體系以及分析類指標維度體系,共計1109項?;A(chǔ)類數(shù)據(jù)標準和分析類數(shù)據(jù)標準覆蓋了開行90%以上的業(yè)務(wù)以及90%以上的IT系統(tǒng),并同步在核心、全流程信貸、中小企業(yè)、客戶關(guān)系管理和數(shù)據(jù)倉庫等重要IT系統(tǒng)以及和其相連的周邊系統(tǒng)中進行落地,同時開展了客戶、機構(gòu)與員工、產(chǎn)品及行業(yè)代碼的專項落地工作,有效地保證了系統(tǒng)間的數(shù)據(jù)一致性,為開行數(shù)據(jù)倉庫建設(shè)奠定了堅實基礎(chǔ)。數(shù)據(jù)管控落地數(shù)據(jù)標準解決了數(shù)據(jù)的入倉問題,使得更多生產(chǎn)系統(tǒng)的接入成為可能,它在豐富數(shù)據(jù)源的同時也帶來了新的挑戰(zhàn),即如何保證入倉數(shù)據(jù)的質(zhì)量。這個問題如果不加以妥善解決,將會直接影響數(shù)據(jù)倉庫的使用效果,對數(shù)據(jù)倉庫成為“企業(yè)數(shù)據(jù)垃圾桶”的抱怨時有發(fā)生就是這一問題的具體體現(xiàn)。開行在開展數(shù)據(jù)管控工作過程中,采用了規(guī)劃、組織、制度、技術(shù)工具和專項考核等因素相結(jié)合的綜合型數(shù)據(jù)管控機制,并在這五項必備因素層面開展了相應(yīng)的工作。規(guī)劃層面完成了數(shù)據(jù)管理制度與流程體系的整體規(guī)劃;組織層面建立了由行長信息化建設(shè)專項協(xié)調(diào)機制領(lǐng)導下的數(shù)據(jù)管控組織;制度層面制定了數(shù)據(jù)標準管理、數(shù)據(jù)錄入維護管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)模型管理、數(shù)據(jù)平臺數(shù)據(jù)交換管理、報表需求管理等七項數(shù)據(jù)管控辦法,為數(shù)據(jù)管理工作提供制度保障;技術(shù)層面完成了數(shù)據(jù)管理系統(tǒng)的建設(shè),為總分行全員參與數(shù)據(jù)管控工作提供了技術(shù)工具;考核層面則通過設(shè)立總分行數(shù)據(jù)管控專項考核指標,保障數(shù)據(jù)管控制度的落地執(zhí)行。這五個方面缺一不可,任何一方面的缺失或不足難以保證數(shù)據(jù)管控工作取得實際效果。在數(shù)據(jù)倉庫建設(shè)中,我們以元數(shù)據(jù)管理為基礎(chǔ),以管控流程為手段,使數(shù)據(jù)倉庫成為全行可信、可控的數(shù)據(jù)源。應(yīng)用驅(qū)動與數(shù)據(jù)驅(qū)動相結(jié)合應(yīng)用不足、數(shù)據(jù)服務(wù)缺乏是當前國內(nèi)數(shù)據(jù)倉庫建設(shè)所面臨的一個共性問題,由此所導致的直接后果就是空有“寶山”卻不能用,投資的價值得不到體現(xiàn),而這反過來會影響到?jīng)Q策層投資和建設(shè)的熱情,導致投入減少,不足以支付眾多數(shù)據(jù)服務(wù)的建設(shè),由此形成一個惡性循環(huán),最終導致整個數(shù)據(jù)倉庫建設(shè)的失敗。所以,在梳理數(shù)據(jù)倉庫的建設(shè)需求時,為了進一步體現(xiàn)數(shù)據(jù)倉庫的應(yīng)用價值,我們不僅考慮如何從底層保證數(shù)據(jù)的入倉,還從數(shù)據(jù)應(yīng)用入手,將數(shù)據(jù)倉庫支持的應(yīng)用分為經(jīng)營管理類應(yīng)用域和資產(chǎn)負債類、風險管理類、監(jiān)管合規(guī)類、績效管理類、客戶關(guān)系管理類的五大應(yīng)用主題域,通過“1+5”應(yīng)用,提升經(jīng)營管理、決策分析和監(jiān)管報送水平。將數(shù)據(jù)倉庫基礎(chǔ)平臺與數(shù)據(jù)應(yīng)用進行協(xié)同建設(shè),以數(shù)據(jù)倉庫項目群的方式開展建設(shè),實現(xiàn)倉庫建設(shè)與數(shù)據(jù)應(yīng)用建設(shè)互動,充份體現(xiàn)數(shù)據(jù)倉庫建設(shè)價值。數(shù)據(jù)倉庫建設(shè)與重點應(yīng)用確立數(shù)據(jù)倉庫建設(shè)目標。按照“數(shù)據(jù)標準先行,數(shù)據(jù)管控落地,應(yīng)用驅(qū)動與數(shù)據(jù)驅(qū)動相結(jié)合”的數(shù)據(jù)倉庫建設(shè)方法論,開行確立了“落實數(shù)據(jù)標準,實現(xiàn)集中共享,提升五大應(yīng)用,支持經(jīng)營決策,統(tǒng)一全行報表,挖掘數(shù)據(jù)價值”建設(shè)目標,經(jīng)過兩年來的建設(shè),數(shù)據(jù)倉庫一期項目已于2012年10月順利上線投產(chǎn)?;A(chǔ)平臺建設(shè)。數(shù)據(jù)倉庫基礎(chǔ)平臺建設(shè)包括基礎(chǔ)層和匯總層兩項重點內(nèi)容?;A(chǔ)層設(shè)計遵循了數(shù)據(jù)標準,即邏輯數(shù)據(jù)模型,建立了開行合理、穩(wěn)定、可擴展的數(shù)據(jù)模型,涵蓋當事人、協(xié)議、財務(wù)、事件、資產(chǎn)、機構(gòu)、地址、產(chǎn)品八個主題,342個實體,實現(xiàn)757個標準信息項,135個標準代碼的全面落地,累計入倉核心、信貸、資金等12個主要生產(chǎn)系統(tǒng)的數(shù)據(jù),實現(xiàn)開行主要數(shù)據(jù)物理及邏輯上的大集中;匯總層以元數(shù)據(jù)管理為核心,全面實現(xiàn)數(shù)據(jù)倉庫數(shù)據(jù)管控,實現(xiàn)貸款、債券發(fā)行等八個主要業(yè)務(wù)協(xié)議類數(shù)據(jù)加工計算,以及客戶、機構(gòu)、財務(wù)等主題的數(shù)據(jù)匯總。同時,通過數(shù)據(jù)服務(wù)區(qū)與數(shù)據(jù)接口,形成了便于業(yè)務(wù)人員理解的數(shù)據(jù)視圖,為業(yè)務(wù)應(yīng)用提供統(tǒng)一、高效的數(shù)據(jù)共享基礎(chǔ),形成可信、可控、可視化的數(shù)據(jù)源,實現(xiàn)了數(shù)據(jù)邏輯的大集中。四大重點應(yīng)用?;跀?shù)據(jù)倉庫基礎(chǔ)平臺一期同步建設(shè)了全行統(tǒng)一報表系統(tǒng)、高管駕駛艙、風險數(shù)據(jù)集市及應(yīng)用、監(jiān)管報送系統(tǒng)四大重點應(yīng)用,實現(xiàn)了全行統(tǒng)一報表視圖、靈活報表定制、手工數(shù)據(jù)補錄及指標管理等功能,真正實現(xiàn)了全口徑信貸報表的集中展現(xiàn);提供了集安全、易用、便捷為一體的管理決策支持平臺,可以做到行內(nèi)關(guān)鍵盈利性、風險性、流動性指標及外部宏觀經(jīng)濟和同業(yè)比較相關(guān)指標展現(xiàn);實現(xiàn)風險數(shù)據(jù)整合,進一步提升開行風險管理系統(tǒng)群的應(yīng)用水平;建設(shè)倉內(nèi)監(jiān)管合規(guī)集市,提高了監(jiān)管報送數(shù)據(jù)質(zhì)量和效率。結(jié)束語開行數(shù)據(jù)倉庫建設(shè)是新一代數(shù)據(jù)倉庫建設(shè)的一次有益嘗試,取得了較大成效,但仍有很多問題需要解決。下一步,我們將基于該模式,進一步加強數(shù)據(jù)倉庫建設(shè),從以下幾方面著手開展后續(xù)工作。加強運維管理和應(yīng)用支持工作。持續(xù)完善并嚴格實施運維管理規(guī)范,明確科技部門作為數(shù)據(jù)倉庫的管理部門,牽頭負責規(guī)劃、建設(shè)與運營管理,確保數(shù)據(jù)倉庫正常使用和穩(wěn)定運行,提高數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量和應(yīng)用價值。加快數(shù)據(jù)倉庫應(yīng)用建設(shè)。重點完成財務(wù)績效與資產(chǎn)負債主題建設(shè),優(yōu)化完善監(jiān)管合規(guī)、風險數(shù)據(jù)集市,通過數(shù)據(jù)整合促進應(yīng)用整合,持續(xù)支持與提升財務(wù)績效類、監(jiān)管合規(guī)類、風險管理類、資產(chǎn)負債類系統(tǒng)群的應(yīng)用水平,滿足監(jiān)管部門及內(nèi)部精細化管理的業(yè)務(wù)要求。開展數(shù)據(jù)挖掘高端應(yīng)用工作。基于數(shù)據(jù)倉庫的內(nèi)外部數(shù)據(jù),利用先進的數(shù)據(jù)挖掘工具,構(gòu)建全行數(shù)據(jù)挖掘平臺,實現(xiàn)開行集團架構(gòu)下的跨主題挖掘和高端應(yīng)用,支持前沿業(yè)務(wù)分析和高層領(lǐng)導決策,打造一支技術(shù)與業(yè)務(wù)兼?zhèn)涞臄?shù)據(jù)挖掘團隊,充分挖掘數(shù)據(jù)資產(chǎn)價值,提升開行核心競爭力。- 1.請仔細閱讀文檔,確保文檔完整性,對于不預覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認領(lǐng)!既往收益都歸您。
下載文檔到電腦,查找使用更方便
9.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標,表示該PPT已包含配套word講稿。雙擊word圖標可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 新一代 數(shù)據(jù)倉庫 建設(shè) 模式 探索 實踐
鏈接地址:http://ioszen.com/p-9421528.html