新一代數(shù)據(jù)倉庫建設(shè)模式探索實(shí)踐.docx

新一代數(shù)據(jù)倉庫建設(shè)模式探索實(shí)踐隨著我國金融業(yè)對(duì)外開放的腳步不斷加快，越來越多的外資銀行涌入中國，導(dǎo)致我國銀行業(yè)面臨的競爭壓力越來越大。為提升銀行業(yè)競爭能力，國家在“十一五”期間明確提出，我國銀行要向風(fēng)險(xiǎn)可控、規(guī)范運(yùn)營的現(xiàn)代商業(yè)銀行轉(zhuǎn)型。今天，我們正處在轉(zhuǎn)型的關(guān)鍵時(shí)期。銀行業(yè)的轉(zhuǎn)型要求改變傳統(tǒng)的“拍腦袋”決策的方式，實(shí)施科學(xué)決策。>>更多最新相關(guān)資訊請(qǐng)點(diǎn)擊合時(shí)代進(jìn)行瀏覽實(shí)現(xiàn)這一轉(zhuǎn)變的關(guān)鍵在于將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識(shí)，為高層管理和決策提供強(qiáng)有力的依據(jù)，采用商業(yè)智能技術(shù)是達(dá)到這一目標(biāo)的有效途徑。實(shí)施商業(yè)智能要求企業(yè)建立數(shù)據(jù)倉庫，全面加強(qiáng)數(shù)據(jù)的完整性、準(zhǔn)確性、一致性，實(shí)現(xiàn)企業(yè)級(jí)海量數(shù)據(jù)的集中與共享，并以此為基礎(chǔ)建立各種應(yīng)用，提高銀行的經(jīng)營決策效率和水平，增強(qiáng)核心競爭力。數(shù)據(jù)倉庫發(fā)展問題數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策和信息的共享。數(shù)據(jù)倉庫的主要優(yōu)勢在于海量數(shù)據(jù)處理，為復(fù)雜模型計(jì)算、數(shù)據(jù)挖掘等深層次的數(shù)據(jù)應(yīng)用提供技術(shù)平臺(tái)和穩(wěn)定、統(tǒng)一的數(shù)據(jù)支持，這些特點(diǎn)使得它成為商業(yè)智能系統(tǒng)的基礎(chǔ)。正是由于看到了數(shù)據(jù)倉庫對(duì)于銀行業(yè)的重要作用，國內(nèi)重要的銀行，例如工商銀行、建設(shè)銀行、交通銀行、浦發(fā)銀行等早在2005年左右啟動(dòng)并建立了企業(yè)級(jí)數(shù)據(jù)倉庫，積累了豐富的經(jīng)驗(yàn)：數(shù)據(jù)標(biāo)準(zhǔn)滯后或缺乏，容易產(chǎn)生沖突，造成口徑不一致。數(shù)據(jù)倉庫需要整合大量的數(shù)據(jù)源，而不同的源在數(shù)據(jù)的表示等方面存在較大的差異，數(shù)據(jù)標(biāo)準(zhǔn)的滯后或缺乏，一方面導(dǎo)致數(shù)據(jù)的入庫比較困難，另一方面，系統(tǒng)中存在同一數(shù)據(jù)的多種形式，容易造成口徑不一致。數(shù)據(jù)管控缺失，入倉數(shù)據(jù)質(zhì)量不高。這主要體現(xiàn)在數(shù)據(jù)入庫的環(huán)節(jié)上，由于管理、流程支持的不足，控制力度的缺乏，導(dǎo)致入庫的數(shù)據(jù)質(zhì)量不高。低劣的數(shù)據(jù)質(zhì)量會(huì)影響到?jīng)Q策的質(zhì)量，進(jìn)而降低數(shù)據(jù)倉庫建設(shè)的效果。數(shù)據(jù)應(yīng)用不足，難以體現(xiàn)數(shù)據(jù)倉庫價(jià)值。數(shù)據(jù)倉庫的重點(diǎn)在于數(shù)據(jù)的應(yīng)用，通過應(yīng)用發(fā)揮數(shù)據(jù)的價(jià)值。但目前各行倉庫建設(shè)時(shí)，重點(diǎn)的工作只是實(shí)現(xiàn)了數(shù)據(jù)的集中，缺乏在其上的應(yīng)用或應(yīng)用的種類與數(shù)目很少，倉庫投資建設(shè)的價(jià)值得不到充分體現(xiàn)。因此，基于對(duì)國內(nèi)外銀行業(yè)數(shù)據(jù)倉庫建設(shè)理論與實(shí)踐的分析，結(jié)合國家開發(fā)銀行（以下簡稱：“開行”）的實(shí)際，我們提出了新一代數(shù)據(jù)倉庫建設(shè)方法，進(jìn)行了開行數(shù)據(jù)倉庫一期項(xiàng)目建設(shè)，是新一代數(shù)據(jù)倉庫建設(shè)模式的大膽探索和有益嘗試。新一代數(shù)據(jù)倉庫建設(shè)模式開行數(shù)據(jù)倉庫于2010年12月啟動(dòng)建設(shè)，創(chuàng)造性地提出了“數(shù)據(jù)標(biāo)準(zhǔn)先行、數(shù)據(jù)管控落地、應(yīng)用驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合”數(shù)據(jù)倉庫建設(shè)方法論，將數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)管控以及數(shù)據(jù)應(yīng)用工作都統(tǒng)一納入數(shù)據(jù)倉庫建設(shè)工作的范疇，為開行數(shù)據(jù)倉庫的順利實(shí)施奠定了基礎(chǔ)，如圖1所示。數(shù)據(jù)標(biāo)準(zhǔn)先行2008年開行啟動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)化工作，通過借鑒金融業(yè)通用的FS-LDM（金融業(yè)務(wù)邏輯數(shù)據(jù)模型）,并結(jié)合開行集團(tuán)架構(gòu)下“投、貸、債、租、證”綜合型金融業(yè)務(wù)的特點(diǎn)，將數(shù)據(jù)標(biāo)準(zhǔn)體系劃分為基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)、分析類數(shù)據(jù)標(biāo)準(zhǔn)和專有類數(shù)據(jù)標(biāo)準(zhǔn)三大類，全面覆蓋了開行的業(yè)務(wù)領(lǐng)域和管理需要。在制訂過程中，又將基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)與分析類數(shù)據(jù)進(jìn)行映射，保證了從基礎(chǔ)數(shù)據(jù)到指標(biāo)數(shù)據(jù)的貫通。數(shù)據(jù)標(biāo)準(zhǔn)不僅在于制定，更重要的是在業(yè)務(wù)領(lǐng)域和技術(shù)領(lǐng)域的落地。數(shù)據(jù)標(biāo)準(zhǔn)化工作的常規(guī)思路是先制定、后落地，而開行將制定與落地同步開展，抓住系統(tǒng)建設(shè)的關(guān)鍵時(shí)機(jī)，推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)的落地，既在落地過程中檢驗(yàn)了標(biāo)準(zhǔn)制定成果，又通過落地將標(biāo)準(zhǔn)制定成果效益最大化。在開行數(shù)據(jù)標(biāo)準(zhǔn)制定的同時(shí)，提出了數(shù)據(jù)標(biāo)準(zhǔn)邏輯參考模型，直接構(gòu)成了開行數(shù)據(jù)倉庫的骨架和核心內(nèi)容，保證了數(shù)據(jù)標(biāo)準(zhǔn)在數(shù)據(jù)倉庫的落地執(zhí)行。目前開行數(shù)據(jù)標(biāo)準(zhǔn)化工作已經(jīng)陸續(xù)完成基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)和分析類數(shù)據(jù)標(biāo)準(zhǔn)的制定與發(fā)布，其中基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)包括客戶、產(chǎn)品、交易、協(xié)議、財(cái)務(wù)、資產(chǎn)、機(jī)構(gòu)和員工七個(gè)主題，共計(jì)2046項(xiàng)，分析類數(shù)據(jù)標(biāo)準(zhǔn)包括分析類指標(biāo)定義框架、分析類指標(biāo)分類體系以及分析類指標(biāo)維度體系，共計(jì)1109項(xiàng)。基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)和分析類數(shù)據(jù)標(biāo)準(zhǔn)覆蓋了開行90%以上的業(yè)務(wù)以及90%以上的IT系統(tǒng)，并同步在核心、全流程信貸、中小企業(yè)、客戶關(guān)系管理和數(shù)據(jù)倉庫等重要IT系統(tǒng)以及和其相連的周邊系統(tǒng)中進(jìn)行落地，同時(shí)開展了客戶、機(jī)構(gòu)與員工、產(chǎn)品及行業(yè)代碼的專項(xiàng)落地工作，有效地保證了系統(tǒng)間的數(shù)據(jù)一致性，為開行數(shù)據(jù)倉庫建設(shè)奠定了堅(jiān)實(shí)基礎(chǔ)。數(shù)據(jù)管控落地?cái)?shù)據(jù)標(biāo)準(zhǔn)解決了數(shù)據(jù)的入倉問題，使得更多生產(chǎn)系統(tǒng)的接入成為可能，它在豐富數(shù)據(jù)源的同時(shí)也帶來了新的挑戰(zhàn)，即如何保證入倉數(shù)據(jù)的質(zhì)量。這個(gè)問題如果不加以妥善解決，將會(huì)直接影響數(shù)據(jù)倉庫的使用效果，對(duì)數(shù)據(jù)倉庫成為“企業(yè)數(shù)據(jù)垃圾桶”的抱怨時(shí)有發(fā)生就是這一問題的具體體現(xiàn)。開行在開展數(shù)據(jù)管控工作過程中，采用了規(guī)劃、組織、制度、技術(shù)工具和專項(xiàng)考核等因素相結(jié)合的綜合型數(shù)據(jù)管控機(jī)制，并在這五項(xiàng)必備因素層面開展了相應(yīng)的工作。規(guī)劃層面完成了數(shù)據(jù)管理制度與流程體系的整體規(guī)劃；組織層面建立了由行長信息化建設(shè)專項(xiàng)協(xié)調(diào)機(jī)制領(lǐng)導(dǎo)下的數(shù)據(jù)管控組織；制度層面制定了數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)錄入維護(hù)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)模型管理、數(shù)據(jù)平臺(tái)數(shù)據(jù)交換管理、報(bào)表需求管理等七項(xiàng)數(shù)據(jù)管控辦法，為數(shù)據(jù)管理工作提供制度保障；技術(shù)層面完成了數(shù)據(jù)管理系統(tǒng)的建設(shè)，為總分行全員參與數(shù)據(jù)管控工作提供了技術(shù)工具；考核層面則通過設(shè)立總分行數(shù)據(jù)管控專項(xiàng)考核指標(biāo)，保障數(shù)據(jù)管控制度的落地執(zhí)行。這五個(gè)方面缺一不可，任何一方面的缺失或不足難以保證數(shù)據(jù)管控工作取得實(shí)際效果。在數(shù)據(jù)倉庫建設(shè)中，我們以元數(shù)據(jù)管理為基礎(chǔ)，以管控流程為手段，使數(shù)據(jù)倉庫成為全行可信、可控的數(shù)據(jù)源。應(yīng)用驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合應(yīng)用不足、數(shù)據(jù)服務(wù)缺乏是當(dāng)前國內(nèi)數(shù)據(jù)倉庫建設(shè)所面臨的一個(gè)共性問題，由此所導(dǎo)致的直接后果就是空有“寶山”卻不能用，投資的價(jià)值得不到體現(xiàn)，而這反過來會(huì)影響到?jīng)Q策層投資和建設(shè)的熱情，導(dǎo)致投入減少，不足以支付眾多數(shù)據(jù)服務(wù)的建設(shè)，由此形成一個(gè)惡性循環(huán)，最終導(dǎo)致整個(gè)數(shù)據(jù)倉庫建設(shè)的失敗。所以，在梳理數(shù)據(jù)倉庫的建設(shè)需求時(shí)，為了進(jìn)一步體現(xiàn)數(shù)據(jù)倉庫的應(yīng)用價(jià)值，我們不僅考慮如何從底層保證數(shù)據(jù)的入倉，還從數(shù)據(jù)應(yīng)用入手，將數(shù)據(jù)倉庫支持的應(yīng)用分為經(jīng)營管理類應(yīng)用域和資產(chǎn)負(fù)債類、風(fēng)險(xiǎn)管理類、監(jiān)管合規(guī)類、績效管理類、客戶關(guān)系管理類的五大應(yīng)用主題域，通過“1+5”應(yīng)用，提升經(jīng)營管理、決策分析和監(jiān)管報(bào)送水平。將數(shù)據(jù)倉庫基礎(chǔ)平臺(tái)與數(shù)據(jù)應(yīng)用進(jìn)行協(xié)同建設(shè)，以數(shù)據(jù)倉庫項(xiàng)目群的方式開展建設(shè)，實(shí)現(xiàn)倉庫建設(shè)與數(shù)據(jù)應(yīng)用建設(shè)互動(dòng)，充份體現(xiàn)數(shù)據(jù)倉庫建設(shè)價(jià)值。數(shù)據(jù)倉庫建設(shè)與重點(diǎn)應(yīng)用確立數(shù)據(jù)倉庫建設(shè)目標(biāo)。按照“數(shù)據(jù)標(biāo)準(zhǔn)先行，數(shù)據(jù)管控落地，應(yīng)用驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)相結(jié)合”的數(shù)據(jù)倉庫建設(shè)方法論，開行確立了“落實(shí)數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)集中共享，提升五大應(yīng)用，支持經(jīng)營決策，統(tǒng)一全行報(bào)表，挖掘數(shù)據(jù)價(jià)值”建設(shè)目標(biāo)，經(jīng)過兩年來的建設(shè)，數(shù)據(jù)倉庫一期項(xiàng)目已于2012年10月順利上線投產(chǎn)?；A(chǔ)平臺(tái)建設(shè)。數(shù)據(jù)倉庫基礎(chǔ)平臺(tái)建設(shè)包括基礎(chǔ)層和匯總層兩項(xiàng)重點(diǎn)內(nèi)容。基礎(chǔ)層設(shè)計(jì)遵循了數(shù)據(jù)標(biāo)準(zhǔn)，即邏輯數(shù)據(jù)模型，建立了開行合理、穩(wěn)定、可擴(kuò)展的數(shù)據(jù)模型，涵蓋當(dāng)事人、協(xié)議、財(cái)務(wù)、事件、資產(chǎn)、機(jī)構(gòu)、地址、產(chǎn)品八個(gè)主題，342個(gè)實(shí)體，實(shí)現(xiàn)757個(gè)標(biāo)準(zhǔn)信息項(xiàng)，135個(gè)標(biāo)準(zhǔn)代碼的全面落地，累計(jì)入倉核心、信貸、資金等12個(gè)主要生產(chǎn)系統(tǒng)的數(shù)據(jù)，實(shí)現(xiàn)開行主要數(shù)據(jù)物理及邏輯上的大集中；匯總層以元數(shù)據(jù)管理為核心，全面實(shí)現(xiàn)數(shù)據(jù)倉庫數(shù)據(jù)管控，實(shí)現(xiàn)貸款、債券發(fā)行等八個(gè)主要業(yè)務(wù)協(xié)議類數(shù)據(jù)加工計(jì)算，以及客戶、機(jī)構(gòu)、財(cái)務(wù)等主題的數(shù)據(jù)匯總。同時(shí)，通過數(shù)據(jù)服務(wù)區(qū)與數(shù)據(jù)接口，形成了便于業(yè)務(wù)人員理解的數(shù)據(jù)視圖，為業(yè)務(wù)應(yīng)用提供統(tǒng)一、高效的數(shù)據(jù)共享基礎(chǔ)，形成可信、可控、可視化的數(shù)據(jù)源，實(shí)現(xiàn)了數(shù)據(jù)邏輯的大集中。四大重點(diǎn)應(yīng)用?；跀?shù)據(jù)倉庫基礎(chǔ)平臺(tái)一期同步建設(shè)了全行統(tǒng)一報(bào)表系統(tǒng)、高管駕駛艙、風(fēng)險(xiǎn)數(shù)據(jù)集市及應(yīng)用、監(jiān)管報(bào)送系統(tǒng)四大重點(diǎn)應(yīng)用，實(shí)現(xiàn)了全行統(tǒng)一報(bào)表視圖、靈活報(bào)表定制、手工數(shù)據(jù)補(bǔ)錄及指標(biāo)管理等功能，真正實(shí)現(xiàn)了全口徑信貸報(bào)表的集中展現(xiàn)；提供了集安全、易用、便捷為一體的管理決策支持平臺(tái)，可以做到行內(nèi)關(guān)鍵盈利性、風(fēng)險(xiǎn)性、流動(dòng)性指標(biāo)及外部宏觀經(jīng)濟(jì)和同業(yè)比較相關(guān)指標(biāo)展現(xiàn)；實(shí)現(xiàn)風(fēng)險(xiǎn)數(shù)據(jù)整合，進(jìn)一步提升開行風(fēng)險(xiǎn)管理系統(tǒng)群的應(yīng)用水平；建設(shè)倉內(nèi)監(jiān)管合規(guī)集市，提高了監(jiān)管報(bào)送數(shù)據(jù)質(zhì)量和效率。結(jié)束語開行數(shù)據(jù)倉庫建設(shè)是新一代數(shù)據(jù)倉庫建設(shè)的一次有益嘗試，取得了較大成效，但仍有很多問題需要解決。下一步，我們將基于該模式，進(jìn)一步加強(qiáng)數(shù)據(jù)倉庫建設(shè)，從以下幾方面著手開展后續(xù)工作。加強(qiáng)運(yùn)維管理和應(yīng)用支持工作。持續(xù)完善并嚴(yán)格實(shí)施運(yùn)維管理規(guī)范，明確科技部門作為數(shù)據(jù)倉庫的管理部門，牽頭負(fù)責(zé)規(guī)劃、建設(shè)與運(yùn)營管理，確保數(shù)據(jù)倉庫正常使用和穩(wěn)定運(yùn)行，提高數(shù)據(jù)倉庫數(shù)據(jù)質(zhì)量和應(yīng)用價(jià)值。加快數(shù)據(jù)倉庫應(yīng)用建設(shè)。重點(diǎn)完成財(cái)務(wù)績效與資產(chǎn)負(fù)債主題建設(shè)，優(yōu)化完善監(jiān)管合規(guī)、風(fēng)險(xiǎn)數(shù)據(jù)集市，通過數(shù)據(jù)整合促進(jìn)應(yīng)用整合，持續(xù)支持與提升財(cái)務(wù)績效類、監(jiān)管合規(guī)類、風(fēng)險(xiǎn)管理類、資產(chǎn)負(fù)債類系統(tǒng)群的應(yīng)用水平，滿足監(jiān)管部門及內(nèi)部精細(xì)化管理的業(yè)務(wù)要求。開展數(shù)據(jù)挖掘高端應(yīng)用工作。基于數(shù)據(jù)倉庫的內(nèi)外部數(shù)據(jù)，利用先進(jìn)的數(shù)據(jù)挖掘工具，構(gòu)建全行數(shù)據(jù)挖掘平臺(tái)，實(shí)現(xiàn)開行集團(tuán)架構(gòu)下的跨主題挖掘和高端應(yīng)用，支持前沿業(yè)務(wù)分析和高層領(lǐng)導(dǎo)決策，打造一支技術(shù)與業(yè)務(wù)兼?zhèn)涞臄?shù)據(jù)挖掘團(tuán)隊(duì)，充分挖掘數(shù)據(jù)資產(chǎn)價(jià)值，提升開行核心競爭力。