大數(shù)據(jù)技術(shù)架構(gòu)解決方案2

《大數(shù)據(jù)技術(shù)架構(gòu)解決方案2》由會員分享，可在線閱讀，更多相關(guān)《大數(shù)據(jù)技術(shù)架構(gòu)解決方案2（29頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案,大數(shù)據(jù)分析平臺,產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,技術(shù)基礎(chǔ)研究方向,研究方向,關(guān)鍵任務(wù),制高點,大數(shù)據(jù),可視化挖掘,1,）新型內(nèi)存迭代數(shù)據(jù)挖掘算法,2）數(shù)據(jù)挖掘可視化開發(fā)平臺,3）房地產(chǎn)、金融、電信等機器學(xué)習(xí)模型研究,1）基于內(nèi)存計算的機器學(xué)習(xí)算法,2）行業(yè)大數(shù)據(jù)深度機器學(xué)習(xí)模型,3）大數(shù)據(jù)可視化挖掘,大數(shù)據(jù),內(nèi)存計算,1,）基于內(nèi)存的迭代算法研究,2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計分析技術(shù),1）基于大數(shù)據(jù)內(nèi)存的計算技術(shù),2）國內(nèi)產(chǎn)品領(lǐng)先,大數(shù)據(jù)語,義分析,1,）大數(shù)據(jù)自然語言識別,2,）非結(jié)構(gòu)化數(shù)據(jù)的知識發(fā)現(xiàn)、集成技術(shù),大數(shù)據(jù)平臺的可視化集成目前是空白領(lǐng)域,大數(shù)據(jù),云計算技術(shù),

2、1,）大數(shù)據(jù)云計算平臺技術(shù),2,）商業(yè)智能云平臺技術(shù),1）云BI技術(shù)及大數(shù)據(jù)平臺的核心技術(shù)研究,2）大數(shù)據(jù)云BI在國內(nèi)應(yīng)用是未來趨勢，有望建成國內(nèi)第一家云BI平臺,-,技術(shù)基礎(chǔ)研究方向,開創(chuàng)了基于人類視覺智能的動態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國內(nèi)外雜志、會議發(fā)表了多篇高水平論文,。,獲得視頻識別，知識學(xué)習(xí)與推理相關(guān)發(fā)明專利,2,項，申請發(fā)明專利,7,項。,大數(shù)據(jù)環(huán)境下的無重疊視域跟蹤,大數(shù)據(jù),技術(shù),，解決視頻領(lǐng)域的知識識別，知識發(fā)現(xiàn)，知識集成與跟蹤，推理等關(guān)鍵技術(shù)問題。,多項國家自然科學(xué)基金,大數(shù)據(jù)技術(shù)來實現(xiàn)國家經(jīng)濟(jì)免疫系統(tǒng),數(shù)據(jù),接口,大數(shù)據(jù)知識推理系統(tǒng),疑點數(shù)據(jù),審計數(shù)據(jù)中心,審計跨

3、,12,個行業(yè)，跨地區(qū)數(shù)據(jù)源,傳統(tǒng)審計,大數(shù)據(jù)審計,無法跨地區(qū)、跨行業(yè)審計,跨行業(yè)、跨區(qū)域?qū)徲?事后審計、周期性審計,連續(xù)審計,復(fù)雜性隱蔽問題難以發(fā)現(xiàn),智能化，具有預(yù)測功能,依據(jù)小樣本經(jīng)驗地毯式排查,大數(shù)據(jù)分析，建立抵御和預(yù)防手段,審計行業(yè)大數(shù)據(jù)知識推理系統(tǒng),房地產(chǎn)大數(shù)據(jù),利用大數(shù)據(jù)建模技術(shù)，實現(xiàn)房地產(chǎn)價格指數(shù)、房地產(chǎn)評估模型,碳交易,利用大數(shù)據(jù)建模技術(shù)，,建立全省碳排放計量監(jiān)測體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評估體系，形成滿足碳排放計量關(guān)系方程和參數(shù),目錄,聯(lián)合實驗室,大數(shù)據(jù)分析平臺,產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,數(shù)據(jù)挖掘越來越多的應(yīng)用到了各個領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、

4、與風(fēng)險控制相關(guān)的模型、與生產(chǎn)銷售預(yù)測相關(guān)的模型等,數(shù)據(jù)挖掘應(yīng)用領(lǐng)域,產(chǎn)品名,產(chǎn)品,ETHINK,可視化挖掘,概要,通過在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評估、圖形以及結(jié)果輸出,特點,通過視覺工作方式輕松獲得此界面可以保障操作的靈活性,在最短的時間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快,關(guān)系型數(shù)據(jù)庫,數(shù)據(jù)挖掘模型算法庫,/,語義分析,Hbase,/Hive/Hdfs,可視化數(shù)據(jù),挖掘平臺,多維自助分析,調(diào),度,管,理,SQL,接口,JDBC/ODBC,內(nèi)存計算服務(wù),Scala /Java/Python,OLAP Server,手機,平板,電腦,批處理,實時流處理,交互式查詢,統(tǒng)計分

5、析平臺,ETHINK,產(chǎn)品架構(gòu),特點一,豐富建模,方,方法,特點,可拖拽式,建,建模,JDBC,WebServices,Restfulapi,可擴(kuò)展性,強,強,自定義模,型,型，擴(kuò)充,組,組件,特點,傳統(tǒng)的關(guān),系,系型數(shù)據(jù),(mysql,、,Oracle,等,),列式數(shù)據(jù),庫,庫,(Hbase),非結(jié)構(gòu)化,數(shù),數(shù)據(jù),(Hdfs,、文件系,統(tǒng),統(tǒng),),大數(shù)據(jù)（,Hbase,、,Hive,）,特點二,大數(shù)據(jù)處,理,理,特點,開放型平,臺,臺,BS,結(jié)構(gòu)，一,站,站式建模,、,、評估、,部,部署,基于,Spark,平臺,內(nèi)存計算,運算速度,快,快,特點,GB,PB,特點三,大數(shù)據(jù)處,理,理能力,特點

6、,基于,Spark,平臺,內(nèi)存計算,執(zhí)行數(shù)據(jù),挖,挖掘時，,方,方法論非,常,常重要,.,因為準(zhǔn)確,的,的方法論,能,能夠提高,作,作業(yè)速度,能系統(tǒng)地,減,減少各種,進(jìn),進(jìn)展?fàn)顩r,，,，所以選,擇,擇正確的,方,方法論是,很,很重要的,. CRISP-DM,方法論是,全,全球認(rèn)可,的,的數(shù)據(jù)挖,掘,掘的標(biāo)準(zhǔn),執(zhí),執(zhí)行方法,論,論,.,功能模塊,金融電信行業(yè),1.信用卡用戶流失預(yù)測,2.基于客戶分群的精準(zhǔn)智能營銷,3.基于公司價值評價的證券策略投資,電力行業(yè),1.電力負(fù)荷預(yù)測,2.自適應(yīng)防竊漏電實時診斷,互聯(lián)網(wǎng)行業(yè),1.電子商務(wù)網(wǎng)站用戶行為分析,2.基于用戶行為分析的定向廣告投放,3.企業(yè)信息系

7、統(tǒng)用戶服務(wù)感知評估,制造業(yè)行業(yè),1.制造設(shè)備生命周祺管理,2.制造業(yè)投入產(chǎn)出預(yù)測,公共服務(wù)業(yè),1.空氣質(zhì)量預(yù)測,2.卷煙消費者購買行為分析,3.納稅人偷稅漏稅評估,場景應(yīng)用,（,（實驗室,模,模擬實驗,課,課題）,目錄,聯(lián)合實驗室,大數(shù)據(jù)分析平臺,產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,交互式查詢,實時,在線處理,實時,流處理,批處理,基于,spark,內(nèi)存的計,算,算模型，,同,同時支持,批,批處理、,交,交互式處,理,理、流處,理,理。,技術(shù)架構(gòu),解,解決方案,-,要解決的,問,問題,技術(shù)架構(gòu),解,解決方案,-,分布式內(nèi),存,存計算,批處理應(yīng),用,用,（分鐘級,別,別,小時級別,）,）,OLTP/

8、,在線事務(wù),處,處理應(yīng)用,（毫秒,秒級別）,OLAP/,在線交互,式,式分析應(yīng),用,用,（秒級別,）,）,實時流處,理,理,（持續(xù)不,斷,斷）,技術(shù)架構(gòu),解,解決方案,-,交互式查,詢,詢,通常的時,間,間跨度在,數(shù),數(shù)十秒到,數(shù),數(shù)分鐘之,間,間,按數(shù)據(jù)維,度,度進(jìn)行統(tǒng),計,計、聚合,根據(jù)歷史,數(shù),數(shù)據(jù)進(jìn)行,擬,擬合和預(yù),測,測,計算數(shù)據(jù),之,之間的相,關(guān),關(guān)性和模,式,式等,適合提供,高,高速在線,分,分析服,典型應(yīng)用,場,場景,政府各部,門,門數(shù)據(jù),證券交易,銀行保險,企業(yè),ERP/CRM,等,適用于數(shù),據(jù),據(jù)量在,GB,到,TB,的高速數(shù),據(jù),據(jù)分析,技術(shù)架構(gòu),解,解決方案,-,實時在

9、線,處,處理,通常的時,間,間跨度在,數(shù),數(shù)百毫秒,到,到數(shù)秒之,間,間,數(shù)據(jù)來源,多,多、高并,發(fā),發(fā)、數(shù)據(jù),處,處理量達(dá),分析結(jié)果,快,快速響應(yīng),典型應(yīng)用,場,場景,社交網(wǎng)絡(luò),分,分析、關(guān),聯(lián),聯(lián)關(guān)系分,析,析,用戶分類,、,、用戶行,為,為預(yù)測,高并發(fā)查,詢,詢,按主鍵毫,秒,秒級檢索,按多維度,秒,秒級檢索,按照關(guān)鍵,字,字秒級檢,索,索,事件驅(qū)動,計,計算模型,，,，系統(tǒng)處,于,于持續(xù)不,斷,斷計算之,中,中，事件,響,響應(yīng)延遲,在,在毫秒,秒級。,流式計算,系,系統(tǒng)處理,應(yīng),應(yīng)用的處,理,理邏輯是,由,由源源不,斷,斷的數(shù)據(jù),流,流驅(qū)動。,典型應(yīng)用,場,場景,有金融在,線,線欺詐預(yù)

10、,警,警,廣告,CTR,推薦系統(tǒng),技術(shù)架構(gòu),解,解決方案,-,實時流處,理,理,技術(shù)架構(gòu),解,解決方案,-,批處理及,離,離線挖掘,時間跨度,在,在數(shù)十分,鐘,鐘到數(shù)小,時,時之間。,離線挖掘,主,主要用于,，,，多維統(tǒng),計,計預(yù)測，,準(zhǔn),準(zhǔn)實時分,析,析以及對,客,客戶進(jìn)行,聚,聚類、分,類,類等數(shù)據(jù),挖,挖掘應(yīng)用,。,。,典型應(yīng)用,場,場景,電子商務(wù),推,推薦引擎,流失客戶,預(yù),預(yù)測挽留,日志清洗,、,、,ETL,用戶行為,分,分析,目錄,聯(lián)合實驗室,大數(shù)據(jù)分析平臺,產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,項目需求,將總行下,發(fā),發(fā)的數(shù)據(jù),及,及核心業(yè),務(wù),務(wù)數(shù)據(jù)，,經(jīng),經(jīng)過數(shù)據(jù),整,整理、加,載

11、,載到省級,數(shù),數(shù)據(jù)中心,，,，并進(jìn)行,各,各項業(yè)務(wù),快,快速應(yīng)用,開,開發(fā),數(shù)據(jù)源,某省公積,金,金中心，,近,近五年的,操,操作、交,易,易記錄，,共,共,10,億條左右,。,。,系統(tǒng)環(huán)境,4,臺,X86,架構(gòu)的,PC,服務(wù)器，,共,共,128G,內(nèi)存,單臺服務(wù),器,器，,8,核,CPU,32G,內(nèi)存,解決方案,Hbase,導(dǎo)入海量,數(shù),數(shù)據(jù)，并,支,支撐大數(shù),據(jù),據(jù)查詢,可視化設(shè),計,計、可視,化,化報表實,現(xiàn),現(xiàn)了數(shù)據(jù),的,的實時分,析,析,行業(yè)應(yīng)用,案,案例,-,金融,行業(yè)應(yīng)用,案,案例,-,金融,系統(tǒng)由對,公,公客戶綜,合,合積分子,系,系統(tǒng)、展,業(yè),業(yè)通客戶,綜,綜合收益,分,分

12、析子系,統(tǒng),統(tǒng)、授信,客,客戶資金,結(jié),結(jié)算子系,統(tǒng),統(tǒng)、對公,柜,柜面交易,流,流水分析,子,子系統(tǒng)等,組,組成,行業(yè)應(yīng)用,案,案例,-,金融,項目需求,整合第三,方,方支付數(shù),據(jù),據(jù)資源，,分,分析挖掘,客,客戶交易,、,、反饋信,息,息、交易,行,行等數(shù)據(jù),，,，實現(xiàn)精,準(zhǔn),準(zhǔn)營銷，,最,最大限度,地,地提升產(chǎn),品,品價值,數(shù)據(jù)源,某第三方,支,支付平臺,交,交易、反,饋,饋數(shù)據(jù)，,月,月交易記,錄,錄量,1,億條。,系統(tǒng)環(huán)境,臺,X86,架構(gòu)的,PC,服務(wù)器，,共,共,96G,內(nèi)存,單臺服務(wù),器,器，,8,核,CPU,16G,內(nèi)存,解決方案,Hbase,導(dǎo)入海量,數(shù),數(shù)據(jù)，并,支,支撐

13、大數(shù),據(jù),據(jù)查詢,Hive,對歷史交,易,易數(shù)據(jù)進(jìn),行,行分析,可視化設(shè),計,計、可視,化,化報表實,現(xiàn),現(xiàn)數(shù)據(jù)的,實,實時分析,基于,ETHINK,可視化挖,掘,掘平臺，,完,完成精準(zhǔn),營,營銷建模,持卡客戶,多,多維分析,：,：,持卡客戶,人,人口統(tǒng)計,特,特征分析,持卡客戶,交,交易行為,模,模式分析,持卡客戶,應(yīng),應(yīng)用場景,分,分析,特約商戶,多,多維分析,：,：,商戶基本,信,信息分析,/,商戶業(yè)務(wù),收,收益分析,商戶價值,貢,貢獻(xiàn)度評,估,估商戶,收,收單風(fēng)險,分,分析,持卡客戶,和,和特約商,戶,戶雙向分,析,析,特定特征,客,客戶特定,時,時間消費,商,商戶分布,分,分析,特定

14、時間,在,在特定商,戶,戶消費的,客,客戶特征,分,分析,行業(yè)應(yīng)用,案,案例,-,金融,項目需求,煙草工業(yè),企,企業(yè)目前,積,積累了大,量,量的數(shù)據(jù),信,信息，管,理,理方式由,粗,粗放式管,理,理轉(zhuǎn)為精,細(xì),細(xì)化管理,，,，產(chǎn)生了,利,利用大數(shù),據(jù),據(jù)技術(shù)收,集,集、管理,和,和展示分,析,析結(jié)構(gòu)化,和,和非結(jié)構(gòu),化,化的數(shù)據(jù),和,和信息的,訴,訴求，于,是,是如何利,用,用這些數(shù),據(jù),據(jù)創(chuàng)造更,大,大的價值,、,、為領(lǐng)導(dǎo),決,決策和企,業(yè),業(yè)精益管,理,理提供有,力,力支撐成,為,為重要的,課,課題,。,數(shù)據(jù)存儲,近,1,年數(shù)據(jù)，,每,每秒鐘,10000,個數(shù)據(jù)采,集,集點,系統(tǒng)環(huán)境,硬件

15、環(huán)境,：,： 數(shù),據(jù),據(jù)庫服務(wù),器,器,1,臺,+4,臺分布式,pc server,單臺,4,核，,16G,內(nèi)存,解決方案,流處理模,塊,塊處理設(shè),備,備實時數(shù),據(jù),據(jù)流,事件預(yù)警,開,開發(fā)平臺,，,，實現(xiàn)問,題,題預(yù)警,基于,ETHINK,數(shù)據(jù)挖掘,建,建模分析,平,平臺,實現(xiàn)疑點,挖,挖掘建模,可視化報,表,表設(shè)計，,完,完成大數(shù),據(jù),據(jù)精益管,理,理,行業(yè)應(yīng)用,案,案例,-,煙草,設(shè)備健康,指,指數(shù)模型,：,：利用數(shù)據(jù),聚,聚類分析,、,、特征分,析,析、變化,和,和偏差分,析,析等數(shù)據(jù),挖,挖掘方法,分,分析工廠,生,生產(chǎn)、質(zhì),量,量、設(shè)備,健,健康狀況,，,，實現(xiàn)指,標(biāo),標(biāo)關(guān)聯(lián)分,析,析及問題,挖,挖掘目的,。,。,行業(yè)應(yīng)用,案,案例,-,煙草,演講完畢,，,，謝謝觀,看,看！,