大數(shù)據(jù)技術(shù)架構(gòu)解決方案2

大數(shù)據(jù)分析技術(shù)架構(gòu)解決方案,大數(shù)據(jù)分析平臺(tái),產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,技術(shù)基礎(chǔ)研究方向,研究方向,關(guān)鍵任務(wù),制高點(diǎn),大數(shù)據(jù),可視化挖掘,1,）新型內(nèi)存迭代數(shù)據(jù)挖掘算法,2）數(shù)據(jù)挖掘可視化開(kāi)發(fā)平臺(tái),3）房地產(chǎn)、金融、電信等機(jī)器學(xué)習(xí)模型研究,1）基于內(nèi)存計(jì)算的機(jī)器學(xué)習(xí)算法,2）行業(yè)大數(shù)據(jù)深度機(jī)器學(xué)習(xí)模型,3）大數(shù)據(jù)可視化挖掘,大數(shù)據(jù),內(nèi)存計(jì)算,1,）基于內(nèi)存的迭代算法研究,2）內(nèi)存大數(shù)據(jù)高速統(tǒng)計(jì)分析技術(shù),1）基于大數(shù)據(jù)內(nèi)存的計(jì)算技術(shù),2）國(guó)內(nèi)產(chǎn)品領(lǐng)先,大數(shù)據(jù)語(yǔ),義分析,1,）大數(shù)據(jù)自然語(yǔ)言識(shí)別,2,）非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)發(fā)現(xiàn)、集成技術(shù),大數(shù)據(jù)平臺(tái)的可視化集成目前是空白領(lǐng)域,大數(shù)據(jù),云計(jì)算技術(shù),1,）大數(shù)據(jù)云計(jì)算平臺(tái)技術(shù),2,）商業(yè)智能云平臺(tái)技術(shù),1）云BI技術(shù)及大數(shù)據(jù)平臺(tái)的核心技術(shù)研究,2）大數(shù)據(jù)云BI在國(guó)內(nèi)應(yīng)用是未來(lái)趨勢(shì)，有望建成國(guó)內(nèi)第一家云BI平臺(tái),-,技術(shù)基礎(chǔ)研究方向,開(kāi)創(chuàng)了基于人類視覺(jué)智能的動(dòng)態(tài)目標(biāo)捕捉、跟蹤和行為分析的研究，在國(guó)內(nèi)外雜志、會(huì)議發(fā)表了多篇高水平論文,。,獲得視頻識(shí)別，知識(shí)學(xué)習(xí)與推理相關(guān)發(fā)明專利,2,項(xiàng)，申請(qǐng)發(fā)明專利,7,項(xiàng)。,大數(shù)據(jù)環(huán)境下的無(wú)重疊視域跟蹤,大數(shù)據(jù),技術(shù),，解決視頻領(lǐng)域的知識(shí)識(shí)別，知識(shí)發(fā)現(xiàn)，知識(shí)集成與跟蹤，推理等關(guān)鍵技術(shù)問(wèn)題。,多項(xiàng)國(guó)家自然科學(xué)基金,大數(shù)據(jù)技術(shù)來(lái)實(shí)現(xiàn)國(guó)家經(jīng)濟(jì)免疫系統(tǒng),數(shù)據(jù),接口,大數(shù)據(jù)知識(shí)推理系統(tǒng),疑點(diǎn)數(shù)據(jù),審計(jì)數(shù)據(jù)中心,審計(jì)跨,12,個(gè)行業(yè)，跨地區(qū)數(shù)據(jù)源,傳統(tǒng)審計(jì),大數(shù)據(jù)審計(jì),無(wú)法跨地區(qū)、跨行業(yè)審計(jì),跨行業(yè)、跨區(qū)域?qū)徲?jì),事后審計(jì)、周期性審計(jì),連續(xù)審計(jì),復(fù)雜性隱蔽問(wèn)題難以發(fā)現(xiàn),智能化，具有預(yù)測(cè)功能,依據(jù)小樣本經(jīng)驗(yàn)地毯式排查,大數(shù)據(jù)分析，建立抵御和預(yù)防手段,審計(jì)行業(yè)大數(shù)據(jù)知識(shí)推理系統(tǒng),房地產(chǎn)大數(shù)據(jù),利用大數(shù)據(jù)建模技術(shù)，實(shí)現(xiàn)房地產(chǎn)價(jià)格指數(shù)、房地產(chǎn)評(píng)估模型,碳交易,利用大數(shù)據(jù)建模技術(shù)，,建立全省碳排放計(jì)量監(jiān)測(cè)體系的數(shù)據(jù)體系、技術(shù)體系、模型體系和評(píng)估體系，形成滿足碳排放計(jì)量關(guān)系方程和參數(shù),目錄,聯(lián)合實(shí)驗(yàn)室,大數(shù)據(jù)分析平臺(tái),產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,數(shù)據(jù)挖掘越來(lái)越多的應(yīng)用到了各個(gè)領(lǐng)域中，主要包括與客戶關(guān)系管理相關(guān)的模型、與風(fēng)險(xiǎn)控制相關(guān)的模型、與生產(chǎn)銷售預(yù)測(cè)相關(guān)的模型等,數(shù)據(jù)挖掘應(yīng)用領(lǐng)域,產(chǎn)品名,產(chǎn)品,ETHINK,可視化挖掘,概要,通過(guò)在瀏覽器內(nèi)，鼠標(biāo)拖拽形式實(shí)現(xiàn)加載數(shù)據(jù)、轉(zhuǎn)換、建模、評(píng)估、圖形以及結(jié)果輸出,特點(diǎn),通過(guò)視覺(jué)工作方式輕松獲得此界面可以保障操作的靈活性,在最短的時(shí)間內(nèi)形成最多樣的模型大數(shù)據(jù)挖掘，速度快,關(guān)系型數(shù)據(jù)庫(kù),數(shù)據(jù)挖掘模型算法庫(kù),/,語(yǔ)義分析,Hbase,/Hive/Hdfs,可視化數(shù)據(jù),挖掘平臺(tái),多維自助分析,調(diào),度,管,理,SQL,接口,JDBC/ODBC,內(nèi)存計(jì)算服務(wù),Scala /Java/Python,OLAP Server,手機(jī),平板,電腦,批處理,實(shí)時(shí)流處理,交互式查詢,統(tǒng)計(jì)分析平臺(tái),ETHINK,產(chǎn)品架構(gòu),特點(diǎn)一,豐富建模,方,方法,特點(diǎn),可拖拽式,建,建模,JDBC,WebServices,Restfulapi,可擴(kuò)展性,強(qiáng),強(qiáng),自定義模,型,型，擴(kuò)充,組,組件,特點(diǎn),傳統(tǒng)的關(guān),系,系型數(shù)據(jù),(mysql,、,Oracle,等,),列式數(shù)據(jù),庫(kù),庫(kù),(Hbase),非結(jié)構(gòu)化,數(shù),數(shù)據(jù),(Hdfs,、文件系,統(tǒng),統(tǒng),),大數(shù)據(jù)（,Hbase,、,Hive,）,特點(diǎn)二,大數(shù)據(jù)處,理,理,特點(diǎn),開(kāi)放型平,臺(tái),臺(tái),BS,結(jié)構(gòu)，一,站,站式建模,、,、評(píng)估、,部,部署,基于,Spark,平臺(tái),內(nèi)存計(jì)算,運(yùn)算速度,快,快,特點(diǎn),GB,PB,特點(diǎn)三,大數(shù)據(jù)處,理,理能力,特點(diǎn),基于,Spark,平臺(tái),內(nèi)存計(jì)算,執(zhí)行數(shù)據(jù),挖,挖掘時(shí)，,方,方法論非,常,常重要,.,因?yàn)闇?zhǔn)確,的,的方法論,能,能夠提高,作,作業(yè)速度,能系統(tǒng)地,減,減少各種,進(jìn),進(jìn)展?fàn)顩r,，,，所以選,擇,擇正確的,方,方法論是,很,很重要的,. CRISP-DM,方法論是,全,全球認(rèn)可,的,的數(shù)據(jù)挖,掘,掘的標(biāo)準(zhǔn),執(zhí),執(zhí)行方法,論,論,.,功能模塊,金融電信行業(yè),1.信用卡用戶流失預(yù)測(cè),2.基于客戶分群的精準(zhǔn)智能營(yíng)銷,3.基于公司價(jià)值評(píng)價(jià)的證券策略投資,電力行業(yè),1.電力負(fù)荷預(yù)測(cè),2.自適應(yīng)防竊漏電實(shí)時(shí)診斷,互聯(lián)網(wǎng)行業(yè),1.電子商務(wù)網(wǎng)站用戶行為分析,2.基于用戶行為分析的定向廣告投放,3.企業(yè)信息系統(tǒng)用戶服務(wù)感知評(píng)估,制造業(yè)行業(yè),1.制造設(shè)備生命周祺管理,2.制造業(yè)投入產(chǎn)出預(yù)測(cè),公共服務(wù)業(yè),1.空氣質(zhì)量預(yù)測(cè),2.卷煙消費(fèi)者購(gòu)買行為分析,3.納稅人偷稅漏稅評(píng)估,場(chǎng)景應(yīng)用,（,（實(shí)驗(yàn)室,模,模擬實(shí)驗(yàn),課,課題）,目錄,聯(lián)合實(shí)驗(yàn)室,大數(shù)據(jù)分析平臺(tái),產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,交互式查詢,實(shí)時(shí),在線處理,實(shí)時(shí),流處理,批處理,基于,spark,內(nèi)存的計(jì),算,算模型，,同,同時(shí)支持,批,批處理、,交,交互式處,理,理、流處,理,理。,技術(shù)架構(gòu),解,解決方案,-,要解決的,問(wèn),問(wèn)題,技術(shù)架構(gòu),解,解決方案,-,分布式內(nèi),存,存計(jì)算,批處理應(yīng),用,用,（分鐘級(jí),別,別,小時(shí)級(jí)別,）,）,OLTP/,在線事務(wù),處,處理應(yīng)用,（毫秒,秒級(jí)別）,OLAP/,在線交互,式,式分析應(yīng),用,用,（秒級(jí)別,）,）,實(shí)時(shí)流處,理,理,（持續(xù)不,斷,斷）,技術(shù)架構(gòu),解,解決方案,-,交互式查,詢,詢,通常的時(shí),間,間跨度在,數(shù),數(shù)十秒到,數(shù),數(shù)分鐘之,間,間,按數(shù)據(jù)維,度,度進(jìn)行統(tǒng),計(jì),計(jì)、聚合,根據(jù)歷史,數(shù),數(shù)據(jù)進(jìn)行,擬,擬合和預(yù),測(cè),測(cè),計(jì)算數(shù)據(jù),之,之間的相,關(guān),關(guān)性和模,式,式等,適合提供,高,高速在線,分,分析服,典型應(yīng)用,場(chǎng),場(chǎng)景,政府各部,門,門數(shù)據(jù),證券交易,銀行保險(xiǎn),企業(yè),ERP/CRM,等,適用于數(shù),據(jù),據(jù)量在,GB,到,TB,的高速數(shù),據(jù),據(jù)分析,技術(shù)架構(gòu),解,解決方案,-,實(shí)時(shí)在線,處,處理,通常的時(shí),間,間跨度在,數(shù),數(shù)百毫秒,到,到數(shù)秒之,間,間,數(shù)據(jù)來(lái)源,多,多、高并,發(fā),發(fā)、數(shù)據(jù),處,處理量達(dá),分析結(jié)果,快,快速響應(yīng),典型應(yīng)用,場(chǎng),場(chǎng)景,社交網(wǎng)絡(luò),分,分析、關(guān),聯(lián),聯(lián)關(guān)系分,析,析,用戶分類,、,、用戶行,為,為預(yù)測(cè),高并發(fā)查,詢,詢,按主鍵毫,秒,秒級(jí)檢索,按多維度,秒,秒級(jí)檢索,按照關(guān)鍵,字,字秒級(jí)檢,索,索,事件驅(qū)動(dòng),計(jì),計(jì)算模型,，,，系統(tǒng)處,于,于持續(xù)不,斷,斷計(jì)算之,中,中，事件,響,響應(yīng)延遲,在,在毫秒,秒級(jí)。,流式計(jì)算,系,系統(tǒng)處理,應(yīng),應(yīng)用的處,理,理邏輯是,由,由源源不,斷,斷的數(shù)據(jù),流,流驅(qū)動(dòng)。,典型應(yīng)用,場(chǎng),場(chǎng)景,有金融在,線,線欺詐預(yù),警,警,廣告,CTR,推薦系統(tǒng),技術(shù)架構(gòu),解,解決方案,-,實(shí)時(shí)流處,理,理,技術(shù)架構(gòu),解,解決方案,-,批處理及,離,離線挖掘,時(shí)間跨度,在,在數(shù)十分,鐘,鐘到數(shù)小,時(shí),時(shí)之間。,離線挖掘,主,主要用于,，,，多維統(tǒng),計(jì),計(jì)預(yù)測(cè)，,準(zhǔn),準(zhǔn)實(shí)時(shí)分,析,析以及對(duì),客,客戶進(jìn)行,聚,聚類、分,類,類等數(shù)據(jù),挖,挖掘應(yīng)用,。,。,典型應(yīng)用,場(chǎng),場(chǎng)景,電子商務(wù),推,推薦引擎,流失客戶,預(yù),預(yù)測(cè)挽留,日志清洗,、,、,ETL,用戶行為,分,分析,目錄,聯(lián)合實(shí)驗(yàn)室,大數(shù)據(jù)分析平臺(tái),產(chǎn)品技術(shù)架構(gòu),典型行業(yè)應(yīng)用案例,項(xiàng)目需求,將總行下,發(fā),發(fā)的數(shù)據(jù),及,及核心業(yè),務(wù),務(wù)數(shù)據(jù)，,經(jīng),經(jīng)過(guò)數(shù)據(jù),整,整理、加,載,載到省級(jí),數(shù),數(shù)據(jù)中心,，,，并進(jìn)行,各,各項(xiàng)業(yè)務(wù),快,快速應(yīng)用,開(kāi),開(kāi)發(fā),數(shù)據(jù)源,某省公積,金,金中心，,近,近五年的,操,操作、交,易,易記錄，,共,共,10,億條左右,。,。,系統(tǒng)環(huán)境,4,臺(tái),X86,架構(gòu)的,PC,服務(wù)器，,共,共,128G,內(nèi)存,單臺(tái)服務(wù),器,器，,8,核,CPU,32G,內(nèi)存,解決方案,Hbase,導(dǎo)入海量,數(shù),數(shù)據(jù)，并,支,支撐大數(shù),據(jù),據(jù)查詢,可視化設(shè),計(jì),計(jì)、可視,化,化報(bào)表實(shí),現(xiàn),現(xiàn)了數(shù)據(jù),的,的實(shí)時(shí)分,析,析,行業(yè)應(yīng)用,案,案例,-,金融,行業(yè)應(yīng)用,案,案例,-,金融,系統(tǒng)由對(duì),公,公客戶綜,合,合積分子,系,系統(tǒng)、展,業(yè),業(yè)通客戶,綜,綜合收益,分,分析子系,統(tǒng),統(tǒng)、授信,客,客戶資金,結(jié),結(jié)算子系,統(tǒng),統(tǒng)、對(duì)公,柜,柜面交易,流,流水分析,子,子系統(tǒng)等,組,組成,行業(yè)應(yīng)用,案,案例,-,金融,項(xiàng)目需求,整合第三,方,方支付數(shù),據(jù),據(jù)資源，,分,分析挖掘,客,客戶交易,、,、反饋信,息,息、交易,行,行等數(shù)據(jù),，,，實(shí)現(xiàn)精,準(zhǔn),準(zhǔn)營(yíng)銷，,最,最大限度,地,地提升產(chǎn),品,品價(jià)值,數(shù)據(jù)源,某第三方,支,支付平臺(tái),交,交易、反,饋,饋數(shù)據(jù)，,月,月交易記,錄,錄量,1,億條。,系統(tǒng)環(huán)境,臺(tái),X86,架構(gòu)的,PC,服務(wù)器，,共,共,96G,內(nèi)存,單臺(tái)服務(wù),器,器，,8,核,CPU,16G,內(nèi)存,解決方案,Hbase,導(dǎo)入海量,數(shù),數(shù)據(jù)，并,支,支撐大數(shù),據(jù),據(jù)查詢,Hive,對(duì)歷史交,易,易數(shù)據(jù)進(jìn),行,行分析,可視化設(shè),計(jì),計(jì)、可視,化,化報(bào)表實(shí),現(xiàn),現(xiàn)數(shù)據(jù)的,實(shí),實(shí)時(shí)分析,基于,ETHINK,可視化挖,掘,掘平臺(tái)，,完,完成精準(zhǔn),營(yíng),營(yíng)銷建模,持卡客戶,多,多維分析,：,：,持卡客戶,人,人口統(tǒng)計(jì),特,特征分析,持卡客戶,交,交易行為,模,模式分析,持卡客戶,應(yīng),應(yīng)用場(chǎng)景,分,分析,特約商戶,多,多維分析,：,：,商戶基本,信,信息分析,/,商戶業(yè)務(wù),收,收益分析,商戶價(jià)值,貢,貢獻(xiàn)度評(píng),估,估商戶,收,收單風(fēng)險(xiǎn),分,分析,持卡客戶,和,和特約商,戶,戶雙向分,析,析,特定特征,客,客戶特定,時(shí),時(shí)間消費(fèi),商,商戶分布,分,分析,特定時(shí)間,在,在特定商,戶,戶消費(fèi)的,客,客戶特征,分,分析,行業(yè)應(yīng)用,案,案例,-,金融,項(xiàng)目需求,煙草工業(yè),企,企業(yè)目前,積,積累了大,量,量的數(shù)據(jù),信,信息，管,理,理方式由,粗,粗放式管,理,理轉(zhuǎn)為精,細(xì),細(xì)化管理,，,，產(chǎn)生了,利,利用大數(shù),據(jù),據(jù)技術(shù)收,集,集、管理,和,和展示分,析,析結(jié)構(gòu)化,和,和非結(jié)構(gòu),化,化的數(shù)據(jù),和,和信息的,訴,訴求，于,是,是如何利,用,用這些數(shù),據(jù),據(jù)創(chuàng)造更,大,大的價(jià)值,、,、為領(lǐng)導(dǎo),決,決策和企,業(yè),業(yè)精益管,理,理提供有,力,力支撐成,為,為重要的,課,課題,。,數(shù)據(jù)存儲(chǔ),近,1,年數(shù)據(jù)，,每,每秒鐘,10000,個(gè)數(shù)據(jù)采,集,集點(diǎn),系統(tǒng)環(huán)境,硬件環(huán)境,：,： 數(shù),據(jù),據(jù)庫(kù)服務(wù),器,器,1,臺(tái),+4,臺(tái)分布式,pc server,單臺(tái),4,核，,16G,內(nèi)存,解決方案,流處理模,塊,塊處理設(shè),備,備實(shí)時(shí)數(shù),據(jù),據(jù)流,事件預(yù)警,開(kāi),開(kāi)發(fā)平臺(tái),，,，實(shí)現(xiàn)問(wèn),題,題預(yù)警,基于,ETHINK,數(shù)據(jù)挖掘,建,建模分析,平,平臺(tái),實(shí)現(xiàn)疑點(diǎn),挖,挖掘建模,可視化報(bào),表,表設(shè)計(jì)，,完,完成大數(shù),據(jù),據(jù)精益管,理,理,行業(yè)應(yīng)用,案,案例,-,煙草,設(shè)備健康,指,指數(shù)模型,：,：利用數(shù)據(jù),聚,聚類分析,、,、特征分,析,析、變化,和,和偏差分,析,析等數(shù)據(jù),挖,挖掘方法,分,分析工廠,生,生產(chǎn)、質(zhì),量,量、設(shè)備,健,健康狀況,，,，實(shí)現(xiàn)指,標(biāo),標(biāo)關(guān)聯(lián)分,析,析及問(wèn)題,挖,挖掘目的,。,。,行業(yè)應(yīng)用,案,案例,-,煙草,演講完畢,，,，謝謝觀,看,看！,