拍拍后臺(tái)架構(gòu)介紹.ppt

《拍拍后臺(tái)架構(gòu)介紹.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《拍拍后臺(tái)架構(gòu)介紹.ppt（30頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

2020 3 24 廣州斗魚網(wǎng)絡(luò)科技有限公司 拍拍后臺(tái)架構(gòu)介紹 陳志軍2015 9 18 1 拍拍后臺(tái)架構(gòu)介紹 大綱 縱向 技術(shù)架構(gòu)AppPlatform中間件模型負(fù)載均衡 容災(zāi)方案MsgQ監(jiān)控體系發(fā)布流程橫向 SOA案例 多客服系統(tǒng)介紹對(duì)斗魚服務(wù)器模型的思考 縱向 技術(shù)架構(gòu) nginx 前端頁(yè)面緩存 DB apache Tws AO可復(fù)用的業(yè)務(wù) 聚合服務(wù) AO DAO數(shù)據(jù)服務(wù) 同步 異步 同步 異步 DAL DB 分布式數(shù)據(jù)緩存 讀 寫 寫 分布式文件系統(tǒng) 索引服務(wù) DB AppPlatform中間件 表現(xiàn)層 cgiwebservice 基于webplatform的cgi 運(yùn)行于多進(jìn)程模式的tws平臺(tái)上template 符合googletemplate的頁(yè)面模板 供cgi或webservice用來渲染頁(yè)面PO 業(yè)務(wù)邏輯層和cgi或webservice之間進(jìn)行數(shù)據(jù)傳遞的類 該類由AO組織 由cgi或webservice渲染頁(yè)面時(shí)使用應(yīng)用層 AO 業(yè)務(wù)邏輯實(shí)現(xiàn) 運(yùn)行于進(jìn)程模式的Appplatform上 異步能力 IDL 業(yè)務(wù)對(duì)外提供的接口描述文件 可以通過autogen生成C java以及PHP的代碼領(lǐng)域?qū)?持久層BO 領(lǐng)域?qū)ο驞AO 數(shù)據(jù)訪問層實(shí)現(xiàn) 處理和事務(wù)相關(guān)的相關(guān)邏輯 運(yùn)行于進(jìn)程模式的Appplatform上數(shù)據(jù)層 索引 基于sphinx構(gòu)建的通用索引系統(tǒng) 提供高性能的復(fù)雜查詢服務(wù)TTC TMEM TDB 公司級(jí)的云設(shè)施 多進(jìn)程的運(yùn)行模式 AppPlatform中間件 Netio AO0 x AO0 x AO0 x DAO0 x DAO0 x BackNetio Container FrontKey BackKey pth用戶級(jí)線程 調(diào)度 配置中心 請(qǐng)求 回應(yīng) AppPlatform中間件 職責(zé)單一 明晰快慢分離代碼 模塊 組件復(fù)用平行擴(kuò)展集中監(jiān)控使用接口描述語(yǔ)言 方便系統(tǒng)間集成重復(fù)代碼使用工具自動(dòng)生成業(yè)務(wù)代碼與平臺(tái)代碼分離 簡(jiǎn)化業(yè)務(wù)邏輯使用協(xié)程方式 簡(jiǎn)化業(yè)務(wù)邏輯和代碼編寫 AppPlatform中間件 IDL文件 系統(tǒng)間的集成 IDL提供了充足的元數(shù)據(jù)信息autogen 業(yè)務(wù)協(xié)議的自動(dòng)生成C phpjavaC delphipython 通過tcp udp進(jìn)行通訊 負(fù)載均衡與容災(zāi) 服務(wù)請(qǐng)求路由方式 usr local c2csvc global conf ServiceConfig xml配置 Route Mod 按路由key取模 Route Mod L5 按路由key取模 L5負(fù)載均衡 負(fù)載均衡與容災(zāi) L5 負(fù)載均衡與容災(zāi) L5 負(fù)載均衡與容災(zāi) L5 MsgQ 應(yīng)用程序或組件之間的一種通訊方式分布式的是 可靠 的 MsgQ 系統(tǒng)拓?fù)浼軜?gòu) Agents和Servers集群構(gòu)成了MsgQ的消息服務(wù)總線 接入 CGI AO DAO idmaker DAL 頻率限制 分布式cache WebPlatform nginx插件 配置中心 統(tǒng)計(jì)Server 權(quán)限系統(tǒng) 敏感詞 LogServer 模調(diào)proxy AppPlatform 錯(cuò)誤碼 MsgQ 其他組件 監(jiān)控體系 監(jiān)控一切可監(jiān)控的 發(fā)布流程 EOS發(fā)布系統(tǒng) cgi html js picrpm打包系統(tǒng) ao dao配置中心 路由切換 配置變更 DB管理等由系統(tǒng)來保證 保證環(huán)境一致性 dev beta gamma idc灰度發(fā)布 橫向 SOA 面向服務(wù)的體系結(jié)構(gòu)是一個(gè)組件模型 它將應(yīng)用程序的不同功能單元 稱為服務(wù) 通過這些服務(wù)之間定義良好的接口和契約聯(lián)系起來 接口是采用中立的方式進(jìn)行定義的 它應(yīng)該獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái) 操作系統(tǒng)和編程語(yǔ)言 這使得構(gòu)建在各種各樣的系統(tǒng)中的服務(wù)可以使用一種統(tǒng)一和通用的方式進(jìn)行交互 可從外部訪問隨時(shí)可用粗粒度的服務(wù)接口分級(jí)松散耦合可重用的服務(wù)服務(wù)接口設(shè)計(jì)管理標(biāo)準(zhǔn)化的服務(wù)接口支持各種消息模式精確定義的服務(wù)契約 案例 多客服后臺(tái)架構(gòu) 智能的 復(fù)雜的 大QQ 案例 多客服后臺(tái)架構(gòu) 案例 多客服后臺(tái)架構(gòu) 統(tǒng)計(jì)數(shù)據(jù)總開通賣家數(shù) 3W 總開通工號(hào)數(shù) 12W 活躍賣家數(shù) 2W 活躍工號(hào)數(shù) 10W 聊天客戶數(shù) 60W 日接收消息數(shù) 400W 日發(fā)送消息數(shù) 450W 日 不同類型的服務(wù)部署在不同類型的機(jī)器上 以節(jié)省硬件成本 服務(wù)器類型介紹 對(duì)斗魚服務(wù)器模型的思考 性能 擴(kuò)展 容災(zāi)等方面的思考代碼維護(hù)方面的思考 現(xiàn)有模型 其它服務(wù)器 MsgServer 其它服務(wù)器 netmsg netmsg rpc rpc 性能 擴(kuò)展 容災(zāi)等方面的思考 服務(wù)間通信鏈條長(zhǎng) 影響性能 且MsgServer容易成為瓶頸數(shù)據(jù)都緩存在本地 無法做到平行擴(kuò)展 無法容災(zāi)服務(wù)無法做快慢分離 慢速服務(wù)會(huì)拖累整體系統(tǒng)無法按業(yè)務(wù)邏輯劃分模塊 導(dǎo)致ChatRoom過于龐大 引起諸多問題消息隊(duì)列 RPC請(qǐng)求 放在內(nèi)存中 服務(wù)重啟時(shí) 必然導(dǎo)致信息丟失服務(wù)器信息同步?jīng)]有確認(rèn)機(jī)制 不能保證一致性 代碼維護(hù)方面的思考 存在的問題 引自拍拍 每個(gè)AppServer都有大量的重復(fù)代碼 增加了應(yīng)用開發(fā)人員的負(fù)擔(dān) 開發(fā)人員不可避免地需要編寫調(diào)試協(xié)議打解包代碼 花費(fèi)大量的時(shí)間和精力 底層代碼一旦有調(diào)整 需要重編各個(gè)AppServer 每個(gè)AppServer都由不同的開發(fā)人員負(fù)責(zé) 可能會(huì)存在代碼風(fēng)格和日志格式的不統(tǒng)一 增加了運(yùn)營(yíng)統(tǒng)計(jì)的難度 存在的其他問題業(yè)務(wù)層面需過多關(guān)注底層模型 如線程模型異步調(diào)用使用回調(diào)的方式 增加代碼復(fù)雜度和可閱讀性接口不遵循互不信任原則 如 很少有參數(shù)校驗(yàn)日志記錄不完備 日志未分級(jí)別 謝謝大家 問題