阿里巴巴Cobar架構(gòu)設(shè)計與實踐

阿里巴巴分布式數(shù)據(jù)庫原理、實現(xiàn)和應(yīng)用2012.11集團共享技術(shù)平臺分布式數(shù)據(jù)庫邱碩2012華東架構(gòu)師大會 分布式數(shù)據(jù)庫中間件App App App AppCobarOracle MySQL MySQL MySQLErosa Oracle ErosaMySQL ErosaMySQL ErosaMySQLEromanga Otter Oracle MySQL MySQLOtterErosaOracle ErosaMySQL ErosaMySQLEromanga 性 能 容 量 高 可 用 數(shù) 據(jù) 消 費 時 效 性 跨 機 房 數(shù) 據(jù) 同 步ASCDW. 分布式數(shù)據(jù)庫中間件App App App AppCobarOracle MySQL MySQL MySQLErosa Oracle ErosaMySQL ErosaMySQL ErosaMySQLEromanga Oracle MySQL MySQLOtter 性能 容量 高可用 數(shù) 據(jù) 消 費 時 效 性 跨 機 房 數(shù) 據(jù) 同 步ErosaOracle ErosaMySQL ErosaMySQLEromangaOtterASCDW. 分布式數(shù)據(jù)庫中間件App App App AppCobarOracle MySQL MySQL MySQL Oracle MySQL MySQL OtterErosaOracle ErosaMySQL ErosaMySQLEromanga 性 能 容 量 高 可 用 數(shù)據(jù)消費時效性 跨 機 房 數(shù) 據(jù) 同 步ErosaOracle ErosaMySQL ErosaMySQL ErosaMySQLEromanga OtterASCDW. 分布式數(shù)據(jù)庫中間件App App App AppCobarOracle MySQL MySQL MySQLErosa Oracle ErosaMySQL ErosaMySQL ErosaMySQLEromanga Oracle MySQL MySQLErosaOracle ErosaMySQL ErosaMySQLEromanga 性 能 容 量 高 可 用 數(shù) 據(jù) 消 費 時 效 性 跨機房數(shù)據(jù)同步OtterASCDW. Otter 分布式數(shù)據(jù)庫中間件App App App AppCobarOracle MySQL MySQL MySQLErosa Oracle ErosaMySQL ErosaMySQL ErosaMySQLEromanga Oracle MySQL MySQLOtter 性能 容量 高可用 數(shù) 據(jù) 消 費 時 效 性 跨 機 房 數(shù) 據(jù) 同 步ErosaOracle ErosaMySQL ErosaMySQLEromangaOtterASCDW. 大綱n 中間件引入n Cobar策略n 系統(tǒng)實現(xiàn)n 實施應(yīng)用 Cobar之前 Oracle單點數(shù)據(jù)庫 性能問題 中 文 站 offer總 數(shù) ： 2008年 1億 - 2011年 3億 高 峰 時 ： load 30、 cpu使 用 率 90% 數(shù)據(jù)庫連接過多 可用性問題 Standby切 換 故 障 成本和伸縮性問題 依 賴 高 成 本 的 硬 件 設(shè) 備 Oracle MySQL MySQL MySQLMySQL MySQL MySQLMySQL MySQL MySQL單點：MySQL集群替換OracleMySQL MySQL MySQL Oracle單點數(shù)據(jù)庫 性能問題 中 文 站 offer總 數(shù) ： 08年 1億 - 今 天 3億 高 峰 時 ： load 30、 cpu使 用 率 90% 數(shù)據(jù)庫連接過多 可用性問題 Standby切 換 故 障 成本和伸縮性問題 依 賴 高 成 本 的 硬 件 設(shè) 備Cobar引入 水平拆分 ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQL ID MEMBE_ID INFO4 test1234 5 test1234 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd MySQLMySQLCobarApp Oracle單點數(shù)據(jù)庫 性能問題 中 文 站 offer總 數(shù) ： 08年 1億 - 今 天 3億 高 峰 時 ： load 30、 cpu使 用 率 90% 數(shù)據(jù)庫連接過多 可用性問題 Standby切 換 故 障 成本和伸縮性問題 依 賴 高 成 本 的 硬 件 設(shè) 備App ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQL ID MEMBE_ID INFO4 test1234 5 test1234 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd MySQLMySQLAppAppAppAppAppAppApp Cobar引入 連接復(fù)用App ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQL ID MEMBE_ID INFO4 test1234 5 test1234 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd MySQLMySQLCobarProxyAppAppAppAppAppAppApp Oracle單點數(shù)據(jù)庫 性能問題 中 文 站 offer總 數(shù) ： 08年 1億 - 今 天 3億 高 峰 時 ： load 30、 cpu使 用 率 90% 數(shù)據(jù)庫連接過多 可用性問題 Standby切 換 故 障 成本和伸縮性問題 依 賴 高 成 本 的 硬 件 設(shè) 備Cobar引入 ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQLCobarApp X Cobar引入 failover ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQL Master1CobarApp ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQL Master2X MySQLReplication Cobar引入 failover ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 CobarApp ID MEMBE_ID INFO1 pavarotti17 11 pavarotti17 MySQLReplication MySQL Master1MySQL Master2 大綱n 中間件引入n Cobar策略n 系統(tǒng)實現(xiàn)n 實施應(yīng)用 Oracle MySQL MySQL MySQLMySQL MySQL MySQLMySQL MySQL MySQLMySQL MySQL MySQL拆分?jǐn)?shù)據(jù)表 水平拆分ID MEMBE_ID INFO1 pavarotti17 3 abcd 4 test1234 5 test1234 9 abcd 11 pavarotti17 20 abcd 水平拆分ID MEMBE_ID INFO1 pavarotti17 3 abcd 4 test1234 5 test1234 9 abcd 11 pavarotti17 20 abcd 拆分字段 水平拆分ID MEMBE_ID INFO1 pavarotti17 3 abcd 4 test1234 5 test1234 9 abcd 11 pavarotti17 20 abcd ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd f(pavarotti17)=庫1f(test1234)=庫1f(test1234)=庫1f(pavarotti17)=庫1f(abcd)=庫2f(abcd)=庫2f(abcd)=庫2庫1庫2拆分字段 水平拆分ID MEMBE_ID INFO1 pavarotti17 3 abcd 4 test1234 5 test1234 9 abcd 11 pavarotti17 20 abcd ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd f(abcd)=庫2庫1庫2拆分字段f(pavarotti17)=庫1f(test1234)=庫1f(test1234)=庫1f(pavarotti17)=庫1f(abcd)=庫2f(abcd)=庫2路由算法 路由算法pavarotti17f(pavarotti17)=庫1 路由算法pavarotti17部 分 截 取hash( ) = 3170972965401 路由算法hash(pavarott) = 3170972965401 % 1024 = 5370 1023 路由算法hash(pavarott) = 3170972965401 % 1024 = 5370 255 256 511 512 767 768 1023256256256256分庫1 分庫2 分庫3 分庫4 路由算法hash(pavarott) = 3170972965401 % 1024 = 5370 255 256 511 512 767 768 1023256256256256分庫1 分庫2 分庫3 分庫4 路由算法擴容hash(pavarott) = 3170972965401 % 1024 = 5370 127 128 255 256 383 384 511 512 639 640 767 768 895 896 1023128 128 128 128 128 128 128 128分庫1 分庫2 分庫3 分庫4 路由算法擴容hash(pavarott) = 3170972965401 % 1024 = 5370 127 128 255 256 383 384 511 512 639 640 767 768 895 896 1023128 128 128 128 128 128 128 128分庫1 分庫2 分庫3 分庫4 分庫5 分庫6 分庫7 分庫8 原分庫1 分庫2 分庫3 分庫4原 原 原 路由算法非均勻分布hash(pavarott) = 3170972965401 % 1024 = 5370 511 512 767 768 895 896 1023512 256 128 128分庫1 分庫2 分庫3 分庫4 拆分表的數(shù)據(jù)訪問SQL轉(zhuǎn)發(fā)ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd CobarAppselect * from tb1 where member_id=test1234 拆分表的數(shù)據(jù)訪問SQL轉(zhuǎn)發(fā)ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd CobarAppselect * from tb1 where member_id=test1234 ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd CobarAppSELECT * FROM tb1 WHERE member_id IN (test1234,pavarotti17,abcd)拆分表的數(shù)據(jù)訪問SQL轉(zhuǎn)發(fā) ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd CobarAppselect * from tb1 where member_id in (test1234,pavarotti17)select * from tb1 where member_id in (abcd)拆分表的數(shù)據(jù)訪問SQL轉(zhuǎn)發(fā) ID MEMBE_ID INFO1 pavarotti17 4 test1234 5 test1234 11 pavarotti17 ID MEMBE_ID INFO3 abcd 9 abcd 20 abcd ResultMerger前臺通信ResultSet:row1row2ResultSet:row3row4row5ResultSet:row3row1row4row5row2拆分表的數(shù)據(jù)訪問結(jié)果返回 多維水平拆分visit表productuserinfoCoca-Cola A p e p s i C Fanta D Coca-Cola A Coca-Cola C Fanta B 7Up D p e p s i A productuserinfoCoca-Cola A Coca-Cola A Coca-Cola C productuserinfop e p s i C p e p s i A productuserinfoFanta D Fanta B productuserinfo7Up D SELECT * FROM visit WHERE user=A 多維水平拆分visit表productuserinfoCoca-Cola A p e p s i C Fanta D Coca-Cola A Coca-Cola C Fanta B 7Up D p e p s i A productuserinfoCoca-Cola A Coca-Cola A p e p s i A productuserinfop e p s i C Coca-Cola C productuserinfoFanta D 7Up D productuserinfoFanta B SELECT * FROM visit WHERE product = Coca-Cola 分 庫 1 分 庫 2 分 庫 3 分 庫 4分 庫 5 分 庫 6 分 庫 7 分 庫 8分 庫 9 分 庫 10 分 庫 11 分 庫 12分 庫 13 分 庫 14 分 庫 15 分 庫 16 product值Hash取 模user值Hash取 模01230123visit表USER PRODUCT 一張表的多個字段同時作為拆分字段 Hash(“A”)%4 = 分 庫 1 分 庫 2 分 庫 3 分 庫 4分 庫 5 分 庫 6 分 庫 7 分 庫 8分 庫 9 分 庫 10 分 庫 11 分 庫 12分 庫 13 分 庫 14 分 庫 15 分 庫 16 product值Hash取 模user值Hash取 模01230123CocaColaAHash(“CocaCola”)%4 = SELECT * FROM visit WHERE product=ColaCola AND user=A 分 庫 1 分 庫 2 分 庫 3 分 庫 4分 庫 5 分 庫 6 分 庫 7 分 庫 8分 庫 9 分 庫 10 分 庫 11 分 庫 12分 庫 13 分 庫 14 分 庫 15 分 庫 16 product值Hash取 模user值Hash取 模01230123CocaColaHash(“CocaCola”)%4 = SELECT * FROM visit WHERE product=ColaCola Hash(“A”)%4 = A分 庫 1 分 庫 2 分 庫 3 分 庫 4分 庫 5 分 庫 6 分 庫 7 分 庫 8分 庫 9 分 庫 10 分 庫 11 分 庫 12分 庫 13 分 庫 14 分 庫 15 分 庫 16 product值Hash取 模user值Hash取 模01230123SELECT * FROM visit WHERE product=ColaCola AND user=A Cobar的策略 MySQL集群替代Oracle單點 基于表的水平拆分和分布 根 據(jù) 字 段 值 的 一 致 性 Hash分 布 多 維 拆 分 數(shù)據(jù)查詢方式 根 據(jù) where中 的 拆 分 字 段 分 發(fā) SQL語句其他元素的處理 將 Cobar收 到 的 SQL語 句 做 變 換 分 發(fā) 到 各 個 分 庫 執(zhí) 行 對 執(zhí) 行 結(jié) 果 合 并 、 處 理 保 證 返 回 前 端 的 內(nèi) 容 滿 足 語 義 JOIN有限的處理 跨庫JOIN問題SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME ID MEMBE_ID2 zzzz4 xyzxyz ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID1 efghijk3 xxxxxx5 abcd ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2ID MEMBER_ID ID NAME1 efghijk 4 efghijk5 abcd 6 abcd2 zzzz 2 zzzz4 xyzxyz 3 xyzxyz 迭代查詢SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME ID MEMBE_ID2 zzzz4 xyzxyz ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID1 efghijk3 xxxxxx5 abcd ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2FOR row1 IN select * FROM tb1ADD(SELECT * FROM tb2 WHERE tb2.name = row1.member_id)TO RESULT 跨庫索引ID MEMBE_ID 2 zzzz4 xyzxyz ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID1 efghijk3 xxxxxx5 abcd ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2ID1 ID2 JOIN_COL2 2 zzzz4 3 xyzxyzidxID1 ID2 JOIN_COL1 4 efghijk5 6 abcdidx掃描idx，再根據(jù)每一行的id1,id2查到最終結(jié)果 跨庫索引ID MEMBE_ID 2 zzzz4 xyzxyz ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID1 efghijk3 xxxxxx5 abcd ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME WHERE t1.id = 5SELECT * FROM idx WHERE id1 = 5再根據(jù)id1,id2查到最終結(jié)果 跨庫索引ID MEMBE_ID 2 zzzz4 xyzxyz ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID1 efghijk3 xxxxxx5 abcd ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2ID1 ID2 JOIN_COL2 2 zzzz4 3 xyzxyzidxID1 ID2 JOIN_COL1 4 efghijk5 6 abcdidx一定以 JOIN_COL 為索引的拆分字段嗎？ 跨庫索引SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME WHERE t1.gmt600 ID MEMBE_ID GMT2 zzzz 5254 xyzxyz 1010 ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID GMT1 efghijk 12053 xxxxxx 1315 abcd 604 ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2 跨庫索引 ID MEMBE_ID GMT2 zzzz 5254 xyzxyz 1010 ID NAME4 efghijk5 aaaa6 abcdID MEMBE_ID GMT1 efghijk 12053 xxxxxx 1315 abcd 604 ID NAME2 zzzz3 xyzxyztb1tb1tb2tb2ID1 ID2 JOIN_COL2 2 zzzz4 3 xyzxyzidxID1 ID2 JOIN_COL1 4 efghijk5 6 abcdidx ID MEMBE_ID2 zzzz4 xyzxyzID MEMBE_ID1 efghijk3 xxxxxx5 abcdtb1tb1ID1 ID2 JOIN_COL2 2 zzzz4 3 xyzxyzidxID1 ID2 JOIN_COL1 4 efghijk5 6 abcdidxSELECT idx.id2, tb1.* FROM idx INNER JOIN tb1 ON idx.id1=tb1.id WHERE t1.gmt600SELECT idx.id2, tb1.* FROM idx INNER JOIN tb1 ON idx.id1=tb1.id WHERE t1.gmt600 SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME WHERE t1.gmt600跨庫索引 跨庫索引 ID MEMBE_ID GMT2 zzzz 5254 xyzxyz 1010 ID NAME TIME4 efghijk 1235 aaaa 9226 abcd 222ID MEMBE_ID GMT1 efghijk 12053 xxxxxx 1315 abcd 604 ID NAME TIME2 zzzz 12013 xyzxyz 1111tb1tb1tb2tb2SELECT * FROM tb1 INNER JOIN tb2 ON t1.MEMBER_ID=t2.NAME WHERE t1.gmt600 AND t2.time600ID1 ID2 JOIN_COL TIME2 2 zzzz 12014 3 xyzxyz 1111idx 跨庫索引 ID1 ID2 JOIN_COL TIME2 2 zzzz 12014 3 xyzxyz 1111idxID1 ID2 JOIN_COL TIME1 4 efghijk 1235 6 abcd 222idx 索引表的拆分 WHERE條件中的字段所在表的拆分字段，作為索引拆分字段 索引包含 兩 張 表 的 主 鍵 JOIN字 段 WHERE中 的 其 他 字 段 索引的更新 分 布 式 事 務(wù) 的 支 持 SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2select . order by c1 limit 0, 6select . order by c1 limit 0, 6select . order by c1 limit 0, 6分 庫 1分 庫 2分 庫 3cobarOrder By/Limit 分 庫 1分 庫 2分 庫 3Order By/Limit456327810651111314973返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果8SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分 庫 1分 庫 2分 庫 3Order By/Limit456327810651111314973返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果80最 終 結(jié) 果 集SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分 庫 1分 庫 2分 庫 3Order By/Limit45632781065111314973返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果81最 終 結(jié) 果 集SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分 庫 1分 庫 2分 庫 3Order By/Limit4563781065111314973返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果82最 終 結(jié) 果 集SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分 庫 1分 庫 2分 庫 3Order By/Limit456781065111314973返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果83最 終 結(jié) 果 集SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 分 庫 1分 庫 2分 庫 3Order By/Limit45678106511131497返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果84最 終 結(jié) 果 集SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 3Order By/Limit5678106511131497返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果844SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 3Order By/Limit4678106511131497返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果845SELECT c1 FROM tb1 ORDER BY c1 LIMIT 4, 2 Order By/Limit 方案總結(jié)select c1 from tb1 order by c1 limit 100000000, 2 所有分庫都要查詢100000002條數(shù)據(jù) Cobar需要遍歷100000002條數(shù)據(jù) 對如下SQL 一次交互得到結(jié)果 Offset大小有限制 Order By / Limit 優(yōu)化 目標(biāo)：解 決查 詢 量 大 問 題遍 歷 量 大 問 題 前提各 個 分 庫 數(shù) 據(jù) 分 布 大 致 一 樣 select c1 from tb1 order by c1 limit 9999999, 4select . order by c1 limit 33333333, 4select . order by c1 limit 33333333, 4 select . order by c1 limit 33333333, 4分 庫 1分 庫 2分 庫 3 step1:分成3條語句發(fā)給分庫 分 庫 1分 庫 2分 庫 374538691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果select c1 from tb1 order by c1 limit 9999999, 4 找出查詢結(jié)果中最小和最大值 分 庫 1分 庫 2分 庫 374538691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 step2:以最小值和最大值為界再查詢select c1 from tb1 order by c1 limit 9999999, 43115311 分 庫 1分 庫 2分 庫 374538691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 step3:反查出每一個返回結(jié)果的offsetselect c1 from tb1 order by c1 limit 9999999, 4311531133333331條33333333條33333332條 分 庫 1分 庫 2分 庫 374538691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 431153119999996 分 庫 1分 庫 2分 庫 374538691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 41153119999997 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 41153119999998 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 4115119999999最 終 結(jié) 果 集 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 4115119999999 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 4115119999999 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 4115119999999 最 終 結(jié) 果 集 分 庫 1分 庫 2分 庫 37458691076119返 回 結(jié) 果返 回 結(jié) 果返 回 結(jié) 果 類似于原始方案select c1 from tb1 order by c1 limit 9999999, 4115119999999 Order By / Limit 再優(yōu)化 Step1不必得到全部結(jié)果select min(c1) mi, max(c1) ma from (select c1 from tb1 order by c1 limit 3333333,4) t Step2和Step3合并select * from (select * from tb1 where c1 between mi and ma) t1, (select count(*) from tb1 where c1 mi) t2 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131 ID PRICE C12 4.4 6044 7.6 1316 99.9 56 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131 ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.322227.91318.860499.9567.61314.4604 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131 ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.322227.91318.86047.61314.4604最 終 結(jié) 果 集99.956 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131 ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.322227.91318.86047.61314.4604最 終 結(jié) 果 集99.956 最 終 結(jié) 果 集 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.3222215.51318.86044.460499.956 最 終 結(jié) 果 集 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.3222215.513113.260499.956 最 終 結(jié) 果 集 Group BySELECT sum(price) FROM tb1 GROUP BY c1ID PRICE C11 12.3 22223 1.6 1315 8.8 6047 6.3 131ID PRICE C12 4.4 6044 7.6 1316 99.9 56SELECT sum(price), c1 FROM tb1 GROUP BY c1 ORDER BY c112.3222215.513113.260499.956 SQL執(zhí)行策略總結(jié) WHERE - 基 于 SQL轉(zhuǎn) 發(fā) JOIN - 迭 代 分 布 式 索 引 ORDER BY/LIMIT - 多 次 查 詢 減 小 數(shù) 據(jù) 量 GROUP BY - 增 加 ORDER BY Cobar 事務(wù)支持前端連接 sql1sql2commit Cobar 1.2 事務(wù)支持前端連接 分庫1連接sql1sql2commit Cobar 1.2 事務(wù)支持前端連接 分庫1連接sql1commit 分庫2連接sql2 分庫3連接sql2 Cobar 事務(wù)支持前端連接 分庫1連接sql1commit 分庫2連接sql2 分庫3連接sql2 Commit有先后：隔離性問題 Commit有失?。阂恢滦詥栴} 大綱n 中間件引入n Cobar策略n 水 平 拆 分 的 數(shù) 據(jù) 分 布n 幾 種 SQL元 素 的 執(zhí) 行 策 略n 事 務(wù) 策 略n 系統(tǒng)實現(xiàn)n 實施應(yīng)用 schema tableSpace dataNodedata sourcecndb pc2主 備 主 備default offer0 主 備offer1 主 備detail0 主 備defaultdefault offer detail detail 邏輯層次 接口同MySQLjdbc:mysql:/cobarIp:8066/cndb?user=foo ps.setLong(1, 12345);ResultSet rs = ps.executeQuery();MySQLServer Application1MySQLJDBCDriver JDBC和Server的通信協(xié)議MySQLServer Application1MySQLJDBCDriver PreparedStatement ps = conn.prepareStatement( select * from tb1 where id=?); ps.setLong(1, 12345);ResultSet rs = ps.executeQuery();select * from tb1where id=?stmt_id/param_num/columm_numparameter_type column_type JDBC和Server的通信協(xié)議PreparedStatement ps = conn.prepareStatement( select * from tb1 where id=?); ps.setLong(1, 12345);ResultSet rs = ps.executeQuery();MySQLServer Application1MySQLJDBCDriver JDBC和Server的通信協(xié)議PreparedStatement ps = conn.prepareStatement( select * from tb1 where id=?); ps.setLong(1, 12345);ResultSet rs = ps.executeQuery();MySQLServer Application1MySQLJDBCDriverstmt_id param+field_countcolumn_typecolumn_val+column_val+ JDBC和Server的通信協(xié)議Statement stmt = conn.createStatement();ResultSet rs = stmt.executeQuery( “select * from tb1 where id=12345”); Application1MySQLJDBCDriversqlfield_countcolumn_typecolumn_val+column_val+MySQLServer JDBC和Server的通信協(xié)議Statement stmt = conn.createStatement();ResultSet rs = stmt.executeQuery( “select * from tb1 where id=12345”); Application1MySQLJDBCDriversqlfield_countcolumn_typecolumn_val+column_val+MySQLServerCobarServer Processor(1) Processor(n) MySQL MySQL MySQL Cobar結(jié)構(gòu) Front-end Communication MySQL Protcol Adaptor (BIO) Application1 MySQL MySQL Protocol MySQL MySQLData NodesMonitorConfigure HA PoolMySQLMySQLSQL ExecutorSQL Router SQL Parser ResultMerger SQL ExecutorSQL RouterSQL Parser ResultMerger. Manager MySQL Protocol MySQL Protocol MySQL Protocol MySQL ProtocolManagement ProtocolSQL +ParametersResultSetMetaDataResultSet(Rows) Cobar 通信層 統(tǒng)一管理NIO的Buffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KB ByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer4KBByteBuffer共 16MBBuffer Pool Cobar 通信層 統(tǒng)一管理NIO的Buffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KB ByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer4KBByteBuffer共 16MBBuffer Poolselect * from tb1 where id=? Cobar 通信層 統(tǒng)一管理NIO的Buffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KB ByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer4KBByteBuffer 共 16MB Buffer Poolselect * from tb1 where id=? Cobar 通信層 統(tǒng) 一 管 理 NIO的 Buffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KB ByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer4KBByteBuffer 4KBByteBuffer 4KBByteBuffer4KBByteBuffer4KBByteBuffer4KBByteBuffer 共 16MB Buffer Pool15萬TPS . MySQL MySQL MySQLCobar結(jié)構(gòu) Front-end CommunicationMySQL Protcol Adaptor (BIO)Application1MySQL MySQL ProtocolMySQL MySQLData NodesMonitorConfigure HA PoolMySQLMySQL Processor(1) Processor(n)SQL ExecutorSQL Router ResultMerger SQL ExecutorSQL Router ResultMergerManager MySQL Protocol MySQL Protocol MySQL Protocol MySQL ProtocolManagement Protocol SQL Parser SQL Parser SELECT id, member_id FROM wp_image WHERE member_id = 123SQL Parserselect id member_id wp_image =member_id 123exprList from 架構(gòu)演變 基于JavaCC生成SQL Parser 性 能 較 差 ， 優(yōu) 化 不 方 便 仿照ANTLR生成的Parser結(jié)構(gòu)手寫 基 于 LL(*)的 識 別 器 ， 中 間 對 象 過 多 基于LL(2)識別器的手寫 第 一 版第 二 版第 三 版 架構(gòu)調(diào)整Lexertoken token token tokenChar ReaderExpression ParserDML Parser SQL String LexertokenExpression ParserDML ParserSQL char第三版LL(2)第二版LL(*) cache 功能對比第一版 第二版 第三版dontNO YES YES.123e-2YES YES YES7ElevenNO YES YES_latin 0 x123NO YES YESabc defNO YES YESINSERT(Quadratic, 3, 4, What)NO YES YES TRIM(LEADING x FROM xxxbarxxx)NO YES YESUnion selectYES YES YEStable joinPART PART YES 基本元素語法元素 MySQL 5.5 語法結(jié)構(gòu)Identifier Keyword Literal Punctuation表達(dá)式Table ReferencesLimitOrderBy. Delete Update Insert Replace SelectCallSet/Show SQL語句Variable 基本元素 Keyword 227個 關(guān) 鍵 字 ， 不 區(qū) 分 大 小 寫 Identifier schema、 table、 column、 index、 alias 、 keywordSELECT aNy FROM t1 WHERE id IN AnY (SELECT id FROM t2)select、table1 ./*spam*/id、7Up Punctuation,、:=、!、 Variable User-Def SystemVariable：version 基本元素 - Literal String LiteralNabc、_latin1abc、 abc def”abc”d”、 abcd Number Literal123、.123、123.、123.e4、.123E-4123e4 vs 123e4f Hex/Bit Literal0 x89af、x89af、0b101011、b101011_latin1 0 x89af 基本元素語法元素 MySQL 5.5 語法結(jié)構(gòu)Identifier Keyword Literal Punctuation表達(dá)式Table ReferencesLimitOrderBy. Delete Update Insert Replace SelectCallSet/Show SQL語句Variable 語法元素 Table Referencestable_references: table_reference , table_referencetable_reference: table_factor INNER|CROSS JOIN table_factor join_condition | STRAIGHT_JOIN table_factor ON conditional_expr | (LEFT|RIGHT) OUTER JOIN table_reference join_condition | NATURAL (LEFT|RIGHT) OUTER JOIN table_factor table_factor: tbl_name AS alias index_hint_list | table_sub