《亞馬遜EC2、S3》由會(huì)員分享,可在線閱讀,更多相關(guān)《亞馬遜EC2、S3(37頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,亞馬遜云計(jì)算,AWS,(,Amazon Web Service,),電子工業(yè)出版社 劉鵬主編,云計(jì)算,教材配套課件,6,概述,Amazon,的云從哪里來(lái),Amazon,提供的云計(jì)算服務(wù),AWS,的應(yīng)用案例,AWS,的業(yè)務(wù)流程,AWS,的體系架構(gòu)及關(guān)鍵技術(shù),Amazon,的云從哪里來(lái),?,一個(gè)簡(jiǎn)單的想法,IaaS,:將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用,主要思想:虛擬,優(yōu)勢(shì):動(dòng)態(tài)申請(qǐng),資源無(wú)限,Amazon,提供的云計(jì)算服務(wù),彈性計(jì)算云,EC2,簡(jiǎn)單存儲(chǔ)服務(wù),S3,簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù),Simple DB,
2、簡(jiǎn)單隊(duì)列服務(wù),SQS,彈性,MapReduce,服務(wù),內(nèi)容推送服務(wù),CloudFront,電子商務(wù)服務(wù),DevPay,靈活支付服務(wù),FPS,AWS,的應(yīng)用案例,SmugMug,為什么選擇,AWS,SmugMug,是一家在線照片存儲(chǔ)共享網(wǎng)站,擁有數(shù)億照片資源和幾十萬(wàn)付費(fèi)用戶。業(yè)務(wù)量的急劇增長(zhǎng)導(dǎo)致該新興公司無(wú)法承受巨額的基礎(chǔ)設(shè)施開(kāi)銷,,SmugMug,選擇了,Amazon,的,EC2,服務(wù)和,S3,服務(wù)。應(yīng)用,AWS,后,僅需,50,人即可完成如此大的業(yè)務(wù)量。,SmugMug,的基本架構(gòu),AWS,的業(yè)務(wù)流程,注冊(cè)賬戶,資源申請(qǐng),創(chuàng)建虛擬節(jié)點(diǎn),將虛擬節(jié)點(diǎn)映射到物理節(jié)點(diǎn),分割算法,數(shù)據(jù)處理,數(shù)據(jù)同步,
3、基礎(chǔ)存儲(chǔ)架構(gòu),Dynamo,Dynamo,在,Amazon,服務(wù)平臺(tái)中的地位,Dynamo,架構(gòu)的主要技術(shù),問(wèn)題,采取的相關(guān)技術(shù),數(shù)據(jù)均衡分布,改進(jìn)的一致性哈希算法,數(shù)據(jù)備份,數(shù)據(jù)沖突處理,向量時(shí)鐘(,vector clock,),臨時(shí)故障處理,Hinted handoff,(數(shù)據(jù)回傳機(jī)制),參數(shù)(,W,R,N,)可調(diào)的弱,quorum,機(jī)制,永久故障后的恢復(fù),Merkle,哈希樹(shù),成員資格以及錯(cuò)誤檢測(cè),基于,gossip,的成員資格協(xié)議和錯(cuò)誤檢測(cè),數(shù)據(jù)均衡分布的問(wèn)題,一致性哈希算法,優(yōu)勢(shì):,-,負(fù)載均衡,-,屏蔽節(jié)點(diǎn)處理能力差異,Dynamo,的數(shù)據(jù)沖突處理,最終一致性模型,向量時(shí)鐘,(,V
4、ector Clock,),Dynamo,的臨時(shí)故障處理機(jī)制,讀寫(xiě)參數(shù),W,、,R,、,N,N,:系統(tǒng)中每條記錄的副本數(shù),W,:每次記錄成功寫(xiě)操作需要寫(xiě)入的副本數(shù),R,:每次記錄讀請(qǐng)求最少需要讀取的副本數(shù)。,滿足,R+WN,,用戶即可自行配置,R,和,W,優(yōu)勢(shì):實(shí)現(xiàn)可用性與容錯(cuò)性之間的平衡,Dynamo,的永久性故障恢復(fù),Merkle,哈希樹(shù)技術(shù),Dynamo,中,Merkle,哈希樹(shù)的葉子節(jié)點(diǎn)是存儲(chǔ)數(shù)據(jù)所對(duì)應(yīng)的哈希值,父節(jié)點(diǎn)是其所有子節(jié)點(diǎn)的哈希值,成員資格及錯(cuò)誤檢測(cè),基于,Gossip,協(xié)議的成員檢測(cè)機(jī)制,彈性計(jì)算云,EC2,EC2,是什么,EC2,的主要特性,EC2,基本架構(gòu)及主要概念,E
5、C2,應(yīng)用實(shí)戰(zhàn),EC2,是什么,EC2,(,Elastic Compute Cloud,),簡(jiǎn)言之,,EC2,就是一部具有無(wú)限采集能力的虛擬計(jì)算機(jī),用戶能夠用來(lái)執(zhí)行一些處理任務(wù)。,EC2,的場(chǎng)景描述,EC2,的主要特性,靈活性:可自行配置運(yùn)行的實(shí)例類型、數(shù)量,還可以選擇實(shí)例運(yùn)行的地理位置??梢愿鶕?jù)用戶的需求隨時(shí)改變實(shí)例的使用數(shù)量。,低成本:按小時(shí)計(jì)費(fèi),安全性:,SSH,、可配置的防火墻機(jī)制、監(jiān)控等,易用性:用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序,同時(shí),EC2,還會(huì)對(duì)用戶的服務(wù)請(qǐng)求自動(dòng)進(jìn)行負(fù)載平衡,容錯(cuò)性:彈性,IP,EC2,的幾個(gè)重要概念,(1),Amazon,機(jī)器映像,AMI,(
6、,Amazon Machine Image,),由一個(gè)操作系統(tǒng)和當(dāng)虛擬機(jī)啟動(dòng)時(shí)你想要預(yù)先載入的任何的應(yīng)用程序組成。,AMI,是用戶整個(gè)云計(jì)算平臺(tái)運(yùn)行的基礎(chǔ),用戶使用,EC2,服務(wù)的第一步就是要?jiǎng)?chuàng)建一個(gè)自己的,AMI,。,公共,AMI,、私有,AMI,、付費(fèi),AMI,、共享,AMI,EC2,的幾個(gè)重要概念,(2),實(shí)例,Instance,:用戶創(chuàng)建好,AMI,后,實(shí)際運(yùn)行的系統(tǒng),資源,Small,Large,Extra Large,High-CPU Medium,High-CPU,Extra Large,平臺(tái),32,位,64,位,64,位,32,位,64,位,CPU,1ECU,4ECU,8ECU
7、,5ECU,20ECU,內(nèi)存,1.7G,7.5G,15G,1.7G,7G,存儲(chǔ)容量,160G,850G,1690G,350G,1690G,實(shí)例類型名,m1.small,m1.large,m1.xlarge,c1.medium,c1.xlarge,EC2,的幾個(gè)重要概念,(3),彈性塊存儲(chǔ),EBS,(,Elastic Block Store,),卷,每個(gè),EBS,最多創(chuàng)建,20,個(gè)卷,快照,EC2,的幾個(gè)重要概念,(4),區(qū)域,EC2,的基本架構(gòu),EC2,應(yīng)用實(shí)戰(zhàn),注冊(cè)用戶,選擇支付方式,使用,EC2,的幾個(gè)前提條件,Java Runtime Environment,Amazon EC2 com
8、mand-line tools,PuTTY&PuTTYgen,配置工具,運(yùn)行實(shí)例,簡(jiǎn)單存儲(chǔ)服務(wù),S3,S3,(,Simple Store Service,)的設(shè)計(jì)思路,數(shù)據(jù)一致性模型,S3,的設(shè)計(jì)思路,(1),S3,為任意類型的文件提供臨時(shí)或永久的存儲(chǔ)服務(wù),非傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)模式,簡(jiǎn)單、高效,存儲(chǔ)、讀取,非查詢,S3,的設(shè)計(jì)思路,(2),基本概念,對(duì)象:,S3,的基本存儲(chǔ)單元(數(shù)據(jù)、元數(shù)據(jù)),數(shù)據(jù)類型任意,鍵:對(duì)象的唯一標(biāo)識(shí)符,桶:存儲(chǔ)對(duì)象的容器(不能嵌套、在,S3,中名稱唯一、每個(gè)用戶最多創(chuàng)建,100,個(gè)桶),S3,的設(shè)計(jì)思路,(3),S3,的數(shù)據(jù)一致性模型,冗余存儲(chǔ),最終一致性模型,簡(jiǎn)單
9、隊(duì)列服務(wù),SQS(1),目標(biāo):解決低耦合系統(tǒng)間的通信問(wèn)題,支持分布式計(jì)算機(jī)系統(tǒng)之間的工作流,特點(diǎn):簡(jiǎn)單、無(wú)處不在,“,在互聯(lián)網(wǎng)的所有計(jì)算機(jī)不用安裝任何軟件或特殊防火墻配置就可以增加或讀消息”,處理端:,EC2,上的,AMI,簡(jiǎn)單隊(duì)列服務(wù),SQS(2),機(jī)制:,冗余存儲(chǔ),基于加權(quán)隨機(jī)分布的消息取樣,并發(fā)管理和故障排除,消息的可見(jiàn)性超時(shí)值與生命周期,簡(jiǎn)單隊(duì)列服務(wù),SQS(3),簡(jiǎn)單數(shù)據(jù)庫(kù)服務(wù),SimpleDB,SDB,與,S3,的區(qū)別,SDB,與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,SDB,的基本結(jié)構(gòu)及主要概念,SDB,與,S3,的區(qū)別,S3,是專為大型,非結(jié)構(gòu)化的數(shù)據(jù)塊設(shè)計(jì)的,SimpleDB,是為復(fù)雜的,結(jié)構(gòu)化數(shù)據(jù)建立的,支持?jǐn)?shù)據(jù)的查找、刪除、插入等操作,SDB,與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,(1),傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù),表結(jié)構(gòu),SDB,樹(shù)狀結(jié)構(gòu),SDB,的基本結(jié)構(gòu),SDB,與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別,(2),新特性:,無(wú)需預(yù)定義模式,單個(gè)屬性允許有 多個(gè)值,支持自動(dòng)索引,不能完成的操作:,沒(méi)有事務(wù)的概念,不支持連接操作,實(shí)際存儲(chǔ)的數(shù)據(jù)類型過(guò)于單一,查詢結(jié)果只包含條目名稱而不包括相應(yīng)屬性值,返回結(jié)果不支持排序操作,總結(jié),AWS,的結(jié)合使用,歡迎訪問(wèn),中國(guó)云計(jì)算網(wǎng)站,http:/,歡迎使用,云計(jì)算教材 電子工業(yè)出版社 劉鵬 主編,本講到此結(jié)束,