云計算核心技術(shù)-虛擬化技術(shù).ppt

H3SE 存儲培訓(xùn)教材 虛擬化技術(shù) 日期： 2007 7 17 存儲產(chǎn)品部總工辦 學(xué)習(xí)目標(biāo) 什么是存儲虛擬化 為什么要存儲虛擬化 存儲虛擬化實(shí)現(xiàn)模式 存儲虛擬化的應(yīng)用難點(diǎn) 1 2 3 4 什么是存儲虛擬化 SNIA(存儲網(wǎng)絡(luò)工業(yè)協(xié)會 )對存儲虛擬化的定義： The act of abstracting, hiding or isolating the internal function of a storage (sub) system or service from applications, compute servers or general network resources for the purpose of enabling application and network independent management of storage or data. The application of virtualization to storage services or devices for the purpose of aggregating, hiding complexity or adding new capabilities to lower level storage resources. Storage can be virtualized simultaneously in multiple layers of a system, for instance to create HSM-like systems. 參考譯文： 通過對存儲 (子 )系統(tǒng)或存儲服務(wù)的內(nèi)部功能進(jìn)行 抽象、隱藏或隔離 ，使存儲或數(shù)據(jù)的管理與應(yīng)用、服務(wù)器、 網(wǎng)絡(luò)資源的管理分離，從而實(shí)現(xiàn)應(yīng)用和網(wǎng)絡(luò)的獨(dú)立管理。 對存儲服務(wù)和設(shè)備進(jìn)行虛擬化，能夠在對下一層存儲資源進(jìn)行擴(kuò)展時進(jìn)行資源合并、降低實(shí)現(xiàn)的復(fù)雜度。存 儲虛擬化可以在系統(tǒng)的多個層面實(shí)現(xiàn)，比如建立類似于 HSM(分級存儲管理 )的系統(tǒng)。 什么是存儲虛擬化 虛擬化的原理 1 6 8 5 7 管理 2 客 戶 管理員 物理資源 邏輯資源 為什么要存儲虛擬化 存儲虛擬化的原動力 虛擬存儲池 復(fù)制 空間資源整合 鏡像 快照 統(tǒng)一數(shù)據(jù)管理 遷移 標(biāo)準(zhǔn)化接入 存儲虛擬化的目的 抽象 Abstract 統(tǒng)一數(shù)據(jù)管理功能 “Virtualization” 降低管理難度 數(shù)據(jù)跨設(shè)備流動 提高可擴(kuò)展性 提高設(shè)備使用效率 隱藏 Hide 隔離 Isolate 設(shè)備構(gòu)件化 1、融合：技術(shù)基礎(chǔ)（更可靠、更可控、更靈活、更易擴(kuò)展、更低成本） 2、開放：個性化基礎(chǔ)（ SOA的標(biāo)準(zhǔn)中間件架構(gòu)和應(yīng)用開發(fā)接口） 3、面向應(yīng)用：以應(yīng)用為先導(dǎo)，資源動態(tài)分配、統(tǒng)一管理 用虛擬化簡化 IT架構(gòu) 存儲系統(tǒng) 計算節(jié)點(diǎn) 互連網(wǎng)絡(luò) 虛擬信息架構(gòu) Virtual Information Infrastructure 應(yīng)用 Applications(ERP,SCM,CRM,OA) What you have What you want 基礎(chǔ)架構(gòu)技術(shù)融 合； 面向應(yīng)用的計算、 網(wǎng)絡(luò)、存儲的 IT 資源池 開放中間件， 實(shí)現(xiàn)可定制 應(yīng)用與基礎(chǔ) 架構(gòu)分離 ESG報告表明，早期采用虛擬化技術(shù)平均每年可節(jié)約 : 24% 硬件成本 16% 軟件成本 19% 管理成本 如果預(yù)算共 $1， 000， 000，花費(fèi) $500， 000于硬件， $ 200， 000于軟件和 $300， 000于管理。 存儲虛擬化的價值 每年可節(jié)約 $209， 000 存儲虛擬化實(shí)現(xiàn)模式 一、存儲虛擬化實(shí)現(xiàn)的結(jié)果 存儲虛擬化 磁盤虛擬化 塊虛擬化 磁帶、磁帶驅(qū)動 器、磁帶庫虛擬化 文件系統(tǒng) 虛擬化 文件 /記錄 虛擬化 基于主機(jī) 的虛擬化 基于網(wǎng)絡(luò) 的虛擬化 基于存儲設(shè)備、存儲 子系統(tǒng)的虛擬化 帶內(nèi)虛擬化 帶外虛擬化 實(shí)現(xiàn)結(jié)果 實(shí)現(xiàn)位置 實(shí)現(xiàn)方式 1. 磁盤扇區(qū)的物理地址一般用 C-H-S(柱面號 -磁頭號 -扇區(qū)號）表示 2. 磁盤虛擬化就是將扇區(qū)地址用 LBA（邏輯塊地址）表示，屏蔽底層物理磁盤的概念 3. 磁盤虛擬由磁盤自身固件完成 4. 磁盤虛擬化的結(jié)果是使磁盤的使用者無須了解磁盤的內(nèi)部硬件細(xì)節(jié)，通過塊地址就可以訪問磁盤 磁盤虛擬化 001 002 003 004 005 006 007 磁盤虛擬化 LBA 1、塊虛擬化是指對多塊硬盤建立 RAID，劃分邏輯卷（ LUN）。 2、每個邏輯卷對于使用者都完全等同于一塊物理硬盤。物理上來說，這個邏輯卷的所有數(shù)據(jù)塊， 都是通過 RAID處理，分布在不同的物理硬盤上。 3、塊虛擬化的結(jié)果是使存儲的使用者無須關(guān)心 RAID實(shí)現(xiàn)的具體過程，只要象讀寫普通硬盤一樣 讀寫這個邏輯卷，就能獲得 RAID對數(shù)據(jù)的保護(hù)功能。 塊虛擬化 物理磁盤 Raid、磁盤分區(qū) 邏輯資源 塊虛擬化 1.采用類似 RAID的技術(shù)對多盤磁帶進(jìn)行條帶化和 校驗(yàn)，以期提高磁帶使用的可靠性和性能 2.由于磁帶讀寫緩慢，難以滿足條帶和校驗(yàn)的需 要，因此 RAIT技術(shù)很少使用 磁帶、磁帶驅(qū)動器、磁帶庫虛擬化 VTL虛擬磁帶庫 磁帶虛擬化 RAIT條帶化功能 多個磁帶驅(qū)動器 一個邏輯驅(qū)動器 磁盤 1.提高磁帶驅(qū)動器使用效率 2.加快數(shù)據(jù)備份的速度 VTL將磁盤陣列虛擬為磁帶庫，使用戶在無須改變備份 習(xí)慣和現(xiàn)有備份軟件配置的情況下，獲得以下優(yōu)點(diǎn)： 1、大幅度提高性能，縮短數(shù)據(jù)備份和恢復(fù)窗口 2.獲得磁盤陣列的 RAID保護(hù)功能，避免磁帶介質(zhì)故障 3.持續(xù)擴(kuò)展備份的性能和容量 文件系統(tǒng)虛擬化 NAS NAS的特點(diǎn) 支持異構(gòu)主機(jī) 成熟的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 高度集成的存儲子系統(tǒng) 設(shè)備簡單化 虛擬文件系統(tǒng) NFS/CIFS 客戶端 文件 文件 LAN NAS設(shè)備 虛擬硬盤 提供專用文件系統(tǒng) 二、存儲虛擬化實(shí)現(xiàn)的位置 存儲虛擬化 磁盤虛擬化 塊虛擬化 磁帶、磁帶驅(qū)動 器、磁帶庫虛擬化 文件系統(tǒng) 虛擬化 文件 /記錄 虛擬化 基于主機(jī) 的虛擬化 基于網(wǎng)絡(luò) 的虛擬化 基于存儲設(shè)備、存儲 子系統(tǒng)的虛擬化 帶內(nèi)虛擬化 帶外虛擬化 實(shí)現(xiàn)結(jié)果 實(shí)現(xiàn)位置 實(shí)現(xiàn)方式 基于主機(jī)的存儲虛擬化 主要用途： 使服務(wù)器的存儲空間可以跨越多個異構(gòu)的磁盤陣列，常用于在不同磁盤陣列之間做數(shù) 據(jù)鏡像保護(hù)。 優(yōu)點(diǎn)： 支持異構(gòu)的存儲系統(tǒng)。 缺點(diǎn)： 占用主機(jī)資源，降低應(yīng)用性能。 存在操作系統(tǒng)和應(yīng)用的兼容性問題。 導(dǎo)致主機(jī)升級、維護(hù)和擴(kuò)展非常復(fù)雜，而且容 易造成系統(tǒng)不穩(wěn)定性。 需要復(fù)雜的數(shù)據(jù)遷移過程，影響業(yè)務(wù)連續(xù)性。 常見產(chǎn)品： Symantec Veritas VolumeManager Agent Agent Agent Agent DAS或 SAN存儲網(wǎng)絡(luò) 實(shí)現(xiàn)方式： 一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶端軟件），不同操作系統(tǒng)的邏輯 卷管理軟件也不相同。 基于存儲設(shè)備的存儲虛擬化 主要用途： 在同一存儲設(shè)備內(nèi)部，進(jìn)行數(shù)據(jù)保護(hù)和數(shù)據(jù)遷移。 優(yōu)點(diǎn)： 與主機(jī)無關(guān)，不占用主機(jī)資源。 數(shù)據(jù)管理功能豐富。 Agent Agent Agent Agent SAN存儲網(wǎng)絡(luò) 虛擬化引擎 實(shí)現(xiàn)方式： 在存儲控制器上添加虛擬化功能，常見于中高端存儲設(shè)備。 缺點(diǎn)： 一般只能實(shí)現(xiàn)對本設(shè)備內(nèi)磁盤的虛擬化。 不同廠商間的數(shù)據(jù)管理功能不能互操作。 多套存儲設(shè)備需配置多套數(shù)據(jù)管理軟件，成本 較高。 數(shù)據(jù)管理功能需求較高時，會降低存儲訪問性 能。 常見產(chǎn)品 H3C IX/EX系列 HP EVA HDS TagmaStor SUN 6920系列 基于網(wǎng)絡(luò)的存儲虛擬化 主要用途： 異構(gòu)存儲系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。 優(yōu)點(diǎn)： 與主機(jī)無關(guān)，不占用主機(jī)資源。 能夠支持異構(gòu)主機(jī)、異構(gòu)存儲設(shè)備。 使不同存儲設(shè)備的數(shù)據(jù)管理功能統(tǒng)一。 構(gòu)建統(tǒng)一管理平臺，可擴(kuò)展性好。 SAN+虛擬化引擎 實(shí)現(xiàn)方式： 通過在存儲域網(wǎng)（ SAN）中添加虛擬化引擎實(shí)現(xiàn)。 缺點(diǎn)： 部分廠商數(shù)據(jù)管理功能弱，難以達(dá)到虛擬化統(tǒng) 一數(shù)據(jù)管理的目的。 部分廠商產(chǎn)品成熟度較低，仍然存在和不同存 儲和主機(jī)的兼容性問題。 常見產(chǎn)品 H3C IV系列 IBM SVC EMC Invista NetApp GFiler系列 存儲虛擬化實(shí)現(xiàn)技術(shù)比較 主機(jī)影響 主機(jī)兼容性 存儲兼容性 業(yè)務(wù)功能 性能影響 可擴(kuò)展性 實(shí)施影響 基于主機(jī) 基于存儲 基于網(wǎng)絡(luò) 好 較好 較差 很差 三、存儲虛擬化實(shí)現(xiàn)的方式 存儲虛擬化 磁盤虛擬化 塊虛擬化 磁帶、磁帶驅(qū)動 器、磁帶庫虛擬化 文件系統(tǒng) 虛擬化 文件 /記錄 虛擬化 基于主機(jī) 的虛擬化 基于網(wǎng)絡(luò) 的虛擬化 基于存儲設(shè)備、存儲 子系統(tǒng)的虛擬化 帶內(nèi)虛擬化 帶外虛擬化 實(shí)現(xiàn)結(jié)果 實(shí)現(xiàn)位置 實(shí)現(xiàn)方式 帶內(nèi)虛擬化 主機(jī)層 網(wǎng)絡(luò)層 存儲層 虛擬化引擎 邏 輯 讀 寫 指 令 物 理 磁 盤 指 令 SAN 數(shù) 據(jù) 讀 寫 流 用途： 異構(gòu)存儲系統(tǒng)整合 統(tǒng)一數(shù)據(jù)管理，在業(yè)務(wù)運(yùn)行同 時完成復(fù)制、鏡像、 CDP等各 種數(shù)據(jù)管理功能 優(yōu)點(diǎn)： 服務(wù)器、存儲設(shè)備的兼容性好 虛擬化和數(shù)據(jù)管理功能由專用硬 件實(shí)現(xiàn)，不占用主機(jī)資源 豐富的數(shù)據(jù)管理功能 配置簡單，易于實(shí)施 缺點(diǎn)： 虛擬化設(shè)備發(fā)生故障，整個系 統(tǒng)將中斷 邏輯指令轉(zhuǎn)換物理指令 帶外虛擬化 主機(jī)層 網(wǎng)絡(luò)層 存儲層 SAN 注 冊 請 求 存 儲 列 表 注 冊 響 應(yīng) 建 立 連 接 ， 進(jìn) 行 讀 寫 Agent Agent Agent 控 制 信 息 流 虛擬化引擎 數(shù) 據(jù) 讀 寫 流 用途： 一般用于不同存儲設(shè)備之間的 數(shù)據(jù)復(fù)制 優(yōu)點(diǎn)： 虛擬化設(shè)備發(fā)生故障，整個系統(tǒng) 將不會中斷 缺點(diǎn)： 主機(jī)資源占用較大 大部分產(chǎn)品缺乏數(shù)據(jù)管理功能 主機(jī)和存儲系統(tǒng)需要嚴(yán)格的兼 容性認(rèn)證 數(shù)據(jù)初始化同步復(fù)雜 配置復(fù)雜，實(shí)施難度高 存儲虛擬化的應(yīng)用難點(diǎn) 原數(shù)據(jù)卷 磁盤陣列 Question： 如何保證虛擬化之后的數(shù)據(jù) 狀態(tài)不變，同時避免復(fù)雜的 數(shù)據(jù)備份和遷移？ Answer： SSE ( 存儲服務(wù)使能）實(shí)現(xiàn) 對 已有數(shù)據(jù)的卷 的虛擬化： 數(shù)據(jù)狀態(tài)不變 訪問路徑不變 無需數(shù)據(jù)遷移 豐富的數(shù)據(jù)管理功能 應(yīng)用主機(jī) 虛擬化之后的 數(shù)據(jù)卷 虛擬化信息 無縫接入用戶 原有環(huán)境！ 難點(diǎn)一：數(shù)據(jù)狀態(tài)的一致性保證 難點(diǎn)二：多存儲訪問協(xié)議支持 應(yīng)用服務(wù)器 DAS設(shè)備 IP SAN設(shè)備 FC SAN設(shè)備 FC iSCSI NFS CIFS 虛擬化引擎 Question： 虛擬化如何同時支持 IP SAN、 FC SAN、 NAS等多種存儲訪 問協(xié)議？ Answer： 虛擬化設(shè)備內(nèi)置高效的 多協(xié) 議數(shù)據(jù)轉(zhuǎn)換引擎 ，將來自前 端服務(wù)器的多種主機(jī)數(shù)據(jù)訪 問單元，與后端存儲陣列的 存儲數(shù)據(jù)訪問單元，進(jìn)行解 析和轉(zhuǎn)換，保證數(shù)據(jù)的正確 讀寫訪問。 多協(xié)議數(shù)據(jù)轉(zhuǎn)換引擎 存儲設(shè)備 難點(diǎn)三：存儲多鏈路負(fù)載均衡 Question： 針對多樣化的存儲陣列，如何 部署多鏈路負(fù)載均衡軟件，保 證后端存儲訪問路徑的高可用？ Answer： MultiPath是一種多路徑軟件 , 為虛擬化引擎到后端存儲提供 多路徑功能 支持負(fù)載均衡 支持故障切換 LUN 0 LUN 1 存儲系統(tǒng) LUN0 LUN0 LUN0 LUN0 LUN1 LUN1 LUN1 LUN1 LUN0 LUN1 虛擬化 虛擬化 虛擬化引擎 MultiPath FC 交換機(jī) FC 交換機(jī) 控制器 2 控制器 1 難點(diǎn)四：主機(jī)多鏈路負(fù)載均衡 FC HBA 卡 1 FC 交換機(jī) FC HBA 卡 2 FC 交換機(jī) LUN 1 LUN 0 應(yīng)用主機(jī) IV5000 LUN0 LUN0 LUN1 LUN1 LUN0 LUN1 虛擬化 虛擬化 DynaPath Question： 針對不同的應(yīng)用主機(jī)，如何部 署多鏈路負(fù)載均衡軟件，保證 前端主機(jī)訪問路徑的高可用？ Answer： DynaPath 是安裝在主機(jī)端， 為了實(shí)現(xiàn) FC環(huán)境下的多路徑的 一種軟件 支持負(fù)載均衡 支持故障切換 難點(diǎn)五：統(tǒng)一數(shù)據(jù)管理功能 虛擬存儲池 HA功能 鏡像 連續(xù)數(shù)據(jù)保護(hù) 跨設(shè)備數(shù)據(jù)保護(hù) 跨設(shè)備數(shù)據(jù)遷移 遠(yuǎn)程數(shù)據(jù)復(fù)制 應(yīng)用服務(wù)器 虛擬化引擎 存儲設(shè)備 Question： 虛擬化存儲資源整合后， 能否提供統(tǒng)一的豐富的數(shù) 據(jù)管理功能，實(shí)現(xiàn)跨設(shè)備、 跨地域的全面數(shù)據(jù)保護(hù)？ Answer： H3C Neocean虛擬化數(shù)據(jù)管 理平臺，在提供數(shù)據(jù)虛擬 化整合的基礎(chǔ)上，提供鏡 像、快照、網(wǎng)絡(luò)復(fù)制等數(shù) 據(jù)管理功能，提供豐富的 數(shù)據(jù)保護(hù)解決方案。 H3C存儲虛擬化技術(shù)架構(gòu) 面向應(yīng)用服務(wù)基礎(chǔ)架構(gòu) 多鏈路負(fù)載均衡 CDP連續(xù)數(shù)據(jù)保護(hù) 數(shù)據(jù)一致性插件 標(biāo)準(zhǔn)協(xié)議訪問存儲資源 (iSCSI/FC/SCSI/SAS) 存儲系統(tǒng)虛擬化統(tǒng)一管理 動態(tài)空間分配 /擴(kuò)展 動態(tài)資源路由 (iSNS) 統(tǒng)一數(shù)據(jù)管理 標(biāo)準(zhǔn)協(xié)議接入支持 (iSCSI/FC/IB) 標(biāo)準(zhǔn)設(shè)備管理協(xié)議 (SNMP) 標(biāo)準(zhǔn)存儲資源管理協(xié)議 (CMI/SMI-S) 虛擬化磁盤管理 /虛擬卷管理 SSE數(shù)據(jù)服務(wù)管理（ Storage Service Enabler） 網(wǎng)絡(luò)鏡像 /跨設(shè)備跨廣域數(shù)據(jù)鏡像 網(wǎng)絡(luò)復(fù)制 /跨設(shè)備跨廣域數(shù)據(jù)復(fù)制 跨設(shè)備數(shù)據(jù)快照 網(wǎng)絡(luò)存儲統(tǒng)一平臺 10GE/GE高速交換 Infiniband（ 10G/20G）高性能接口 SAS （ 12G）高速總線技術(shù) SANMSANWSAN iSCSI NAT穿越 廣域網(wǎng)加速 遠(yuǎn)程數(shù)據(jù)復(fù)制 /數(shù)據(jù)鏡像 端點(diǎn)準(zhǔn)入控制 EAD 廣域網(wǎng) VPN 防火墻 /七層深度檢測 IPS 認(rèn)證加密 塊級數(shù)據(jù)安全（日志 /回滾 /加密） SAN+虛擬化引擎 存儲控制 磁盤陣列 IV5000 IV5000 主機(jī)層 網(wǎng)絡(luò)層 存儲層 虛擬存儲池 杭州華三通信技術(shù)有限公司