iT邦幫忙

1

超融合虛擬化基礎與比較

thx 1 周前2085 瀏覽

向聖夫原著測試與圖表創作,OSSLab Thx 補充。

傳統虛擬化架構非常仰賴昂貴的Cluster Storage,Hyper Converged簡單說是將虛擬化與儲存集中合一在Server內,並且多點分散儲存資料。

價格上非常有優勢。
這邊先來說明本地端Storage效能與透過網路端效能比較

下圖為,在同樣媒體儲存裝置下模擬比較 local vs iSCSI。

左圖為本地端,右圖為同樣的Storage,透過iSCSI
這個測試可以看出當 Storage over iSCSI 協議時,效能下降非常嚴重。如果是AFA Storage效能起碼增加50% 以上。

  • UNAS-AFA 是全部 MLC SATA SSD 本地端 Storage
  • UNAS-VN(CACHE) 是 seagate VN 4TB x 8 (RAID1+0)+ Intel 750 SSD 做 cache & log
  • UNAS-VN 是 seagate VN 4TB x 8 (RAID1+0)

4k Random local vs iSCSI

所以這就是為什麼,如果使用AFA,大部分會建議是用支援 RDMA 的協議種類如 iSER/iWARP,SRP 避免效能下降太多。這也就是為什麼最高端的 storage 會開始採用NVMEoF 的新協定。

如果服務是需要大量的 throughput 時,也可以從下圖看到比較。

4M Sequential local vs iSCSI

像這邊AFA的 throughput 完全被 10GBe 單口的頻寬給限制住了,如果要超越這個瓶頸,就需要是用雙口 10GBe +MPIO或是使用 40GBe 網卡+ switch。

那麼使用 Hyper Converged 架構,要如何同步storage 避免一個 node 掉了以後,資料有損失呢?

Proxmox VE +ZFS snapshot replicate 到異機的模式是最簡單快速的。就是 Node A -> Node B -> Node C -> Node A。但是這個方式會有快照時間差異。
所以如果有 node 的 storage 壞掉,那麼一定會損失部分資料 (目前OSSLab使用此架構,此架構好處在於效能高跟好管理。但是快照間隔內資料確實無法補上,目前有考慮要測試1 min 同步狀況)

以下把一些常用的 Hyper Converged 架構整理一下。 一些優缺點會慢慢補充。

  1. Proxmox VE+GlusterFS free 它支援 tcp 跟 rdma。其實是非常好的 file base 的同步方式,適合 file server 的同步到每一個 node。但是它的效能較低,它的 gluster server 同步模式是 kernel space。但是到了掛載的 ceph client 時,它是使用 FUSE 模式掛載。
  2. Proxmox VE+ Ceph Luminous BlueStore free它同時支援 object base storage,file base & block storage。以資料複寫 x3 的架構去建制。但是它非常需要 NVMe SSD 作為它 RocksDB 的存放位置。同時它需要7個以上的nodes,它的效能以及備援度 (redundancy) 更高。
  3. Proxmox VE + ZFS iSCSI free。
  4. Windows Server 2016 DATA Center 上的 Hyper-V+S2D,一套價格約20萬。
  5. Vsphere +Vsan 一node 約40萬,目前缺點是太複雜及RDMA支持度差。
  6. Windows Hyper-V +starwind,約10萬上下。
  7. Vsphere+Napp-IT https://www.napp-it.org/napp-it/all-in-one/index_en.html

如何簡化管理Hyper Converged 架構

效能跟node數量示意圖

目前測試者是以ZFS Z replicate跟Proxmox VE+GlusterFS的模式,搭配著SRP模式,測試者在家Lab會開始轉換到3的cephe模式。

P.S. 使用NVMe SSD作log and cache,在bonnie++上面的throughput是看不出差異。但是在latency上就可以看得出差別很多。同時在4k random的iops上,效能是更有顯著的差異。

OSSLab補充結論
1.同樣等級Local Storage本機效能遠高於TCP/IP Networking cluster storage。
2.Storage replicate架構缺點是無法即時同步,但效能非常良好。
3.AFA一定要用10G以上,最好是40G,並且使用RDMA over Converged Ethernet。
4.Hyper Converged是未來趨勢,但是必須克服下面因素:好架設、好穩定、好維護、好價格。
期待有更多商業與開源的整合應用,也期待更多架構分享與應用。

若有儲存問題,請找OSSLab
此文轉貼於https://www.osslab.com.tw/hyper-converged/


尚未有邦友留言

立即登入留言