向聖夫原著測試與圖表創作，OSSLab Thx 補充。

傳統虛擬化架構非常仰賴昂貴的Cluster Storage，Hyper Converged簡單說是將虛擬化與儲存集中合一在Server內，並且多點分散儲存資料。

價格上非常有優勢。
這邊先來說明本地端Storage效能與透過網路端效能比較

下圖為，在同樣媒體儲存裝置下模擬比較 local vs iSCSI。

左圖為本地端，右圖為同樣的Storage，透過iSCSI
這個測試可以看出當 Storage over iSCSI 協議時，效能下降非常嚴重。如果是AFA Storage效能起碼增加50% 以上。

• UNAS-AFA 是全部 MLC SATA SSD 本地端 Storage
• UNAS-VN(CACHE) 是 seagate VN 4TB x 8 (RAID1+0)+ Intel 750 SSD 做 cache & log
• UNAS-VN 是 seagate VN 4TB x 8 (RAID1+0)

4k Random local vs iSCSI

所以這就是為什麼，如果使用AFA，大部分會建議是用支援 RDMA 的協議種類如 iSER/iWARP，SRP 避免效能下降太多。這也就是為什麼最高端的 storage 會開始採用NVMEoF 的新協定。

如果服務是需要大量的 throughput 時，也可以從下圖看到比較。

4M Sequential local vs iSCSI

像這邊AFA的 throughput 完全被 10GBe 單口的頻寬給限制住了，如果要超越這個瓶頸，就需要是用雙口 10GBe +MPIO或是使用 40GBe 網卡+ switch。

那麼使用 Hyper Converged 架構，要如何同步storage 避免一個 node 掉了以後，資料有損失呢？

Proxmox VE +ZFS snapshot replicate 到異機的模式是最簡單快速的。就是 Node A -> Node B -> Node C -> Node A。但是這個方式會有快照時間差異。
所以如果有 node 的 storage 壞掉，那麼一定會損失部分資料 (目前OSSLab使用此架構，此架構好處在於效能高跟好管理。但是快照間隔內資料確實無法補上，目前有考慮要測試1 min 同步狀況)

以下把一些常用的 Hyper Converged 架構整理一下。 一些優缺點會慢慢補充。

1. Proxmox VE+GlusterFS free 它支援 tcp 跟 rdma。其實是非常好的 file base 的同步方式，適合 file server 的同步到每一個 node。但是它的效能較低，它的 gluster server 同步模式是 kernel space。但是到了掛載的 ceph client 時，它是使用 FUSE 模式掛載。
2. Proxmox VE+ Ceph Luminous BlueStore free它同時支援 object base storage，file base & block storage。以資料複寫 x3 的架構去建制。但是它非常需要 NVMe SSD 作為它 RocksDB 的存放位置。同時它需要7個以上的nodes，它的效能以及備援度 (redundancy) 更高。
3. Proxmox VE + ZFS iSCSI free。
4. Windows Server 2016 DATA Center 上的 Hyper-V+S2D，一套價格約20萬。
5. Vsphere +Vsan 一node 約40萬，目前缺點是太複雜及RDMA支持度差。
6. Windows Hyper-V +starwind，約10萬上下。
7. Vsphere+Napp-IT https://www.napp-it.org/napp-it/all-in-one/index_en.html

如何簡化管理Hyper Converged 架構

效能跟node數量示意圖

目前測試者是以ZFS Z replicate跟Proxmox VE+GlusterFS的模式，搭配著SRP模式，測試者在家Lab會開始轉換到3的cephe模式。

P.S. 使用NVMe SSD作log and cache，在bonnie++上面的throughput是看不出差異。但是在latency上就可以看得出差別很多。同時在4k random的iops上，效能是更有顯著的差異。

OSSLab補充結論
1.同樣等級Local Storage本機效能遠高於TCP/IP Networking cluster storage。
2.Storage replicate架構缺點是無法即時同步，但效能非常良好。
3.AFA一定要用10G以上，最好是40G，並且使用RDMA over Converged Ethernet。
4.Hyper Converged是未來趨勢，但是必須克服下面因素：好架設、好穩定、好維護、好價格。
期待有更多商業與開源的整合應用，也期待更多架構分享與應用。

若有儲存問題，請找OSSLab
此文轉貼於https://www.osslab.com.tw/hyper-converged/