大家好
小弟最近初次嘗試規畫系統的虛擬化，有些觀念上的問題想請教大家。
我看到大部分的做法都不是把VM的virtual disk放在local端而是放在shared storage上，這是為什麼呢? 是為了live migration和HA嗎? 還是有更重要的原因呢?
那個放置virtual disk的shared storage會比較看重NETWORK的性能還是I/O的性能呢?
裡頭的硬碟選用7.2K rpm和10K rpm的，VM的效能會差很多嗎?
通常server的系統蝶會做raid1，那放置virtual disk的shared storage是不是也該用raid1呢?還是raid5就可以了? 通常實務上會怎麼做呀?
謝謝指教了
已邀請的邦友 {{ invite_list.length }}/5
1.對
2.shared storage會比較看重NETWORK的性能還是I/O的性能呢?
以網路傳輸來說，若你沒有超高速介面(10Gb Ether/8Gb 光纖/1Gb x N條的LACP)，
而是只有單一條1Gbps的環境的下，傳遞資料來說，單顆5400RPM的硬碟，早就超過了1Gbps的頻寬了(125MB每秒)！
所以硬碟選用7200RPM/10000RPM/15000RPM/SSD固態硬碟，應該都無法表現出完美的傳輸量！
除非是將資料庫存在shared storage上，則搜尋速度就會比較重要！
3.RAID1與Mirror與RAID5，都是屬於允許單一硬碟故障！
若以RAID6來說，陣列儲存空間的硬碟，遇到兩顆硬碟故障時，該儲存空間還能正常讀寫運作！我會建議你選RAID6，最好還設定Hot Spare
放置virtual disk的shared storage以容量保護與擴充為主，若您要建置一個12TB的共享儲存空間，難道買兩顆12TB的硬碟做RAID1 / Mirror嗎？
應該您和我都買不到/做不到吧？
通常我會建議以多顆硬碟，組成RAID5 or RAID6的方式，提供給VM環境使用！
以12TB的空間來說，使用5顆3TB的硬碟，搭配RAID5，就可以提供12TB的空間了，non-cache的效能約480MB/每秒
以12TB的空間來說，使用6顆3TB的硬碟，搭配RAID6，就可以提供12TB的空間了，non-cache的效能約480MB/每秒
若你的儲存空間，具有超高速傳輸介面(上面三種方案)，與VM主機連接時，
這樣我就會建議以
13顆1TB硬碟搭配RAID5，連續讀寫速度為5顆3TB RAID5的3倍(從480MB/sec升級到1440MB/sec)
或是
14顆1TB硬碟搭配RAID6方式，連續讀寫速度為6顆3TB RAID6的3倍
如果你執行VM的實體主機有兩台以上，且朝向HA方向規劃，這樣你需要的共用儲存空間的建置，光硬體可能會高於10萬元喔，
嗯，VMware還要有HA的授權費用喔！
另外，如果你的VM主機只有一套，那就可以考量，以VM主機內部安裝8顆硬碟，搭配RAID6的SAS2磁碟陣列卡！
這樣可以省下很多錢，且Disk I/O效能可以直接提升到1024MB至2048MB/每秒喔！
但是VM主機沒有辦法作到即時的HA，頂多加買一套NAS，將VM的virtual disk，定期備份到NAS上！(NFS or iSCSI)
PS.若以陣列卡來說，有內接式的，可接4顆，8顆，16顆硬碟，但VM主機內部要裝那麼多硬碟，有困難！
可以考慮具有外接孔的雙Port SAS2磁碟陣列卡！搭配SAS Expand 12 Bay硬碟櫃！
若空間不足，SAS2硬碟櫃還能串接，SAS控制器最多可控制128顆硬碟喔！
且外接SAS2的速度，是6Gbps x 4 lin =24Gbps喔！所以搭配30顆~128顆硬碟，最高傳輸量為3000MB/每秒
這種使用SAS傳輸線連接的方式，屬於為DAS=Direct Access Storge，早期的外接是SCSI硬碟櫃也是屬於這種！缺點，距離短！大概同機櫃的上線互相連接而已！速度6Gb/24Gb
上面的Storge透過網路存取的話，稱為NAS=Network Access Storge，速度有1Gb/10Gb
還有一種用光纖卡FC，先連接FC交換器，再連儲存系統，稱為SAN=Storge Access Network，但是這種貴傷傷，老闆沒有準備200萬，你是玩不到的！優點，距離長，依照光纖類型而有500M到30km都有！屬於異地備機的首選！速度有2Gb/4Gb/8Gb
推薦一家NAS商(群暉科技)
它將NAS與DAS的優點結合，推出一款機架式的NAS產品(RS10613xs+)，它可以加裝雙孔的10Gbps網路卡，硬碟擴充部份，結合了SAS2外接擴充技術，可串接8個機架式硬碟櫃RX1213sas，組成106顆硬碟的儲存空間！不含硬碟的RS10613xs+，空機價格應該在28萬以下！比FC的SAN架構便宜很多喔！
這樣你的VM主機，可以透過網路的方式，與該Storge連線，不必在同一個機櫃or機房，以便達到異地連線！
還有三款是機架式的NAS產品(RS3413xs+/RS3412xs/RS3412RPxs )這是可以擴充到34顆硬碟，可以加裝雙孔10Gbps網路卡，使用Infiniband 傳輸線連接其他硬碟櫃
還有一款是桌上型的NAS產品(DS3612xs )可以擴充至36顆硬碟，可以加裝雙10Gbps網路卡，使用Infiniband 傳輸線連接其他硬碟櫃
群暉的NAS系統，允許先以4顆2TB設定為SHR2(RAID6)，空間為4TB！
一年後，再增加4顆3TB硬碟於原本的磁碟陣列，儲存空間則可擴充至14TB，不是只有12TB喔！
再過一年，再增加4顆4TB硬碟於原本的磁碟陣列，儲存空間則可擴充至28TB，不是只有20TB喔！
再過一年，再增加4顆5TB硬碟於原本的磁碟陣列，儲存空間則可擴充至46TB，不是只有28TB喔！
神奇吧！這樣公司可以有效節省經費，不需要一次將大筆經費投入採購硬碟！每年擴充硬碟即可！
想要詳細的介紹，或是試用，用簡訊留言或是FB密我吧！
感謝yesongow賢拜回覆得這麼詳細，小弟可能還需要一些時間來消化消化
因為小弟這邊是比較小的實驗室環境，虛擬化環境可能會趨向於免費的XCP，機器可能也只是買中低階的伺服器吧
原本有打算購入低階NAS做為file server以及儲存其他的back up，只是最近到處爬文發覺VM DISK應該要另外放，想說是不是把原本要當作compute node的其中一台server拿來建primary storage，原本NAS就做secondary storage，才有此一問
yesongow 大大我有些問題想問你，我有寫簡訊到您的信箱
所以，你可以評估，執行虛擬化的實體主機，有幾個CPU插槽？記憶體裝滿，可以有多少容量？
若屬於單顆CPU的低階伺服器，裝滿4條8GB ECC，剛好就是VMware ESXi5.1.0的免費版上限，那就選VM5.1 + NAS + iSCSI，就別選內接式磁碟陣列卡！
若屬於雙顆CPU的中階伺服器，裝滿16條8GB ECC，就是選VMware ESXi 4.1.0的免費版，並搭配內接式磁碟陣列卡，與8顆3000GB的硬碟囉！
若是使用NAS方案
NAS空間除了主機可讀寫，辦公室人員也可寫入，故NAS建議選群暉系列，具有高度擴充性能，機型如下
桌上型DS1512+、DS1812+、DS2413+、DS3612xs，
機架式RS812+、RS3413系列、RS10613xs，
當硬碟裝滿，而空間不足時，仍可搭配硬碟擴充櫃來擴充硬碟數量與容量
另外，附上一張VMware 4.1.0系統，遇到RAID6的單一硬碟SMART Error的訊息
哎呀！我還以為是外拍模特兒工作室呢！
好想參觀喔！
XCP是啥縮寫？一時之間，想不起來！
Xen 系列的虛擬平台嗎？
都是使用指令操作嗎？
中低階的伺服器，就足夠跑免費版本的VMware ESXi了啦！
你現在已經有多少主機及可用的預算？
幫你抓一抓預算分配！
哈哈 不是外拍模特兒工作室喔
XCP全名是xen cloud platform， 跟XenServer幾乎差不多吧，雖然是OpenSource版的，但可以用一些XenServer商業版才有的功能，而且現在可以用Citrix的XenCenter操作，目前用起來是滿順手的
目前的規劃大概是5台低階server跑XCP，一台低階server改成primary storage用，一台NAS當作secondary storage以及file server，有在考慮用RS812+啦
XCP是opensource的，那它操作方式，只有CLI嗎？是否也有GUI呢？
商業版的HA，是否也可以在免費版的XCP上實現呢？
提醒一下，記得幫RS812+加買APC UPS喔！BE500TW or BR1000TW即可。
可避免突然停電or突波，造成資料遺失or Guest OS毀損！
其他的Primary Storge也要，傳遞資料的Switch也要，五台XCP Server 也要喔！
但是，不建議以一台3000VA的UPS，提供以上7台設備的電力保護！
因為3000VA=110V x 27.2A，這超過室內配線的負載，需要花數萬元重新配電與拉線。
而是以兩台1500VA or 2200VA的UPS，分配以上設備的負載！
建議一台APC BR1000TW搭配給RS812+
其他低階主機使用APC SUA2200RM的UPS，這款不用重新拉電源線路，省錢才是王道。
XCP平台針對多張網路卡的管理部份，有沒有Load Balance及HA的功能呢？
買五台低階伺服器的錢，是否剛好可以買兩台中階伺服器呢？
而且中階伺服器的cpu還各有兩顆！電源供應器還各有兩套！
記憶體還能插滿所有插槽！
XCP要去哪下載？需要註冊嗎？
是免費？還是付費？如何計價？
硬體支援度如何呢？
它是在linux上的一個rpm套件嗎？
還是它就是一個原生的作業系統？
有無哪些限制？
網路上有哪些介紹XCP的中文網站呢？因為我看到的，都是英文。
XCP要去哪下載
http://www.xen.org/download/xcp/index.html
Citrix Xenserver也有免費版，但是XCP是真正的自由軟體。功能上與Citrix Xenserver免費版相當，也有GUI的管理介面可以管理整個POOL。
XCP本身也是客製化的Linux系統，使用光碟安裝後整台機器就是XCP的環境，用起來機乎和Citrix Xenserver免費版相同。不過不用序號也不用註冊，要填一份簡單的問卷。
買兩台中階的可能效果比較好，但其實實驗環境的效能需求並沒有這麼大，多台低階機器比較高的彈性可能會比較適合，也許往後有其他用途也說不定
XCP的中文介紹網站我也找不太到，我都是直接拿Citrix XenServer的文件來讀
另外關於賢拜提到的UPS，我有一點小小的疑問，UPS最主要的功能是什麼?讓你有時間在停電後趕快去把主機shotdown嗎?還是要在一停電後，UPS會發訊號給主機，叫他關機呢? 便宜UPS和貴的UPS差異很大嗎?
便宜的UPS，和貴的UPS的差異，以同功率來說
1000VA離線式，與1000VA在線式的差異，嗯，反應時間不同，好像6ms，與2ms吧？但，都在主機允許的反應時間內！
電源輸出的波型，好像不同，但，都在主機接受的範圍內。
電源輸出的電壓，好像不同！
離線式在89V~100V，在主機接受的範圍內。
在線式/在線互動式，在115V~120V，也在主機接受的範圍內。
所以，如果UPS後面要接的負載是音響之類的東西，則請勿使用離線式
最後，貴的UPS，如APC，則是各種OS都能夠有相對應的安裝驅動程式。
國產牌的UPS，通常只有windows驅動程式。
也許往後有其他用途也說不定---->數量多，怕主機遺失喔！
了解了 真的是很謝謝
有種東西叫快取機制，ESX並非即時透過網路抓取VMDK資料的，會將一些Block暫存在本機，寫入的時候也是一樣的，所以網路真的不是太大的問題iscsi就很夠用了。
其次，群暉中小企業50人以下當NAS使用很超值，但真的遇到一些問題時會讓你崩潰，例如硬碟損壞/IO錯誤次數過多該插槽會鎖死，就算插了一顆新的上去也沒用，亦無法解除，群暉原廠說這是保護機制（也請他們連進來看過），只能整台重新開機才能解除，當時上面有兩個iscsi LUN，一個是Fileserver一個是production，不重開Fileserver部分無法恢復RAID層級，重開所有系統都會中斷.....（最後，隔天去客戶那乖乖罰站而已～
iThome鐵人賽
看影片追技術