iT邦幫忙

0

請教系統虛擬化的配置

大家好

小弟最近初次嘗試規畫系統的虛擬化,有些觀念上的問題想請教大家。

  1. 我看到大部分的做法都不是把VM的virtual disk放在local端而是放在shared storage上,這是為什麼呢? 是為了live migration和HA嗎? 還是有更重要的原因呢?

  2. 那個放置virtual disk的shared storage會比較看重NETWORK的性能還是I/O的性能呢?
    裡頭的硬碟選用7.2K rpm和10K rpm的,VM的效能會差很多嗎?

  3. 通常server的系統蝶會做raid1,那放置virtual disk的shared storage是不是也該用raid1呢?還是raid5就可以了? 通常實務上會怎麼做呀?

謝謝指教了謝謝

2 個回答

10
yesongow
iT邦大師 1 級 ‧ 2013-04-28 00:50:26
最佳解答

1.對

2.shared storage會比較看重NETWORK的性能還是I/O的性能呢?

以網路傳輸來說,若你沒有超高速介面(10Gb Ether/8Gb 光纖/1Gb x N條的LACP),
而是只有單一條1Gbps的環境的下,傳遞資料來說,單顆5400RPM的硬碟,早就超過了1Gbps的頻寬了(125MB每秒)!
所以硬碟選用7200RPM/10000RPM/15000RPM/SSD固態硬碟,應該都無法表現出完美的傳輸量!

除非是將資料庫存在shared storage上,則搜尋速度就會比較重要!

3.RAID1與Mirror與RAID5,都是屬於允許單一硬碟故障!
若以RAID6來說,陣列儲存空間的硬碟,遇到兩顆硬碟故障時,該儲存空間還能正常讀寫運作!我會建議你選RAID6,最好還設定Hot Spare

放置virtual disk的shared storage以容量保護與擴充為主,若您要建置一個12TB的共享儲存空間,難道買兩顆12TB的硬碟做RAID1 / Mirror嗎?
應該您和我都買不到/做不到吧?

通常我會建議以多顆硬碟,組成RAID5 or RAID6的方式,提供給VM環境使用!

以12TB的空間來說,使用5顆3TB的硬碟,搭配RAID5,就可以提供12TB的空間了,non-cache的效能約480MB/每秒
以12TB的空間來說,使用6顆3TB的硬碟,搭配RAID6,就可以提供12TB的空間了,non-cache的效能約480MB/每秒

若你的儲存空間,具有超高速傳輸介面(上面三種方案),與VM主機連接時,

這樣我就會建議以
13顆1TB硬碟搭配RAID5,連續讀寫速度為5顆3TB RAID5的3倍(從480MB/sec升級到1440MB/sec)
或是
14顆1TB硬碟搭配RAID6方式,連續讀寫速度為6顆3TB RAID6的3倍

如果你執行VM的實體主機有兩台以上,且朝向HA方向規劃,這樣你需要的共用儲存空間的建置,光硬體可能會高於10萬元喔,
嗯,VMware還要有HA的授權費用喔!

另外,如果你的VM主機只有一套,那就可以考量,以VM主機內部安裝8顆硬碟,搭配RAID6的SAS2磁碟陣列卡!
這樣可以省下很多錢,且Disk I/O效能可以直接提升到1024MB至2048MB/每秒喔!

但是VM主機沒有辦法作到即時的HA,頂多加買一套NAS,將VM的virtual disk,定期備份到NAS上!(NFS or iSCSI)

PS.若以陣列卡來說,有內接式的,可接4顆,8顆,16顆硬碟,但VM主機內部要裝那麼多硬碟,有困難!
可以考慮具有外接孔的雙Port SAS2磁碟陣列卡!搭配SAS Expand 12 Bay硬碟櫃!
若空間不足,SAS2硬碟櫃還能串接,SAS控制器最多可控制128顆硬碟喔!
且外接SAS2的速度,是6Gbps x 4 lin =24Gbps喔!所以搭配30顆~128顆硬碟,最高傳輸量為3000MB/每秒
這種使用SAS傳輸線連接的方式,屬於為DAS=Direct Access Storge,早期的外接是SCSI硬碟櫃也是屬於這種!缺點,距離短!大概同機櫃的上線互相連接而已!速度6Gb/24Gb

上面的Storge透過網路存取的話,稱為NAS=Network Access Storge,速度有1Gb/10Gb

還有一種用光纖卡FC,先連接FC交換器,再連儲存系統,稱為SAN=Storge Access Network,但是這種貴傷傷,老闆沒有準備200萬,你是玩不到的!優點,距離長,依照光纖類型而有500M到30km都有!屬於異地備機的首選!速度有2Gb/4Gb/8Gb

推薦一家NAS商(群暉科技)
它將NAS與DAS的優點結合,推出一款機架式的NAS產品(RS10613xs+),它可以加裝雙孔的10Gbps網路卡,硬碟擴充部份,結合了SAS2外接擴充技術,可串接8個機架式硬碟櫃RX1213sas,組成106顆硬碟的儲存空間!不含硬碟的RS10613xs+,空機價格應該在28萬以下!比FC的SAN架構便宜很多喔!

這樣你的VM主機,可以透過網路的方式,與該Storge連線,不必在同一個機櫃or機房,以便達到異地連線!

還有三款是機架式的NAS產品(RS3413xs+/RS3412xs/RS3412RPxs )這是可以擴充到34顆硬碟,可以加裝雙孔10Gbps網路卡,使用Infiniband 傳輸線連接其他硬碟櫃
還有一款是桌上型的NAS產品(DS3612xs )可以擴充至36顆硬碟,可以加裝雙10Gbps網路卡,使用Infiniband 傳輸線連接其他硬碟櫃

群暉的NAS系統,允許先以4顆2TB設定為SHR2(RAID6),空間為4TB!
一年後,再增加4顆3TB硬碟於原本的磁碟陣列,儲存空間則可擴充至14TB,不是只有12TB喔!
再過一年,再增加4顆4TB硬碟於原本的磁碟陣列,儲存空間則可擴充至28TB,不是只有20TB喔!
再過一年,再增加4顆5TB硬碟於原本的磁碟陣列,儲存空間則可擴充至46TB,不是只有28TB喔!
神奇吧!這樣公司可以有效節省經費,不需要一次將大筆經費投入採購硬碟!每年擴充硬碟即可!

想要詳細的介紹,或是試用,用簡訊留言或是FB密我吧!

看更多先前的回應...收起先前的回應...
f905201 iT邦新手 4 級 ‧ 2013-04-29 21:47:36 檢舉

感謝yesongow賢拜回覆得這麼詳細,小弟可能還需要一些時間來消化消化XD

因為小弟這邊是比較小的實驗室環境,虛擬化環境可能會趨向於免費的XCP,機器可能也只是買中低階的伺服器吧Orz

原本有打算購入低階NAS做為file server以及儲存其他的back up,只是最近到處爬文發覺VM DISK應該要另外放,想說是不是把原本要當作compute node的其中一台server拿來建primary storage,原本NAS就做secondary storage,才有此一問哈哈

yesongow 大大我有些問題想問你,我有寫簡訊到您的信箱

yesongow iT邦大師 1 級 ‧ 2013-04-30 11:16:22 檢舉

VMware ESXi系統,使用email註冊,就可以取得免費的序號使用了!
限制及特色如下
VMware ESXi 4.1.0,可分配4個CPU給Guest OS,實體主機可安裝256GB RAM,可支援多個2048GB的磁碟機/磁碟陣列,可查看磁碟陣列卡上的硬碟狀態
VMware ESXi 5.1.0,可分配8個CPU給Guest OS,實體主機可安裝32GB RAM,支援Windows 2012/Windows 8虛擬環境!可支援單一儲存空間超過2048GB,無儲存空間狀態可看!建議儲存空間從NAS取得,如NFS or 具有VAAI加速的iSCSI。

所以,你可以評估,執行虛擬化的實體主機,有幾個CPU插槽?記憶體裝滿,可以有多少容量?
若屬於單顆CPU的低階伺服器,裝滿4條8GB ECC,剛好就是VMware ESXi5.1.0的免費版上限,那就選VM5.1 + NAS + iSCSI,就別選內接式磁碟陣列卡!

若屬於雙顆CPU的中階伺服器,裝滿16條8GB ECC,就是選VMware ESXi 4.1.0的免費版,並搭配內接式磁碟陣列卡,與8顆3000GB的硬碟囉!

若是使用NAS方案
NAS空間除了主機可讀寫,辦公室人員也可寫入,故NAS建議選群暉系列,具有高度擴充性能,機型如下
桌上型DS1512+、DS1812+、DS2413+、DS3612xs,
機架式RS812+、RS3413系列、RS10613xs,
當硬碟裝滿,而空間不足時,仍可搭配硬碟擴充櫃來擴充硬碟數量與容量

另外,附上一張VMware 4.1.0系統,遇到RAID5的單一硬碟故障的訊息


另外,附上一張VMware 4.1.0系統,遇到RAID6的單一硬碟SMART Error的訊息

yesongow iT邦大師 1 級 ‧ 2013-04-30 12:40:40 檢舉

因為小弟這邊是比較小的實驗室環境,
虛擬化環境可能會趨向於免費的XCP,
機器可能也只是買中低階的伺服器吧

哎呀!我還以為是外拍模特兒工作室呢!噴鼻血
好想參觀喔!臉紅

XCP是啥縮寫?一時之間,想不起來!暈
Xen 系列的虛擬平台嗎?
都是使用指令操作嗎?無言

中低階的伺服器,就足夠跑免費版本的VMware ESXi了啦!
你現在已經有多少主機及可用的預算?
幫你抓一抓預算分配!

f905201 iT邦新手 4 級 ‧ 2013-04-30 18:35:29 檢舉

哈哈 不是外拍模特兒工作室喔偷笑

XCP全名是xen cloud platform, 跟XenServer幾乎差不多吧,雖然是OpenSource版的,但可以用一些XenServer商業版才有的功能,而且現在可以用Citrix的XenCenter操作,目前用起來是滿順手的

目前的規劃大概是5台低階server跑XCP,一台低階server改成primary storage用,一台NAS當作secondary storage以及file server,有在考慮用RS812+啦XD

yesongow iT邦大師 1 級 ‧ 2013-04-30 19:46:47 檢舉

XCP是opensource的,那它操作方式,只有CLI嗎?是否也有GUI呢?
商業版的HA,是否也可以在免費版的XCP上實現呢?

提醒一下,記得幫RS812+加買APC UPS喔!BE500TW or BR1000TW即可。
可避免突然停電or突波,造成資料遺失or Guest OS毀損!

其他的Primary Storge也要,傳遞資料的Switch也要,五台XCP Server 也要喔!
但是,不建議以一台3000VA的UPS,提供以上7台設備的電力保護!
因為3000VA=110V x 27.2A,這超過室內配線的負載,需要花數萬元重新配電與拉線。
而是以兩台1500VA or 2200VA的UPS,分配以上設備的負載!
建議一台APC BR1000TW搭配給RS812+
其他低階主機使用APC SUA2200RM的UPS,這款不用重新拉電源線路,省錢才是王道。

yesongow iT邦大師 1 級 ‧ 2013-04-30 19:57:23 檢舉

一台低階server改成primary storage用

注意,請記得安裝兩張以上的網路卡,並搭配2台以上的1000Mbps網路交換器!
因為,避免單點故障,而造成Guest OS停頓or當機

XCP平台針對多張網路卡的管理部份,有沒有Load Balance及HA的功能呢?

yesongow iT邦大師 1 級 ‧ 2013-05-01 09:07:31 檢舉

買五台低階伺服器的錢,是否剛好可以買兩台中階伺服器呢?
而且中階伺服器的cpu還各有兩顆!電源供應器還各有兩套!
記憶體還能插滿所有插槽!

yesongow iT邦大師 1 級 ‧ 2013-05-01 09:20:11 檢舉

XCP要去哪下載?需要註冊嗎?
是免費?還是付費?如何計價?
硬體支援度如何呢?
它是在linux上的一個rpm套件嗎?
還是它就是一個原生的作業系統?
有無哪些限制?
網路上有哪些介紹XCP的中文網站呢?因為我看到的,都是英文。

James iT邦大師 7 級 ‧ 2013-05-01 09:38:45 檢舉

XCP要去哪下載
http://www.xen.org/download/xcp/index.html
Citrix Xenserver也有免費版,但是XCP是真正的自由軟體。功能上與Citrix Xenserver免費版相當,也有GUI的管理介面可以管理整個POOL。
XCP本身也是客製化的Linux系統,使用光碟安裝後整台機器就是XCP的環境,用起來機乎和Citrix Xenserver免費版相同。不過不用序號也不用註冊,要填一份簡單的問卷。

f905201 iT邦新手 4 級 ‧ 2013-05-02 12:43:08 檢舉

買兩台中階的可能效果比較好,但其實實驗環境的效能需求並沒有這麼大,多台低階機器比較高的彈性可能會比較適合,也許往後有其他用途也說不定哈哈

XCP的中文介紹網站我也找不太到,我都是直接拿Citrix XenServer的文件來讀

另外關於賢拜提到的UPS,我有一點小小的疑問,UPS最主要的功能是什麼?讓你有時間在停電後趕快去把主機shotdown嗎?還是要在一停電後,UPS會發訊號給主機,叫他關機呢? 便宜UPS和貴的UPS差異很大嗎?謝謝

yesongow iT邦大師 1 級 ‧ 2013-05-03 02:52:36 檢舉

UPS,不斷電系統。
但不是永不斷電,因為電池容量有限,所以只能預防無預警的停電與突波
如果以直立型500VA離線式(Off-Line)不斷電系統的規格來說,
國產的UPS,通常只有電源插座在上頭,沒有USB訊號,也沒有RS232訊號,復電自動開機也不支援
飛碟 FT-500C 離線式不斷電系統,http://www.pcstore.com.tw/comeasy/M07019134.htm
台達SX550,http://shopping.pchome.com.tw/?mod=item&func=exhibit&IT\_NO=AHAB8F-A55432272
科風UPS COM-500,http://shopping.pchome.com.tw/?mod=item&func=exhibit&IT\_NO=DCAR01-A59424642
飛瑞牌A500,http://www.eclife.com.tw/keyboard/moreinfo\_1307.htm

而APC BE500TW雖然也是離線式500VA的UPS,但聽說停產了,目前不好掃貨。

UPS會發訊號給主機,叫電腦系統關機,通常1000VA以上的UPS都會有,買之前,先問一下老闆or供貨商or上網Google一下就好了!

便宜的UPS,和貴的UPS的差異,以同功率來說
1000VA離線式,與1000VA在線式的差異,嗯,反應時間不同,好像6ms,與2ms吧?但,都在主機允許的反應時間內!
電源輸出的波型,好像不同,但,都在主機接受的範圍內。
電源輸出的電壓,好像不同!
離線式在89V~100V,在主機接受的範圍內。
在線式/在線互動式,在115V~120V,也在主機接受的範圍內。
所以,如果UPS後面要接的負載是音響之類的東西,則請勿使用離線式

最後,貴的UPS,如APC,則是各種OS都能夠有相對應的安裝驅動程式。
國產牌的UPS,通常只有windows驅動程式。

yesongow iT邦大師 1 級 ‧ 2013-05-03 03:01:32 檢舉

讓你有時間在停電後趕快去把主機shutdown嗎?

現在凌晨3點,台電預告要停電15分鐘,請各實驗室人員,於三分鐘內,至實驗室將主機關機!---->這樣子,在床上睡覺的你,會在床上跳腳嗎?

嗯,目前是寒暑假,總務處要將電力中電,定期維修檢查,請各實驗室人員,於三分鐘內,至實驗室將主機關機!---->這樣子,在國外旅遊的你,會跳腳嗎?

所以,系統能無人自動化,最好!
若選APC Smart UPS系列,還能作到電力復原後,電腦系統自動開機!
國產牌的UPS,要問一問!

yesongow iT邦大師 1 級 ‧ 2013-05-03 03:12:50 檢舉

買兩台中階的可能效果比較好,但其實實驗環境的效能需求並沒有這麼大,
多台低階機器比較高的彈性可能會比較適合

嗯,中階的伺服器,效能來說,比低階快兩倍以上
電力部份,也有雙電源的HA功能,這是低階設備所比不上的!
擴充性來說,中階的RAM,可以安裝到低階的四倍以上!
中階可裝到128GB~256GB,低階只能有32GB
虛擬系統的OS授權部份,兩種都可以安裝免費版本
電力消耗部份,中階一台在低負載時,不會超過190W,低階一台在低負載時,不會超過150W。
我個人認為,兩台中階伺服器的耗電量(190*2=380W),比五台低階伺服器要來的省電(150W*5=750W)!
以Guest OS執行數量來說,中階應該可以達到低階的4倍以上,推估兩台中階可以執行20~30*2=40 ~ 60 個Guest OS
五台低階伺服器,推估每台可以執行5~8個Guest OS,總數量約為25~40個Guest OS

也許往後有其他用途也說不定---->數量多,怕主機遺失喔!

f905201 iT邦新手 4 級 ‧ 2013-05-05 20:26:32 檢舉

了解了 真的是很謝謝謝謝

6
nansen
iT邦新手 4 級 ‧ 2013-04-28 18:13:35

有種東西叫快取機制,ESX並非即時透過網路抓取VMDK資料的,會將一些Block暫存在本機,寫入的時候也是一樣的,所以網路真的不是太大的問題iscsi就很夠用了。

其次,群暉中小企業50人以下當NAS使用很超值,但真的遇到一些問題時會讓你崩潰,例如硬碟損壞/IO錯誤次數過多該插槽會鎖死,就算插了一顆新的上去也沒用,亦無法解除,群暉原廠說這是保護機制(也請他們連進來看過),只能整台重新開機才能解除,當時上面有兩個iscsi LUN,一個是Fileserver一個是production,不重開Fileserver部分無法恢復RAID層級,重開所有系統都會中斷.....(最後,隔天去客戶那乖乖罰站而已~

yesongow iT邦大師 1 級 ‧ 2013-04-29 11:10:50 檢舉

同樣的插槽,遭鎖定?
這我沒有遇過,
但若NAS內部的插槽已經裝滿硬碟了,何不考慮在NAS上,加裝DX513,
這樣就會有空的硬碟插槽x5個可以使用了!

閃避插槽遭鎖定的問題!

nansen iT邦新手 4 級 ‧ 2013-07-27 15:19:08 檢舉

當時用的是RS2212,全插滿了只是壞了一顆硬碟切到降級模式,但是熱抽換那顆補不回去,因為插槽被鎖定了

我要發表回答

立即登入回答