近期公司要汱換一批超過年限的伺服器舊機，並規劃移轉到虛擬平台上。
VM約計五~六台，含主次DC/WEB/防毒/WSUS/ERP/Finance DataBase/AP/Files Server等，並採用HA架構。同時上線人數約計60員。
找了三家系統商，在符合有限預算情形下，依規劃建置方向大致分為兩派。
其中A派是規劃將全部VM集中於一台Server主機，再與另一台主機進行HA。主機建議規格如:Dell PowerEdge R710/X5660 Xeon CPU ,2.8Ghz,12M Cache/Memory:24GB/HDD:300GB 3.5-inch 15K RPM SAS Hard Drive x6
B派則是規劃將VM依系統負載分別建置在二台Server主機，再進行HA。主機建議規格如:IBM X3650 M2/CPU: XEON QC 2.26G/800M *2/RAM:16GB/HDD:系統碟50GB HOT-SWAP SSD (SFF 2.5")*2/300GB SAS HOT-SWAP，1 萬轉/2.5 吋 *5
因目前資料成長量暫無急迫性，故無外接Storage需求，但考量虛擬平台硬碟IO效能，其中一派建議Files Server主機獨立出來。(以現有較新的Server主機進行建置)
目前為硬體式Mail Server，若伺服器虛擬化上線順利，半年後也將評估導入Exchange，並建置於虛擬平台上！二年內也將進行新ERP系統升級建置…
由於目前公司系統架構甚是單純，使用者人數不算多，兩派規劃方案中，應如何評估並選擇最佳方案呢？希望有規劃經驗的朋友幫忙分享一下。
已邀請的邦友 {{ invite_list.length }}/5
而以我和Dell的交往經驗, 我必須要說, 用Dell, 自己就要有系統整合能力, 有系統工程能力. 一旦硬體出問題, 是必須自己和Dell龐大的客服體系打交道, 這是很累人的一件事.我的經驗也跟您完全相同, IBM 最常遇到的是 RAID Card 故障和 HDD 故障, 甚至還有新版 Firmware 上去之後, 開不了機的慘痛經驗....Dell 的直銷和經銷體系簡直是自家對幹, 客戶被耍著玩的, 連工程師都會互搶.....目前用起來最順暢, 原廠服務最好的也是 HP...
相較之下, IBM的系統整合供應商, 一般來講, 能力與服務評價都還不錯.
我聽到...(恕刪)
我的看法是這樣:
樓主沒有告知是用哪一種 Hypervisor Platform, 此處暫且假設是 VMware vSphere:
除非你們說的 HA, 跟我所知道的 HA, 是不同的東西, 否則這樣規劃, 兩家廠商都該打屁股!!
您在設定 HA 的過程, 也必須透過 vCenter 的介面來建立 HA Cluster.
此外, HA 設定要依賴 DNS 解析主機名稱, 如果您把 DNS 放在虛擬機裡面, 有可能會因為虛擬機掛掉, 導致 DNS 無法解析, 結果造成 HA 出問題. 所以, 最好在管理伺服器上, 安裝一個備用的 DNS Server.
如果廠商沒有幫您規劃這台 vCenter 管理伺服器, 應該拖出去打 50 大板, 而且您將會無法結案.
在沒有其他因素考量下, 我個人是贊成獨立出來.
不是VMware,而是Citrix XenServer!
但要注意: 在只有兩台的狀況下, 分散並不代表你可以用比較低的規格來省錢!!
因為你必須考慮到: 當 fail-over 發生時, 所有的 VM 通通會集中到某一台裡面, 如果這台的硬體規格無法負荷所有 VM 都進來時, 可能會造成所有的 VM 都停擺. 因此, 在規劃硬體規格時, 仍要以: 單台能負荷所有 VM 的效能為原則來規畫.
這個問題在超過兩台以上的 HA 架構就不重要了, 因為大家可以平均分擔, 不需要集中在一台裡面. 例如: 5 台主機做 HA, 平時把 VM 分散成每台只用 80%, 當一台掛掉時, 這一台的負荷分散到其他四台去, 每一台只會增加 16% 的負載, 不需要由一台負擔全部.
wiepwos提到：
不是VMware,而是Citrix XenServer!
我跟 Xen 不熟, 要請其他網友代為分析....
將來若有 Exchange 需求時, 應該要考慮增加記憶體的時間點. Exchange 2010 基本花費至少 16GB, 而且會隨信箱數量而增加. 如果目前是預算因素無法加滿, 就要考慮未來必須停機才能加 RAM.
B 廠商規劃 50G 的 SSD 當系統碟, 完全看不出它的效益. 若以 VMware 為例, 只有 Hypervisor 開機時會用到, 其他的 VM 開機, 用的都是儲存 VM 的那組硬碟. 如果想要把 Host swapping file 放在 SSD 的話, 或許還有道理; 但是當您發生 Host swapping 時, 把錢投資在增加記憶體, 其效果會好過買 SSD.
若是想把 VM 自己的 Swapping 放在 SSD, 這在單機使用沒問題, 但 HA 時就麻煩了. 因為 HA fail-over 時會把 Swapping 也帶著走, 而您又沒有 Shared Storage, 這樣很難....
wiepwos提到：
不是VMware,而是Citrix XenServer!
用 Xen 記得要加買 Citrix Essentials for XenServer 套件, 否則不能做 HA.....
其角色跟 VMware 的 vCenter 一樣....
我的話會選廠商A
很明顯，廠商A的規劃比較周延、可行性高，是比較專業規劃
kaoc提到：
選廠商A
我只能說...Good luck!
2家選1家, 問題是如此, 那就選A.
(1) HA要考慮到 failover 的 sizing, 這部份 A 給的規劃是充足的, 一部機器扛全部 VM, 這部份是對的!!
(2) HA一定要shared storage, 這是當然!!
(2-1) 這是非常基本的, 相信二家廠商都有提供, 是原波並沒有說清楚
(2-2) 一定要 shared storage, 這是必然, 但是這個 shared storage 一定只能用硬的嗎.. ray大, 你在 IT 也不是一二天而已, 好好想想再說吧!!
kaoc提到：
但是這個 shared storage 一定只能用硬的嗎
我已經說過我不認識 Xen, 沒有建置經驗....只能從其他 HA 的經驗去推論...
但是以 Xen 自己公布的 White Paper 上面來看應該要有, 我不瞭解可以用甚麼方式來解決?
或許我沒有理解兩個 HA 方案的不同處, 一般來說不是應該先建 HA server pool 然後把 VM 種上去嗎? VM 在哪台實體機上運行並沒有甚麼關係. 只是 share storage 要夠力.
你要把 ERP/Finance DataBase/Exchange 放到虛擬機 , 請考慮 share storage , 不然建議不要玩...這兩家廠商只會害你系統出問題時被罵.
不論其他…
Files Server(建議使用實體主機)
web(建議用一般桌機架linux，若有對外則看火牆牆能不能進行dnz規畫，安全性十足)
DC/AP記得分散風險就是…
防毒..這個可以採區分掛載…有時可以分流一點or做其中之一掛點時的備援。
WSUS..說實在的很吃資源，虛擬機的效能夠不夠力須評估…
ERP/Finance DataBase這個…要看資源吃的重不重了…
其實…虛擬機跟實體機的效能差的大不大在於…硬體的好壞…
You are right : 1. 兩家規畫都有問題. 不用 Shared Storage (外接儲存)就能做 HA??? 您有請廠商事先做過 POC (概念實證) 嗎? 還是您所謂的 HA 跟我所理解的不一樣? 在 VMware 標準的 HA 架構中, Shared Storage 是必要條件
Not sure the following solution how to work without shared storage only internal disks for each server ( LUNs shared ) ==> A派是規劃將全部VM集中於一台Server主機，再與另一台主機進行HA。主機建議規格如:Dell PowerEdge R710/X5660 Xeon CPU ,2.8Ghz,12M Cache/Memory:24GB/HDD:300GB 3.5-inch 15K RPM SAS Hard Drive x6
不是VMware....
而是Citrix XenServer.
這套系統確實不用Storage即可作到HA的！
wiepwos提到：
而是Citrix XenServer.
這套系統確實不用Storage即可作到HA的！
剛剛去原廠查了 White paper, 上面說還是需要一小塊 Shared Storage, 不過我真的不熟 Xen, 若有錯誤請指正:
不過以 Xen 的架構來看, 他所稱的 HA, 應該是等同於 VMware 的 FT....
但不知道 Xen 的 HA 是否可以超過兩台以上互備?.....
以下是 VMware FT 的架構, 從 Xen 的 White paper 看來, 這跟 Xen 的 HA 很接近:
但要注意一件事: 在 VMware 中使用 FT 時, 每個 VM 只能使用 1 個 vCPU !! (但 VMware HA 則無此限制), 不知道 Xen HA 是否也有這方面的限制? 要跟廠商問清楚...
因為第一次聽到不須 shared storage 的 HA, 翻了下使用手冊看起來還是需要 Share storage. 我錯過了甚麼東西嗎?
Configuration Requirements
To use the HA feature, you need:
• Shared storage, including at least one iSCSI or Fibre Channel LUN of size 356MB or greater - the
heartbeat SR. The HA mechanism creates two volumes on the heartbeat SR: 4MB heartbeat volume
Used for heartbeating.
256MB metadata volume Stores pool master metadata to be used in the case of master failover.
If you are using a NetApp or EqualLogic SR, manually provision an iSCSI LUN on the array to use as the heartbeat SR.
• AXenServerpool(thisfeatureprovideshighavailabilityattheserverlevelwithinasingleresourcepool). • Enterpriselicensesonallhosts. • StaticIPaddressesforallhosts
----- 我是分隔線 -----
我試過 Oracle VM, VMWare ESXi, Hyper-V 做 HA cluster, 但越做我的疑問更多了..
我最終目的是我的 Oracle RAC 不要死掉. 使用 VM 的好處是我可以隨時做 Snapshot, 如果不幸 OS patch 或是人為操作失誤, 我還是能在短時間內 (<30 分)將資料庫回復上線. VM SnapShot 能保護我 OS patch, 但如果是 VM 本身的 patch 呢?
ＳＱＬＳＥＲＶＥＲ本身也能做ＩＮＳＴＡＮＣＥ級別的ＨＡ（雖然慢得多）如此一來我將ＤＢ放入ＶＭ的ＨＡ到底有什麼優勢？
若以 VMware 的 4-node HA, 來跟 4-node RAC 相比, VMware HA 的效能高出很多:
左邊用 RAC, 右邊是 VMware HA, 測試的硬體都是: Dell PE2900 servers, 2 x 2.66 GHz quad-core Intel Xeon x86-64, 24 GB RAM per node (96GB total). 測試的條件是: OLTP workload using Quest BMF.
這個還是 VI 3.x 版本的測試, 現在 vSphere 4.1 的效能還會更高, 全文請參考:
Virtualizing Oracle Database 10g/11g on VMware Infrastructure
pojen提到：
VM SnapShot 能保護我 OS patch, 但如果是 VM 本身的 patch 呢?
如果你擔心 VM Patch 出錯的話, 可以把架構設計成:
Hypervisor 主機透過 HBA Card, 直接從 SAN 的 LUN 載入 Hypervisor 後開機.
Patch 時, 利用 SAN 的 Snapshot 功能來做備份, 萬一失敗, Rollback 回去重開機就好了.
pojen提到：
我試過 Oracle VM, VMWare ESXi, Hyper-V 做 HA cluster, 但越做我的疑問更多了..
DB 層級的 HA/Cluster, 與 VM 層級的 HA/Cluster, 所保護的目標是不同的....
DB 層級可以偵測到 DB Level 的健康狀況, 只要是 Instance 停掉就可以切換接手...
VM 層級只能偵測 Hypervisor Level 的健康狀況, 通常是需要硬體出現大問題才會切換...
但以價格而言, VM 層級相對便宜, DB 層級的授權費相當昂貴; 如果在您的應用環境中, 只需要做到硬體層級的 fail-over, 那麼選擇 VM 方式的 HA 可以節省很多預算...
有很多實際應用例, 是先用 VM 做 HA, 然後在 VM 裡面又再建立 DB 自己的 Cluster, 以達到雙重保護的目的...
file server作虛擬化，算是自找麻煩。server 虛擬化,是要將低I/O運作的server整併起來，提高使用率的。
其實大部分時間，所謂的File Server (NAS)的DIsk I/O 是很低的，不過這部份因為現在的環境中沒有類似的SERVER，所以你沒有辦法驗證。但是在我經驗中，我在nas故障時，把平常備份用的vm開啟來給user使用，倒也沒有碰到user反應說nas反應很慢或者平常已經在用的vm有變慢的跡象，而且我vm host的規格比你的要低上太多了。
另外，我也覺得廠商規劃SSD 不知道是基於什麼理由？要就玩大點，所有disk都用SSD來取代(雖然這是在挖洞給自己跳..) 要不然vm主機跑在ssd上實在沒有太大意義，我在大陸的一台vmware esxi ，甚至是用隨身碟開機的！上面的兩台Terminal Service也是跑得好好的。
在硬體規格差不多的前提下，我也會選擇B方案，以A的方案來說，萬一第一台主機掛點，你第二台主機勢必要能夠承接所有的負載，也就是說第二台的主機規格應該至少跟第一台一樣，但是這樣第二台平常不就都放在那邊發呆？這樣似乎頗浪費的。
而B廠商的方案，雖然不能讓你在硬體設備上面偷機多少(廠商一定是建議一樣規格的主機兩台，不會有廠商敢說分散開來，主機就可以用比較低階的)，但是換個角度想，在平常的運作時，這兩台主機的負載都是比較低的，萬一發生故障時，另一台主機要接手的時間也會快一些。
另外提一點原文沒提到的問題，記得要考慮P2V的難易度，我之前在做vmware 的P2V時，就碰到某些Windows平台的主機轉換發生錯誤的問題，造成整個case delay了兩三天左右的時間，這點不得不妨啊...
給樓主參考：
給您參考:
1.您的A,B兩家廠是否有CITRIX XEN SERVER的認證工程師, XEN SERVER裝起來簡單, 改起來會嚇死人, 技術能力不夠的廠商, 最後苦的會自己
2.XEN SERVER的地雷(或限制)很多, 不是不能用, 而是你"真的"要跟它做好朋友, 不然到時它不理你, 你就慘了, 例如:XEN SERVER很多功能是必須下CLI COMMAND的, 沒有圖形介面; XEN SREVER在本機LVM TYPE的硬碟上做SNAPSHOT,一次SNAPSHOT可能會佔到原大小的30%, 那六顆SAS 300G的硬碟能做多少次? SNAPSHOT砍掉後空間還不一定還你, 要再下COMMAND去要; 用SHARE STORAGE做HA, 萬一STORAGE斷線, XEN SERVER自己會執行重開...等等一堆的狀況, 您真的要好好去KK它的管理手冊
3.前人教我們不要把雞蛋放在同一個籃子裡, 虛擬化這事剛好跟這道理相反, 廠商給我們的講法是當架構與設備規劃好, 備份做好, 會比分別放在各個機器上安全, 所以, 以您的架構那備份要怎做是很重要的, 要規劃進去喔.
4.XEN SERVER是一個好東西,成本跟其它產品相較會讓你覺得很滿意, 不過它需花的工也多,慎之.
5.試想一下,萬一你的VM掛了怎麼辦, 有SNAPSHOT呀, 根據上述, 基本上你是不太可能有多少份SHAPSHOT的, 而且你的廠商是否有能力提供你自動SNAPSHOT的SCRIPT還不可知, 就算有提供你可能也不敢用, 搞不好SNAPSHOT會把硬碟空間佔滿, 反而導致系統當掉; 那把VM備份匯出呀, XEN SERVER本身目前沒提供自動排程的功能, 又要寫SCRIPT去做, 弄到最後, 覺得自己快變CITRIX的工程師了.
6.HA功能我沒用, 光聽到STORAGE斷線XEN SERVER會重開就昏倒了,原本可能只是單純的網路問題,這一自己重開, 可能就天下大亂了.
7.個人覺得(這只是個人意見), 小公司把主要系統都弄到VM上, 基本上是MIS自虐的行為, 整個虛擬化系統一出問題, 乎幾沒有一項是自己能解決的, 乖乖多買幾包嗎? 你的廠商在建置時是隨叫隨到, 可之後就要看你廠商的心情了,隔天肯來你就偷笑了, 所以, 上帝保佑你!
Yes, I think "lemonest" quotes highlight something which are important to deployment and on-going end-users in-house support.
Xen engine comes out 3 commercial editions :
Oracle VM : Oracle Enterprise Linux Kernel + Xen engine
Sun xVM x64 : Solaris 10 Kernel + one-level off Xen engine ==> dropped by Oracle
XenServer : Citrix
To play it safe, get solution assurance from Vendor & Principals to ensure the "support"+"delivery"+"maintenance" in place.
XenServer確實可以做到internal H/D做HA,只要兩部以上要做HA的主機不要壞一樣的地方就可以,缺點要兩套一模一樣的設備~多花一部機器的摳摳,如果兩部不一樣~掛掉的時候就會很好玩
iThome鐵人賽
看影片追技術