求 MSA2000sa 的效能實測~
請問是否有人可以提供 MSA2000sa 在 ATTO Disk Benchmark 2.46 的測試數值抓圖?
我們最近購買一台 dell MD3000 SAS 15K-RPM 300GB *10
作成 RAID5 但是測起來的效能似乎比預期要差得多.
如圖:
是否有大俠可以提供 同級RAID的測試抓圖以供參考.
是不是我們的DISK效能偏低呢?
因為我發現它的寫入效能只有本機磁碟的一半左右..
不知是何原因..
已邀請的邦友 {{ invite_list.length }}/5
這件事情, 其實有很多的討論空間.......先不管 MSA-2000 是如何, 光是 MD3000 這邊, 就可以有很多種不同的結果, 一切要看您的環境設定來討論...
網路上很多人在抱怨 MD3000 的效能, 也有人測出比樓主更低的效能 (低於 70MB/sec), 不過, 其實有很多方法可以來調校....
Segment size
您用 MDSM 圖形介面去建立 Virtual Disk 時, 只能選擇 128KB 或 256KB 的 Segment size, 但若改用 CLI 命令列的話, 可以選擇 8KB ~ 512KB 共 7 種不同的 Segment size. Segment 的選擇對效能影響很大, 但要跟據您的硬碟數量和 Max I/O size 來計算出最佳數值.
Cache Block size
在 MDSM 圖形介面裡, Cache block size 只能設定成 4KB, 但在 CLI 指令中可以指定 4KB 或 16KB. 顯然在大量資料傳輸時, 16KB 會更有效率.
Partition Alignment
若您是用 Server 2003 (含)以前的版本, 預設是不會做 Partition 對齊的 (Align), 您必須自己用 Windows 附的 diskpart 指令, 以手動方式去切 Partition 並指定對齊的位置, 把他校正在可以被您的 NTFS Cluster size 剛好整除的 Sector 編號上面, 這樣才會得到最大效能. 如果 Partition 沒有切齊, 最多可能會損失五倍的效能.
RAID Level
在整體測試中, 當 Write 指令比例大於 10% 以上時, RAID-5 的效能會比 RAID-10 要少 20%. 所以如果您的應用需要有大量的 Write 動作, 改用 RAID-10 才是正確的選擇.
測試方法
我是不瞭解您所使用的測試工具, 不過通常我們都是針對 AP 的特性來做測試, 例如: SQL (還要分 OLTP 還是 OLAP...), Exchange, Sharepoint...等, 因為不同的 AP 會有不同的讀寫特性, 必須根據這些特性去調效, 而不是一股腦的通通塞進去就沒事了. 目前可以讓你這樣胡亂塞還能維持效能的廠牌, 大概只有 NetApp 可以辦得到 (透過 RAID-DP + variable block size + dedupe...), 其他的中階產品, 都需要管理者自行調效參數.
所以 SQL 可能會用 SQLIO 來測, Exchange 可能會用 ESP 或是 LoadSim 來測, Sharepoint 可能是用 VSTS 或 WCAT 來測. 要不然, 也是用 IOmeter 這類軟體, 去自訂讀寫的比例和資料大小, 以模擬實際的狀況. 不會像一般電腦玩家那樣去測每種 Block size 的讀寫速度, 因為那無法反映出真正上線使用的狀況.
由於我們對您的環境並不是很了解, 故很難提出一個對策. 拼命換產品並不是正確的解決之道, 每個產品都有它自己的特性與調校方法, 你不能期待這樣一個複雜的產品, 插上去不管他, 他就可以自己揮發最高效能. 就算您真的插上去就蹦出高效能, 那也只是運氣好, 下一次就不一定能讓你遇到.
所以通常賣 SAN 給客戶, 都還會附帶賣系統調校的服務, 而且會跟 AP 種類有關.
嗯~ 2位大師所言極是..
以實際應用而言~ 本MD3000是要作為2部VM主機的VHD來使用. VM的主要服務是要取代多台老SERVER的服務.EX: FTP, WEB, DNS, 防毒主機, SUS, Log server 等...
以前有在用VM發現能開幾個VM的瓶頸都是出在 DISK IOPS 的反能速度及資料的傳輸量上.. 所以想用此台 Disk Array 來改善效能.
但是購入後很失望的是它只有本機磁碟效能的一半. 如果不是我設定錯了.就是它的效能真的不好..那就不需要用外接的ARRAY了..用本機的就好了..
以ATTO作為簡單的簡試大概都可以分辨出來高低..只是也怕有些肓點..
所以需要 同級產品的比較.是不是效能只有如此呢?
附圖 左邊是 本機的 3SAS RAID5 的效能. 右邊是 9xSAS RAID5 MD3000 外接式 RAID 的效能.
能否先說明一下, 您的主機是如何連接到 MD3000 的?
上面的測試, 如果您將 Queue Depth 調整到 256, 並勾選 Force Write access, 結果會如何?
附加一個:
主機是R610 由2條6G SAS外接線連接MD3000 的2個控制器.
有試過把 Total Length 降低 64MB~256MB 表現最好~ 再低式是超過 效能都是往下降. 最佳效能時是 200MB/sec 左右.
Queue Depth 最多只能設定10 , 會比4更好一些..
Force Write access 的差異似乎不大..
左右比較..似乎 6G的本機RAID效能(C:) 就是比 3G的外接RAID-MD3000 (E:) 效能要好上一倍?!
如圖:
您連接內部 RAID 和 MD3000 是使用同一片 RAID Controller 嗎?
您打算將磁碟陣列使用在哪一種應用中?
因為看您只有拼命在測連續傳輸效能 (MB/sec), 但卻未見您測試任何與 IOPS 有關的項目. 但是 MB/sec 只有在大量連續寫入, 且容量超過 RAID 的 Cache 時才有意義, 例如: 拷貝一個 3GB 的檔案. 但在其他的應用中(SQL, Exchage, ERP....), 高 MB/sec 並不代表高效能.
絕大部分從 AP 觀點的測試, 都是以 IOPS 為比較基準, 少有用 MB/Sec 來比較的...
而且, 您也沒有提供 ATTO 測試時是用甚麼樣的 Pattern 寫入? 據知, ATTO 若用 0x00 當成 Pattern 寫入, 在某些硬體上根本不會真的寫入磁碟, 只會反應出資料在記憶體中搬移的速度而已....
這裡提供某位 MD3000 用戶, 使用 IOmeter 測試的結果.....
環境: 1TB SATA, 7+1 RAID-5, dual controller
用 IOmeter 以 Non-buffered 64KB sequential writes 寫入資料
設定 A:
在建立 Virtual Disk 時選用 256K Semgent;
NTFS Partition 使用 4KB Cluster size;
Partition 沒有做對齊處理 (Alignment);
結果 A:
1 Stream = 80 MB/sec, 6 Stream = 115 MB/sec
設定 B:
在建立 Virtual Disk 時選用 64K Semgent;
NTFS Partition 使用 64KB Cluster size;
Partition 有做對齊處理 (Alignment);
結果 B:
1 Stream = 40 MB/sec, 6 Stream = 300 MB/sec
請問, 您要用設定 A? 還是用設定 B?
我後來測試由R610本機RAID 上建立2個VM 安裝WINDOWS2008 , MD3000上也建立2個VM安裝2008 同時去執行.. 在MD3000上的W22K8 晚了大概15分鐘才裝好..
如果是要看磁碟系統效能. 大概就可以知道..吃DISK-I/O 的VM 可能最好是不要裝在 MD3000上..
當初買MD3000 就是希望解決VM DISK-I/O 瓶頸的問題..
但是現在看來..MD3000 是上一代的 Array 效能比本機的差..
似乎把VHD 放在MD3000上就只是作HA好用... 並不能解決 DISK-I/O 瓶頸..
之後DELL才跟我說..他們本月有新產品出來 MD3200 效能可以比MD3000高很多.. 價差不大..
()^&*#$%@#
這段時間的測試我得出幾點結論
VM的效能瓶頸大都會出現在 disk-i/o
SAS系統 3G base & 6G base 效能真的差很多.. 本機簡單的SAS 6G RAID卡也會比外接式 SAS 3G ARRAY 要強.
DISK的基本設定 Semgent,Cluster size, Partition Alignment, RAID最佳顆數. 應用程式的存取形態都會影響效能.
MD3000 在 SAS 6G base 系統中..只能當備份使用. 它會成為效能上的瓶頸.
或是配重在不需要太多磁碟效能的VM使用..
在效能評鑑上還蠻多時候會有你測試完後的疑慮
尤其是現在的disk效能和過去相比還真的是不遑多讓
但是使用碟陣列通常是為了更高的安全性、可用性、高容量與高效能
但也通常代表著需求非單一磁碟就可以提供的
試著將ATTO換成IOmeter(雖然有點舊)
但更可以正確模擬企業環境實際運作的IO行為
同時使用硬碟的程序數量(process or request)
資料分佈範圍(實際資料大小與檔案系統於陣列中配置區域)
資料取用型態(隨機或循序)
都是影響校能評估的重要依據(當然還有許多其他的重要項目)
可以參考http://www.storageperformance.org/中的測試規範
若覺得麻煩 可以先把ATTO中總長度項目改為與實際測試磁碟相同大小
相信你會看到不太一樣的數據
(現在光華商場中都有64MB cache的硬碟可以買，測試長度只有256M)
但由於資料的配置與資料取用的型態才是決定效能結果的重點
建議先參考各種類型應用的建議使用方式
下列文件中的 "26頁" 也許有你可以參考資料
Best Practices for Optimizing the MSA2000 Whitepaper:
http://h20195.www2.hp.com/V2/GetPDF.aspx/4AA2-5019ENW.pdf
PS: 若測試平台在Win2008以前還需要注意 Disk alignment的問題
http://msdn.microsoft.com/en-us/library/dd758814(SQL.100).aspx
雖然是用SQL server做說明但圖文並茂很容易理解Disk alignment的問題所在
尤其是IO sensitive的系統更要注意
好問題
MSA 是x86 架構一定比較快 ,MD3000I bottleneck 就是在fpga 控制器架構效能不夠..
看你測試 應該已經tune差不多了 這邊有最佳化文章值得一看
http://www.dell.com/downloads/global/products/pvaul/en/powervault-md3200-array-tuning.pdf
1.如果想要DISk loading 量超過150MB /sec 以上.不要想iscsi 會表現多好..
2.把一樣錢去買open-e + Qlgoic 2G FC card +x86 server 效能會改善很多
iThome鐵人賽
看影片追技術