大家好:
目前要規畫一套給高速運算主機(200核心)用的儲存空間,所有主機要能同時存取該空間。
計算內容是生物資訊計算:例如讀取 25 gb 的壓縮檔案,解壓縮後做字串(序列)比對
請廠商規畫後得到:
一、36個 1TB SSD + Synology/QNAP 的 NAS。
二、48 port 10Gbe Switch
三、22張 10Gbe 網卡
四、主機跟 nas 走 4x10Gbe 的連接方式
五、網站宣稱可以到 3800 MB/s Read, 2800 MB/s write, 400K IPOS
請問這樣的儲存空間,適合 200 個核心同時執行相同的程式(字串比對)嗎?
另外想請問還有其他更適合的方案可以達到更多空間跟更好的效能嗎?
經費約160萬。
感謝大家
所以65萬要買10Gb的網卡及交換器吧?
Cisco 4948 10G約150萬~180萬!
請問,您打算用哪牌子的Switch呀?
Switch + 10GbE 網卡是:DELL N4046F + Intex X520 DP
打錯了,是 N4064F
Arista 7150 Series
http://www.arista.com/en/products/7150-series
CP值好过CISCO 10Gb Switch
是现下流行的1U 10Gb资料中心Switch
founder是Sun Microsystems的founder之一Andy Bechtolsheim
由前CISCO执行员Jayshree Ullal领军
這種等級的storage鵝實在很難跟Synology/QNAP聯想在一起,不過預算NT$1600K好像也只能這麼辦就是了....
公司的生技客戶(蛋白質Proteomics,基因Genomics)
資訊計算花費和生技設備,LAB總投資比較只算是雞肋
沒聽過用Synology,QNAP NAS的
zyx007提到:
NGS計算通常是將檔案拆散,然後用所有CPU去計算。
檔案拆散用所有CPU去算會帶來其他問題,主要就是運算時IPC的須求大不大,如果很大的話,就算是10GbE其latency也會帶來很大的影響,另外假設用8C的server去兜這200C好了,那就須要25個node,每個node估吃200W就好(這是低估值),25台就要吃5KW(散熱會是個大問題,所以得估5KW的budget給空調),每小時要吃10度電,這跟一般家用PC是完全不一樣的狀況,不知您有沒有考慮到這些啊....BTW,不知您的code實作了沒有,不然應該是用GPGPU去做這類高度平行化的運算會比較合理就是了....
基因序列計算通常使用IBM Blue Gene
或者HP,ORACLE SUN Converged Server
或者客制Super Micro GPU Converged Server
现下趋向使用Hyperconvergence Server
iThome有推夯的厂商Nutanix, SimpliVity
2U per Rack:
IBM Blue Gene只有16 core, 2 10Gb nic
Nutanix(客制Super Micro )有20 core, 2 or 4 10Gb nic
有兴趣可以参考:
http://www.crn.com/news/data-center/300073165/gartner-converged-infrastructure-magic-quadrant-nutanix-top-visionary-vce-overall-leader.htm
http://premium.wikibon.com/the-next-phase-of-converged-infrastructure/
請問: 主機跟 NAS 之間, 用甚麼樣的 Protocol 取檔案?
網路芳鄰的分享嗎? (SMB/Samba/CIFS)....那這些 10G 卡可能就浪費了...
用 NFS V4
zyx007提到:
用 NFS V4
200個Core應該是歸類在HPC之類了,通常是用MPI或PVM實作的,很少看到用file based作IPC的....
我如果組一台 NFS Server, 掛上 256G RAM 當 Cache, 是不是會比那一大堆 SSD 還快?
raytracy提到:
掛上 256G RAM 當 Cache
我覺得....
都花錢買200 Core的主機了,何不再多花點錢買正式的Storage?
simon581923提到:
都花錢買200 Core的主機了,何不再多花點錢買正式的Storage?
如果不一定要36顆1T的SSD,這個價錢其實可以買到NetApp了,不過一般HPC的重點應該是job dispatch和IPC,而不是storage吧....