iT邦幫忙

0

建構 SAN 讓四個繪圖工作站 抓取 SAN 中的資料 part II ~ 針對各個環節再請教各位前輩大大

因為本公司 從事後期特效製作
主要的需求在電影檔案 In/Out 大圖的傳輸 及 2K realtime
近期內考慮要建構 SAN
讓四個繪圖工作站 能夠抓取 SAN 中的資料 能夠 2K realtime play
希望 SAN 的讀取寫入 讓每一台工作站都能夠有 300 ~ 400MB/s

首先 感謝之前 iT 前輩們的解答

以下是我們想建構 SAN 的原因
因為過去公司 的工作站 大部分的 RAID 都是使用 DAS 的方式連接
例如 Inferno Smoke Flame Flint Lustre Revival
上述的 工作站 Raid 都是以 FC host Driver 有的是 FC 硬碟 有的是 SAS 有的是 SCSI
連接方式 都是 以 FC 直接連在電腦本機上 而且 彼此的陣列是不相通的
檔案互傳須透過第三個 NAS 或 硬碟
但是這樣一台工作站 就需要一個陣列
因為現在公司轉向建構 PC 的繪圖工作站
所以我建議公司 建構一個 SAN 讓多個工作站能夠 共同使用 節省成本

conic 前輩 問我四台工作站,需不需要共用相同的檔案 ??
需要的,有時應該會同時共用讀取相同的檔案
如果這樣該如何規劃 建構 ??

我還想針對 SAN 的各個環節再請教各位前輩大大

1.Raid 方面
EonStor S24F-R1840
EonStor S16F-R1840 SATAIIx16 實測 I/O 680~780MB/s
iThome 測試網頁
http://www.ithome.com.tw/itadm/article.php?c=56984
還有更快的 FC host SATAII Driver 的陣列系統嗎 ??

上述兩款陣列 都提供4個8Gb FC
conic 前輩所說的以 DAS的方式連接的話 這樣是可以讓4台工作站有理論的 800MB/s
超過4台 就必須增購 FC Switch 這樣就會需求不夠
那我是否能夠將 Raid 的四個 8Gb FC 接到 Brocade 300 FC Switch 上
這樣是否會有 4 x 8Gb 的頻寬 ??
4台工作站 的 FC HBA 卡 再接至 Brocade 300 FC Switch ??

如果一台 EonStor S16F-R1840 I/O 680~780MB/s 只夠兩台工作站使用
那我可以再購置一台 EonStor S16F-R184 將兩的 Raid 組成同一個 Raid 嗎??
還是乾脆就 2個工作站 用一個陣列 ??
還有陣列 目前預計 應該使用 Raid 5 or Raid 6 還有其他的建議嗎?? 速度優先 但不考慮 Raid 0

2.FC HBA
很多前輩 都推薦 Qlogic 的HBA
所以用 Qlogic QLE2560-CK 8Gb FC HBA 這張卡夠嗎 ??
還是需要 用到 Qlogic QLE2562 Dual 8Gb ??
Dual 8Gb 如果接到 Brocade 300 FC Switch 上 會有 2倍的頻寬嗎 ??

3.FC Switch
Brocade 300 8Gb x 24port
FC Switch 有甚麼購置的建議嗎 ??
請問 此 Raid 可以和 一般透過 Gigabit 網路的電腦 互傳檔案嗎 ??

4.作業系統
再來本公司的四台工作站 作業系統為 XP 64bit or Windows 7 64bit
工作的軟硬體也都是在 PC 上 這樣會不會與上述的設備有所衝突 或是不合 或是沒驅動 ??

5.Server
建構 SAN 的架構 一定要有一台 Server 嗎 ??
如果只有 RAID & 4台工作站 接到 FC switch 上 單單這樣可以嗎 ??
Server 是拿來做啥用???? 檔案管理 權限管理 嗎 ??
前面五位前輩都有建議購買 HP DL..... G6 的SERVER 這一款有甚麼特別嗎 ??
我上HP官網看的一下他的配置跟我們的工作站差不多

最後再請麻煩 iT 的前輩 指導建議
一個完全不是很了 SAN 的 2D Artist 懇請指教 謝謝

鐵殼心 iT邦高手 1 級 ‧ 2009-11-21 18:42:16 檢舉
如果真的有預算問題的話, 可以考慮用iSCSI的方式來解決.
14
davihuan
iT邦新手 3 級 ‧ 2009-11-21 09:43:21
最佳解答

EMC或者NetApp,沒錢找IBM/HP做,台廠不考慮。沒有Server的話沒有NAS的功能就沒有辦法透過Gigabit存取。你的需求要找SI做評估。FC HBA基本上請用Server的OS,一般家用或者商業用的OS的軟體支援性不好。不要拿自己玩單機的方式去想SAN,DAS變成SAN之後效能還會再降,某國內大廠四年前做個一套R/W做到600/400就花個上億左右吧,當然還有別的東西啦。

12
insider
iT邦研究生 5 級 ‧ 2009-11-23 10:22:55

It is good to engage SI or principal to give you one-stop quote ( Server/Storage/SAN Switches/Fiberchannel cards/cable + Professional service)+ License. You get piece by piece from Various parties will have support issue later.
Brocade switch: B-class from HP, IBM OEM already becomes Black color. The support + UI is differnet.
NetApps storage : IBM called N-Series, price and support is different,too.
HP DL380 G6 Nehalem Chipset servers are good, you can check one-stop offerings from it directly.
Fiber HBA : Intel platform normally only has "Qlogic" instead of "Emulex", the feature codes and parts NO are different from HP/IBM/Dell since some of them changed the firmware a little bit.
Fiber Cable : Do not be fabricated from the other parties, better get from hardware principal directly since you can not tell the hardware problem from HBA, Servers, Fiber Cable or OS if something happens during the night.

12
conic
iT邦新手 3 級 ‧ 2009-11-23 12:05:01

由於後製應用產業的進步非常快速,各種主流和"非"主流的系統都有市場,檔案共用更是變成了個大議題,已經不是三言兩語或是個人DIY可以解決的。

從產業資料來看,大抵有三種作法,對應到後製流程的檔案共用。

  1. 使用NAS系統(NAS Head)
  2. 使用SAN File Systems
  3. 混合NAS Head和SAN File System

共同的挑戰是:

  1. 2K或4K的串流,需要160MB/s、320MB/s甚至1200MB/s的IO頻寬
  2. 使用者必須要即時的存取檔案,但不影響其他人
  3. 需要支援異質系統,例如Windows、MAC、Unix
  4. 資料轉移時,CPU負載不能太重
  5. 伺服器內部的匯流排頻寬,必須足夠支撐同時多台Client存取
  6. 網路傳輸的頻寬,FC 1G/2G/4G/8G,Ethernet 1G/10G或是InfiniBand
  7. 因應資料量資加快速,必須提供檔案生命週期管理

davihuan大和insider大介紹的NetApp採用的是NetApp F840 Filer,也就是NAS Head,特徵是應用NAS的檔案共用特性,但仍可保有高速的網路資料傳輸,以規格來看,應用10GbE,平均每個Client都可維持100~150MB/s的頻寬,架構也比較簡單,沒有被綁死的問題,有計畫要擴充較多的Client,NAS Head是比較好的選擇。

SAN File Systems是在SAN Storage上加入一個檔案層,Client通常需要安裝特殊的驅動程式,以及可能需要一台metadata伺服器,用來管理檔案屬性,架構上複雜許多,特點是速度快,可以達到類似DAS的效率。因為Client必須和metadata服務通訊,才能達到檔案共用的目的,有可能會被廠商綁死,擴充性就比較差一些。

http://www.assc.com.tw/document/StorNext%20File%20System.pdf

混合的架構,主要考量到不只是後製,而是包含整個流程,從錄製的影像檔案進入儲存池,到編輯製作,以及後續分發的過程。由於考量到整體的效率,就必須關注到每個應用端,評估所需的頻寬和服務等級。

http://beta.dalsa.com/public/corp/PDFs/papers/4K\_Workflow\_Whitepaper\_03-70-00209-00.pdf

這是HP的Solution,不過據聞售價有點@#(&!
http://h20208.www2.hp.com/cms/solutions/dm/ms/br/4AA0-5565ENW.pdf
http://h71028.www7.hp.com/enterprise/cache/260971-0-0-225-121.html?jumpid=reg\_R1002\_USEN

這是台灣的廠商,Storage號稱支援Windows平台
http://web1.sysage.com.tw/Guest/InfoShow.aspx?p\_infoId=82

這也是台灣的廠商,很有趣,不用傳統的光纖,而是改用PCI-E提供連線,我看不出來Storage有沒有共用檔案的功能,因為只有寫Storage Sharing,而不是File Sharing,直覺是Consolidation
http://www.maxtronic.com.tw/index.php/en/news/239-exasan

6
ataru
iT邦研究生 1 級 ‧ 2009-11-23 14:16:31

有家Coraid是用10Gbps Ethernet來作
www.coraid.com

davihuan iT邦新手 3 級 ‧ 2011-05-17 22:59:08 檢舉

coraid的東西也很厲害, 可以在不需要用的時候可以單獨關掉不用的硬碟, 同時一刀硬碟槽可以有一二十個硬碟, 功能相當強大...

6
thx
iT邦新手 2 級 ‧ 2009-11-30 08:40:18

花了5 個小時東敲西敲 結果當了..>< 從寫一遍...
先從 block level and file level 說起

1.File level 下,Storage 不但提供磁盤空間,而且還提供文件系統功能,
因此,對於host server過來的request,Storage system 會通過
自身文件系統去查找相關目錄以及相關Security信息,
並返回給host server。

2.block level
SAN下,Storage只提供磁盤空間,
對於Host server過來的request command ,storage只是會把scsi command
承載與FC或者IP網絡傳輸給host server,最終由Host server

自身所帶的文件系統去接受並處理這些SCSI command,

在標準SAN
在SAN網中,一個卷 ( 如卷A, 或者LUN A) 可以讓所有的SAN工作站看到.
當工作站 1 看到LUN A 時, 將其格式並放上NTFS (或 HFS+) 文件系統.
但當工作站 2看到LUN A 時, 並不知道上面已經有了一個NTFS. '
工作站 2可能把自己的文件系統放在LUN A, 而摧毀本來在LUN A上的所有資料.
由此可見, 沒有文件系統管理軟件, SAN 是不可能真正共享的。

Sanfile system因此需求而來.可以讓所有機器共用或只讀某些卷. 並可針對lun做限控制管理

把各家sanfile system說明一下

MelioFS
http://www.sanbolic.com/melioFS.htm

IBM:
http://www-306.ibm.com/software/tivoli/products/sanergy/
http://www.ibm.qassociates.co.uk/storage-software-totalstorage-san-filesystem.htm

StorNext:
http://www.quantum.com/StorNext/

SGI:
http://www.sgi.com/products/storage/tech/file\_systems.html

PolyServe:
http://www.polyserve.com

DataPlow SFS:
http://www.dataplow.com

Apple Xsan
http://www.apple.com/xsan/

但是個人覺得才四台工作站, 剪接環境跟流程單純.個人覺得沒必要用到San file system.San file system 還要額外metadata server.成本跟維護不易.軟體授權費用也不低.

至於檔案讀寫會變成.先開才有權限先寫..基本在四台工作狀況下沒必要這樣複雜.

1.傳輸physical layer 用 FC 8G, infiniband 10G,Lan 10Gbe 可達到8Gbps 就可

2.機器...貴有貴的方式,像這種簡單應用環境,連FC 8G跟switch 可以不用買.

Mellanox 10GB infiniband pci-e 版卡 2 port 一張才us 140 * 6張...
硬體建議 x86 HP ML150 G6 可裝11 pcs hot swap HDD 的Tower x86 主機
http://phorum.study-area.org/index.php/topic,56771.0.html
如果喜歡機架式就買HP DL180 G6 12 bay 2U
插上二張 Mellanox 10GB infiniband 版卡 2 port = 4 port
可以分別對接.infiniband card 是以IP 再跑..(當做lan card)
這樣不到 14萬 超高速File level system storage 就可處理出來.(含軟體)

3.走FC 8G 成本會高很多.不過也行.但是會以FC IP為主跑 file level stroage
就當一台很高速的NAS.如果是雙 fc port.另外一port可設為 block mode模式
這樣可以掛載lun 做為更高速需求.或是系統boot用等

4.以上軟體可考慮用open-e 已將標準HP x86 server ,raid ,fc ,infiniband
都整合進去, 想到的中階功能都有了.包含raid hot swap ,rebuild.機器狀況監控.動態擴充lun,快照等....

現在x86 軟硬體整合進步很快. 建議大家可以嘗試看看.不見得要被廠商綁死死的.

cdj500 iT邦新手 5 級 ‧ 2010-02-26 15:54:15 檢舉

走 SAN Share 應該是最正確的解法。Infiniband 是次之解法,但要懂設定管理 Infiniband Band。用 NAS 來解這問題,不管是 NetApp 或其他廠牌都不是很好,與其要花大錢買 NetApp,還不如把錢拿來買 SAN Share。很多 User 都聽不進 SAN Share 的建議,總認為 License 很貴,其實不然。後來買了 NAS 纔發現 GbE 根本就撐不住!
PS 1, 便宜的 NetApp 用在這樣的環境,不如不要買。

PS 2, 電視台很多都用 SAN Share 來解這樣的問題。

davihuan iT邦新手 3 級 ‧ 2011-05-17 22:57:50 檢舉

cdj500 說:

上面誰跟你GbE呀...你要不要看清楚一點??

SAN Share也有filesystem lock的問題, 這個東西要有很完整的配套,
你覺得這個User有電視台的規模去了解或者管理這些東西嗎??

davihuan iT邦新手 3 級 ‧ 2011-05-17 23:05:16 檢舉

cdj500提到:
cdj500

Infiniband 是當網卡用...10Gbps網卡用, 這個User打給我, 我問過現場的線路距離之後才推薦用IB跑IP作區網,
區網大家都會用, 進入門檻低, IB我沒用過, 不過CIFS應該是最簡單傳輸檔案的方式...

我之前吃SAN飯的, 沒有專業SAN相關IT會害死人... 公司沒有大到一次可以花千萬弄SAN的, 很多SAN都掰喀啦...
政府機關也有些這樣, 我就不講了... 往事了

我要發表回答

立即登入回答