iT邦幫忙

0

大量資料的備份規劃

nas

在數據資料產生越來越快速之後
備份的問題要用哪種方案會比較好?
原本的storage是用國產企業級NAS 上線沒幾年就把空間塞爆了
目前掛載NFS做空間應用
如果是繼續買NAS做備份 是有NAS現成的系統跟軟體很方便
但是會考量到未來的傳輸速度 和硬體效能
還是會覺得NAS本身的硬體有天生設計的限制在
後面還是會一直面對新空間的需求及備份問題

有什麼市面上的產品用在備份上比較好的?

看更多先前的討論...收起先前的討論...
https://www.synology.com/zh-tw/products/RS18017xs+#specs

>> 搭配擴充裝置之最大淨總儲存容量 1,344 TB (168 TB + 14 TB drive x 84) (容量會隨 RAID 種類而異)

>> 每年成長50T的資料量

如果像這樣的設備,配上較高容量NAS硬碟,應該足以應付。
raytracy iT邦大神 1 級 ‧ 2019-05-02 17:31:00 檢舉
雖然數字上這是個合理的規劃,
不過實務上, 我們必須考慮另一個問題:

當 RAID Group 壞掉一顆硬碟, 更換後開始 Rebuild 的時候, 在 Rebuild 完成之前, 又壞第二顆的機率有多高? (請先估一下, Rebuild 84 顆 14TB 的 RAID Group 要花多久時間...)

第二個問題是:
這個架構的容量必須一次到頂; 萬一容量買的不夠, 後面又要再擴充的時候, 如果不是組新的 RAID Group, 要將新硬碟併入原有 RAID Group 的話, 要花多久時間?...
tuco0857 iT邦新手 5 級 ‧ 2019-05-02 17:48:25 檢舉
企業級國產是哪一間呢?如果是Infortrend現在統一存儲還可以同時有nas、san還可上雲,機型bay數可以到60bay空間非常夠用,如果容量不夠的話還可以另外接機櫃,穩定性是相當不錯的,有非常高的IOPS,若有想了解產品問題也可以站內我。
大部份的人都不會遇到這樣的問題,但是經過討論後,也讓大家都能了解實務上可能會碰到什麼樣的困難,感恩 raytracy 大師!

2 個回答

4
raytracy
iT邦大神 1 級 ‧ 2019-05-02 11:48:47

大量是有多大量? 成長速度要先估出來才知道怎麼配....

有人覺得一個月 1TB 就很大量了; 但有人可能要應付 2,000TB, 這兩種是完全不同規模的儲存架構....

沒有一種架構是可以讓你從最小一直長到無限大的, 你選了一個可以長到無限大的架構, 當資料很少時, 你的單位儲存成本就會高到讓你懷疑人生;....若你選了一個很廉價的架構, 雖然單位成本低, 但他長大到某個程度就會上不去了....所以 總容量+成長量 這兩個因素, 會決定你的架構選擇...

看更多先前的回應...收起先前的回應...
hsiang11 iT邦研究生 3 級 ‧ 2019-05-02 12:05:28 檢舉

那如果以每年成長50T的資料量估算
用什麼產品適合?

真的很大量...

froce iT邦大師 6 級 ‧ 2019-05-02 12:52:58 檢舉

這種量的話找個專業的來評估吧....

AVI/MP4視訊檔??

raytracy iT邦大神 1 級 ‧ 2019-05-02 17:10:37 檢舉

我們以 10 年需求估算: 50TB/每年 x 10 年 = 500TB

這裡剛好有一篇原廠建置範例:
Ceph Performance and Sizing Guide

他的架構可以切成: 小(100TB), 中(500TB), 大(1PB), 三種等級來規劃, 但其實 Ceph 彈性很大, 可以先從小的開始建置, 原架構不變, 只要一直加相同規格的 node 上去, 可以一直無限擴充到 1PB 以上 (國外都是數十 PB 在使用)...

初看這個架構好像 node 數量很多, 但其實那是 2016 年的範例, 當時大容量硬碟成本還很高, 所以他只用 4TB 的 HDD 當作 OSD 單元, 相對的, node 數量就要很多....不過現在大容量硬碟已經降價很多了, 你可以選擇用 10TB, 14TB...的 HDD, 如果不要求效能的話, 可以降低 node 的數量幾乎一半...

此外, 因為是廠商的宣傳建置, 所以選的機器規格都比較高, 你若不需要效能, 可以降低 CPU 的規格, 只要硬碟插槽夠就好了, 這樣會便宜很多...

你若要當成線上儲存體, Ceph 可以建成 x3 Replica (33% 容量) 加上 NVMe SSD 當 Journal Disk 獲得效能; 如果是離線封存而已的話, 可以建成 Erasure Coding 3+1(75% 容量) or 4+2(66% 容量), 再拿掉 NVMe SSD 的成本, 放棄效能, 取得最低單位成本....

不論用哪一種, 10Gbps 以上的網路都是基本必要的, 若要求效能的話, 至少 25~100Gbps 獨立的 Ceph Cluster Network 也是必需的....

raytracy iT邦大神 1 級 ‧ 2019-05-02 17:18:16 檢舉

附帶說一下:

當你的容量已經進入 PB 等級時 (500TB = 0.5PB), 自建 Storage 會比買現成的要划算很多, 因為高容量 Storage 的型號價格都非常貴, 遠超過你用一般伺服器自建+專有人力維護的成本...

國內各行業的建置案例: Ceph台灣案例介紹
(註: 我只是舉例, 並不是要推薦這間廠商喔...)

1
雷伊
iT邦新手 3 級 ‧ 2019-05-02 16:32:08

本人管理的資料量目前為33TB,備一份後共為66TB,每天凌晨排程差異備份
採用合法免費備分軟體 FreeFileSync
官網下載地址:https://freefilesync.org/
官網有使用教學在此不贅述
搭配系統本身的排程將其設置差異備分或完整備分,視需求甚至可以每小時排程一次

先統計自己有多少資源(硬碟空間),並統計需要備份的資料已佔用的空間
空間不足上簽呈跟老闆要資源,前提是要有數據支持您的提案
以下是經驗分享:
1.虛擬機器記憶體已滿但硬碟空間還很大的可以用來當備分空間
2.不同NAS是否為同品牌,有NAS TO NAT功能?
3.所有空間內禁止共用資料夾擁有Everyone寫入權限,以免想哭!
4.請注意檔案系統限制:路徑+檔名+副檔名不得超過260字元限制,超過無法備分
5.若有檔案伺服器備援需求,請事先將備份區的資料夾權限調整成與來源區一致,屆時僅要改IP即可,切記業務不可中斷。
6.少部分極重要資料可考慮同步一份至雲端硬碟
7.所有資料與備份區的路徑以Excel作詳實登載,並記錄成長量做為來年預算提撥的依據
8.主要的共用區網路是否有多的網孔,若有可改為NIC Team作業,前提是網路交換機也要有支援。(我沒光纖但4個RJ-45的網孔弄在一起也有4G頻寬)

以上若有不妥處還請各位前輩指導

我要發表回答

立即登入回答