大量資料的備份規劃

nas

hsiang11 2019-05-02 11:30:17 ‧ 3410 瀏覽

分享至

在數據資料產生越來越快速之後
備份的問題要用哪種方案會比較好?
原本的storage是用國產企業級NAS 上線沒幾年就把空間塞爆了
目前掛載NFS做空間應用
如果是繼續買NAS做備份是有NAS現成的系統跟軟體很方便
但是會考量到未來的傳輸速度和硬體效能
還是會覺得NAS本身的硬體有天生設計的限制在
後面還是會一直面對新空間的需求及備份問題

有什麼市面上的產品用在備份上比較好的?

看更多先前的討論...收起先前的討論...

台灣蕃薯 iT邦新手 1 級 ‧ 2019-05-02 16:43:46 檢舉

https://www.synology.com/zh-tw/products/RS18017xs+#specs

>> 搭配擴充裝置之最大淨總儲存容量 1,344 TB (168 TB + 14 TB drive x 84) (容量會隨 RAID 種類而異)

>> 每年成長50T的資料量

如果像這樣的設備，配上較高容量NAS硬碟，應該足以應付。

Ray iT邦大神 1 級 ‧ 2019-05-02 17:31:00 檢舉

雖然數字上這是個合理的規劃,
不過實務上, 我們必須考慮另一個問題:

當 RAID Group 壞掉一顆硬碟, 更換後開始 Rebuild 的時候, 在 Rebuild 完成之前, 又壞第二顆的機率有多高? (請先估一下, Rebuild 84 顆 14TB 的 RAID Group 要花多久時間...)

第二個問題是:
這個架構的容量必須一次到頂; 萬一容量買的不夠, 後面又要再擴充的時候, 如果不是組新的 RAID Group, 要將新硬碟併入原有 RAID Group 的話, 要花多久時間?...

tuco0857 iT邦新手 5 級 ‧ 2019-05-02 17:48:25 檢舉

企業級國產是哪一間呢?如果是Infortrend現在統一存儲還可以同時有nas、san還可上雲，機型bay數可以到60bay空間非常夠用，如果容量不夠的話還可以另外接機櫃，穩定性是相當不錯的，有非常高的IOPS，若有想了解產品問題也可以站內我。

台灣蕃薯 iT邦新手 1 級 ‧ 2019-05-03 09:14:48 檢舉

大部份的人都不會遇到這樣的問題，但是經過討論後，也讓大家都能了解實務上可能會碰到什麼樣的困難，感恩 raytracy 大師！

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

Ray

iT邦大神 1 級 ‧ 2019-05-02 11:48:47

大量是有多大量? 成長速度要先估出來才知道怎麼配....

有人覺得一個月 1TB 就很大量了; 但有人可能要應付 2,000TB, 這兩種是完全不同規模的儲存架構....

沒有一種架構是可以讓你從最小一直長到無限大的, 你選了一個可以長到無限大的架構, 當資料很少時, 你的單位儲存成本就會高到讓你懷疑人生;....若你選了一個很廉價的架構, 雖然單位成本低, 但他長大到某個程度就會上不去了....所以 總容量+成長量 這兩個因素, 會決定你的架構選擇...

回應 6
分享
檢舉

看更多先前的回應...收起先前的回應...

hsiang11 iT邦好手 1 級 ‧ 2019-05-02 12:05:28 檢舉

那如果以每年成長50T的資料量估算
用什麼產品適合?

台灣蕃薯 iT邦新手 1 級 ‧ 2019-05-02 12:27:21 檢舉

真的很大量...

froce iT邦大師 1 級 ‧ 2019-05-02 12:52:58 檢舉

這種量的話找個專業的來評估吧....

fuzzylee1688 iT邦研究生 3 級 ‧ 2019-05-02 13:25:32 檢舉

AVI/MP4視訊檔??

Ray iT邦大神 1 級 ‧ 2019-05-02 17:10:37 檢舉

我們以 10 年需求估算: 50TB/每年 x 10 年 = 500TB

這裡剛好有一篇原廠建置範例:
Ceph Performance and Sizing Guide

他的架構可以切成: 小(100TB), 中(500TB), 大(1PB), 三種等級來規劃, 但其實 Ceph 彈性很大, 可以先從小的開始建置, 原架構不變, 只要一直加相同規格的 node 上去, 可以一直無限擴充到 1PB 以上 (國外都是數十 PB 在使用)...

初看這個架構好像 node 數量很多, 但其實那是 2016 年的範例, 當時大容量硬碟成本還很高, 所以他只用 4TB 的 HDD 當作 OSD 單元, 相對的, node 數量就要很多....不過現在大容量硬碟已經降價很多了, 你可以選擇用 10TB, 14TB...的 HDD, 如果不要求效能的話, 可以降低 node 的數量幾乎一半...

此外, 因為是廠商的宣傳建置, 所以選的機器規格都比較高, 你若不需要效能, 可以降低 CPU 的規格, 只要硬碟插槽夠就好了, 這樣會便宜很多...

你若要當成線上儲存體, Ceph 可以建成 x3 Replica (33% 容量) 加上 NVMe SSD 當 Journal Disk 獲得效能; 如果是離線封存而已的話, 可以建成 Erasure Coding 3+1(75% 容量) or 4+2(66% 容量), 再拿掉 NVMe SSD 的成本, 放棄效能, 取得最低單位成本....

不論用哪一種, 10Gbps 以上的網路都是基本必要的, 若要求效能的話, 至少 25~100Gbps 獨立的 Ceph Cluster Network 也是必需的....

Ray iT邦大神 1 級 ‧ 2019-05-02 17:18:16 檢舉

附帶說一下:

當你的容量已經進入 PB 等級時 (500TB = 0.5PB), 自建 Storage 會比買現成的要划算很多, 因為高容量 Storage 的型號價格都非常貴, 遠超過你用一般伺服器自建+專有人力維護的成本...

國內各行業的建置案例: Ceph台灣案例介紹
(註: 我只是舉例, 並不是要推薦這間廠商喔...)

登入發表回應

雷伊

iT邦高手 1 級 ‧ 2019-05-02 16:32:08

本人管理的資料量目前為33TB，備一份後共為66TB，每天凌晨排程差異備份
採用合法免費備分軟體 FreeFileSync
官網下載地址：https://freefilesync.org/
官網有使用教學在此不贅述
搭配系統本身的排程將其設置差異備分或完整備分，視需求甚至可以每小時排程一次

先統計自己有多少資源(硬碟空間)，並統計需要備份的資料已佔用的空間
空間不足上簽呈跟老闆要資源，前提是要有數據支持您的提案
以下是經驗分享：
1.虛擬機器記憶體已滿但硬碟空間還很大的可以用來當備分空間
2.不同NAS是否為同品牌，有NAS TO NAT功能？
3.所有空間內禁止共用資料夾擁有Everyone寫入權限，以免想哭！
4.請注意檔案系統限制：路徑+檔名+副檔名不得超過260字元限制，超過無法備分
5.若有檔案伺服器備援需求，請事先將備份區的資料夾權限調整成與來源區一致，屆時僅要改IP即可，切記業務不可中斷。
6.少部分極重要資料可考慮同步一份至雲端硬碟
7.所有資料與備份區的路徑以Excel作詳實登載，並記錄成長量做為來年預算提撥的依據
8.主要的共用區網路是否有多的網孔，若有可改為NIC Team作業，前提是網路交換機也要有支援。(我沒光纖但4個RJ-45的網孔弄在一起也有4G頻寬)

以上若有不妥處還請各位前輩指導