iT邦幫忙

0

請問公共資料夾超過100TB,如何短時間差異備份? 或是N天刪除備份

  • 分享至 

  • xImage

請問如何能設定,用戶刪除時,自動備份刪除的文件到某個資料夾,N天后自動刪除
或是能每10分鐘找出更新、新增的文件做備份
請問有推薦的工具或是方式嗎,謝謝!

詢問AI回答:

當公共文件夾的數據超過100TB並且需要進行快速差異備份時,以下是一些建議:

1. 增量備份:使用增量備份策略可以只備份發生變化的數據,避免重複備份整個100TB的數據。通過檢測文件的變化和差異,只備份新增、修改或刪除的文件,從而減少備份時間和存儲空間的需求。

2. 並行備份:如果備份服務器的性能足夠強大,可以在多個備份服務器上並行備份不同的文件或文件夾。這可以大大縮短備份時間,因為多個服務器可以同時處理不同部分的數據。

3. 增量傳輸:當只備份文件的差異時,使用增量傳輸技術可以進一步提高備份效率。傳輸只發生變化的部分,而不是整個文件,從而減少網絡帶寬的需求。

4. 高速網絡和存儲:確保備份服務器和存儲設備具備足夠的網絡帶寬和存儲能力,以支持快速備份和恢復。使用高速網絡連接和高性能存儲設備可以顯著提高備份和恢復速度。

5. 數據分片備份:將公共文件夾劃分為多個較小的部分,並將這些部分分配給不同的備份服務器進行備份。這種方法可以將備份任務分散到多個服務器上,並顯著提高備份效率。

針對"或是N天刪除備份"的需求,一種方法是使用備份軟件或腳本定期清理超過N天的舊備份。可以根據備份的時間戳或保留週期來確定將哪些備份刪除。要保證數據的完整性和可恢復性,可以考慮在刪除備份之前進行驗證和測試。

總的來說,備份超過100TB的公共文件夾可以通過採用增量備份、並行備份、增量傳輸、高速網絡和存儲,以及數據分片備份等策略來縮短備份時間。同時,使用備份軟件或腳本進行定期的舊備份清理也可以滿足刪除備份的需求。最佳的解決方案取決於具體的環境和需求。

目前做法除了 raid5 外,備份工具只能每天自動備份,不能短時間或是差異備份

看更多先前的討論...收起先前的討論...
1. raid 不是備份
2. 網路架構沒說, 來源跟備份在同一個區網下??
3.系統環境沒說
win895564 iT邦新手 1 級 ‧ 2023-10-12 13:56:18 檢舉
你備份的位置在哪裡
幫你找了一下
我自己沒有用過這一款 FreeFileSync
不過你可以試試看是不是你需要的
PIZZ iT邦新手 3 級 ‧ 2023-10-12 14:03:29 檢舉
若不想花錢,然後又是用Windows Server的話,可以考慮下陰影複製/使用bat腳本+排程去做備份

要花錢的話就買軟體/NAS吧,Synology的APP可以從NAS去抓共用資料夾的檔案

但NAS分內建自己格式的備份或是檔案方式的備份

但100TB這種大小...怎樣都快不了吧......這應該要考慮做整理區分常用和不常用,不常用的就用別的設備/硬碟做封存/歸檔,接著才是把有用的檔案做備份吧!?
wdchiang iT邦新手 2 級 ‧ 2023-10-12 14:07:19 檢舉
很多同步軟體都可以依照檔案日期,做到差異備份。
DennisLu iT邦研究生 1 級 ‧ 2023-10-12 14:53:40 檢舉
raid不算備份,只能說是硬體的備援。

想省錢,封存冷資料,降低備份需要的"量"。
冷資料不會動要保護備份,user幾乎平常不會想要再開,就是能隨時調出來提供就好,不計入每次的備份任務內。

需要日常備份的量降低了,備份資源與成本就會降低,
再來想AI跟你講的方式如何執行。
我猜100TB除了大容量還有小檔案多,
你這種量級,
傳統的備份軟體,光是分析大量小檔時間就花不少了。
也就是File level備份是行不通了,走block level的備份的路了吧。
找付費標榜針對這備份需求的商業儲存系統或是一些磁區快照型技術的應用可能比較實際。

硬體與網路那塊也至少要提供二位數Gbps的環境吧?
望空 iT邦新手 3 級 ‧ 2023-10-12 15:00:42 檢舉
synology ABB+1
好奇,
如果真的買得起 Synology 可以建置 100T 的機種. 難道不能直接問廠商嗎?
小MIS iT邦研究生 1 級 ‧ 2023-10-13 16:55:51 檢舉
謝謝大神們! 看來只能升級找硬件廠商,沒辦法單純用軟體解決
看到這種需求如果要免費,也只有 FREEFILESYNC 跟 香菇備份可以搞了
但基本上建議找專業的備份軟體來,例如 VEEAM之類的
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
1
sam0407
iT邦大師 1 級 ‧ 2023-10-13 17:42:45
最佳解答

要每10分鐘找出更新、新增的文件做備份,我想到的方法有兩個:

  1. 先用Robocopy指令的/MIR /L選項,找出異動的檔案,刪除的先備份到其他位置,備份完再執行/MIR進行新增/修改的檔案備份,以上寫成.bat每十分鐘作一次
  2. 用.NET的FileSystemWatcher來監控公用資料夾的異動檔案,自己寫備份程式
    FileSystemWatcher 類別

但這樣作只是治標不治本,真的有用心要管理公用資料夾,是要去看這100T的資料每個部門實際放了多少容量,請各部門確認這些資料是否有需要放在這裡,如果是冷資料(歷史資料存查性質),IT可規劃唯讀歸檔區域給各部門存放,這部份的資料是不需要每天備份的

1
souda
iT邦好手 1 級 ‧ 2023-10-12 20:04:01

快照吧! 秒級 分/時/天/月/年

2
IT 癡
iT邦高手 1 級 ‧ 2023-10-15 13:41:39

電腦跟網路都是個很神奇的 "東西" ,你給它 100T 跟 1T,前檢查的時間完全不是 1TB 的 100 倍看待,所以建議分成數個資料夾去分批備份,時間會快很多

再者,上面所言,你都建到 Synology 到 100TB 了,Synology 端應該早跟你聯絡、尋求更好設備賣你了吧

0
Hans陳
iT邦新手 5 級 ‧ 2023-10-17 22:56:36

FalconStor的CDP/NSS ?
不過100TB超龐大我會拆成好幾套處理
阿...這要把既有架構通通打掉重建
還要用到一堆FC等設備

我要發表回答

立即登入回答