iT邦幫忙

0

伺服器檔案備份到 Qnap NAS

  • 分享至 

  • xImage

各位先進好!
我們伺服器的檔案數量約有300多萬個檔案,林林種種飽含pdf、txt、word等等。
前人是設定批次檔排程讓伺服器半夜執行備份至Qnap NAS上,每個禮拜的週六半夜。
在本機建立網路磁碟機,批次檔內容在指向該網路磁碟機代號來進行備份。
但最近排程啟用後,批次檔都會跑很慢才結束,有時候甚至到周一下午還在跑,
大大影響同仁工作效率,因為伺服器跑備份影響到效能。

想請問先進們,還有甚麼方式可以進行備份(方便又快速)?除了批次檔之外例如軟體?
謝謝。

看更多先前的討論...收起先前的討論...
PIZZ iT邦新手 1 級 ‧ 2023-08-09 11:42:49 檢舉
確定不先整理伺服器的300多萬個檔案,區分哪些要的那些不要的,哪些要封存,哪些要備份?
邊緣人 iT邦新手 3 級 ‧ 2023-08-09 11:53:49 檢舉
@echohtc 先進您好,300多萬個檔案都是重要的需要留存..
LowLaser iT邦新手 4 級 ‧ 2023-08-09 12:03:18 檢舉
如果只是檔案(不含特定資料庫)
QNAP NAS方案
https://www.qnap.com/solution/personal-backup/zh-tw/?platform=pc
synology NAS方案
https://www.synology.com/zh-tw/dsm/solution/data_backup
同步軟體
GoodSync Enterprise
mathewkl iT邦高手 1 級 ‧ 2023-08-09 12:27:26 檢舉
批次沒有略過重複檔案嗎? 不可能每次300萬個檔案都有更動要同步吧
PIZZ iT邦新手 1 級 ‧ 2023-08-09 13:04:48 檢舉
那300萬個是每周都會更新的檔案嗎?

不是每週更新的,理論上應該可以改用差異,而不用作完整備份吧??

不然Fastcopy也可以試試看,看可以多久跑完......
用 robocopy 指令來排除已存在的舊檔,做差異備份!
goodnight iT邦研究生 2 級 ‧ 2023-08-10 21:43:08 檢舉
最簡單的是使用 Cobian Reflector 可以做排程, , 每日差異備份, 每週完整備份
備份完還可以把 log 寄給你
rd Z:\data\ <--多餘的, 為什麼要刪掉?
其他備份方案前輩和高手都有回答了
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
0
allenlwh
iT邦高手 1 級 ‧ 2023-08-09 11:50:03

個人曾經用過 SyncBackFree

0
JAF001
iT邦新手 5 級 ‧ 2023-08-09 13:54:36

可以試試Veeam Agent for Microsoft Windows FREE,以我公司環境來說是在server掛NAS建立的 iscsi磁碟,透過veeam Agent每天做差異備份(晚上執行),7天做一次完整備份。

1
DennisLu
iT邦好手 1 級 ‧ 2023-08-09 14:40:14

檔案數量眾多,就不會使用File-Level類的作法,一開始覺得還好,時間久了 小檔多了 效率就差了。
copy 10GB單檔 跟copy 10GB的目錄(裡面大量小檔),時間上就差很多了。

同步性質的備份或Block-Level的備份會比較有效率點。

搭配NAS的話,
1.同步+快照:NAS提供的同步軟體同步到NAS,然後再使用NAS的快照機制去快照每個時間點的不同,
2.備份:S家的有出Active Backup for Business(ABB)利用ABB備份與增量備份,也可以提高效率,一樣可以透過ABB機制撈出某個時間點的狀態,不過ABB通常也是拿來可以還原系統的,也可以指定只備份什麼。Q家大概也有類似針對大量檔案的備份方案。

如果是Windows的話,可以使用內建Windows Backup來備份(不是古早2003/XP時代的ntbackup),也只有第一次是完整備份,之後都是針對異動量,那備份可以指定到NAS存放。不然就走第三方軟體去備份到NAS(有NAS,NAS自家有軟體幹嘛去找第三方呢?)。

Linux的話可以用rsync到NAS rsync Server,然後NAS看用快照處理也行(第一次sync當然會很久)。

0
japhenchen
iT邦超人 1 級 ‧ 2023-08-09 16:11:46

Windows2008之後都有內建robocopy,不用找別家也不用付錢(除非你的2008+是破解版的不在這裡解釋),以下自己變,XF是排除某些副檔名不COPY

ROBOCOPY C:\mydata \\NAS\mydata /E /XF *.INF
看更多先前的回應...收起先前的回應...
邊緣人 iT邦新手 3 級 ‧ 2023-08-10 08:48:38 檢舉

先進您好!
我搞錯了不是備份跑太久,
而是指令內是寫先刪除原備份資料夾內的所有檔案後,再進行複製備份,但是在刪除備份的時候不知道是否因為檔案數量太多才跑那麼久,
刪除指令是rd Z:\data\

就是COPY都是從頭來過?
那頂多是在ROBOCOPY的參數加上 /PURGE,自動刪除目的資料夾裡,已不存在於來源資料夾裡的所有檔案跟子資料夾
那,屬同步型備份,根本犯不著刪空了再複製,硬碟再怎樣也有讀寫壽命上限啊啊啊

邊緣人 iT邦新手 3 級 ‧ 2023-08-10 15:48:13 檢舉

先進您好!
如果照您說的做到同步備份,若來源端的資料檔內容有新增,
這樣目的端也會刪除並複製新檔嗎?

PURGE只是用在來源端刪檔或目錄,目的端也會把相同被刪的檔案同步刪除掉,ROBOCOPY會自行比對兩端,不用自刪目的再複製,RSYNC、QSYNC都是一樣的做法

0
MatthewWangUS
iT邦新手 3 級 ‧ 2023-08-09 17:25:16

rsync / cwRsync

0
Ivan Cheng
iT邦研究生 5 級 ‧ 2023-08-09 17:50:19

可以先使用看看 QNAP 內建的 HBS 3

Hybrid Backup Sync (HBS 3) 是全方位資料備份及災害復原解決方案。HBS 3 可整合備份、還原和同步功能,支援各種本機、遠端伺服器和雲端儲存服務。
https://www.qnap.com/zh-tw/software/hybrid-backup-sync

https://ithelp.ithome.com.tw/upload/images/20230809/20159730jmnNxfjMwK.png

我要發表回答

立即登入回答