iT邦幫忙

0

如何讓300萬個檔案同步

請教各位一個問題,
我有台file server裡面有大約三百多萬個file需要備份,容量大約800G,我必須將file備份到同網路的另一台機器上,但是我只能存取那台機器的共享目錄,無法在那台機器上安裝其他東西。由於公司沒錢買備份軟體,我一開始用ntbackup,可以備份成功,但是每次做full backup要三天三夜才能做完,嚴重影響平時上班的使用。後來改用同步的來做,試了good sync and always sync,沒一個可用,因為檔案太多了,導致這兩個程式都當掉了。

請問各位先進,可否建議一下還有哪些同步軟件可以解決我的問題?

謝謝。

看更多先前的討論...收起先前的討論...
蟹老闆 iT邦大師 1 級 ‧ 2009-05-20 20:51:53 檢舉
我想可能是小檔案(平均二三百k)多的關係才會備份到當機,同步處理確實會好些,不然可能還是會當.......
蟹老闆 iT邦大師 1 級 ‧ 2009-05-20 20:54:18 檢舉
如果用ghost32不知可行嗎.有人試過ghost這麼高容量的嗎?
既然是file server那想必是用windows server,ghost不支援w2k3....殘念
蟹老闆 iT邦大師 1 級 ‧ 2009-05-21 15:09:57 檢舉
ghost 11.5 32位元版本可在2k3執行,配合ghostsrv的話應該是不錯的搭配。
只是八百g的資料跑起來不知會是什麼情形,
cooch iT邦研究生 3 級 ‧ 2009-06-13 15:41:44 檢舉
Robocopy 的改良版,
一樣出自微軟官方研發,
RichCopy 4.0
http://technet.microsoft.com/en-us/magazine/2009.04.utilityspotlight.aspx
gilles iT邦新手 4 級 ‧ 2009-06-15 10:03:19 檢舉
感謝分享, 趕快來試用看看
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
40
gilles
iT邦新手 4 級 ‧ 2009-05-22 12:07:35
最佳解答

建議使用robocopy,你可以在Windows resouce kit裡面找到它,Vista跟Windows 2008有內建。他的檔案同步功能比Xcopy強,效率也比較好。

可以用 /MIR 這個參數作2個分享資料夾的同步。
robocopy "soruce dir" "destination dir" /MIR

建議第一次在假日做,之後可以每天做,他只會改寫有異動的檔案。

我想這應該是我要的答案了,沒想到我竟然忘了遠在天邊近在眼前的robocopy,感謝你的提醒。

38
pcboy
iT邦大師 6 級 ‧ 2009-05-20 18:27:41

請參考這篇, 用 BAT 來備份
http://forum.icst.org.tw/phpbb/viewtopic.php?f=10&t=682

但是要注意一點, 不要只有一行 XCOPY 備份 800 GB
否則可能也會吃不消

可以用迴圈搭配, 或自己分拆成十幾二十個 XCOPY 敘述備份

蟹老闆 iT邦大師 1 級 ‧ 2009-05-20 20:35:41 檢舉

BAT檔只能一行一行跑喔,迴圈也一樣一個跑完才能跑下一個
變通的方式可改為多個bat檔

謝謝你的回應,batch方式應該無法應付"三百多萬個"file,copy下來應該也要三天三夜以上,而且xcopy不能作incremental,所以也沒在我考慮範圍之內。
anyhow, thanks for sharing

32
ljl520
iT邦新手 1 級 ‧ 2009-05-20 18:38:40

當初我家主機 要轉移資料到 新購主機 委外廠商 有建議提供
TotalCommanderPortable 這隻軟體 您可以上網搜尋試試! 但實務上 資料搬移時間還是依照您 主機的 資料量大小 網路頻寬速度等 都會受到影響! 當初我也搬了兩天 ( 而且萬一 user 檔案名稱用長檔名或萬用字元 那就可能會複製到一半 有錯誤 或是複製不完全的現象!) 建議 如同樓上說的 利用工具 但要分開資料夾 分批備份! 您參考參考

謝謝你的回應。

我裡面的確有不少file路徑加檔名非常長,長到用檔案總管copy時會報錯。看樣子這個方式我也不適用。

it1280 iT邦新手 5 級 ‧ 2009-05-25 17:36:14 檢舉

冒昧請教scottielin:
Windows不是限制路徑加檔名不能超過260個字元嗎? 難道syncback或robocopy能跳過Windows(像硬碟備份軟體一樣)而自力存取那些檔案總管會報錯的超長檔名檔?

42
bizpro
iT邦大師 1 級 ‧ 2009-05-20 20:35:24

"但是我只能存取那台機器的共享目錄,無法在那台機器上安裝其他東西。"
如果不能安裝程式, 就只能靠windows的內建方法了, 如果您可以安裝程式, 建議您使用:
http://rsync.samba.org/
Windows的版本如下:
http://www.itefix.no/i2/node/10650

Rsync的驗算法非常厲害, 不用錢的, 第一次是full sync, 之後就是差異備份了, (再加第三台, 更安心). 網路上有很多教學的.

謝謝,rsync我先前用過,而且速度是我用過最快的。只是rsync是client-server架構,所以我的情況無法試用。

因為我無法在備份機器上安裝任何東西,所以client-server架構的我才無法適用,謝謝。

24
pantc328
iT邦高手 1 級 ‧ 2009-05-21 16:32:36

你到底是要備份還是同步?
如果是同步是要單向同步?還是多向?
像你這麼多檔案及資料量這麼大備份當然要花很多時間,當然要同步不可能.
而就我前幾天寫一支程式而言(不到50行的Code).
我主要是監視整個目錄的情形,然而我不是做備份的動作.我是做檔案列印的動作.
所以你可以研究像我這樣的做法,因為你可能一個資料夾內好幾萬個Files,上千G的檔案.但可能一天異動的可能幾百個檔,幾G的資料.而每分鐘可能異動幾個檔案,幾M的檔案.你只要去監視這些異動檔然後寫到你備份的資料夾就好了.

24
ahwachen
iT邦新手 4 級 ‧ 2009-05-21 17:08:04

allway sync pro 可以試試看!
網路很多介紹,會比我說更詳細!

24
benson770916
iT邦新手 5 級 ‧ 2009-05-21 17:15:20

看你的敘述我想你的SERVER應該是M$的產物,個人建議你使用cwrsync,他在Linux是已經很久了,我們公司也適用這套程式做同步備份(Windows --> Linux),你也可以嘗試做 Windows <----> Windows,這是可以成立的,在這給你一個方向您可以上Google搜尋 "cwrsync windows",會有很多資料你可以慢慢研究,如果還有什麼問題可以在提問。

24
mdf627
iT邦新手 4 級 ‧ 2009-05-21 18:17:17

second copy 2000
可以用用看這個軟體...
目前我就是用在公司檔案資料的備份用

+1
用很多年了

22
stellayan
iT邦新手 4 級 ‧ 2009-05-21 20:50:12

我覺得XCOPY是可以用的呀
第一次當然要很久
以後就用 /m 這個參數, 只COPY上次到現在有異動的部份
當然如果你的檔案像是股票的資料檔
每天的檔案都有異動 那xcopy的速度還是不夠快的

20
smalllun
iT邦研究生 5 級 ‧ 2009-05-22 09:48:13

try "SyncToy v2.0"

20
Ken(Bigcandy)
iT邦大師 1 級 ‧ 2009-05-22 12:31:39

MIS多年,便宜好用的備份軟體怎麼可能沒有?
找過太多套,目前沒有一套讓我滿意,目前在用:Second Copy 2000 最新是 V7.1
無論是完整、差異、同步....都難不倒他
可以直接用網路、FTP備份
複製檔案可包含NT安全性
遇到錯誤檔案會跳過,最後,當然會給妳紀錄檔
....檔案錯誤的問題,不干備份軟體的事,以我來說,早就千萬交待:
使用特殊符號或任何非英文,造成檔案遺失,恕不負責!!(意思是說,用戶要找備份檔案,但是因為錯誤,他備份過不去,我當然先聲明:沒有。)
Second Copy 2000 目前有一個讓我頭痛的麻煩:LOG太大,他常常開不起來,會讓你以為當機!!
但是除了Second Copy 2000 ,沒有一套我看得上眼。

http://www.secondcopy.com

James iT邦大師 6 級 ‧ 2009-05-27 09:12:25 檢舉

這麼多人推secondcopy,忍不住想下載用看看,但是好像是試用版不是免費使用。
而且功能好像和我用的syncback free差不多,我喜觀syncback free的好處是,
排程設好後是寫入系統排程中,不需要把自己常駐在系統中。
有人寫的中文介紹
http://jason.onweb.idv.tw/archives/001014.html
下載點
http://www.2brightsparks.com/downloads.html#freeware

ektrontek iT邦研究生 1 級 ‧ 2011-11-12 11:25:30 檢舉

請教大家,透過下列方式
robocopy c:\ x:\
(x:指外接硬碟)
為什麼遇到像是pagefile.sys等系統或隱藏檔案都會複製失敗呢?
感謝

我要發表回答

立即登入回答