iT邦幫忙

0

請問從linux 上傳數量眾多的小檔案到windows 最快的方式

  • 分享至 

  • xImage

大家好
因為目前需要做將Linux上的檔案搬遷到windows,但是因為檔案太多(將近1千萬個小檔案),想請問一下除了先Tar再untar的方式以外,有沒有其他的工具或是程式可以加速搬遷的過程?我想找個目前最快的方式,謝謝大家。

看更多先前的討論...收起先前的討論...
froce iT邦大師 1 級 ‧ 2018-10-03 16:15:52 檢舉
sftp+filezilla
結案
還是只能壓縮後再copy過來再解壓。
這樣的方式是最快的。

因為要搬移一個檔案,需要經過,讀取->連結->傳送->寫入->回傳正常5個動作
一千萬個檔案就得要運行5千萬的命令。一定是會很慢的。每一個命令約0.5~3s左右。就會花很長的時間去做這動作。
但如果壓縮後。等於是 壓縮->讀取->連結->傳送->寫入->回傳ok->解壓

其實重點在於連結於傳送這樣的動作。一次性跟多次性所消耗的時間不同。

並沒有其它方式可以再更快處理了。
另外一種方式就是同步備份,只是這是利用平常更新時做處理,也就是只移有更新過的檔案。並不適合用在搬移。因為搬移一定是所有的檔案都要更新。
使用同步的方式反而會比直接copy還要慢的。

所以不用再想去找這種東西了。因為也沒有軟體可以省下連結的時間。
用 tftp 加多工可以試看看 他是走 UDP 但是檔案傳完記得看看有沒有少
ayu iT邦好手 2 級 ‧ 2018-10-05 07:18:55 檢舉
Linux硬碟拆下來接上Windows主機吧.
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

2 個回答

0
fuzzylee1688
iT邦研究生 3 級 ‧ 2018-10-04 10:03:54

買捲磁帶, 用tar到磁帶, 再由win版tar從磁帶解回來.

0
cancelpc
iT邦新手 3 級 ‧ 2019-02-06 01:38:02

FTP 傳送大量小檔很沒效率,遠輸 SMB。
建議打成一包(若空間不夠,分成幾包),再傳送。

我要發表回答

立即登入回答