iT邦幫忙

0

大量檔案備份的問題

  • 分享至 

  • xImage

請教各位前輩
這是目前公司所遇到的問題點,由於常常要備份大容量的檔案,因而導致下列狀況
1.原本有規劃一台FTP SERVER,主要容量是有2顆1.5TB的SATA硬碟組成,但因為所要備份的檔案實在是太大了,導致3TB的空間還是不夠用
(或許有人會問說到底是什麼東西,會備份到3TB都不夠使用呢?其實在我看來主要是公司的人員用電腦的習慣都不怎樣好,資料都沒有整理)

2.上面的主管很喜歡用光碟燒錄備份,但是遇到幾百GB的資料,使用4.7GB的或者8G的光碟來備份,都要備份很久。

也因此想請教大家,都怎麼備份大容量檔案及篩選避免重覆的資料備份呢?
感謝

賽門 iT邦超人 1 級 ‧ 2011-07-22 12:50:01 檢舉
在回答前, 我想先問問版大...您打算花多少錢??
ektrontek iT邦研究生 1 級 ‧ 2011-08-05 08:52:56 檢舉
假如要購買設備的話,預算應該OK
但是通常備份的設備,透過網路備份都很慢,此部份是否有辦法改善呢?
謝謝
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中
12
liurambo0911
iT邦高手 1 級 ‧ 2011-07-22 12:28:02

你的主管不會用計算機嗎
3000/4.7 = 653.61片

1.買新硬碟來當備份比較快
2.從源頭減少重複性資料

就算現在篩選掉重複檔案,那以後哩
你有打算每次都要花上很多時間去做資料比對是否重複嗎(上T的資料ㄟ)

看更多先前的回應...收起先前的回應...
ektrontek iT邦研究生 1 級 ‧ 2011-07-22 12:46:35 檢舉

我有建議用兩顆3TB的硬碟互為備份的方式,而且備份速度也會比較快,但是主管是覺得硬碟會容易故障,且有資料安全的問題。FTP方式備份的速度太慢了(遇到幾百GB的資料就很慢了)
謝謝

CalvinKuo iT邦大師 7 級 ‧ 2011-07-22 14:40:56 檢舉

我覺得版大若沒預算做備份大概也就只有破釜沉舟的方式才能重生。
買台新機(就是舊機有問題之類理由),舊機留著,限時請使用者把資料搬去新機。
需要備份的資料(搞個RAID吧)每個使用者限制配額,例如: 1G。通常這樣會使用者自己篩選資料放上去。
不要趕盡殺絕,另外弄個空間(給個不大的SATA HD)讓使用者放他們認定不需備份的資料。(例如:某程式的安裝檔案)

沒錢可以買LTO二手磁帶機來備份阿....

krarm iT邦好手 1 級 ‧ 2011-07-22 23:09:28 檢舉

ektrontek提到:
主管是覺得硬碟會容易故障,且有資料安全的問題。

只要把主管delete掉,問題就可以找到解決方案了。

kradark提到:
只要把主管delete掉

我渾身顫慄,感覺刀光血影......

ektrontek iT邦研究生 1 級 ‧ 2011-07-23 10:13:32 檢舉

通常這樣會使用者自己篩選資料放上去

這個在我們公司比較難,他們都是不管三七二十一,資料全部往SERVER上傳
有宣導了,也改善不大
謝謝

krarm iT邦好手 1 級 ‧ 2011-07-23 12:34:44 檢舉

我們部門剛花600萬買了D2D2T設備,在小氣的我看來,公司真的是凱子。

既然你們主管沒有錢,又對便宜的solution意見這麼多,問題就在你們主管了。

krarm iT邦好手 1 級 ‧ 2011-07-23 12:37:47 檢舉

當然前部門花了近2000萬買了NAS系統,只做檔案暫存使用,更凱。

總結以上 樓主應該先設定好個人的空間額度 將刪除的工作丟回給使用者
而不是無限量的往上丟

任何東西都會壞 燒錄片一樣也會
多處備份才是王道

14
msit
iT邦高手 1 級 ‧ 2011-07-22 17:09:34

建議由資料分析開始
我規劃file server是由資料分析開始的,如果是使用server2003 R2以上版本,建議使用[檔案伺服器資源管理員]這類的工具,先區分各部門的配額,當然可以先不限制額滿,然後分析成長率。
接著,稍微去看各部門的資料夾量,還要資料類型。例如:我們公司不是影片網站,所以當公司file server出現大量的影片,就會研究是哪些類型,如果是教育訓練的,因為存取機會很小,我們公司是放置到一個訓練專用硬碟。
另外,私人的照片、影片,貴公司希望幫他們備份嗎?基本上我們公司是看到直接砍私人的資料。
檢整完成後,看看貴公司資料成長率與總量,假設要能讓備份機制運作三到五年,再看看要用什麼備份機制了。LTO新的速度蠻快,但是還是要考量成長率與備份所需時間。

10
Tony
iT邦高手 4 級 ‧ 2011-07-22 19:43:37

如果只是備份文件資料, 建議可以利用備份軟體提供的正面表列或負面表列的方式, 指定要備份或不備份的檔案類型, 因為, 很多人的電腦硬碟內, 總有一些.mp3, .avi, .rm, .wmv, .mpg...., 這些檔案, 絶大部份是user私人的, 不見得要備份, 扣掉這些, 應有機會減少很多硬碟空間。

10
Ken(Bigcandy)
iT邦大師 1 級 ‧ 2011-07-23 02:18:22

我們公司產製數位教材,檔案也很龐大,幾個方向給你參考

一、依照部門、職員的工作屬性,確認每個人要給他們多大的『Server』空間
依我為例,本機端200-500G(只是工作暫存,不管備份),Server端=(個人*部門人數+專案未完成的活動空間+三年內不用擔心擴充)*2,第二份是每日備份

重點是:規劃分類好+『教育部門主管』空間的儲存方式、規則,請他負責宣導,每隔一陣子隨時監看,弄錯的檔案都會被我搬到『違規區』,並且七日後刪除不通知
...我每個硬碟、目錄之下,都放文字說明檔,裡面講儲存規範、作法

二、Server上面啟用空間儲存限制
1.每日完成、暫存區,我只給20G
2.完成歸檔區,不限制

三、資料備份問題
1.上面已經有每日第二份自動備份
2.如果資料重要,多準備一份外部備份,我是用外接RAID機但是沒啟用RAID,七天備份一次,因為RAID死掉=資料全死,很多企業用磁帶機

四、資料安全性
硬碟保護有很多,GOOGLE搜尋都一大堆,請找一下,讓你的主管安心很簡單

五、光碟自動燒錄系統
二年前有找過,要價1萬多,他會自動進片、燒錄、退片、換片,最多20-50片,有機械裝置拿片
可是!!光碟燒片一年後讀不出來我遇到很多次,用錸德好很多,但是方便性、速度,遠遠不及硬碟、磁帶機,不要再考慮了!!

六、凌晨2點,我該睡覺了。

看更多先前的回應...收起先前的回應...

重複資料刪除,這是IBM、HP、幾家大廠近幾年強力推銷的產品
如果沒辦法規劃好,且公司願意付出這筆錢,當然可以買產品來處理
費用大約20萬台幣,細節請自行搜尋

ektrontek iT邦研究生 1 級 ‧ 2011-07-23 12:23:10 檢舉

如果要買備份的機器或設備,希望有支援raid的,
有沒有建議的呢?
謝謝

ektrontek提到:
raid

Raid的討論『非常多』.......
『NAS』最近也很多
我簡單說差異
RAID價高、但是速度快,又有非硬體式(Raid卡)、軟體式(例如主機板自帶、驅動程式安裝上去,會吃掉很多CPU)

家用型NAS低價、速度慢,也有RAID,但是我目前為止『不敢用』....家用例外
企業型NAS,可能是你的好選擇,群輝科技我觀察了一陣子,應該值得肯定,既然你說是備份,挑他應該很OK

還有,這種NAS對你超好用的地方是:硬碟隨時增加,方便呀!!

8
goodnight
iT邦研究生 2 級 ‧ 2011-07-24 20:17:52

雖然備份分日備份, 週備份, 我的做法是用 nas 做日備份, 採用鏡射差異法, 只對有異動的檔案做備份
週備份的部份比較麻煩了, 安全性也不太夠, 但是可以補日備份不足的問題
如果你要做到每日都留記錄, 至少要3*8 的容量, 那麼你要考慮高容量的備份系統

1.nas + raid5
2.win server + raid5 (server 還可以做別的事情)
3.高容量備份系統

4
davidliu9116
iT邦研究生 2 級 ‧ 2011-07-25 10:28:38

建議將檔案篩選一下
1.將無版權或不清楚有無版權的資料或檔案一律--殺無赦,並記錄下來是誰上傳的
2.連到該上傳人員的電腦篩選有沒有無版權或不清楚有無版權的資料或檔案一律--殺無赦,並記錄下來
3.私人檔案就聯絡該人員請他限期Copy回家裡否則爾後一經發現--殺無赦,並記錄下來
弄個幾次他人就會知道你是玩真的
記住MIS有很大的法律責任,所以一定要保護好自己

4
harrier7
iT邦研究生 2 級 ‧ 2011-07-25 16:40:17


LTO-4

SATA RAID
來備份,就能解決。
但,同時請開始清查 FTP server 上面究竟放了些甚麼?(當然,這涉及政策問題,要先請主管裁決核示並公告)
然後每日搜尋、表列、製作報告、上呈檢討
最後就開始天天蒐證後斬立決。

4
ginnyhung
iT邦新手 4 級 ‧ 2011-09-09 16:07:36

記得以前我在管理公司的 File Server時, 我是每天備份, 就怕哪天掛掉沒存檔挨罵, 但有些檔案都大到花很多時間, 以及對硬體很操...所以我的方法如下:

  1. 向內部宣導屬個人有關的檔案請自行保管, 屬公司資料才准許放在Server上, 以免浪費不必要的資源
  2. 另外我用了一個暫存資料夾(這是不備份的), 提供給大家交換資料用, 並定期刪除
  3. 我會搜尋特定的附檔名(如 iso, mp3, avi...等等)會占用較大容量的檔案, 大致列出來並發信通知全公司, 叫他們移除, 不然就強制刪除

後來發現, 真的節省出很多空間, 備份時間也縮短了

另外, 若File Server是架構在Windows Server, 就像msit大大說的, 可以多利用內建的FSRM去跑報表來分析原因, 及設定磁碟配額...等等, 都是很好的解決方式喔, 如果是微軟的Windows Storage Server (NAS)還有重覆資料刪除(SIS)功能, 這些都能有效解決檔案的存放喔....................... ^___________^

0
tseng7335
iT邦新手 5 級 ‧ 2014-04-30 18:20:04

有套產品好好用,他叫ActiveImage Protector
內建免費重複資料刪除功能,平均資料壓縮率達四折
相信可以解決資料龐大的備份問題
有興趣打這個電話:02-27891100#550
載點:
ftp://release:gati9507@service.gati.com.tw/md1/gati_release/ActiveImage_Protector/Main/Setup_svr.exe

以上

0
kingkonghk
iT邦新手 4 級 ‧ 2015-02-13 16:12:57

我公司用雲端作備份, 因為有加密功能, 所以老闆採用了
我覺得頗方便使用喔, CloudBacko pro (http://www.cloudbacko.com/)

ektrontek iT邦研究生 1 級 ‧ 2015-02-23 21:51:00 檢舉

感謝
但如果檔案50-60GB,檔案又很多的話,備到雲端的話,那不會很慢嗎

我要發表回答

立即登入回答