Server 2012 R2 Deduplication 重複資料刪除技術問題

windows server 2012 r2 deduplication

vicentli 2017-07-31 14:52:59 ‧ 9302 瀏覽

分享至

各位前輩大神好，
公司File Server作業系統是Server 2012 R2，
備份軟體是用Backup Exec 2016
因File Server上有不少重複資料，故我想啟用重複資料刪除功能。
自己Lab把公司部份資料拷到虛機測試，居然省了將近2/3空間！？

想請問有使用的前輩，使用這個功能有沒有什麼風險？例如，
檔案開啟錯誤風險？增加資料救援難度？備份軟體支援度？
資料還原後，開啟異常風險？
感謝

小成 iT邦高手 10 級 ‧ 2017-08-01 08:18:39 檢舉

我遇過下面這個狀況，
http://www.isolation.se/list-and-remove-corrupted-files-reported-by-data-deduplication-with-powershell/
不開檔案都沒事，讀取檔案剛開始也正常，但過沒幾分鐘，這個檔案就顯示無法讀取，也有在事件檢視器留紀錄，但已無法讀取也無法修復了。
因為只要讀檔案過幾分鐘就會壞檔，壞掉的檔案越來越多，最後是緊急把所有檔案複製出來然後關閉Dedupe，發生原因未知。

vicentli iT邦研究生 4 級 ‧ 2017-08-01 12:27:12 檢舉

謝謝你的經驗分享，決定還是不要使用比較安全

James iT邦大師 6 級 ‧ 2017-08-01 14:06:25 檢舉

我用過zfs的Dedup，資料愈多ram就要愈多效能也愈差，資料少時覺得很好用，資料多了以後損失的效能就覺得不划算。後來就把Dedup關了全部資料重倒一次。

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

2 個回答

Ray

iT邦大神 1 級 ‧ 2017-07-31 15:53:52

最佳解答

你開啟的是 Server 2012 的 Dedup?
還是 BackExec 2016 的 Dedup?

回應 4
分享
檢舉

看更多先前的回應...收起先前的回應...

vicentli iT邦研究生 4 級 ‧ 2017-07-31 16:44:03 檢舉

Server 2012 R2的Dedup

hsiang11 iT邦好手 1 級 ‧ 2017-07-31 19:35:13 檢舉

大神也說到一個重點
這兩者的功能也可能造成衝突

Ray iT邦大神 1 級 ‧ 2017-08-01 00:41:19 檢舉

Server 的 Dedup, 是採用 Post-processing 的方式處理, 不是 real-time inline 的.

用白話文講:
他不會在你寫入檔案的時候就做 Dedup, 而是每天固定一個時間去掃描所有檔案, 找出重複的區塊進行縮減. 這個時段可以由你來指定, 但是如果檔案量很大, 但你指定的時間太短, 就會發生有些檔案完全無法被掃到的窘境...

為了避免檔案沒有被掃到, 你的策略只能拉長掃描的時間, 但是掃描會消耗磁碟效能, 影響正常的存取, 當你的時間越拉越長之後, 正常工作被影響的程度也越高.

檔案量多到一個程度之後, 有可能你即使 24hr 都在掃描, 也掃不完全部的檔案...

而且, 檔案也不是存進去之後就馬上可以被 Dedup, 要看 Server 本身忙不忙? 當他自己覺得太忙的時候, 為了維持其他功能正常, 它會自動延後 Dedup 的時間, 預設值是: 可以延後 5 天....

他還有些限制:
1.Boot 或 System 磁碟不能用
2.不是NTFS的磁碟不能用(新的ReFS也不行)
3.Cluster Shared Volumes(CSV)不能用
4.加密檔案不能用

由於他本身的運作特性影響, 微軟不推薦啟用Dedup 的磁碟機種類如下:

Hyper-V 主機
給 VDI 使用的 VHD 儲存區
WSUS檔案
SQL/Exchange 資料庫磁碟
檔案量超過 1TB 的磁碟
虛擬化備份的 VHD 檔案

另外, 被設定成 Dedpu 的磁碟機, 拿到其他作業系統插上去是不能讀取的. 只有 Server 2012 可以把資料完整的讀回來.

RAM 的消耗也要注意, 微軟建議:
每 1TB 的磁碟資料, 要保留 2GB RAM 給他做 Dedup 使用. Server 預設只能保留 50% 的 RAM 來做 Dedup. 所以, 如果你只有 16GB RAM, 卻有 5TB 的磁碟資料, 那樣 Dedup 效能會變差的. (保留 50% = 8GB RAM, 8/2GB = 4, 最佳只能做 4TB Disk)

再來, 備份軟體也要留意是否相容? 曾有人對 Dedup 過的資料做備份, 結果還原之後卻發現全部無法讀取的慘劇. 這是因為備份軟體不認識 Windows Dedup 格式, 無法正確的組合回來.

Server 的 Dedup, 是採用 Post-processing 的方式處理, 不是 real-time inline 的.

用白話文講:
他不會在你寫入檔案的時候就做 Dedup, 而是每天固定一個時間去**掃描所有檔案**, 找出重複的區塊進行縮減. 這個時段可以由你來指定, 但是如果檔案量很大, 但你指定的時間太短, 就會發生有些檔案完全無法被掃到的窘境...

檔案量多到一個程度之後, 有可能你即使 24hr 都在掃描, 也掃不完全部的檔案...

他還有些限制:
1.Boot 或 System 磁碟不能用
2.不是NTFS的磁碟不能用(新的ReFS也不行)
3.Cluster Shared Volumes(CSV)不能用
4.加密檔案不能用

由於他本身的運作特性影響, 微軟不推薦啟用Dedup 的磁碟機種類如下:
1. Hyper-V 主機
2. 給 VDI 使用的 VHD 儲存區
3. WSUS檔案
4. SQL/Exchange 資料庫磁碟
5. 檔案量超過 1TB 的磁碟
6. 虛擬化備份的 VHD 檔案

另外, 被設定成 Dedpu 的磁碟機, 拿到其他作業系統插上去是**不能讀取的**. 只有 Server 2012 可以把資料完整的讀回來.

修改

vicentli iT邦研究生 4 級 ‧ 2017-08-01 12:13:39 檢舉

謝謝雷神大的詳細解說，我司資料量有13T，且看大家回覆有損壞風險，
決定還是不要開好了，待硬碟空間不足再做打算

登入發表回應

hsiang11

iT邦好手 1 級 ‧ 2017-07-31 18:14:23

風險非常高喔自己要清楚可能會發生什麼事
國內某大上市公司就發生了股票曾經衝很高喔
原本server是2008，exec版本未知
有一天工程師心血來潮把server升到2012 也用了重複資料刪除的功能
升級後資訊部舞照跳趴照開一切其樂融融
備份也都備的好好的每天活得很開心
有一天file server的raid 爆了
主管要求從磁帶撈備份資料回來
結果備份成功資料無法還原還是還原出來沒辦法用忘了

為什麼呢?
我猜想估計exec原本只支援到server 2008,當時2012可能也還沒上線
IT單位無視軟體的支援性
更重要的凸顯IT單位從來沒有做災難還原備份100資料可用性0
也就是IT人員只會打雜該做的都沒做到
後來不知回到多久之前的備份

IT主管們表示如果可以救回來不管多少錢的新版本都花了(以前都不想花?)
大公司有時候人多也不要覺得裡面的IT就聰明了
IT打雜也可以大家一起傻下去