如何對數(shù)據(jù)進(jìn)行識(shí)別和去重是現(xiàn)在主流重復(fù)數(shù)據(jù)刪除軟件的主要區(qū)別。希望下面的文章可以幫您找到最合適的重復(fù)數(shù)據(jù)刪除軟件。

在硬盤上進(jìn)行數(shù)據(jù)備份是大勢所趨。以后將會(huì)有越來越多的備份工作從磁帶轉(zhuǎn)移到磁盤上，重復(fù)數(shù)據(jù)刪除的重要性由此也變的更為明顯。由于每個(gè)廠家的產(chǎn)品各不相同，以及對這種技術(shù)的不了解，導(dǎo)致許多的存儲(chǔ)管理員在選擇重復(fù)數(shù)據(jù)刪除產(chǎn)品時(shí)感到茫然。

在備份過程中，重復(fù)數(shù)據(jù)刪除產(chǎn)品主要運(yùn)行在兩個(gè)地方：備份軟件和硬盤庫中。主流的備份軟件有以下幾款：Asigra公司的Tele- vaulting，EMC公司的Avamar，賽門鐵克公司的Veritas Netbackup PureDisk。這些備份軟件可以在主機(jī)級別對數(shù)據(jù)進(jìn)行重復(fù)數(shù)據(jù)刪除，然后將處理過的數(shù)據(jù)傳遞到備份目標(biāo)盤或者災(zāi)難恢復(fù)地點(diǎn)。主流的磁盤庫廠家包括：Data Domain、Diligent Technologies、Quantum和Sepaton等。重復(fù)數(shù)據(jù)刪除軟件可以對這些目標(biāo)端設(shè)備進(jìn)行數(shù)據(jù)的重復(fù)刪除，而且不會(huì)影響正常的數(shù)據(jù)備份工作。

下面提到的算法基本適用于任何廠家的重復(fù)數(shù)據(jù)刪除產(chǎn)品。重復(fù)數(shù)據(jù)刪除對性能有何影響及重復(fù)刪除后的數(shù)據(jù)如何管理是兩個(gè)最受關(guān)注的問題。有時(shí)使用一種方法可能無法滿足備份的需求，這時(shí)存儲(chǔ)管理員不得不在磁盤庫和備份軟件中同時(shí)運(yùn)行重復(fù)數(shù)據(jù)刪除軟件。部署重復(fù)數(shù)據(jù)刪除時(shí)可能會(huì)遇到一些潛在的問題，例如，未進(jìn)行重復(fù)刪除的數(shù)據(jù)能否保存到磁帶上，重復(fù)數(shù)據(jù)刪除技術(shù)是否跟備份軟件兼容，必要時(shí)能否將重復(fù)數(shù)據(jù)刪除功能關(guān)閉等。用戶一定要在權(quán)衡利弊之后再?zèng)Q定是否進(jìn)行實(shí)施。

如何估算重復(fù)數(shù)據(jù)刪除的比率

多余的數(shù)據(jù)：

服務(wù)器上多余的數(shù)據(jù)越多，重復(fù)刪除的比率就越高。如果用戶使用的是同一種操作系統(tǒng)，例如Windows，并且系統(tǒng)上的文件或者數(shù)據(jù)庫數(shù)據(jù)大部分相同的話，重復(fù)數(shù)據(jù)刪除的效果會(huì)很理想。如果用戶使用不同的操作系統(tǒng)，并且上面的數(shù)據(jù)文件都不相同，那重復(fù)數(shù)據(jù)刪除的比率會(huì)比較低。

數(shù)據(jù)變化的頻率：

重復(fù)數(shù)據(jù)刪除的比率跟數(shù)據(jù)變化的頻率有關(guān)。數(shù)據(jù)變化的頻率越高，重復(fù)數(shù)據(jù)刪除的比率越低。平時(shí)所說的20：1的重復(fù)數(shù)據(jù)刪除比率是基于數(shù)據(jù)變化率為5%基礎(chǔ)之上的。

數(shù)據(jù)預(yù)壓縮：

數(shù)據(jù)壓縮是數(shù)據(jù)刪除算法中的一個(gè)關(guān)鍵因素。數(shù)據(jù)壓縮的比率一般為2：1，廠家宣傳的重復(fù)刪除的數(shù)據(jù)通常已包含壓縮功能刪除的這部分?jǐn)?shù)據(jù)。如果重復(fù)數(shù)據(jù)刪除比率是15:1,通過壓縮可以達(dá)到30：1. 不過如果已經(jīng)壓縮過的數(shù)據(jù)，例如jpeg，mpeg，zip文件，再次壓縮基本不會(huì)有什么效果。

數(shù)據(jù)保存周期：

數(shù)據(jù)保存的周期可以影響數(shù)據(jù)重復(fù)刪除的比率。如果計(jì)劃讓重復(fù)數(shù)據(jù)刪除的比率達(dá)到10倍或者30倍，需要將數(shù)據(jù)保存周期設(shè)置為20周。如果沒有足夠的空間存儲(chǔ)數(shù)據(jù)，重復(fù)數(shù)據(jù)刪除的比率就會(huì)降低。

全備份的次數(shù)：

全備份的次數(shù)越多，重復(fù)數(shù)據(jù)刪除的比率就越高。