一種并行重復數據刪除方法和系統

新一代信息技術

本發明公開了一種并行重復數據刪除方法，包括以下步驟：客

戶端先對要重刪的數據進行分塊，然后通過哈希函數計算出每個分塊

的哈希指紋，然后把哈希指紋發送到不同的重刪服務器節點上進行指

紋的查重工作。如果某個指紋經過對比，確認是重復的指紋，則只用

更新查詢服務器上元數據和重刪服務器節點上的指紋計數器。如果某

個指紋經過對比，確認是一個新的數據塊，則傳輸該數據塊到重刪服

務器并且更新指紋庫和查詢服務器上的元數據。本發明具重刪

未應用