Déduplication

Cet article est une ébauche concernant l’informatique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Exemple de déduplication de blocs de données

En informatique, la déduplication (également appelée factorisation ou stockage d'instance unique) est une technique de stockage de données, consistant à factoriser des séquences de données identiques afin d'économiser l'espace utilisé.

Chaque fichier est découpé en une multitude de tronçons. À chacun de ces tronçons est associé un identifiant unique, ces identifiants étant stockés dans un index. L'objectif de la déduplication est de ne stocker qu'une seule fois un même tronçon. Aussi, une nouvelle occurrence d'un tronçon déjà présent n'est pas à nouveau sauvegardée, mais remplacée par un pointeur vers l'identifiant correspondant.

La déduplication est utilisée en particulier sur des solutions du type VTL (Virtual Tape Library) ou tout autre type de système de sauvegarde.

Méthodes de déduplication

Déduplication hors ligne

Les données à sauvegarder sont recopiées sur un espace disque tampon, et dans un deuxième temps une recherche des blocs en double est réalisée. Cette méthode nécessite un espace de stockage important. C'est le principe des solutions Falconstor ou Quantum DXi en firmware 1.x par exemple.

Déduplication en ligne

Les données à sauvegarder sont analysées "à la volée", et une table d'index des blocs identiques est gérée (solution NexentaStor de Nexenta Systems, Data Domain de EMC Corporation ou IBM ProtecTIER)[1].

Déduplication à la source

Des agents répartis sur les serveurs à sauvegarder analysent les données à la source (solution Data Safe Restore de Beemo Technologie et EMC Avamar notamment)[1].

Principe

L'index créé lors de la sauvegarde est utilisé pour restituer les données au bon endroit. Les fichiers ou les blocs en double dans l'index sont dupliqués au moment de la restauration. L'expérience montre qu'en pratique le taux de déduplication augmente dans le temps, car en pratique peu de données changent entre deux sauvegardes totales. D'autre part le taux de réduction obtenu dépend fortement du type de données traitées[2].

Inconvénients de la déduplication

  • Risque de perte de données car les données ne sont pas en double et donc le support utilisé doit être fiable. La réduction de la taille des sauvegardes est un avantage par rapport à d'autres types de sauvegarde, mais au détriment de la sécurité des données. Par conséquent, il est recommandé de créer des doubles des supports de stockage.
  • Perte du format d'origine, ce qui dans certains cas pose des problèmes de conformité aux contraintes légales (par exemple Bâle II). Certaines solutions proposent pour cela de générer les données sensibles sur cartouche au format initial, pour s'affranchir d'une éventuelle défaillance de la VTL par exemple.

Avantage de la déduplication

  • L'avantage le plus important est la réduction d'espace occupé par les sauvegardes : selon le cabinet Gartner, cette technologie permet de diviser par 20 voire par 30 les besoins en espace de stockage[3].
  • Un avantage indirect, conséquence du précédent, est la diminution de la bande passante nécessaire à la sauvegarde dans le cas de la déduplication à la source[4].

Solutions de déduplication

Logiciels libres (ou assimilés)

Logiciels propriétaires de déduplication à la cible (VTL ou Stockage disque)

Les VTL (les Virtual Tape Libraries, ou bandothèques virtuelles, présentent aux systèmes l'équivalent d'un ou plusieurs lecteurs de bandes, avec des capacités de bandes virtuelles modifiable. Une solution de sauvegarde supplémentaire est en général nécessaire.)

  • FalconStor
  • Rocksoft (Adic/Quantum)
  • Sepaton

Le stockage disque (les solutions présentent aux systèmes un disque ou dossier en partage réseau, utilisable directement, ou bien une solution complète de sauvegarde exploitant la déduplication de manière exclusive)

  • NetApp Data ONTAP (Stockage disque)
  • IBM ProtecTIER, (ex Diligent) (Stockage disque)
  • EMC Avamar (Solution de sauvegarde complète)
  • EMC Datadomain (Stockage disque)
  • VERITAS PureDisk (Solution de sauvegarde complète)
  • Quantum DXi (Stockage disque)
  • Quantum V-series (Appliance virtuelle de déduplication à la cible)
  • Dell DR4000 Series (Appliance physique de déduplication à la cible)

Logiciels propriétaires de déduplication à la source (agent sur le serveur à sauvegarder)

  • Atempo HyperStream Server (HSS)
  • EMC Avamar
  • IBM Tivoli Storage Manager
  • VERITAS PureDisk
  • VERITAS NetBackup (Media Server Deduplication Option)

Logiciels propriétaires de déduplication à la source (sans agent sur le serveur à sauvegarder)

Voir aussi

Sur les autres projets Wikimedia :

Articles connexes

Liens externes

Notes et références

  1. ↑ a et b « Tout l'actu tech, web, smartphone, Windows et iPhone », sur 01net, 01net (consulté le ).
  2. ↑ http://www.01informatique.fr/Archives/Deduplication-sauvegarder-moins-pour-sauvegarder-mieux/
  3. ↑ Article lemondeinformatique du 4/6/2009
  4. ↑ « Déduplication de données : au-delà des économies d’espace disque », sur ZDNet France (consulté le ).
  5. ↑ (en) [1]
  6. ↑ (en) [2]
  7. ↑ (fr) Sortie de DragonFly BSD 2.10
  8. ↑ (en) « OpenDedup », sur OpenDedup (consulté le ).
  9. ↑ (en) Open Source data deduplication for less.
  10. ↑ (en) RSYNC - Applicability for WAN Deduplication, Random technical bits and thoughts.
  11. ↑ (en) File Synchronization with Rsync over SSH, sur savvyadmin.com.
  12. ↑ (en) « BorgBackup », sur BorgBackup
  13. ↑ « BorgBackup – Vos sauvegardes dédupliquées », sur Korben, (consulté le ).
  14. ↑ « Monter un serveur de sauvegardes avec BorgBackup », sur karolak.fr via Wikiwix (consulté le ).