Log Sequence Number ou LSN : le concept derrière la sauvegarde incrémentielle dans MySQL, Percona Server et MariaDB

La gestion des données est un aspect crucial de toute infrastructure informatique. Protéger ces données contre les pannes matérielles, les erreurs humaines et les cyberattaques est essentiel pour garantir la continuité des opérations. Les sauvegardes jouent un rôle primordial à cet égard. Parmi les différents types de sauvegardes, les sauvegardes incrémentales constituent l'une des solutions les plus efficaces pour protéger les données sans surcharger inutilement les ressources de stockage.

Dans MySQL, Percona Server et MariaDB, le concept de numéro de séquence de journal (LSN) est fondamental pour le fonctionnement des sauvegardes incrémentales. Comprendre le fonctionnement du LSN est essentiel pour exploiter pleinement cette technologie et garantir une sécurité maximale des données.

Pourquoi choisir des sauvegardes incrémentielles ?

Une sauvegarde incrémentielle enregistre uniquement les données modifiées depuis la sauvegarde précédente, ce qui réduit considérablement le temps et l'espace requis par rapport à une sauvegarde complète. Mais quand et pourquoi choisir ce mode ?

1. Gain de place

Les bases de données peuvent croître rapidement, en particulier dans les contextes où les opérations quotidiennes génèrent de gros volumes de données. Il est facile de passer de quelques gigaoctets à des centaines de gigaoctets en peu de temps, et de là aux téraoctets, le pas est court, en particulier dans les environnements qui connaissent un flux continu de changements ou de nouvelles informations. Une croissance aussi rapide peut exercer une pression sur les ressources disponibles, faisant de la gestion et de la sauvegarde des données un défi de taille.

2. Augmentation de la fréquence de sauvegarde

Dans certains scénarios, comme celui d'un journal qui publie des centaines d'articles chaque jour, la mise à jour continue et fréquente des données est non seulement importante, mais absolument critique pour garantir la continuité des opérations et la protection du travail effectué. Chaque article, chaque mise à jour ou changement représente une contribution à la valeur de l'organisation, et perdre ne serait-ce que quelques heures de travail peut entraîner des dommages importants, tant en termes économiques que de réputation.

Imaginons une erreur humaine qui entraîne accidentellement la suppression de la base de données à 20h00, après une intense journée de publications. Dans un tel cas, pouvoir restaurer des données mises à jour jusqu'à quelques minutes avant l'accident devient indispensable pour ne pas compromettre le travail de toute une équipe éditoriale. Sans une stratégie de sauvegarde adéquate, le risque serait de perdre non seulement tous les articles publiés dans la journée, mais également toutes les modifications ou révisions apportées aux articles existants, avec des conséquences dévastatrices.

3. Réduction du temps de sauvegarde

Les sauvegardes complètes peuvent prendre des heures, surtout pour les bases de données volumineuses contenant des millions de lignes ou des gigaoctets de données. Ce problème est encore accentué lors de l'utilisation d'outils traditionnels comme mysqldump qui, bien qu'utiles pour les petites bases de données ou les exportations occasionnelles, ne sont pas conçus pour gérer efficacement de gros volumes de données ni pour garantir un impact minimal sur le système de production.

Des outils comme mysqldump fonctionnent en exportant les données ligne par ligne et en générant un fichier texte contenant les instructions SQL nécessaires à la reconstruction de la base de données. Bien que cette approche puisse paraître simple et directe, elle est extrêmement lente pour les bases de données volumineuses. De plus, mysqldump nécessite souvent le verrouillage de tables ou ralentit les performances de la base de données pendant la sauvegarde, ce qui entraîne des perturbations importantes pour les applications et les utilisateurs qui dépendent du système.

En comparaison, les technologies avancées telles que MySQL Enterprise Backup, Percona XtraBackup ou MariaBackup offrent une efficacité incomparable.

En termes de vitesse, dans l'image ci-dessus, vous pouvez voir des temps de sauvegarde et de restauration allant d'environ 50 à 80 fois plus rapides que les sauvegardes logiques effectuées avec MySQLdump. La vitesse rapportée est à peu près équivalente pour les trois outils mentionnés.

Ces outils effectuent des sauvegardes physiques au niveau des fichiers directement à partir du disque, sans avoir besoin d'interpréter et de recréer les données au format SQL. Cette approche permet d'obtenir des vitesses nettement supérieures à mysqldump, notamment lorsqu'il s'agit de très grandes bases de données. De plus, les deux Percona

Un autre avantage important de ces outils réside dans leur capacité à effectuer des sauvegardes incrémentales , ce qui réduit encore le temps et les ressources nécessaires par rapport aux sauvegardes complètes traditionnelles. Au lieu de sauvegarder l'intégralité de la base de données, des outils comme XtraBackup et MariaBackup se concentrent uniquement sur les modifications survenues depuis la dernière sauvegarde, réduisant ainsi la durée du processus et l'espace de stockage occupé.

Qu'est-ce que le numéro de séquence de journal (LSN) ?

Le numéro de séquence de journalisation (LSN) est un concept fondamental des systèmes de bases de données relationnelles tels que MySQL , Percona Server et MariaDB . Il sert à suivre et gérer les modifications apportées à la base de données. Ce nombre, qui augmente de manière monotone et continue, représente la position logique de chaque opération dans le système de stockage. Chaque action modifiant des données (insertion, mise à jour ou suppression) génère un nouveau LSN, enregistré dans les journaux de transactions et les fichiers d'espace de tables.

Ce numéro identifie de manière unique la séquence des opérations et est crucial pour plusieurs processus internes de la base de données. Par exemple, le LSN sert à synchroniser les réplicas, à restaurer la base de données après un arrêt inattendu et, surtout, à gérer les sauvegardes incrémentielles , permettant ainsi d'identifier précisément les données modifiées depuis la dernière sauvegarde. Grâce à cette précision, le LSN optimise les opérations de sauvegarde et de restauration, réduisant ainsi le temps et l'espace nécessaires à la protection des données.

Chaque modification apportée à la base de données, comme l'insertion, la mise à jour ou la suppression de données, incrémente le LSN. Ce numéro est essentiel pour :

• Suivez les modifications apportées à la base de données.
• Déterminez quelles données doivent être incluses dans une sauvegarde incrémentielle.
• Coordonner la récupération des données pendant la récupération.

Le LSN est géré en interne par le moteur de stockage (par exemple, InnoDB) et se trouve à la fois dans les journaux de transactions et dans les fichiers d'espace de tables de la base de données .

Comment fonctionne la sauvegarde incrémentielle basée sur LSN ?

Lorsque vous effectuez une sauvegarde incrémentielle, le logiciel de sauvegarde utilise le LSN pour identifier les modifications apportées à la base de données depuis la dernière sauvegarde. Voici comment se déroule le processus :

1. Sauvegarde complète initiale

Le processus commence toujours par une sauvegarde complète, qui constitue la base de toute stratégie de sauvegarde incrémentielle. Cette première sauvegarde capture toutes les données de la base de données à un moment donné, ainsi que le LSN actuel, qui représente l'état de la base de données au moment de la sauvegarde. Il est essentiel d'effectuer cette étape avec soin, car une sauvegarde complète fiable constitue le point de départ de toutes les sauvegardes incrémentielles ultérieures. Une erreur ou une corruption à ce stade pourrait compromettre l'ensemble du processus de récupération. Pour garantir une intégrité maximale des données, des outils comme Percona XtraBackup ou MariaBackup peuvent effectuer des sauvegardes « à chaud », gardant la base de données opérationnelle tout en sauvegardant les données.

2. Enregistrement des modifications

Après une sauvegarde complète, le moteur de stockage de la base de données (par exemple, InnoDB) enregistre automatiquement chaque modification de données dans son journal interne, en attribuant un numéro de séquence de journal (LSN) mis à jour à chaque modification. L'outil de sauvegarde ne surveille pas directement ces modifications ; c'est le moteur de base de données qui suit les mises à jour via le journal des transactions et les espaces de tables.

Lors d'une sauvegarde incrémentielle, l'outil de sauvegarde (tel que Percona XtraBackup ou MariaBackup) lit simplement le LSN enregistré dans la dernière sauvegarde effectuée. En utilisant ce LSN comme point de référence, le logiciel identifie les données qui ont été modifiées ou ajoutées de ce LSN au LSN actuel. Cela permet à l'outil de capturer uniquement les modifications pertinentes, sans avoir à analyser ou sauvegarder l'intégralité du contenu de la base de données. En d’autres termes, l’outil de sauvegarde sait par où commencer la lecture des données (c’est-à-dire à partir du LSN de référence) et continue à sauvegarder uniquement les informations nécessaires jusqu’au nouvel état de la base de données.

3. Sauvegarde incrémentielle

Lors de l'exécution d'une sauvegarde incrémentielle, le logiciel utilise LSN pour localiser uniquement les données modifiées ou ajoutées depuis la dernière sauvegarde, évitant ainsi la duplication des informations déjà enregistrées. Cette comparaison entre le LSN actuel et celui enregistré lors de la dernière sauvegarde permet de réduire considérablement le volume de données à sauvegarder, accélérant le processus et économisant de l'espace de stockage. Par exemple, si la sauvegarde complète initiale a enregistré un LSN de 1000 1500 et qu'au moment de la sauvegarde incrémentielle, le LSN est passé à 1001 1500, le logiciel sauvegardera uniquement les données associées aux LSN compris entre XNUMX XNUMX et XNUMX XNUMX. Cette approche optimise l'efficacité sans sacrifier la granularité de les données enregistrées. De plus, des sauvegardes incrémentielles peuvent être planifiées à intervalles réguliers, vous permettant de conserver un historique précis des modifications sans interrompre les opérations de la base de données.

4. Restaurer la base de données

La récupération de la base de données est l'étape finale et cruciale qui démontre la valeur d'une stratégie de sauvegarde bien conçue. Au cours de cette phase, les sauvegardes incrémentielles sont appliquées séquentiellement à la sauvegarde complète initiale. Ce processus utilise le LSN pour déterminer l'ordre correct dans lequel appliquer les modifications, reconstruisant ainsi l'état de la base de données à un moment précis. Par exemple, si une base de données comporte une sauvegarde complète avec LSN 1000 1500 et trois sauvegardes incrémentielles avec LSN 2000 2500, XNUMX XNUMX et XNUMX XNUMX respectivement, la récupération suit cette séquence pour garantir qu'aucune modification n'est perdue. Il est essentiel que chaque fichier de sauvegarde soit intact et disponible ; la perte d’une seule sauvegarde incrémentielle briserait la chaîne, rendant impossible une récupération complète. Des outils tels que Percona XtraBackup ou MariaBackup automatisent une grande partie de ce processus, garantissant une récupération précise et rapide, minimisant ainsi les temps d'arrêt pour votre organisation.

Outils de sauvegarde incrémentielle

Il existe plusieurs outils pour gérer les sauvegardes incrémentielles dans MySQL, Percona Server et MariaDB. Parmi les plus connus, citons :

1. Sauvegarde d'entreprise MySQL

Proposée par Oracle , MySQL Enterprise Backup est une solution avancée permettant d'effectuer des sauvegardes incrémentielles basées sur les LSN (Limited Numbers Numbers), optimisant ainsi les opérations de sauvegarde de données. Cet outil est conçu pour fournir une sauvegarde physique à chaud sans interruption de service, ce qui le rend idéal pour les environnements où toute interruption de service est inacceptable.

En plus de la prise en charge des sauvegardes incrémentielles, MySQL Enterprise Backup offre des fonctionnalités supplémentaires telles que la compression des sauvegardes pour réduire l'utilisation de l'espace de stockage, le cryptage pour augmenter la sécurité des données et la prise en charge des sauvegardes ponctuelles, qui permettent de restaurer la base de données dans un état spécifique. .

Cependant, cette option puissante nécessite une licence commerciale, ce qui la rend particulièrement adaptée aux entreprises qui peuvent se permettre de garantir une fiabilité et des performances maximales lors de la gestion des sauvegardes. Pour ceux qui ont besoin d'une solution robuste avec un support officiel et un large éventail de fonctionnalités, MySQL Enterprise Backup est un choix de premier ordre.

2. Percona XtraBackup

Cet outil open source, Percona XtraBackup , est l'une des solutions les plus populaires pour les sauvegardes incrémentales de MySQL et de Percona Server , grâce à sa fiabilité et à sa capacité à garantir une disponibilité continue. Conçu pour les sauvegardes physiques à chaud, XtraBackup permet de sauvegarder les données de la base de données sans interruption de service, un atout majeur pour les entreprises qui ne peuvent se permettre aucune interruption de production.

Sa fonctionnalité principale repose sur l'utilisation du numéro de séquence de journal (LSN) , qu'XtraBackup lit directement dans les fichiers de journal et d'espace de tables afin de déterminer précisément les données à inclure dans la sauvegarde. Cette approche garantit que seules les modifications les plus récentes sont enregistrées, ce qui rend les sauvegardes incrémentales extrêmement efficaces en termes d'espace et de temps.

Grâce à sa nature open source, Percona XtraBackup est une solution hautement accessible soutenue par une large communauté, tout en offrant des performances et une flexibilité de niveau entreprise. Pour ceux qui recherchent une solution gratuite mais puissante pour gérer les sauvegardes incrémentielles, XtraBackup est une excellente option.

Comment fonctionne Percona XtraBackup ?

• Effectue une sauvegarde physique des données sans bloquer la base de données.
• Utilisez le LSN pour identifier les changements.
• Il prend en charge la restauration ponctuelle en combinant des sauvegardes complètes et incrémentielles.

3. Mariabackup

MariaBackup est une version dérivée de Percona XtraBackup , conçue spécifiquement pour exploiter les fonctionnalités uniques de MariaDB , ce qui en fait le choix idéal pour les utilisateurs de cette plateforme. À l'instar de XtraBackup, MariaBackup permet d'effectuer des sauvegardes physiques à chaud, garantissant ainsi le fonctionnement continu de la base de données pendant toute la durée du processus de sauvegarde.

Il offre des fonctionnalités similaires, comme la prise en charge des sauvegardes incrémentales basées sur les LSN , qui ne conservent que les données modifiées depuis la dernière sauvegarde, optimisant ainsi l'espace de stockage et réduisant les temps de sauvegarde. Cependant, Mariabackup a été spécifiquement adapté aux caractéristiques uniques de MariaDB, garantissant une compatibilité totale avec son écosystème et prenant en charge les dernières innovations de l'équipe de développement de MariaDB.

En tant que logiciel open source, Mariabackup est librement accessible et pris en charge par une communauté active, ce qui en fait une option polyvalente et fiable pour gérer les sauvegardes dans les environnements basés sur MariaDB. Pour ceux qui ont besoin d’une solution de sauvegarde MariaDB native, Mariabackup est une option très intéressante.

Avantages et défis de la sauvegarde incrémentielle

Les sauvegardes incrémentielles basées sur LSN offrent de nombreux avantages, mais elles présentent également certains défis.

Avantages

• Efficacité dans l'espace et dans le temps: Enregistrer uniquement les données modifiées réduit considérablement votre charge de travail.
• Récupération rapide: Vous permet de restaurer rapidement les données en cas d'urgence.
• Minimisation des temps d'arrêt: N'interrompt pas les opérations de la base de données.

défis

• Complexité de la récupération: Pendant la récupération, vous devez appliquer correctement toutes les sauvegardes incrémentielles, ce qui peut prendre du temps et de l'attention.
• Gestion précise des fichiers de sauvegarde: La perte d'une de vos sauvegardes incrémentielles rend la récupération complète impossible.
• Capacités de script pour une utilisation correcte de l'outil : Bien que des outils tels que Percona

Exemple de cas d'utilisation : un journal

Imaginez un journal qui gère une base de données contenant des centaines d'articles publiés chaque jour. Dans ce scénario :

• Fréquence des changements: Les articles sont créés, mis à jour et publiés en continu.
• Importance des données: La perte de données, même de courte durée, entraînerait des dommages importants.
• Nécessite des sauvegardes fréquentes: Une sauvegarde toutes les 24 heures ne suffit pas ; l'entreprise doit assurer des sauvegardes fréquentes sans impacter les ressources.

Grâce aux sauvegardes incrémentielles basées sur LSN, l'ogive peut :

1. Effectuez une sauvegarde complète chaque jour.
2. Planifiez des sauvegardes incrémentielles toutes les heures pour sauvegarder les modifications les plus récentes.
3. Restaurez rapidement les données en cas de panne ou d'erreur humaine, minimisant ainsi la perte d'informations.

conclusion

Le numéro de séquence de journal (LSN) est au cœur des sauvegardes incrémentales dans MySQL, Percona Server et MariaDB. Ce concept permet la mise en œuvre de sauvegardes incrémentales, offrant une méthode efficace et évolutive pour la protection des données, et permettant un gain de temps et d'espace considérable. Que vous soyez une grande entreprise avec des bases de données critiques, un média gérant des mises à jour constantes ou une petite entreprise de commerce électronique nécessitant une stratégie de sauvegarde robuste, l'adoption de cette technologie peut faire toute la différence entre une restauration rapide et efficace des données et une perte potentiellement irréparable.

Des outils comme Percona XtraBackup et MariaBackup , grâce à leur capacité à fonctionner sans interruption de service et à prendre en charge la sauvegarde incrémentielle basée sur LSN, sont essentiels pour construire une infrastructure fiable.

Toutefois, pour des scénarios particulièrement complexes ou pour des ensembles de données très volumineux (de l'ordre de centaines de gigaoctets ou de téraoctets), il est possible d'intégrer des approches complémentaires basées sur le niveau du système de fichiers , telles que celles proposées par ZFS ou OpenZFS.

L'une des fonctionnalités les plus puissantes de ZFS est sa capacité à créer des instantanés quasi instantanés du système de fichiers. Ces instantanés sont des copies à un instant précis de l'état des données, qui peuvent être créées en quelques millisecondes ou secondes, quelle que soit la taille du jeu de données . Ils s'avèrent ainsi particulièrement utiles pour les scénarios nécessitant la capture fréquente de l'état d'une très grande base de données. Par exemple, pour des jeux de données dépassant un téraoctet, un instantané ZFS permet de figer l'état des données rapidement et efficacement, minimisant ainsi l'impact sur les performances du système.

Il convient toutefois de noter que les snapshots ZFS ne doivent pas être confondus avec les sauvegardes . Les snapshots sont étroitement liés au système de fichiers sur lequel ils ont été créés et ne protègent pas les données en cas de panne matérielle catastrophique, de corruption de disque ou de suppression accidentelle du pool ZFS. C'est pourquoi les snapshots ZFS sont plutôt destinés à être utilisés comme outil de protection temporaire ou comme point de restauration rapide suite à des erreurs logicielles récentes ou des suppressions accidentelles. Pour une protection complète, les snapshots doivent être associés à une stratégie de sauvegarde incluant des copies des données transférées sur un support de stockage externe ou distant.

En combinant les avantages de la sauvegarde incrémentale basée sur les LSN et d'outils avancés comme Percona XtraBackup ou MariaBackup avec la flexibilité des snapshots ZFS, vous pouvez créer une infrastructure hautement résiliente . En planifiant soigneusement l'utilisation de ces deux approches, vous obtiendrez le meilleur compromis entre vitesse de restauration, protection des données et optimisation des ressources.

Investir dans ces technologies n’est pas seulement une bonne pratique, mais une nécessité pour toutes les entreprises qui considèrent les données comme leur atout le plus précieux. La combinaison de sauvegardes incrémentielles, d'instantanés instantanés et de stratégies de stockage distribué représente une solution moderne et complète pour garantir la continuité opérationnelle et la sécurité des données dans tous les scénarios.