Table des matières de l'article :
Lorsqu'on écrit sur un blog d'entreprise, on a souvent tendance à adopter un style institutionnel froid et impersonnel, à raconter tout et rien à la fois. Contrairement aux grandes entreprises américaines et aux PME qui les imitent, nous souhaitons partager des expériences professionnelles authentiques et empreintes d'empathie, qui vous permettront de vivre des situations réelles et d'apprendre des autres. Car dans un monde d'entreprises, de clients, de fournisseurs et de simples indépendants, il existe des histoires humaines qui méritent d'être racontées.
Aujourd'hui, je souhaite vous parler de sauvegarde et de sécurité des données , en vous faisant part de ce que je sais et de ce que nous avons à dire sur un problème bien trop sous-estimé.
Si quelque chose peut mal tourner, cela va mal tourner.
Cet axiome pseudo-scientifique, plus connu sous le nom de loi de Murphy, a constitué la pierre angulaire des processus organisationnels en matière de sécurité et de gestion des sauvegardes.
Forts de cette conviction, nous avons évalué et mis en œuvre au cours des 6 dernières années des solutions de sauvegarde robustes et éprouvées afin de garantir l'intégrité des données de nos clients.
Opérant avec l'ancienne marque Dreamsnet.it depuis 2005 et avec des expériences systémiques antérieures depuis 2000, jusqu'à présent, nous avions toujours utilisé une solution de sauvegarde d'instantanés incrémentielle qui permettait une restauration sélective de fichiers individuels et d'images entières. Au niveau de la base de données par exemple, nous avons utilisé (et utilisons encore) des outils qui permettent de prendre des snapshots rapidement et en respectant la logique des sauvegardes à chaud et de l'intégrité, c'est-à-dire de sauvegarder la DB sans avoir à l'éteindre et la rendre toujours disponible le service même s'il arrive à 4 heures du matin (peut-être que les utilisateurs sont endormis, mais les moteurs de recherche indexent).
Bref, pas exactement le dernier de la classe, si l'on pense qu'aujourd'hui nous avons un hébergement italien célèbre qui utilise encore l'ancien et ancestral mysqldump. Vraiment incroyable.
En treize longues années, en somme, et après plusieurs centaines de sauvegardes restaurées, aucun client n'a jamais perdu un seul fichier de ses projets.
Durant l'été 2018, un événement nouveau, inattendu et choquant s'est produit, qui allait à jamais semer le doute sur nous-mêmes et sur tous les autres après cette terrible épreuve.
C'était une journée ensoleillée, chaude mais pas étouffante. J'étais en t-shirt et short, mon ordinateur portable en bandoulière. Je venais de déjeuner au parc au bord de la rivière, près de chez moi à Arad, en Roumanie. Je me souviens être rentré à pied au bureau, au centre d'affaires d'Arad , en empruntant la magnifique piste cyclable de la ville, très fréquentée à cette heure-ci par tous ceux qui, comme moi, étaient en pause déjeuner.
La vue de la rivière immobile inspirait paix et tranquillité, le spectacle des gens se détendant sur les bancs dégageait calme et positivité ; j'étais littéralement plongé dans ce moment de pur bonheur lorsque mon téléphone portable s'est mis à sonner , ayant été directement redirigé du bureau principal.
Je retourne sur la planète Terre, celle faite des problèmes à résoudre pour les autres (après tout, le travail a généralement ce but, n'est-ce pas ?), et je réponds avec une chaleureuse
Bonjour, je suis Marco de Managed Server, comment puis-je vous aider ?
Une voix masculine répond, c'était un homme, un garçon à peu près de mon âge, entre 30 et 35 ans j'aurais estimé à l'oreille. On surmonte aussitôt les formalités de la langue italienne et on se met à l'aise en s'appelant tout de suite (d'ailleurs, sur le net et sur les réseaux sociaux on s'appelle TU dit Netiquette le saviez-vous ?)
Il commence, un peu nerveusement, à me parler de sauvegardes, de restaurations, de restaurations ratées, de données perdues et de récupération de données. Trop de concepts abstraits et confus, trop d'informations décousues, et un vrai brouillard dans ma tête. Je ne comprends pas.
Qui est celui qui me téléphone ? Êtes-vous un de nos clients?
Qu'est-il arrivé?
Parlez de sauvegardes, mais avez-vous besoin de restaurer une sauvegarde ? Vous avez perdu une sauvegarde ? Vous n'avez pas de sauvegarde ?
Serait-ce un de ces enfants qui ne savent pas faire la différence entre une machine à laver et un magnétoscope ?
J'arrête immédiatement ce flot de termes et de phrases aléatoires et vous demande d'expliquer calmement tout ce qui s'est passé depuis le début et de me demander quels étaient vos besoins.
Recommençons beaucoup plus sereinement et établissons enfin une discussion composée de phrases qui ont du sens et surtout logiquement liées.
En d'autres termes
Ce type, hébergé par une société d'hébergement française bien connue, a déclaré que la nuit précédente, il avait commis une erreur en mettant en production des fichiers FTP et que, frustré de ne pas avoir réussi à résoudre le problème, il avait décidé de faire une « tabula rasa », c'est-à-dire de tout supprimer et de restaurer une sauvegarde de la veille.
Dès lors, il s'apprête à se connecter avec son client FTP, supprimer tous les dossiers de son site et une fois terminé, depuis l'espace client, exécuter la procédure de restauration de sauvegarde depuis la confortable interface Web.
Quatre clics et le tour est joué !
Après quelques minutes d'avancement de la tâche, un message annonce la fin de l'opération de restauration.
Oh, joie, jubilation et exultation ! Quelle meilleure nouvelle ?
Ce qui s'est passé est facile à comprendre et comme vous l'avez peut-être déjà deviné, la sauvegarde était endommagée ou plutôt VIDE. L'assistant de restauration avait restauré exactement ZERO FICHIERS laissant le répertoire de destination complètement vide, au lieu des fichiers de la veille.
Il ne se décourage pas, n'abandonne pas et réessaye. Peut-être que quelque chose s'est mal passé.
Même procédure, même archive, même message de restauration. Ensuite, vous vérifiez avec le client FTP et… VIDE. Encore une fois pas de fichier. Rien, Nada, zéro, nisba.
Revenez à l'interface et sélectionnez la sauvegarde de la veille, même procédure de restauration. Même message d'achèvement réussi, même résultat. VIDE.
Sélectionnez la sauvegarde de la veille la veille. Restaurer. VIDE
Et ainsi de suite avec la sauvegarde de la veille la veille de la veille encore. 3 jours avant, 4 jours avant, 5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30, XNUMX jours avant.
Même résultat : VIDE.
Les archives à restaurer étaient épuisées, et la conclusion était unique : aucune des 30 sauvegardes jusqu'à 30 jours auparavant n'avait pu être restaurée. Cette personne n'avait aucun moyen de restaurer ses sauvegardes, son site l'alimentant.
Le problème était devenu quelque chose de vraiment énorme car il était apparemment sans solution.
À ce moment-là, j'ai ressenti un mélange d'émotions entre eux. Tristesse mêlée de joie.
Vous savez, lorsque vous vivez directement ou indirectement un mauvais événement dans lequel, par empathie, vous ressentez de la tristesse à propos de ce qui s'est passé, mais au fond aussi une pincée de joie de savoir que cette mauvaise chose ne vous est pas arrivée ? Ici, juste ce sentiment, ce mélange d'émotions aux antipodes, qui s'entrechoquent.
J'étais soulagé qu'il ne soit pas client ; je n'aurais pas su gérer une telle situation, où le service de sauvegarde existe mais où aucune archive n'est restaurable. Que pouvais-je dire à une personne qui vit hors site et subvient aux besoins de sa famille, et qui était au téléphone avec moi à ce moment-là ?
J'ai tout de suite pensé que ce problème d'éthique morale, ce sens des responsabilités n'aurait pas du tout affecté l'énorme hébergeur dont cette personne était cliente.
Au final c'était clair comment l'histoire allait se passer : cette personne aurait parlé au support téléphonique, un type y aurait mis quelques pièces par mois, aurait transmis le problème au service technique italien qui l'aurait transmis au français un et un de ses techniciens. Le technicien aurait probablement remarqué que quelque chose n'allait pas et aurait renvoyé le message au support technique italien qui aurait probablement signalé le manque de données et éventuellement demandé un remboursement ou ouvert un litige.
Litige juridique. En Italie. Ce serait risible si la situation n'était pas si tragique. J'en ai pourtant les larmes aux yeux rien qu'à l'idée de la signature d'un contrat et d'un accord de niveau de service (rédigés en caractères si petits qu'ils devraient être illégaux), dans lesquels le fournisseur s'exonère de toute responsabilité en cas de dommages et de demandes d'indemnisation.
Il aurait été plus facile d'escalader l'Everest à mains nues. (Bon, ce n'est pas l'Everest sur la photo, mais ça vous donne une idée.)
Le PDG de l'entreprise n'aurait jamais entendu parler de l'histoire de ce père désespéré qui a perdu cinq ans de travail. Un cas parmi des millions de clients, une goutte d'eau dans l'océan. Que représente un tel problème pour une entreprise qui génère chaque année des centaines de millions de dollars de chiffre d'affaires grâce à des millions de clients ? Absolument insignifiant. Malheureusement.
Que pourrions-nous faire ?
Rien. Face à cette situation complexe et absolument au-delà de la mienne et de notre marge de manœuvre (le fournisseur en était un autre, nous ne savions pas quel système de sauvegarde il utilisait, quel pouvait être le système de stockage, comment avoir accès aux médias, et pourquoi avait-il mauvais accident s'est produit), que pouvions-nous faire ?
La chose la plus correcte à faire était évidemment de demander une comparaison avec leur support technique pour comprendre s'il y avait une possibilité de récupération, et en attendant de regarder si CASOMAI avait une sauvegarde locale sur votre PC peut-être quelques jours ou quelques mois auparavant.
La première suggestion s'est avérée infructueuse ; le support a simplement indiqué qu'aucun fichier n'était présent dans la sauvegarde, alors même qu'elle avait été correctement créée. Cette affirmation a été réitérée environ deux semaines plus tard par leur équipe de support technique française, pourtant réputée pour son excellence, qui a balayé la situation d'un revers de main en déclarant : « Il n'y a rien . » Une situation absolument absurde et déplaisante.
Le conseil de trouver une sauvegarde locale s'avère toutefois plus judicieux, car, à force de persévérance et en fouillant dans les fichiers de son PC, il a réussi à retrouver et à restaurer une sauvegarde datant de quelques mois. Bien que ce ne soit pas la solution idéale pour réparer les dégâts, cela lui a permis de reprendre ses activités et d'éviter la faillite inévitable qui se serait produite sans cette solution.
Tout est bien qui finit bien!
La leçon que nous avons apprise
Dans toute cette histoire laide, notre rôle a été absolument spectateur. Absolument hors sujet, en somme, pour le dénouement de l'histoire heureusement résolu sinon pour le meilleur, certainement pas pour le pire.
Tout cela nous a toutefois permis de prendre en compte des éléments importants qui avaient été négligés jusque-là. En substance, nous nous sommes posé les questions suivantes :
1. Pourquoi ce qui leur est arrivé ne peut-il pas nous arriver ?
Pourquoi une défaillance du système de sauvegarde ne devrait-elle arriver qu'aux autres hébergeurs et pas à nous ?
Ce serait hypocrite, n'est-ce pas ? C'est comme dire qu'on pourrait facilement éviter de porter la ceinture de sécurité en voiture parce que les accidents n'arrivent qu'aux autres, pas vrai ? En réalité, la réponse la plus juste et la plus appropriée est que, jusqu'à ce jour d'été mémorable, si cela ne nous était pas arrivé, c'était uniquement grâce au hasard, à la chance. En bref, le fait qu'un système de sauvegarde par instantané, et qui plus est un système très performant, n'avait jamais généré de sauvegardes corrompues. Une possibilité infime, certes, improbable, mais pas impossible, comme nous l'avons constaté ce jour-là.
2. Dans quelle mesure la perte de données affecte-t-elle la vie des gens ?
La perte d'un site Web ou de données peut signifier la fin d'une entreprise. Cela signifie créer un préjudice économique sur la vie des gens, les mettant probablement dans une position de ne pas pouvoir s'offrir des biens de première nécessité. Cela ne peut pas et ne doit pas arriver, du moins cela ne doit pas arriver par notre faute, ni comme cause ni comme cause contributive.
3. Dans quelle mesure la perte de données affecte-t-elle notre entreprise ?
La perte des données d'un client entraînera très probablement des litiges. Que vous ayez raison ou tort, ou que vous deviez revoir les différentes clauses d'indemnisation et les SLA que vous avez signés, cela n'a aucune importance. Des obligations légales claires existent, telles que celles imposées par le RGPD européen, qui nous exposeraient à diverses négligences et, par conséquent, à des amendes et à des dommages-intérêts. Il est préférable d'investir dans la sécurité des données en consacrant 10 % de votre chiffre d'affaires à des systèmes de surveillance, des systèmes RAID, un stockage redondant et des sauvegardes multiples, plutôt que de risquer des poursuites judiciaires, des litiges, des indemnisations et des amendes.
Qu'avons-nous fait alors ?
Ayant compris haut et fort les trois points ci-dessus, nous avons « simplement » ajouté un système de sauvegarde secondaire au système de sauvegarde actuel déjà fonctionnel, qui à son tour était redondant sur un système de stockage de données C14 avec une certification de qualité militaire en France.
En bref, alors qu'auparavant nos systèmes RAID1 ne comportaient qu'une seule sauvegarde qui était transférée vers une zone de stockage RAID5, nous disposons aujourd'hui de trois sauvegardes utilisant deux technologies différentes qui sont transférées vers trois zones de stockage RAID5 différentes, et l'une d'entre elles est à son tour dupliquée sur un service de stockage antiatomique C14 de qualité militaire, sécurisé et redondant , situé en France.
Bref, dans ce mode opératoire, un client malheureux qui a besoin de restaurer une sauvegarde peut s'appuyer sur une sauvegarde à distance qui, si elle ne fonctionne pas (hypothèse très éloignée), pourrait s'appuyer sur le deuxième système de sauvegarde, qui à son tour, si cela ne fonctionne pas (hypothèse elle-même très éloignée) pourrait compter sur la mise en miroir avec Rsync sur un autre stockage.
S'il y avait une attaque majeure (supposons une explosion nucléaire) sur le datacenter, nous aurions tout de même une mise en miroir hebdomadaire sur le stockage anti-atomique C14 en France.
Bref, la possibilité de perdre des données clients a vraiment été réduite à une limite tendant vers l'impossible. Plus que ces précautions n'existent actuellement à notre connaissance en Italie mais aussi à l'international, vu et constaté que même de très grandes entreprises avec des chiffres d'affaires de plusieurs centaines de millions d'euros continuent d'utiliser une seule et unique sauvegarde comme solution définitive pour se protéger et ses clients.
En interne, comme toujours, nous continuerons à proposer le service de sauvegarde dans le cadre de notre offre. Il est hors de question de le proposer comme un service supplémentaire facturé séparément. La sauvegarde est incluse de série ; nous veillons à ce que nos clients soient protégés au mieux , qu’ils soient optimistes quant à la sécurité de leurs données ou qu’ils les jugent inutilisables.
Bref, à l'épreuve des bombes atomiques !






