26 janvier 2019

Des sauvegardes douteuses. Si quelque chose peut mal tourner, cela va mal tourner.

Une étude de cas qui nous a rappelé une fois de plus à quel point il est important d'avoir un plan de reprise après sinistre.

Sauvegardes perdues

Lorsqu'on écrit sur un blog d'entreprise, on a souvent tendance à adopter un style institutionnel froid et impersonnel, à raconter tout et rien à la fois. Contrairement aux grandes entreprises américaines et aux PME qui les imitent, nous souhaitons partager des expériences professionnelles authentiques et empreintes d'empathie, qui vous permettront de vivre des situations réelles et d'apprendre des autres. Car dans un monde d'entreprises, de clients, de fournisseurs et de simples indépendants, il existe des histoires humaines qui méritent d'être racontées.

Aujourd'hui, je souhaite vous parler de sauvegarde et de sécurité des données , en vous faisant part de ce que je sais et de ce que nous avons à dire sur un problème bien trop sous-estimé.

Si quelque chose peut mal tourner, cela va mal tourner.

Cet axiome pseudo-scientifique, plus connu sous le nom de loi de Murphy, a constitué la pierre angulaire des processus organisationnels en matière de sécurité et de gestion des sauvegardes.

Forts de cette conviction, nous avons évalué et mis en œuvre au cours des 6 dernières années des solutions de sauvegarde robustes et éprouvées afin de garantir l'intégrité des données de nos clients.

Opérant avec l'ancienne marque Dreamsnet.it depuis 2005 et avec des expériences systémiques antérieures depuis 2000, jusqu'à présent, nous avions toujours utilisé une solution de sauvegarde d'instantanés incrémentielle qui permettait une restauration sélective de fichiers individuels et d'images entières. Au niveau de la base de données par exemple, nous avons utilisé (et utilisons encore) des outils qui permettent de prendre des snapshots rapidement et en respectant la logique des sauvegardes à chaud et de l'intégrité, c'est-à-dire de sauvegarder la DB sans avoir à l'éteindre et la rendre toujours disponible le service même s'il arrive à 4 heures du matin (peut-être que les utilisateurs sont endormis, mais les moteurs de recherche indexent).

Bref, pas exactement le dernier de la classe, si l'on pense qu'aujourd'hui nous avons un hébergement italien célèbre qui utilise encore l'ancien et ancestral mysqldump. Vraiment incroyable.

En treize longues années, en somme, et après plusieurs centaines de sauvegardes restaurées, aucun client n'a jamais perdu un seul fichier de ses projets.

Durant l'été 2018, un événement nouveau, inattendu et choquant s'est produit, qui allait à jamais semer le doute sur nous-mêmes et sur tous les autres après cette terrible épreuve.

Piste cyclable d'Arad Roumanie

 

C'était une journée ensoleillée, chaude mais pas étouffante. J'étais en t-shirt et short, mon ordinateur portable en bandoulière. Je venais de déjeuner au parc au bord de la rivière, près de chez moi à Arad, en Roumanie. Je me souviens être rentré à pied au bureau, au centre d'affaires d'Arad , en empruntant la magnifique piste cyclable de la ville, très fréquentée à cette heure-ci par tous ceux qui, comme moi, étaient en pause déjeuner.

La vue de la rivière immobile inspirait paix et tranquillité, le spectacle des gens se détendant sur les bancs dégageait calme et positivité ; j'étais littéralement plongé dans ce moment de pur bonheur lorsque mon téléphone portable s'est mis à sonner , ayant été directement redirigé du bureau principal.

 

Je retourne sur la planète Terre, celle faite des problèmes à résoudre pour les autres (après tout, le travail a généralement ce but, n'est-ce pas ?), et je réponds avec une chaleureuse

Bonjour, je suis Marco de Managed Server, comment puis-je vous aider ?

Une voix masculine répond, c'était un homme, un garçon à peu près de mon âge, entre 30 et 35 ans j'aurais estimé à l'oreille. On surmonte aussitôt les formalités de la langue italienne et on se met à l'aise en s'appelant tout de suite (d'ailleurs, sur le net et sur les réseaux sociaux on s'appelle TU dit Netiquette le saviez-vous ?)

Il commence, un peu nerveusement, à me parler de sauvegardes, de restaurations, de restaurations ratées, de données perdues et de récupération de données. Trop de concepts abstraits et confus, trop d'informations décousues, et un vrai brouillard dans ma tête. Je ne comprends pas.

Qui est celui qui me téléphone ? Êtes-vous un de nos clients?

Qu'est-il arrivé?

Parlez de sauvegardes, mais avez-vous besoin de restaurer une sauvegarde ? Vous avez perdu une sauvegarde ? Vous n'avez pas de sauvegarde ?

Serait-ce un de ces enfants qui ne savent pas faire la différence entre une machine à laver et un magnétoscope ?

J'arrête immédiatement ce flot de termes et de phrases aléatoires et vous demande d'expliquer calmement tout ce qui s'est passé depuis le début et de me demander quels étaient vos besoins.

Recommençons beaucoup plus sereinement et établissons enfin une discussion composée de phrases qui ont du sens et surtout logiquement liées.

En d'autres termes

Ce type, hébergé par une société d'hébergement française bien connue, a déclaré que la nuit précédente, il avait commis une erreur en mettant en production des fichiers FTP et que, frustré de ne pas avoir réussi à résoudre le problème, il avait décidé de faire une « tabula rasa », c'est-à-dire de tout supprimer et de restaurer une sauvegarde de la veille.

Dès lors, il s'apprête à se connecter avec son client FTP, supprimer tous les dossiers de son site et une fois terminé, depuis l'espace client, exécuter la procédure de restauration de sauvegarde depuis la confortable interface Web.

Quatre clics et le tour est joué !

Après quelques minutes d'avancement de la tâche, un message annonce la fin de l'opération de restauration.

Oh, joie, jubilation et exultation ! Quelle meilleure nouvelle ?

Ce qui s'est passé est facile à comprendre et comme vous l'avez peut-être déjà deviné, la sauvegarde était endommagée ou plutôt VIDE. L'assistant de restauration avait restauré exactement ZERO FICHIERS laissant le répertoire de destination complètement vide, au lieu des fichiers de la veille.

Il ne se décourage pas, n'abandonne pas et réessaye. Peut-être que quelque chose s'est mal passé.

Même procédure, même archive, même message de restauration. Ensuite, vous vérifiez avec le client FTP et… VIDE. Encore une fois pas de fichier. Rien, Nada, zéro, nisba.

Revenez à l'interface et sélectionnez la sauvegarde de la veille, même procédure de restauration. Même message d'achèvement réussi, même résultat. VIDE.

Sélectionnez la sauvegarde de la veille la veille. Restaurer. VIDE

Et ainsi de suite avec la sauvegarde de la veille la veille de la veille encore. 3 jours avant, 4 jours avant, 5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30, XNUMX jours avant.

Même résultat : VIDE.

Les archives à restaurer étaient épuisées, et la conclusion était unique : aucune des 30 sauvegardes jusqu'à 30 jours auparavant n'avait pu être restaurée. Cette personne n'avait aucun moyen de restaurer ses sauvegardes, son site l'alimentant.

Le problème était devenu quelque chose de vraiment énorme car il était apparemment sans solution.

 

Un homme effrayé et désespéré

À ce moment-là, j'ai ressenti un mélange d'émotions entre eux. Tristesse mêlée de joie.

Vous savez, lorsque vous vivez directement ou indirectement un mauvais événement dans lequel, par empathie, vous ressentez de la tristesse à propos de ce qui s'est passé, mais au fond aussi une pincée de joie de savoir que cette mauvaise chose ne vous est pas arrivée ? Ici, juste ce sentiment, ce mélange d'émotions aux antipodes, qui s'entrechoquent.

J'étais soulagé qu'il ne soit pas client ; je n'aurais pas su gérer une telle situation, où le service de sauvegarde existe mais où aucune archive n'est restaurable. Que pouvais-je dire à une personne qui vit hors site et subvient aux besoins de sa famille, et qui était au téléphone avec moi à ce moment-là ?

J'ai tout de suite pensé que ce problème d'éthique morale, ce sens des responsabilités n'aurait pas du tout affecté l'énorme hébergeur dont cette personne était cliente.

Au final c'était clair comment l'histoire allait se passer : cette personne aurait parlé au support téléphonique, un type y aurait mis quelques pièces par mois, aurait transmis le problème au service technique italien qui l'aurait transmis au français un et un de ses techniciens. Le technicien aurait probablement remarqué que quelque chose n'allait pas et aurait renvoyé le message au support technique italien qui aurait probablement signalé le manque de données et éventuellement demandé un remboursement ou ouvert un litige.

Litige juridique. En Italie. Ce serait risible si la situation n'était pas si tragique. J'en ai pourtant les larmes aux yeux rien qu'à l'idée de la signature d'un contrat et d'un accord de niveau de service (rédigés en caractères si petits qu'ils devraient être illégaux), dans lesquels le fournisseur s'exonère de toute responsabilité en cas de dommages et de demandes d'indemnisation.

Il aurait été plus facile d'escalader l'Everest à mains nues. (Bon, ce n'est pas l'Everest sur la photo, mais ça vous donne une idée.)

Le PDG de l'entreprise n'aurait jamais entendu parler de l'histoire de ce père désespéré qui a perdu cinq ans de travail. Un cas parmi des millions de clients, une goutte d'eau dans l'océan. Que représente un tel problème pour une entreprise qui génère chaque année des centaines de millions de dollars de chiffre d'affaires grâce à des millions de clients ? Absolument insignifiant. Malheureusement.

Que pourrions-nous faire ?

Rien. Face à cette situation complexe et absolument au-delà de la mienne et de notre marge de manœuvre (le fournisseur en était un autre, nous ne savions pas quel système de sauvegarde il utilisait, quel pouvait être le système de stockage, comment avoir accès aux médias, et pourquoi avait-il mauvais accident s'est produit), que pouvions-nous faire ?

La chose la plus correcte à faire était évidemment de demander une comparaison avec leur support technique pour comprendre s'il y avait une possibilité de récupération, et en attendant de regarder si CASOMAI avait une sauvegarde locale sur votre PC peut-être quelques jours ou quelques mois auparavant.

La première suggestion s'est avérée infructueuse ; le support a simplement indiqué qu'aucun fichier n'était présent dans la sauvegarde, alors même qu'elle avait été correctement créée. Cette affirmation a été réitérée environ deux semaines plus tard par leur équipe de support technique française, pourtant réputée pour son excellence, qui a balayé la situation d'un revers de main en déclarant : « Il n'y a rien . » Une situation absolument absurde et déplaisante.

Le conseil de trouver une sauvegarde locale s'avère toutefois plus judicieux, car, à force de persévérance et en fouillant dans les fichiers de son PC, il a réussi à retrouver et à restaurer une sauvegarde datant de quelques mois. Bien que ce ne soit pas la solution idéale pour réparer les dégâts, cela lui a permis de reprendre ses activités et d'éviter la faillite inévitable qui se serait produite sans cette solution.

Tout est bien qui finit bien!

La leçon que nous avons apprise

Leçon de tableau noir

Dans toute cette histoire laide, notre rôle a été absolument spectateur. Absolument hors sujet, en somme, pour le dénouement de l'histoire heureusement résolu sinon pour le meilleur, certainement pas pour le pire.

Tout cela nous a toutefois permis de prendre en compte des éléments importants qui avaient été négligés jusque-là. En substance, nous nous sommes posé les questions suivantes :

1. Pourquoi ce qui leur est arrivé ne peut-il pas nous arriver ?

Pourquoi une défaillance du système de sauvegarde ne devrait-elle arriver qu'aux autres hébergeurs et pas à nous ?

Ce serait hypocrite, n'est-ce pas ? C'est comme dire qu'on pourrait facilement éviter de porter la ceinture de sécurité en voiture parce que les accidents n'arrivent qu'aux autres, pas vrai ? En réalité, la réponse la plus juste et la plus appropriée est que, jusqu'à ce jour d'été mémorable, si cela ne nous était pas arrivé, c'était uniquement grâce au hasard, à la chance. En bref, le fait qu'un système de sauvegarde par instantané, et qui plus est un système très performant, n'avait jamais généré de sauvegardes corrompues. Une possibilité infime, certes, improbable, mais pas impossible, comme nous l'avons constaté ce jour-là.

2. Dans quelle mesure la perte de données affecte-t-elle la vie des gens ?

La perte d'un site Web ou de données peut signifier la fin d'une entreprise. Cela signifie créer un préjudice économique sur la vie des gens, les mettant probablement dans une position de ne pas pouvoir s'offrir des biens de première nécessité. Cela ne peut pas et ne doit pas arriver, du moins cela ne doit pas arriver par notre faute, ni comme cause ni comme cause contributive.

3. Dans quelle mesure la perte de données affecte-t-elle notre entreprise ?

La perte des données d'un client entraînera très probablement des litiges. Que vous ayez raison ou tort, ou que vous deviez revoir les différentes clauses d'indemnisation et les SLA que vous avez signés, cela n'a aucune importance. Des obligations légales claires existent, telles que celles imposées par le RGPD européen, qui nous exposeraient à diverses négligences et, par conséquent, à des amendes et à des dommages-intérêts. Il est préférable d'investir dans la sécurité des données en consacrant 10 % de votre chiffre d'affaires à des systèmes de surveillance, des systèmes RAID, un stockage redondant et des sauvegardes multiples, plutôt que de risquer des poursuites judiciaires, des litiges, des indemnisations et des amendes.

Qu'avons-nous fait alors ?

Ayant compris haut et fort les trois points ci-dessus, nous avons « simplement » ajouté un système de sauvegarde secondaire au système de sauvegarde actuel déjà fonctionnel, qui à son tour était redondant sur un système de stockage de données C14 avec une certification de qualité militaire en France.

En bref, alors qu'auparavant nos systèmes RAID1 ne comportaient qu'une seule sauvegarde qui était transférée vers une zone de stockage RAID5, nous disposons aujourd'hui de trois sauvegardes utilisant deux technologies différentes qui sont transférées vers trois zones de stockage RAID5 différentes, et l'une d'entre elles est à son tour dupliquée sur un service de stockage antiatomique C14 de qualité militaire, sécurisé et redondant , situé en France.

Bref, dans ce mode opératoire, un client malheureux qui a besoin de restaurer une sauvegarde peut s'appuyer sur une sauvegarde à distance qui, si elle ne fonctionne pas (hypothèse très éloignée), pourrait s'appuyer sur le deuxième système de sauvegarde, qui à son tour, si cela ne fonctionne pas (hypothèse elle-même très éloignée) pourrait compter sur la mise en miroir avec Rsync sur un autre stockage.

S'il y avait une attaque majeure (supposons une explosion nucléaire) sur le datacenter, nous aurions tout de même une mise en miroir hebdomadaire sur le stockage anti-atomique C14 en France.

Bref, la possibilité de perdre des données clients a vraiment été réduite à une limite tendant vers l'impossible. Plus que ces précautions n'existent actuellement à notre connaissance en Italie mais aussi à l'international, vu et constaté que même de très grandes entreprises avec des chiffres d'affaires de plusieurs centaines de millions d'euros continuent d'utiliser une seule et unique sauvegarde comme solution définitive pour se protéger et ses clients.

En interne, comme toujours, nous continuerons à proposer le service de sauvegarde dans le cadre de notre offre. Il est hors de question de le proposer comme un service supplémentaire facturé séparément. La sauvegarde est incluse de série ; nous veillons à ce que nos clients soient protégés au mieux , qu’ils soient optimistes quant à la sécurité de leurs données ou qu’ils les jugent inutilisables.

Bref, à l'épreuve des bombes atomiques !

esplosion

Vous avez des doutes ? Vous ne savez pas par où commencer ? Contactez-nous !

Nous avons toutes les réponses à vos questions pour vous aider à faire le bon choix.

Discute avec nous

Discutez directement avec notre support avant-vente.

0256569681

Contactez-nous par téléphone pendant les heures de bureau 9h30 - 19h30

Contactez-nous en ligne

Ouvrez une demande directement dans l'espace contact.

AVIS DE NON-RESPONSABILITÉ, Mentions légales et droits d'auteur. Red Hat, Inc. détient les droits sur Red Hat®, RHEL®, RedHat Linux® et CentOS® ; AlmaLinux™ est une marque commerciale de la AlmaLinux OS Foundation ; Rocky Linux® est une marque déposée de la Rocky Linux Foundation ; SUSE® est une marque déposée de SUSE LLC ; Canonical Ltd. détient les droits sur Ubuntu® ; Software in the Public Interest, Inc. détient les droits sur Debian® ; Linus Torvalds détient les droits sur Linux® ; FreeBSD® est une marque déposée de la Fondation FreeBSD ; NetBSD® est une marque déposée de la Fondation NetBSD ; OpenBSD® est une marque déposée de Theo de Raadt ; Oracle Corporation détient les droits sur Oracle®, MySQL®, MyRocks®, VirtualBox® et ZFS® ; Percona® est une marque déposée de Percona LLC ; MariaDB® est une marque déposée de MariaDB Corporation Ab ; PostgreSQL® est une marque déposée de PostgreSQL Global Development Group ; SQLite® est une marque déposée de Hipp, Wyrick & Company, Inc. ; KeyDB® est une marque déposée d'EQ Alpha Technology Ltd. ; Typesense® est une marque déposée de Typesense Inc. ; REDIS® est une marque déposée de Redis Labs Ltd ; F5 Networks, Inc. détient les droits sur NGINX® et NGINX Plus® ; Varnish® est une marque déposée de Varnish Software AB ; HAProxy® est une marque déposée de HAProxy Technologies LLC ; Traefik® est une marque déposée de Traefik Labs ; Envoy® est une marque déposée de CNCF ; Adobe Inc. détient les droits sur Magento® ; PrestaShop® est une marque déposée de PrestaShop SA ; Shopware® est une marque déposée de Shopware AG ; OpenCart® est une marque déposée d'OpenCart Limited ; Automattic Inc. détient les droits sur WordPress®, WooCommerce® et JetPack® ; Open Source Matters, Inc. détient les droits sur Joomla® ; Dries Buytaert détient les droits sur Drupal® ; Shopify® est une marque déposée de Shopify Inc. ; BigCommerce® est une marque déposée de BigCommerce Pty. Ltd.; TYPO3® est une marque déposée de la TYPO3 Association; Ghost® est une marque déposée de la Ghost Foundation; Amazon Web Services, Inc. détient les droits sur AWS® et Amazon SES® ; Google LLC détient les droits sur Google Cloud™, Chrome™ et Google Kubernetes Engine™ ; Alibaba Cloud® est une marque déposée d'Alibaba Group Holding Limited ; DigitalOcean® est une marque déposée de DigitalOcean, LLC ; Linode® est une marque déposée de Linode, LLC ; Vultr® est une marque déposée de The Constant Company, LLC ; Akamai® est une marque déposée d'Akamai Technologies, Inc. ; Fastly® est une marque déposée de Fastly, Inc. ; Let's Encrypt® est une marque déposée d'Internet Security Research Group ; Microsoft Corporation détient les droits sur Microsoft®, Azure®, Windows®, Office® et Internet Explorer® ; Mozilla Foundation détient les droits sur Firefox® ; Apache® est une marque déposée de The Apache Software Foundation ; Apache Tomcat® est une marque déposée de The Apache Software Foundation ; PHP® est une marque déposée de PHP Group ; Docker® est une marque déposée de Docker, Inc. Kubernetes® est une marque déposée de The Linux Foundation ; OpenShift® est une marque déposée de Red Hat, Inc. ; Podman® est une marque déposée de Red Hat, Inc. ; Proxmox® est une marque déposée de Proxmox Server Solutions GmbH ; VMware® est une marque déposée de Broadcom Inc. ; CloudFlare® est une marque déposée de Cloudflare, Inc. ; NETSCOUT® est une marque déposée de NETSCOUT Systems Inc. ; ElasticSearch®, LogStash® et Kibana® sont des marques déposées d'Elastic NV ; Grafana® est une marque déposée de Grafana Labs ; Prometheus® est une marque déposée de The Linux Foundation ; Zabbix® est une marque déposée de Zabbix LLC ; Datadog® est une marque déposée de Datadog, Inc. ; Ceph® est une marque déposée de Red Hat, Inc. ; MinIO® est une marque déposée de MinIO, Inc. ; Mailgun® est une marque déposée de Mailgun Technologies, Inc. ; SendGrid® est une marque déposée de Twilio Inc. Postmark® est une marque déposée d'ActiveCampaign, LLC ; cPanel®, LLC cPanel® appartient à [Nom de l'entreprise] ; Plesk® est une marque déposée de Plesk International GmbH ; Hetzner® est une marque déposée de Hetzner Online GmbH ; OVHcloud® est une marque déposée d'OVH Groupe SAS ; Contabo® est une marque déposée de Contabo GmbH ; IONOS® est une marque déposée d'IONOS SE ; International Business Machines Corporation appartient à [Nom de l'entreprise] ; Terraform® est une marque déposée de HashiCorp, Inc. ; Ansible® est une marque déposée de Red Hat, Inc. ; cURL® est une marque déposée de Daniel Stenberg ; Facebook®, Inc. détient les droits sur Facebook®, Messenger® et Instagram®. Ce site n'est pas affilié, sponsorisé ou autrement associé à l'une des entités mentionnées ci-dessus et ne représente aucune de ces entités de quelque manière que ce soit. Tous les droits sur les marques et noms de produits mentionnés sont la propriété de leurs titulaires respectifs des droits d'auteur. Toutes les autres marques mentionnées sont la propriété de leurs titulaires respectifs. MANAGED SERVER® est une marque déposée européenne de MANAGED SERVER SRL, dont le siège social est situé Via Flavio Gioia, 6, 62012 Civitanova Marche (MC), Italie et le siège opérationnel Via Enzo Ferrari, 9, 62012 Civitanova Marche (MC), Italie.

JUSTE UN MOMENT !

Vous êtes-vous déjà demandé si votre hébergement était nul ?

Découvrez dès maintenant si votre hébergeur vous pénalise avec un site web lent digne des années 1990 ! Résultats immédiats.

Fermer le CTA
Retour en haut de page