Full Circle Magazine FR

Outils pour utilisateurs

Outils du site

Piste : • python • quick_tip • c_c • c_c • c_c • finalisation • c_c • finalisation • linux_lab • c_c
issue124:tutoriel1

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Prochaine révision		Révision précédente
issue124:tutoriel1 [2017/08/28 12:26] – créée auntieeissue124:tutoriel1 [2017/09/11 16:51] (Version actuelle) – andre_domenech
Ligne 1: Ligne 1:
-Backups are fundamental aspects of the IT life: for personal purposes as well as in professional environments. Ranging from personal documents to server configurations and databases, sometimes a backup is life-saving. There is plenty of documentation around the web: documents about backup strategies, how-tos, backup softwares, and so on.+===== 1 ===== 
 + 
 +**Backups are fundamental aspects of the IT life: for personal purposes as well as in professional environments. Ranging from personal documents to server configurations and databases, sometimes a backup is life-saving. There is plenty of documentation around the web: documents about backup strategies, how-tos, backup softwares, and so on.
  
 The big drawback of backups is, most of the time, space occupancy. A good software, or a good strategy, can mitigate this by mean of incremental backups. But in some cases, learning and implementing a specialized backup software is laborious, tedious, and the learning curve is too high especially when we only need “a simple” copy of the last useful files or database dump. In any case, there isn’t a self-configuring software out there: strategies and policies are up to the system administrator or backup administrator. And last but not least, what about restore? We all hope not to need to restore a backup, but sometimes disasters can occur: from deletion of an important document to database server crash.  The big drawback of backups is, most of the time, space occupancy. A good software, or a good strategy, can mitigate this by mean of incremental backups. But in some cases, learning and implementing a specialized backup software is laborious, tedious, and the learning curve is too high especially when we only need “a simple” copy of the last useful files or database dump. In any case, there isn’t a self-configuring software out there: strategies and policies are up to the system administrator or backup administrator. And last but not least, what about restore? We all hope not to need to restore a backup, but sometimes disasters can occur: from deletion of an important document to database server crash. 
  
-Here, in this article, we will talk about a sort of incremental backup. How difficult is it to retrieve a backup or restore a database from an incremental backup? In a company, sometimes, the System Administrator is also the DBA and even the Backup Administrator at the same time, so testing backups’ restoration is, most times, a zero priority task.+Here, in this article, we will talk about a sort of incremental backup. How difficult is it to retrieve a backup or restore a database from an incremental backup? In a company, sometimes, the System Administrator is also the DBA and even the Backup Administrator at the same time, so testing backups’ restoration is, most times, a zero priority task.** 
 + 
 +Les sauvegardes sont des aspects fondamentaux de la vie informatique, pour des environnements personnels aussi bien que professionnels. Des documents personnels aux configurations de serveurs et des bases de données, une sauvegarde peut parfois vous sauver la vie. Une documentation fournie est disponible ici et là sur le Web, notamment sur des stratégies de sauvegarde, des tutoriels, des logiciels de sauvegarde et ainsi de suite. 
 + 
 +La plupart du temps, le gros inconvénient des sauvegardes est l'occupation de l'espace disque. Un bon logiciel, ou une bonne stratégie, peut atténuer cela avec des sauvegardes incrémentielles. Mais, dans certains cas, l'apprentissage et l'implémentation d'un logiciel de sauvegarde spécialisé sont laborieux et fastidieux et la courbe d'apprentissage est trop haute, surtout quand nous n'avons besoin que « d'une simple copie » des derniers fichiers utiles ou du dernier vidage d'une base de données. De toute façon, un logiciel qui se configure tout seul n'existe pas : les stratégies et les politiques sont du domaine de l'administrateur système ou l'administrateur des sauvegardes. Enfin et surtout, quid d'une restauration ? Nous espérons tous ne pas devoir restaurer une sauvegarde, mais un désastre est toujours possible, de la suppression d'un document important au plantage d'un serveur de bases de données. 
 + 
 +Dans cet article, nous parlerons d'un type de sauvegarde incrémentielle. À quel point est-il difficile de récupérer une sauvegarde ou de restaurer une base de données à partir d'une sauvegarde incrémentielle ? Parfois, dans une entreprise, l'administrateur système est aussi l'administrateur des bases de données et même l'administrateur des sauvegardes, tout à la fois, ce qui fait que tester la restauration des sauvegardes n'est, la plupart du temps, point prioritaire.
  
-As said before, space occupancy (hard disk or tapes) is a big question to address.+**As said before, space occupancy (hard disk or tapes) is a big question to address.
 Let’s talk about a disk shared between many users, or the home directories of such users. Let’s say we want to use an affordable and simple solution using well known tools, that must be a reliable solution as well. The choice of the tool, if we work on Linux and Unix, will usually fall on rsync.  Let’s talk about a disk shared between many users, or the home directories of such users. Let’s say we want to use an affordable and simple solution using well known tools, that must be a reliable solution as well. The choice of the tool, if we work on Linux and Unix, will usually fall on rsync. 
  
Ligne 12: Ligne 20:
 So, if we use rsync, we must take care of such things: we must avoid garbage and we cannot rely only on one backup, that is the last time rsync has run. So, usually, we end up writing a complex script, or we spend time looking for and testing some script or software found on the Internet, falling again in a pointless learning curve or using a script that doesn’t fit our needs. So, if we use rsync, we must take care of such things: we must avoid garbage and we cannot rely only on one backup, that is the last time rsync has run. So, usually, we end up writing a complex script, or we spend time looking for and testing some script or software found on the Internet, falling again in a pointless learning curve or using a script that doesn’t fit our needs.
  
-Well, a filesystem snapshot can save our bacon. In this article we will talk about ZFS snapshot feature.+Well, a filesystem snapshot can save our bacon. In this article we will talk about ZFS snapshot feature.**
  
-What is ZFS+Comme déjà indiqué, l'occupation de l'espace (sur un disque dur ou sur des bandes magnétiques) est une très importante question qui doit être résolue. 
 + 
 +Parlons d'un disque partagé par beaucoup d'utilisateurs ou des répertoires personnels de tels utilisateurs. Disons que nous voulons une solution simple et abordable se servant d'outils bien connus et qui soit également fiable. Le choix de l'outil, si nous travaillons sous Linux ou Unix, sera habituellement celui de rsync. 
 + 
 +Il faut tenir compte du fait que rsync ne supprime pas les fichiers sur la destination qui ne sont plus dans le fichier source ; mais nous ne pouvons pas stocker des fichiers indéfiniment, notamment des documents supprimés exprès par des utilisateurs ou de vieux fichiers de configuration, rien que de déchets. Aussi, on peut utiliser l'option delete (supprimer) proposée par rsync ((rsync --delete: efface les fichiers superflus des répertoires de destination)), mais... qui sait si l'utilisateur n'a pas supprimé le fichier par erreur ? 
 + 
 +Ainsi, si nous utilisons rsync, nous devons nous préoccuper de telles choses : nous devons éviter les déchets et nous ne devons pas nous fier à une seule sauvegarde, c'est-à-dire celle de la dernière fois qu'on a exécuté rsync. En général, nous finissons par écrire un script complexe, ou nous passons du temps à chercher et à tester un script ou un logiciel trouvé sur le Net, retombant dans une courbe d'apprentissage sans raison d'être ou utilisant un script qui ne répond pas à nos besoins. 
 + 
 +En fait, un instantané de notre système de fichiers peut nous tirer du pétrin. Dans cet article, nous parlerons de la fonctionnalité instantanée de ZFS. 
 + 
 +===== 2 ===== 
 + 
 +**What is ZFS
  
 ZFS is a robust, enterprise grade, filesystem and volume manager developed by Sun in the late 2001; today it is the default file system on Solaris and a bunch of Operating Systems based on the Open Source Illumos kernel, like SmartOS, Openindiana, OmniOS, etc. Due to legal issues related to the licence, that prevented the development of a Linux kernel module, in September 2013 a side project was created: OpenZFS. So, nowadays, the powerful features of ZFS can be used also on your preferred Linux distributions. There was a lot of hype before Ubuntu 16.04 LTS came out, when it was announced that the ZFS filesystem module would be included by default, and the OpenZFS-based implementation would have received official support from Canonical: many concerns about license issues come out. ZFS is a robust, enterprise grade, filesystem and volume manager developed by Sun in the late 2001; today it is the default file system on Solaris and a bunch of Operating Systems based on the Open Source Illumos kernel, like SmartOS, Openindiana, OmniOS, etc. Due to legal issues related to the licence, that prevented the development of a Linux kernel module, in September 2013 a side project was created: OpenZFS. So, nowadays, the powerful features of ZFS can be used also on your preferred Linux distributions. There was a lot of hype before Ubuntu 16.04 LTS came out, when it was announced that the ZFS filesystem module would be included by default, and the OpenZFS-based implementation would have received official support from Canonical: many concerns about license issues come out.
Ligne 20: Ligne 40:
 I don’t want to go deep into the advantages, the technical characteristics or the options of ZFS, but I want just to underline the ease-of-use of some features that this file system provides, like, exactly, snapshots. I don’t want to go deep into the advantages, the technical characteristics or the options of ZFS, but I want just to underline the ease-of-use of some features that this file system provides, like, exactly, snapshots.
  
-Well, also other filesystems like BtrFS, or Logical Volume managers (LVM) have snapshot functionalities as well; even Windows has something like that, called Shadow Copy, but ZFS, as far as I know, is the most simple and proficient to use.+Well, also other filesystems like BtrFS, or Logical Volume managers (LVM) have snapshot functionalities as well; even Windows has something like that, called Shadow Copy, but ZFS, as far as I know, is the most simple and proficient to use.** 
 + 
 +ZFS 
 + 
 +ZFS est un gestionnaire de volume et de système de fichiers robuste et de niveau professionnel développé par Sun, fin 2001. De nos jours, il s'agit du système de fichiers par défaut sur Solaris et pas mal d'autres systèmes d'exploitation basés sur le noyau Open Source Illumos, comme SmartOS, Openindiana, OmniOS, etc. Suite à des problèmes légaux liés à la licence qui empêchaient le développement d'un module du noyau Linux, un projet connexe fut créé en septembre 2013, appelé OpenZFS. Aujourd'hui, donc, les fonctionnalités puissantes de ZFS peuvent être utilisées également sur vos distributions Linux préférées. Il y a eu pas mal de battage médiatique avant la sortie d'Ubuntu 16.04 LTS, quand l'annonce de l'inclusion par défaut d'un module du système de fichiers ZFS fut fait, car on pensait qu'une implémentation basée sur OpenZFS aurait reçu le support officiel de Canonical et beaucoup d'inquiétudes concernant les problèmes de licence sont apparues. 
 + 
 +Je ne veux pas détailler les avantages, les caractéristiques techniques ou les options de ZFS, mais tout simplement mettre l'accent sur la simplicité d'utilisation de certaines des fonctionnalités fournies par ce système de fichiers, comme, pour être précis, les instantanés. 
 + 
 +En fait, d'autres systèmes de fichiers comme BtrFS ou des gestionnaires de volumes logiques (Logical Volume managers, ou LVM) ont également des fonctionnalités d'instantané ; même Windows a quelque chose du genre, appelé Shadow Copy, mais, à ma connaissance, l'utilisation de ZFS est la plus simple et la plus efficace. 
 + 
 +===== 3 =====
  
-How to create a zpool+**How to create a zpool
  
 This is only a quick example. Also, in this case I don’t want to dig deep into technical details. This is only a quick example. Also, in this case I don’t want to dig deep into technical details.
Ligne 38: Ligne 68:
 sudo zpool create tank /dev/sdb sudo zpool create tank /dev/sdb
  
-Please look at this link, in order to understand why using sdb, instead of the disk UUID, might not be a good thing http://zfsonlinux.org/faq.html#WhatDevNamesShouldIUseWhenCreatingMyPool+Please look at this link, in order to understand why using sdb, instead of the disk UUID, might not be a good thing http://zfsonlinux.org/faq.html#WhatDevNamesShouldIUseWhenCreatingMyPool**
  
-Let’s create a ZFS filesystem inside the zpool+Créer un zpool 
 + 
 +Ceci n'est qu'un exemple rapide. Et aussi, ici, je ne veux pas me pencher sur beaucoup de détails techniques. 
 + 
 +Bon, installons le côté ZFS. 
 + 
 +sudo apt-get install zfsutils-linux 
 + 
 +Branchez une clé USB et utilisez fdisk pour créer une nouvelle table GPT vide de partitions  (touche g) 
 + 
 +sudo fdisk /dev/sdb 
 + 
 +Quittez fdisk et créons le zpool (pensez-y comme une sorte de volume). « Tank » est le nom de mon zpool, mais vous pouvez choisir le nom qui vous chante. 
 + 
 +sudo zpool create tank /dev/sdb 
 + 
 +Veuillez regarder ce lien afin de comprendre pourquoi l'utilisation de sdb, plutôt que l'UUID du disque, pourrait ne pas être un bon choix. http://zfsonlinux.org/faq.html#WhatDevNamesShouldIUseWhenCreatingMyPool 
 + 
 +===== 4 ===== 
 + 
 +**Let’s create a ZFS filesystem inside the zpool
  
 sudo zfs create tank/mybackup sudo zfs create tank/mybackup
Ligne 56: Ligne 106:
 So in our case the command could be: So in our case the command could be:
  
 +sudo zfs snapshot tank/mybackup@201707091030**
 +
 +Créons un système de fichiers ZFS dans le zpool :
 +
 +sudo zfs create tank/mybackup
 +
 +Activez la compression à la volée (on-the-fly). Oui, c'est une autre fonctionnalité de ZFS. Il y a un bon équilibre entre la performance et le niveau de compression dans l'algorithme LZ4.
 +
 +sudo zfs set compression=lz4 tank/mybackup
 +
 +Faisons le premier instantané (snapshot)
 +
 +Un instantané est l'état d'un système de fichiers à un moment précis. La commande à utiliser pour faire un instantané est :
 +
 +zfs snapshot filesystem@name
 +
 +Ainsi, dans notre cas, la commande pourrait être :
  
 sudo zfs snapshot tank/mybackup@201707091030 sudo zfs snapshot tank/mybackup@201707091030
  
-Since it doesn’t consist of an incremental copy of files, like Mac OS X Time Machine, but it is done at block level, the snapshot operation is immediate.+===== 5 ===== 
 + 
 +**Since it doesn’t consist of an incremental copy of files, like Mac OS X Time Machine, but it is done at block level, the snapshot operation is immediate.
  
 Initially, the disk space occupied by a snapshot is zero, since the snapshot corresponds exactly to the original file system. As the files on the file system change (new files, deleted ones, updated files), disk space becomes unique to the snapshot, so the space used by the snapshot is strictly related to changes, writes, and deletes, performed on the file system. Initially, the disk space occupied by a snapshot is zero, since the snapshot corresponds exactly to the original file system. As the files on the file system change (new files, deleted ones, updated files), disk space becomes unique to the snapshot, so the space used by the snapshot is strictly related to changes, writes, and deletes, performed on the file system.
Ligne 66: Ligne 135:
 Displaying and Accessing ZFS Snapshots Displaying and Accessing ZFS Snapshots
  
-Now you can access data “backed up” in the snapshot in two ways: rolling back the snapshot (overwriting the working file system, read this as a complete restore), or accessing it to recover single files or directories.+Now you can access data “backed up” in the snapshot in two ways: rolling back the snapshot (overwriting the working file system, read this as a complete restore), or accessing it to recover single files or directories.**
  
-Rolling back the snapshot is as simple as taking it:+Puisqu'il ne s'agit pas d'une copie incrémentielle de fichiers, comme avec la Mac OS X Time machine, mais se fait au niveau des blocs, l'instantané se fait immédiatement. 
 + 
 +Au départ, l'espace disque occupé par un instantané est zéro, car l'instantané correspond précisément au système de fichiers original. Au fur et à mesure que les fichiers du système de fichiers changent (de nouveaux fichiers, des suppressions de fichiers, des fichiers mis à jour), l'espace disque sera uniquement occupé par l'instantané et l'espace disque utilisé par l'instantané est directement lié aux modifications, créations et suppressions faites sur le système de fichiers. 
 + 
 +Enfin, l'instantané est en lecture seule : vous ne risquez pas de perdre ou de modifier votre sauvegarde. 
 + 
 +Afficher et accéder aux instantanés ZFS 
 + 
 +Vous pouvez accéder aux données « sauvegardées » dans l'instantané de deux façons : en restaurant un instantané précédent (ce qui écrasera le système de fichiers qui fonctionne, autrement dit vous faites une restauration complète), ou en y accédant afin d'y récupérer des fichiers ou des dossiers. 
 + 
 +===== 6 ===== 
 + 
 +**Rolling back the snapshot is as simple as taking it:
  
 zfs rollback filesystem@name zfs rollback filesystem@name
Ligne 79: Ligne 160:
 Here you can find all your snapshots, you will see a directory for every taken snapshot, and you can use usual commands (cp, rsync, scp, etc) to copy a previous file version wherever you need: you can replace or restore a file or a directory directly in the working file system. Here you can find all your snapshots, you will see a directory for every taken snapshot, and you can use usual commands (cp, rsync, scp, etc) to copy a previous file version wherever you need: you can replace or restore a file or a directory directly in the working file system.
  
-That said, the backup policy can be the following: take a snapshot just before the rsync command and you are on your way. So you should not worry about previous versions of backups, incremental backups, huge used space, and so on.+That said, the backup policy can be the following: take a snapshot just before the rsync command and you are on your way. So you should not worry about previous versions of backups, incremental backups, huge used space, and so on.**
  
-To delete a snapshot, the command is as simple as+Faire une récupération complète est aussi simple que prendre un instantané : 
 + 
 +zfs rollback filesystem@name 
 + 
 +Mais faites attention : comme indiqué, faire une récupération écrasera le système de fichiers qui fonctionne ! Ainsi, une façon plus commode de récupérer des fichiers est d'aller dans le répertoire de l'instantané de parcourir l'arborescence du répertoire gelé. À l'intérieur du point de montage du système de fichiers se trouve un répertoire caché appelé « .zfs » (il est invisible, même avec ls -la). 
 + 
 +cd /mountpoint/.zfs/snapshot 
 + 
 +C'est ici que vous trouverez tous vos instantanés : chaque instantané aura son propre répertoire et vous pouvez utiliser les commandes habituelles (cp, rsync, scp, etc.) pour copier une version précédente d'un fichier où vous voudrez : vous pouvez remplacer ou restaurer un fichier ou un dossier directement dans le système de fichiers actif. 
 + 
 +Cela étant dit, la politique de sauvegarde peut être la suivante : faire un instantané juste avant de lancer la commande rsync et vous voilà parti ! Ainsi, vous n'avez pas à vous inquiéter des versions précédentes de sauvegardes, de sauvegardes incrémentielles, d'un espace disque énorme utilisé et ainsi de suite. 
 + 
 +===== 7 ===== 
 + 
 +**To delete a snapshot, the command is as simple as
  
 zfs destroy filesystem@name zfs destroy filesystem@name
Ligne 94: Ligne 189:
  
 You can find the script here You can find the script here
-https://gist.github.com/alcir/7cb799edfb677a50fc38741dc706d73f+https://gist.github.com/alcir/7cb799edfb677a50fc38741dc706d73f** 
  
 +Pour supprimer un instantané, la commande est simplissime :
 +
 +zfs destroy filesystem@name
 +
 +Ce qui, dans notre exemple, serait 
 +
 +sudo zfs destroy tank/mybackup@201707091030
 +
 +Exemple de script de sauvegarde
 +
 +Voici l'exemple d'un script simple pour illustrer les principes. Nous utilisons rsync via SSH avec une authentification basée sur une clé (vous trouverez beaucoup de guides étape par étape sur le Web sur comment configurer une connexion SSH basée sur une clé).
 +
 +Le script se trouve ici :
 +https://gist.github.com/alcir/7cb799edfb677a50fc38741dc706d73f
issue124/tutoriel1.1503915967.txt.gz · Dernière modification : 2017/08/28 12:26 de auntiee