"Défragmenter" un disque Time Machine

[pehache]

Bonjour,

J'ai un HDD externe de 1To pour Time Machine. Au fil temps les sauvegardes sont devenues abominablement lentes, genre de l'ordre de 1h pour 1Go à sauvegarder, et quand il doit supprimer une ancienne sauvegarde alors là ça c'est parti pour des plombes.

Je pense que c'est à cause de la fragmentation du volume, le principe même de Time Machine conduisant logiquement à une fragmentation monstrueuse à partir du moment où les anciennes sauvegardes sont supprimées.

Je sais que défragmenter les disques des Mac n'a jamais été très populaire, donc je ne sais pas trop quel utilitaire recommandable ferait ça ?

L'alternative au défragmenteur serait de déplacer temporairement la sauvegarde vers un autre disque, puis de la remettre en place. Mais je ne suis pas très sûr de la bonne façon de s'y prendre pour préserver tout ce qu'il faut lors du déplacement : les permissions, et surtout les liens en dur dont TM fait un gros usage... Il faudrait creuser les options de la commande `cp`, ou peut-être qu'il existe des commandes plus adaptées ? J'ai aussi pensé à faire une image DMG du disque, puis à la restaurer : si c'est une image bit à bit (de type ISO) ça ne servira à rien, mais si c'est une image qui est "consciente" du système de fichier ça pourrait le faire...

Sinon, je n'ai pas à une autre disque de 1To que je pourrais simplement swapper...

Voilà, je prends tous les conseils

[Fred4]

Lu par ailleurs, il est déconseillé de défragmenter Time Machine, notamment : 

Since a TM drive is a repository for data only (files aren't being read in and out), there's no point to attempting to defrag it, and plenty of opportunities to corrupt it.

Source: https://discussions.apple.com/thread/3162251

Que faire d'autre dans le cas présent pour remédier au problème de lenteur ? 

Peut-être formater le HDD et recommencer à partir de la situation présente ?

Les anciennes sauvegardes seraient perdues mais les prochaines pourraient à nouveau se dérouler efficacement. 

[pehache]

il y a 12 minutes, Fred4 a dit :

Since a TM drive is a repository for data only (files aren't being read in and out), there's no point to attempting to defrag it, and plenty of opportunities to corrupt it.

L'argument me parait techniquement très faible et ignore le fait (que je constate réellement) que toutes les actions sur le disque (ajout ou suppression d'une sauvegarde) sont au fil du temps de plus en plus lentes. Après, le risque de corruption des sauvegardes j'en suis conscient, et effectivement je ne ferais pas ça avec le premier logiciel de défragmentation venu, s'il n'a pas une très bonne réputation.

il y a 18 minutes, Fred4 a dit :

Peut-être formater le HDD et recommencer à partir de la situation présente ?

Les anciennes sauvegardes seraient perdues

Ben oui mais non :). L'intérêt de TM c'est aussi l'historique (dans la limite de capacité du disque), que je ne souhaite pas perdre.

Pour info j'ai testé pour voir, le simple drag&drop du dossier `backup.backupd` vers un autre disque... Au bout d'une heure il n'avait même pas commencé à copier quoi que ce soit, il en était encore à "préparation de la copie". Il doit y avoir (littéralement) des millions de fichiers dans les sauvegardes (dont la plupart se sont que des liens, mais il faut les gérer quand même...), c'est infernal à manipuler. Je suspecte d'ailleurs que la défragmentation ferait face au même problème et ça pourrait prendre des jours. Peut-être tenter des outils comme `rsync` (qui sait gérer les liens en dur), mais je crains qu'il y des métadonnées propres à HFS+ et ignorées par `rsync`...

[pehache]

Bon, vous allez dire que je ne suis pas patient, mais sentant que ça allait être pour le moins compliqué cette histoire, j'ai fait ce que je ne voulais pas faire : j'ai commandé un deuxième disque 1To externe (j'en ai trouvé un à 30€) et je vais reprendre les sauvegardes dessus (tout en gardant les sauvegardes actuelles, et une fois que l'autre sera plein (ça va prendre du temps) je referai l'échange).

[Mout]

Au vu de tout ce qui a été dit, le deuxième disque me semble en effet la manière la plus simple et sûre pour repartir sur quelque chose de nouveau, frais et dispo, sans perdre l'historique et sans se prendre trop la tête. Vu le besoin de conserver l'historique, c'est ce que j'aurai préconisé.

Après, pour l'amour de l'exploit technique, ca peut toujours être intéressant de poursuivre la question, et je me demande si un Guillaume Gète (@ggete) ou un Pierre Dandumont (@DandumontP) ne pourraient pas t'apporter un brin d'expérience ou des pistes à suivre ?

 

[pehache]

Les SSD vont régler le problème, vu que la fragmentation est beaucoup moins un problème sur SSD (mais ça a quand même un impact, contrairement à ce qu'on pense parfois). Si je n'avais pas trouvé ce HDD à 30€ (ce qui est quand même un très bon prix) j'aurais peut-être fait le saut du SSD externe.

[pehache]

Sinon, pour la "beauté du geste", quand j'aurais le nouveau disque je vais tenter une copie de la sauvegarde quand même pour voir, avec des commandes unix type cp/cpio/rsync... Le problème avec le Finder c'est qu'avant de commencer à copier quoi que ce soit il analyse l'entièreté de la source pour voir si ça va tenir dans le disque cible, et sur des millions de petits fichiers c'est infernal. Mais peut-être qu'avec des commandes plus "brutes" ça peut le faire.

[pehache]

Alors j'ai reçu le nouveau disque (HDD de 1To), et j'ai tenté pour voir une copie du dossier `Backup.backupd` avec une commande `sudo rsync -avEHl` ... Au bout de 12h il a transféré 230Go, soit un royal 5 Mo/s... C'est incompréhensible, sur certains fichiers ça va vite, mais il passe un temps fou sur des fichiers du genre :

`Backups.backupdb/IMAC/2020-11-29-104231/Macintosh SSD/.DocumentRevisions-V100/PerUID/504/666/com.apple.documentVersions/BDF98CEA-CA36-4ED1-9192-8E32ACF6883F.jpeg`

Quand il coince comme ça le disque ne fait quasiment rien, le taux de transfert dans le moniteur d'activité est quasi nul, et je ne l'entends pas "gratter" (comme ça peut être le cas quand il y a des erreurs de lecture et que la tête revient sans arrêt sur la même position).

Je crois que je vais laisser tomber, d'autant que je ne suis pas certain que ma commande rsync préserve tout ce qui est nécessaire, et d'autant que je vois passer des erreurs inexplicables du genre :

rsync: [generator] chown "/Volumes/TM2/Backups.backupdb/IMAC/2020-11-29-104231/Macintosh SSD/Applications/Octave.app/Contents/Resources/usr/lib/QtWebKit.framework" failed: Operation not permitted (1)

C'est pénible... J'ai l'impression que l'architecture de Time Machine n'est plus du tout adaptés aux volumes de données et aux tailles de disques actuels. Peut-être qu'en APFS ça marche mieux (?), mais étant encore sous 10.13 Time Machine réclame du HFS+. Et sinon j'imagine qu'avec un SSD c'est mieux, mais je n'en suis même pas convaincu (quand ça coince, on est très en dessous des performances du disque, même en accès aléatoire).

Je vais laisser tomber et repartir sur une sauvegarde vierge.

[Sethenès]

A priori, j'aurais plutôt utilisé une commande "bas niveau" du genre cpio comme tu l'avais suggéré dans ton post précédent. 

Sinon, il y a Carbon copy. Il y a une subtilité avec la licence il me semble.

[Sethenès]

Encore une solution : le faire dans un ordinateur qui n'est pas un Mac.

[pehache]

Le problème de toute solution qui n'est pas "suffisamment" Apple, c'est qu'il y a de bonnes chances que des spécificités de HFS+/Time Machine soit perdues en route. Quant aux solutions de clonage, soit elles travaillent à bas niveau et vont reproduire la fragmentation, soit elles travaillent au niveau fichiers et il y a de bonnes chances qu'elles coincent à la lecture de certains fichiers comme rsync le fait.

En plus là je manque de patience, et vu l'architecture d'une sauvegarde TM avec tout ces hardlinks on est obligé de faire la copie intégrales avant de vérifier si la copie est exploitable ou pas... C'est compliqué de faire des tests qui prennent des dizaines d'heures à chaque fois.

[Sethenès]

Ah ok, j'avais mal compris ton but. Je pensais que tu voulais d'abord cloner et puis lancer la défragmentation sur la copie afin de laisser l'original inchangé.

Modifié 21 novembre 2022 par Sethenès