Lorsqu’on sauvegarde avec Time Machine sur un disque réseau (fonctionnement différent du disque local), les données sont stockées au format .sparsebundle, une image disque qui s’étend à volonté, et qui contient un plusieurs anciennes versions des fichiers. Bien qu’elle apparaisse en tant que fichier sous OSX, une image qu’on peut monter dans le Finder pour en lire/écrire le contenu, c’est en réalité un dossier, qui contient quelques petits fichiers descriptifs, et surtout un gros dossiers, bands, qui contient lui-même toutes les données de l’image, découpé en fichiers de 8,4 Mo. Seule une petite partie de ces fichiers est mise à jour lors d’une sauvegarde Time Machine, et seule cette petite partie sera synchronisée via Rsync (environ 300 Mo. Il va de soi qu’avoir une connexion avec un bon upload, dans le cas d’une sauvegarde réellement distante, est un gros plus.
L’idée du script qui va suivre est de, régulièrement :
- déclencher une sauvegarde Time Machine
- monter le volume de sauvegarde (volume réseau, appelé “Time Capsule” ici, bien que ce puisse être n’importe quel volume proprement configuré) sur un point de montage précis
- synchroniser le point de montage via rsync, avec un serveur ssh (par définition n’importe où dans le monde)
Les prérequis sont :
- avoir configuré, via GUI ou autre, Time Machine, et être sûr que le setup fonctionne correctement
- avoir configuré la redirection de ports sur le routeur devant le serveur ssh
- avoir une configuré une authentification ssh sur le serveur via clé, sans demande de mot de passe, pour pouvoir l’automatiser
- savoir identifier la time capsule sur le réseau, y accéder via hostname et connaître un couple user/password valide pour la lecture des données
- avoir désactivé la planification de Time Machine. Le script s’occupe de lancer la sauvegarde, et une MAJ du contenu du sparsebundle pendant la synchronisation distante via rsync pourrait créer une incohérence dans les données.
- avoir une système de fichiers de destination (sur le serveur ssh) qui supporte les liens durs (hard-link). Typiquement ext4. Bien qu’on stocke du HFS+, il n’est pas nécessaire que cette destination sot en HFS+, car le .sparsebundle contient un système de fichier virtuel, qui s’occupe de conserver toutes les permissions/ACL/attributs étendus nécessaires.
Voici le script proprement dit, très inspiré de cet article, avec un bon paquet de code copié/collé. Cependant, je choisis de simplement conserver les x dernières versions de la sauvegarde. En effet, Time Machine s’occupe déjà de faire un historique régulier (journalier, mensuel, annuel etc), le but de cette sauvegarde est simplement de la déporter sur un site externe, tout en pouvant retrouver une ancienne version en cas de corruption des données Time Machine, et en conservant la facilté de restauration. Ainsi, avec le paramètre daystokeep=90, nous disposons de 3 mois d’historique du contenu de la Time Capsule.
#!/bin/sh
### VARS
# local
identifier=`hostname`
# the following folder will store lock and log files
filesPath="/path/to/folder with spaces/" # must contain the trailing /
logfile="${filesPath}${identifier}.log"
lockfile="${filesPath}${identifier}.lck"
# TimeCapsule (source)
# should match the Time Machine settings (via TM GUI)
# name is the Zeroconf name provided in the "Time Capsule" tab within the Airport Utility, finishing by .local
# for the actual Time Capsule, username seems to be indifferent, but you need the correct password
# for any AFP share server, username have to be correct
tc_name="Time-Capsule.local" # it never contains spaces
tc_share="Server Backups"
tc_user="timemachine"
# if password contains a @ sign, replace it with %40. Spaces are OK.
tc_pw="password %40 TimeCapsule"
tc_mount_point="/Volumes/TC/" # must contain the trailing /
# this var could be retrieved from the hostname, but is not for the moment
tc_file_name="iMac de User.sparsebundle"
# Remote disk (destination)
ssh_user='backupuser'
ssh_server='storage.mydomain.com'
ssh_port=1111
ssh_connect="${ssh_user}@${ssh_server} -p $ssh_port "
target="/path/to/folder/" # must contain the trailing /
### END OF VARS
# Date for this backup.
date=`date '+%Y-%m-%d_%Hh%Mm'`
# Process ID for this backup
mypid=${$}
### Log beginning of the backup
echo "\n" >> "${logfile}"
if [ ! -d "$filesPath" ]
then mkdir "$filesPath"
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] -- $filesPath was just created" >> "${logfile}"
fi
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] -- backup started" >> "${logfile}"
### Check if process is already running to avoid multiples backups at the same time
### which could corrupt data
if [ -f "${lockfile}" ]
then
# Lockfile already exists, check if it belongs to a running process
read -r lockpid < "${lockfile}" #Read the first line which contains a PID
if [ -z "`ps -p ${lockpid} | grep ${lockpid}`" ]
then
# The process doesn't exist anymore. Should there be an incomple folder, it will be removed at the end of the script.
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Lockfile for ghost process (PID: ${lockpid}) found, continuing backup." >> "${logfile}"
else
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Lockfile '${lockfile}' for running process (PID: ${lockpid}) found, backup stopped." >> "${logfile}"
exit 73 # can't create (user) output file
fi
fi
# The lockfile doesn't exist or belongs to a ghost process, make or update it containing the current PID.
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] -- Création du fichier lock" >> "${logfile}"
echo ${mypid} > "${lockfile}"
### Launch the Time Machine Backup
# On OSX 10.6, the command `/System/Library/CoreServices/backupd.bundle/Contents/Resources/backupd-helper` is a "BACKUP NOW" command
#On 10.7 and later, Apple introduced the `tmutil` command which would allow to do the same
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Time Machine backup launched" >> "${logfile}"
/System/Library/CoreServices/backupd.bundle/Contents/Resources/backupd-helper
## The backupd-helper command quits before the save is really finished
## so we check the existence of the process 'backupd'
while [ `/bin/ps -arxo state,comm | /usr/bin/grep backupd | wc -l` -ne 0 ];
do
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Time Machine backup still working. Waiting 180 seconds" >> "${logfile}"
sleep 180
done
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Time Machine backup succeed !" >> "${logfile}"
### Check if the ssh connection can be made, a ssh keypair without keyphrase must exist.
ssh -q -q -o 'BatchMode=yes' -o 'ConnectTimeout 10' ${ssh_connect} exit &> /dev/null
if [ $? != 0 ]
then
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] SSH connection ${ssh_connect} failed." >> "${logfile}"
# Remove lockfile
rm -f "${lockfile}"
exit 69 # service unavailable
fi
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] SSH connection ${ssh_connect} succeed." >> "${logfile}"
### check if target exists
if ssh ${ssh_connect} "[ ! -d '${target}' ]"
then
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Target '${target}' does not exist, backup stopped." >> "${logfile}"
# Remove lockfile
rm -f "${lockfile}"
exit 66 # cannot open input
fi
### Mount the TC volume on the Filesystem
# if mountpoint doesn't exists, we create it
[ -d "$tc_mount_point" ] || mkdir "$tc_mount_point"
# mount the network disc
/sbin/mount_afp "afp://${tc_user}:${tc_pw}@${tc_name}/${tc_share}" "${tc_mount_point}"
# wait for the network disk to be actually mounted
sleep 30
### Make the actual backup of the backup
# check folder for rsync logs
if [ ! -d "${filesPath}"rsync_logs ]
then
mkdir "${filesPath}"rsync_logs
fi
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Rsync started." >> "${logfile}"
/usr/local/bin/rsync3 \
-e "ssh -p $ssh_port" \
--bwlimit=75 \
--archive \
--compress \
--human-readable \
--delete \
"${tc_mount_point}${tc_file_name}" \
"${ssh_user}@${ssh_server}:'${target}latest'" | tee -a "${filesPath}"rsync_logs/`date '+%Y-%m-%d_%Hh%Mm%S '
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Rsync finished." >> "${logfile}"
### Create "history" folder if it doesn't exists
if ssh ${ssh_connect} "[ ! -d '${target}history/' ]"
then
ssh ${ssh_connect} "mkdir '${target}history'"
fi
### archive current backup
ssh ${ssh_connect} "cp -al '${target}latest' '${target}history/${date}'"
### Remove backups older than specified days
ssh ${ssh_connect} "$target/historyClean.sh" # this file have to be created on the backup's destination. It is detailed at the end.
### Unmount the TC Volume
/sbin/umount "${tc_mount_point}"
echo `date '+%Y/%m/%d %H:%M:%S '` "[${mypid}] Remote backup successfully finished ! " >> "${logfile}"
# Remove lockfile, this must always be done at the latest moment possible to avoid conflicting processes.
rm -f "${lockfile}"
Et voilà le script historyCleaning, qui doit être mis directement sur la machine (Unix-like) qui contient les sauvegardes du backup Time Machine (par exemple un NAS Synology).
## VARS
target="/path/to/folder/" # path to the backup's backup. Must match the one in the main script and contain the trailing slash
tc_file_name="iMac de User.sparsebundle" # must match the one in the main script
daystokeep=200
## END OF VARS
## We search for backups older than daystokeep ; modification time is only on the hostname.sparsebundle folder, so we search it and then we truncate the path
find "$target"history/*/* -maxdepth 0 -type d -mtime +$daystokeep | sed "s#/$tc_file_name##" > $target/dirsToRemove.txt
## We delete each folder
for j in `cat "$target"dirsToRemove.txt`
do
# it is advised to check if everything is ok
echo $j
# if ok, uncomment this line
#rm -R $j
done