rsync コマンドを使用して、差分・完全バックアップを採る話

こんにちは、 株式会社 日立製作所 OSSソリューションセンタ の 神山直也(hi-naoya) です。
日立グループ OSS Advent Calendar 2018 の11日目、書かせて頂きたく。

私は社内システムの設計、構築、運用、etc …ゆりかごから墓場まで面倒を見ています。
今回は運用には欠かせないバックアップについて、「rsyncコマンド（とcron）だけで、差分・完全バックアップを取得する」方法をご紹介します。

はじめに

前提条件：

• 本番環境１、２台の小規模環境
• ミッションクリティカルではない
• CentOS 7.x で動作するシステム
• バックアップ対象は数百G〜数T程度のファイル
• 1週間に１回完全バックアップ、毎日差分バックアップしたい

商用の製品から、バックアップを目的としたOSSなど、バックアップを行うソフトウェアはたくさんあります。
今回は rsync を利用していきます。(今回は、2018/12/11 時点の CentOS 7.5 でインストール可能な、rsync version 3.1.2 protocol version 31 を利用しています。)

rsync

rsync は古くから存在する遠隔地間のファイル・ディレクトリを同期するツールです。
専用プロトコルにより高速な同期が可能であり、SSH経由で同期できるなど、同期に関してはかなりツボを押さえたツールとなっています。

参考:

• https://linux.die.net/man/1/rsync
• https://tech.nikkeibp.co.jp/it/article/COLUMN/20070822/280151/

同期元・先のディレクトリを指定して、ファイルの数や内容が一致するようにコピーする、といった用法が一般的ですが、ハードリンクを利用した差分バックアップ機能も持っており、それを利用すれば高度な完全バックアップ・差分バックアップの運用が可能になります。

完全バックアップ

rsync -a --delete src/ dest/

-a オプションは、「アーカイブ・モード」でコピーするオプションで、ディレクトリやファイルを、そのメタ情報込みで同期するオプションです。
--delete は、削除されたファイルがあった場合に、同期先からファイルを削除するオプションです。

注意:
rsync はパスを指定する際に、/path/to/ と指定するか、/path/to と指定するかで動作が変わります。前者は、/path/to ディレクトリの中身全てを対象としますが、後者は /path/to ディレクトリを対象とします。この指定を間違えると、差分バックアップを採る際に、ディレクトリ構造が一致せず、問題となってしまいます（実際にハマりました）。

差分バックアップ

rsync -a --delete --link-dest=/path/link_dest/ /path/src/ /path/dest/

ほとんど、完全バックアップと同じですが、--link-destオプションが増えています。
このオプションをつけると、変更のないファイルは、/path/link_dest/ と /path/dest/ で共有されます（ハードリンクによりファイルがコピーされる）。
ディスクの消費は、/path/link_dest にバックアップを採った時点〜コマンド実行時点の間で変更のあったファイルのみとなります。

一般的に差分バックアップを復元する際は、復元操作が必要なことがありますが、
この方法で差分バックアップを採った場合は、ファイルシステム上 /path/src/ も /path/dest/ も完全なディレクトリ構造を保持しているので、差分バックアップを参照する際に特別な操作が不要であり、単純なファイル操作で参照できます。

バックアップの運用

cron にて定期実行することで、自動的にバックアップを取得しています。

• 1週間に1回
  • 完全バックアップ
• 毎日(完全バックアップ以外の日)
  • 完全バックアップからの差分バックアップを取得

crontab および各スクリプトのイメージは次のようになります。
実際のスクリプトは古いバックアップの削除や通知など、運用のためにもう少し複雑な内容となっておりますが、ここでは今回の説明に絞って掲載します。

crontab(イメージ)

/etc/crontab

# 完全バックアップ
30  4   *   *   6   root    COMMAND=/commands/full_backup.sh
# 差分バックアップ
30  4   *   *   1-5 root    COMMAND=/commands/incremental_backup.sh

/commands/full_backup.sh(イメージ)

/commands/full_backup.sh

#!/bin/bash

SRC=/var/my-system/

SSH_TO=user@hostname
DEST=/backup/full/$(date "+%Y%m%d-%H%M%S")

rsync -a --delete -e ssh $SRC $SSH_TO:$DEST

/commands/incremental_backup.sh(イメージ)

/commands/incremental_backup.sh

#!/bin/bash

SRC=/var/my-system/

SSH_TO=user@hostname
DEST=/backup/incremental/$(date "+%Y%m%d-%H%M%S")

BASE=`ssh $SSH_TO "ls /backup/full/ | tail -n 1"`

rsync -a --delete -e ssh --link-dest=$BASE $SRC $SSH_TO:$DEST

-e ssh を指定することでSSH経由で同期できます。なお、自動実行する場合はパスワード認証が使えないので、予め鍵登録を行う必要があります。

まとめ

本格的なバックアップソリューションを入れるまでもないけど、頻繁にバックアップをとりたい。とはいえ、ディスク容量は節約したい・・・。
そんなケースで便利な、 rsync を使ったバックアップ手法をご紹介しました。皆様のお役に立てれば幸いです。