概要

Go 製のバックアップツール restic を試してみたのでメモ。

バックアップをレポジトリ単位で一元的に管理できる。主な機能としては

バックエンドに複数サービス対応
スナップショット作成
インクリメンタルバックアップ
バックアップ対象の暗号化

サポートされるバックエンド（プロトコル）

Local
SFTP
REST Server
Amazon S3
Minio Server
OpenStack Swift
Backblaze B2

今回は S3 バックエンドを設定する。

環境

CentOS Linux release 7.2.1511 (Core)
restic 0.6.1 (v0.6.1-18-ga9a2798)

restic インストール

$ git clone https://github.com/restic/restic
$ cd restic
$ go run build.go

作成されたバイナリを適当なパスに展開

バックエンドに Amazon S3 を使う

credential を環境変数に設定

$ export AWS_ACCESS_KEY_ID=AK***************
$ export AWS_SECRET_ACCESS_KEY=**************************************

レポジトリを初期化
※指定した名前で S3 にもバケットが自動で作成される

$ restic -r s3:s3.amazonaws.com/quickguard-restic-test init
enter password for new backend:
enter password again:
created restic backend 61b47afaeb at s3:s3.amazonaws.com/quickguard-restic-test

Please note that knowledge of your password is required to access
the repository. Losing your password means that your data is
irrecoverably lost.

環境変数 RESTIC_REPOSITORY と RESTIC_PASSWORD にレポジトリとパスワードを設定しておくと、以後の入力を省略可能となる

$ export RESTIC_REPOSITORY=s3:s3.amazonaws.com/quickguard-restic-test
$ export RESTIC_PASSWORD=*************

スナップショット作成

$ restic backup /data/html
scan [/data/html]
scanned 280 directories, 3012 files in 0:00
[0:13] 100.00%  7.834 MiB/s  101.848 MiB / 101.848 MiB  3292 / 3292 items  0 errors  ETA 0:00
duration: 0:13, 7.73MiB/s
snapshot 8ef85219 saved

特定ファイル除外

$ restic backup /data/html --exclude=*.log --exclude-file=exclude

標準入力からのスナップショット作成

mysqldump のスナップショット作成

$ mysqldump -u root -x --all-databases | restic backup --stdin --stdin-filename mysqldump-all.sql
[0:04] 10.210 MiB  2.553 MiB/s
duration: 0:04, 2.18MiB/s
archived as dbadd447

確認

$ restic snapshots --host DB001
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
dbadd447  2017-06-06 15:15:39  DB001                   mysqldump-all.sql

スナップショット一覧取得

全スナップショット取得
※Date は backup を実行したマシンの localtime が表示される

$ restic snapshots
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
8ef85219  2017-06-06 11:53:29  WEB001                  /data/html
23dfb53f  2017-06-06 11:59:41  WEB001                  /data/html
dbadd447  2017-06-06 15:15:39  DB001                   mysqldump-all.sql
11df38e8  2017-06-06 04:01:42  WEB002                  /data/html

Host, Directory で filter も可能

$ restic snapshots --host WEB002
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
11df38e8  2017-06-06 04:01:42  WEB002                  /data/html

$ restic snapshots --path /data/html
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
8ef85219  2017-06-06 11:53:29  WEB001                  /data/html
23dfb53f  2017-06-06 11:59:41  WEB001                  /data/html
11df38e8  2017-06-06 04:01:42  WEB002                  /data/html

json output

$ restic snapshots --json | jq .

[
  {
    "time": "2017-06-06T11:53:29.754786574+09:00",
    "tree": "4cdbdd0ca17c112a54bbb3b318a52580c3036d22035e8b06e2092b16e99c72c3",
    "paths": [
      "/data/html"
    ],
    "hostname": "WEB001",
    "username": "root",
    "id": "8ef85219b0aabed43b95f8b863712df85be108f44ff560968d402cc243586729"
  },
  {
    "time": "2017-06-06T11:59:41.863158034+09:00",
    "parent": "8ef85219b0aabed43b95f8b863712df85be108f44ff560968d402cc243586729",
    "tree": "3362dd121c4b748032d62b71508458c7953dee353a187497271089c3c4db59fc",
    "paths": [
      "/data/html"
    ],
    "hostname": "WEB001",
    "username": "root",
    "id": "23dfb53faa3b6f0b20512f0b884e0185605877503fbbdbb033c7769ac1c35a83"
  },
  {
    "time": "2017-06-06T04:01:42.168333564Z",
    "tree": "5cf40d8d3955c940d28ecfaa38e8d509f042c7bc5696247b86e9a9c4ca925536",
    "paths": [
      "/data/html"
    ],
    "hostname": "WEB002",
    "username": "user",
    "uid": 501,
    "gid": 496,
    "id": "11df38e8822022df07bfd182ffc8bc3b17f81ba49f5029563f41096c632afe50"
  }
]

レポジトリをマウント

$ mkdir -p ~/mnt/restic
$ restic mount ~/mnt/restic

エラー発生

fusermount: exec: "fusermount": executable file not found in $PATH
unable to umount (maybe already umounted?): exec: "fusermount": executable file not found in $PATH

fusermount が必要らしいので以下インストール

$ sudo yum install -y fuse

再度マウント

$ restic mount ~/mnt/restic
Now serving the repository at ~/mnt/restic
Don't forget to umount after quitting!

スナップショット取得のタイミングのディレクトリが確認できる(ReadOnly)

$ ls ~/mnt/restic/
snapshots

$ ls ~/mnt/restic/snapshots/
2017-06-06T11:53:29+09:00  2017-06-06T11:59:41+09:00

アンマウント

$ fusermount -u ~/mnt/restic

スナップショットをリストア

全ファイルをリストア

$ restic restore 23dfb53f --target /tmp/restore
restoring <Snapshot 23dfb53f of [/data/html] at 2017-06-06 11:59:41.863158034 +0900 JST by user@WEB001> to /tmp/restore

遅すぎる。 111MB 程度のリストアに 15分かかる。

real    15m44.892s
user    0m4.896s
sys     0m1.375s

特定ファイル（パス）のみリストアも出来ないっぽい。

スナップショット削除

$ restic forget 8ef85219

ロックされてるっぽい

repository is already locked by PID 10523 on WEB001 by root (UID 0, GID 0)
lock was created at 2017-06-06 13:11:49 (13m22.283550245s ago)
storage ID 6adf6afd
the `unlock` command can be used to remove stale locks

ロック解除

$ restic unlock 8ef85219
successfully removed locks

再度実行

$ restic forget 8ef85219
removed snapshot 8ef85219

データも削除する場合は prune を実行

$ restic prune
counting files in repo
building new index for repo
[0:10] 100.00%  129 / 129 packs
repository contains 129 packs (41196 blobs) with 587.506 MiB bytes
processed 41196 blobs: 0 duplicate blobs, 0B duplicate
load all snapshots
find data that is still in use for 2 snapshots
[35:47] 100.00%  2 / 2 snapshots
found 40946 of 41196 data blobs still in use, removing 250 blobs
will delete 0 packs and rewrite 19 packs, this frees 1.073 MiB
[2:29] 100.00%  19 / 19 packs rewritten
counting files in repo
[0:10] 100.00%  128 / 128 packs
finding old index files
saved new index as fd6b9098
remove 3 old index files
done

これも 40分程度かかる。

ポリシーベースのスナップショットローテーション

forget に対して以下のポリシーが設定できる

--keep-last n never delete the n last (most recent) snapshots
--keep-hourly n for the last n hours in which a snapshot was made, keep only the last snapshot for each hour.
--keep-daily n for the last n days which have one or more snapshots, only keep the last one for that day.
--keep-weekly n for the last n weeks which have one or more snapshots, only keep the last one for that week.
--keep-monthly n for the last n months which have one or more snapshots, only keep the last one for that month.
--keep-yearly n for the last n years which have one or more snapshots, only keep the last one for that year.

最新のスナップショットを1個残して不要データ削除

$ restic forget --keep-last 1 --prune

結果

snapshots for host WEB002, paths: [/data/www]:

keep 1 snapshots:
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
11df38e8  2017-06-06 04:01:42  WEB002                    /data/html

snapshots for host WEB001, paths: [/data/html]:

keep 1 snapshots:
ID        Date                 Host        Tags        Directory
----------------------------------------------------------------------
23dfb53f  2017-06-06 11:59:41  WEB001                  /data/html

レポジトリ内のファイル検索

レポジトリ内の index.php を検索

$ restic find index.php

結果

$ restic find index.php
enter password for repository:
Found matching entries in snapshot 23dfb53faa3b6f0b20512f0b884e0185605877503fbbdbb033c7769ac1c35a83
/html/index.php
...

実行時間

real    32m25.850s
user    0m7.464s
sys     0m0.540s

　
ローカルバックエンドで実行した場合は、S3 バックエンドでは数十分かかっていた restore, find が3秒程度で結果が返ってきたため、S3 バックエンドのせいで諸々の動作がクソ重いと思われる。

Go 製のバックアップツール「restic」でバックアップを管理する

概要

環境