はじめに
こちらの記事では、goofysを使用してAWS S3のバケットをファイルシステムとしてマウントし、S3バケット内にあるバックアップを直接OCIのMySQL DBシステムにリストアしました。
今回は、Microsoftから提供されているblobfuseというAzure Blob Storage用の仮想ファイルシステムドライバーを使用して、Azure Blob Storageのコンテナ内にあるバックアップファイルを直接OCIのMySQL DBシステムにリストアしてみました。
1. blobfuseのインストール
Microsoftパッケージリポジトリを構成します。
[opc@compute1 ~]$ sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm
Retrieving https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm
warning: /var/tmp/rpm-tmp.TtGT9F: Header V4 RSA/SHA256 Signature, key ID be1229cf: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:packages-microsoft-prod-1.0-1.el7################################# [100%]
[opc@compute1 ~]$
yumコマンドでblobfuse をインストールします。
[opc@compute1 ~]$ sudo yum install -y blobfuse
Loaded plugins: langpacks, ulninfo
＜略＞
Resolving Dependencies
--> Running transaction check
---> Package blobfuse.x86_64 0:1.3.6-1.el7 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
===================================================================================================================
Package Arch Version Repository Size
===================================================================================================================
Installing:
blobfuse x86_64 1.3.6-1.el7 packages-microsoft-com-prod 3.5 M
Transaction Summary
===================================================================================================================
Install 1 Package
Total download size: 3.5 M
Installed size: 15 M
Downloading packages:
warning: /var/cache/yum/x86_64/7Server/packages-microsoft-com-prod/packages/blobfuse-1.3.6-RHEL-7.5-x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID be1229cf: NOKEY
Public key for blobfuse-1.3.6-RHEL-7.5-x86_64.rpm is not installed
blobfuse-1.3.6-RHEL-7.5-x86_64.rpm | 3.5 MB 00:00:01
Retrieving key from https://packages.microsoft.com/keys/microsoft.asc
Importing GPG key 0xBE1229CF:
Userid : "Microsoft (Release signing) <gpgsecurity@microsoft.com>"
Fingerprint: bc52 8686 b50d 79e3 39d3 721c eb3e 94ad be12 29cf
From : https://packages.microsoft.com/keys/microsoft.asc
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Warning: RPMDB altered outside of yum.
Installing : blobfuse-1.3.6-1.el7.x86_64 1/1
Verifying : blobfuse-1.3.6-1.el7.x86_64 1/1
Installed:
blobfuse.x86_64 0:1.3.6-1.el7
Complete!
[opc@compute1 ~]$
2. blobfuse利用のための準備
バッファのための一時パスのディレクトリを作成します。
[opc@compute1 ~]$ sudo mkdir /mnt/resource/blobfusetmp -p
マウントポイントを作成します。
[opc@compute1 ~]$ sudo mkdir /mnt_azureblob -p
ストレージ アカウントの資格情報ファイルを作成します。
Azureコンソールのストレージアカウントのアクセスキーのページで、ストレージアカウント名とキーを確認します。
今回は、hogehoge1というストレージアカウントのazureblobというコンテナをマウントします。
[opc@compute1 ~]$ sudo vi /root/fuse_connection.cfg
accountName hogehoge1
accountKey ストレージアカウントのキー
containerName azureblob
他のユーザーが読み取れないように資格情報ファイルのパーミッションを変更します。
[opc@compute1 ~]$ sudo chmod 600 /root/fuse_connection.cfg
3. blobfuseによるコンテナのマウント
blobfuseコマンドでコンテナazureblobをマウントポイント/mnt_azureblobにマウントします。
[opc@compute1 ~]$ sudo blobfuse /mnt_azureblob --tmp-path=/mnt/resource/blobfusetmp --config-file=/root/fuse_connection.cfg -o attr_timeout=240 -o entry_timeout=240 -o negative_timeout=120 -o allow_other
マウントできたようです。
/mnt_azureblob内にファイルを作成してみます。
[opc@compute1 ~]$ touch /mnt_azureblob/test.txt
Azureのコンソールから確認してみます。
コンテナazureblob内にtest.txtが作成されていることが確認できました。
4. MySQLの準備
mysqlコマンドでadminユーザとしてMySQL DBシステムに接続します。
[opc@compute1 ~]$ mysql -u admin -p -h mysqlds1.subnet1.vcn1.oraclevcn.com
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 10
Server version: 8.0.28-u1-cloud MySQL Enterprise - Cloud
Copyright (c) 2000, 2022, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
リストア先のデータベース"employees"を作成します。
mysql> CREATE DATABASE employees;yees;
Query OK, 1 row affected (0.01 sec)
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| employees |
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
5 rows in set (0.00 sec)
mysql>
mysqlを終了します。
mysql> exit
Bye
[opc@compute1 ~]$
5. バックアップファイルの準備
mysqldumpで取得したバックアップファイル"employees.dmp"をAzure Blobのコンテナにアップロードします。
こちらのバックアップファイルは、こちらで公開されているサンプルデータを一度MySQLに取り込み、mysqldumpでデータベースのバックアップとして取得したものです。
Azure Blob Storageコンテナのマウントポイントの内容を確認します。
[opc@compute1 ~]$ ls -l /mnt_azureblob/
total 164430
-rw-r--r--. 1 root root 168375940 Feb 24 05:32 employees.dmp
-rw-r--r--. 1 root root 0 Feb 24 01:18 test.txt
[opc@compute1 ~]$
employees.dmpがあることが確認できました。
6. Azure Blobコンテナにあるバックアップファイルのリストア
Azure Blobコンテナのマウントポイント/mnt_azureblobにあるバックアップファイルemployees.dmpをmysqlコマンドでMySQL DBシステムにリストアします。
opc@compute1 ~]$ time mysql -u admin -p -h mysqlds1.subnet1.vcn1.oraclevcn.com -t employees < /mnt_azureblob/employees.dmp
Enter password:
real 1m26.789s
user 0m1.999s
sys 0m0.147s
[opc@compute1 ~]$
mysqlコマンドでadminユーザとしてMySQL DBシステムに接続して、バックアップファイルが正しくリストアされているか確認します。
[opc@compute1 ~]$ mysql -u admin -p -h mysqlds1.subnet1.vcn1.oraclevcn.com
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 18
Server version: 8.0.28-u1-cloud MySQL Enterprise - Cloud
Copyright (c) 2000, 2022, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
データベースをemployeesに切り替えます。
mysql> use employees;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql>
データベースemployees内のテーブルを確認します。
mysql> show tables;
+----------------------+
| Tables_in_employees |
+----------------------+
| current_dept_emp |
| departments |
| dept_emp |
| dept_emp_latest_date |
| dept_manager |
| employees |
| salaries |
| titles |
+----------------------+
8 rows in set (0.00 sec)
mysql>
テーブル内のデータを確認します。
mysql> SELECT COUNT(*) FROM employees;
+----------+
| COUNT(*) |
+----------+
| 300024 |
+----------+
1 row in set (0.02 sec)
mysql> SELECT COUNT(*) FROM departments;
+----------+
| COUNT(*) |
+----------+
| 9 |
+----------+
1 row in set (0.01 sec)
mysql>
mysqlを終了します。
mysql> exit
Bye
[opc@compute1 ~]$
blobfuseを使用してAzure Blob Storageコンテナをファイルシステムにマウントし、コンテナ内のバックアップファイルを直接MySQL DBシステムにリストアすることができました。
参考情報
blobfuse を使用して Blob Storage をファイル システムとしてマウントする方法
[OCI]AWS S3上にあるMySQLのバックアップファイルを直接MySQL DBシステムにリストアしてみた