Amazon EBSに保存された任意のディレクトリ構造を持つデータファイルをrsyncでOCI ブロック・ボリュームに移行する手順を紹介します。

前提条件

AWS側：LinuxのEC2、EBSの構築
OCI側：Linuxのコンピュート・インスタンス、ブロック・ボリュームの構築

移行したいサンプルワークロード

移行手順

移行元のEBSをEC2にアタッチ
任意のディレクトリ構造を持つダミーデータファイルの作成
移行先のブロック・ボリュームをコンピュート・インスタンスにアタッチ
コンピュート・インスタンスでrsyncを実行し、データファイルをEBSからブロック・ボリュームに移行

1. 移行元のEBSをEC2にアタッチ

アタッチする対象のEC2を選択します。

2. 任意のディレクトリ構造を含めたダミーデータファイルの作成

SSHでEC2にログインし、rootユーザーでfdisk -lコマンドを使用して、新しいEBSが正常にアタッチされたかどうかを確認します。
ディスク/dev/xvdgが表示されます。

[root@ip-10-1-3-177 ec2-user]# fdisk -l
Disk /dev/xvda: 8 GiB, 8589934592 bytes, 16777216 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 44112016-36E3-4A7E-9EDC-BD3A1CE32D7B

Device       Start      End  Sectors Size Type
/dev/xvda127 22528    24575     2048   1M BIOS boot
/dev/xvda128  2048    22527    20480  10M EFI System

Partition table entries are not in disk order.

Disk /dev/xvdg: 10 GiB, 10737418240 bytes, 20971520 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

fdisk /dev/xvdgコマンドを使用してEBSのパーティションを作成します。n、p、wを入力する必要があるため、下記をご参考ください。

[root@ip-10-1-3-177 ec2-user]# fdisk /dev/xvdg

Welcome to fdisk (util-linux 2.37.4).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table.
Created a new DOS disklabel with disk identifier 0x52ad734c.

Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-20971519, default 2048):
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-20971519, default 20971519):

Created a new partition 1 of type 'Linux' and of size 10 GiB.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

fdisk -lを実行して、パーティションしたディスクの名前を特定します。

[root@ip-10-1-3-177 ec2-user]# fdisk -l
省略です。

Disk /dev/xvdg: 10 GiB, 10737418240 bytes, 20971520 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x52ad734c

Device     Boot Start      End  Sectors Size Id Type
/dev/xvdg1       2048 20971519 20969472  10G 83 Linux

mkfs -t ext4 /dev/xvdg1を実行して、ファイルシステムを構築します。

[root@ip-10-1-3-177 ec2-user]# mkfs -t ext4 /dev/xvdg1
mke2fs 1.46.5 (30-Dec-2021)
Creating filesystem with 2621184 4k blocks and 655360 inodes
Filesystem UUID: 2ca13214-41a9-4ef6-a467-88531ace8fc8
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

Allocating group tables: done
Writing inode tables: done
Creating journal (16384 blocks): done
Writing superblocks and filesystem accounting information: done

またmkdir /dev/databaseTestでディレクトリを作成し、mount /dev/xvdg1 /dev/databaseTestを実行して、構築したファイルシステムをディレクトリにマウントします。

[root@ip-10-1-3-177 ec2-user]# mkdir /dev/databaseTest
[root@ip-10-1-3-177 ec2-user]# mount /dev/xvdg1 /dev/databaseTest

最後にdf -hでマウントした結果を確認し、ダミのテストデータdb.dump、db.csvを作成します。

[root@ip-10-1-3-177 ec2-user]# df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        4.0M  8.0K  4.0M   1% /dev
省略です。
/dev/xvdg1      9.8G   24K  9.3G   1% /dev/databaseTest

[root@ip-10-1-3-177 dev]# cd /dev/databaseTest
[root@ip-10-1-3-177 databaseTest]# echo "これはダミーデータのダンプデータです。" > db.dump
[root@ip-10-1-3-177 databaseTest]# echo "id,name,age" > db.csv
echo "1,山田さん,30" >> db.csv
echo "2,鈴木さん,25" >> db.csv
[root@ip-10-1-3-177 databaseTest]# ll
total 24
-rw-r--r--. 1 root root    48 Mar 11 06:29 db.csv
-rw-r--r--. 1 root root    55 Mar 11 06:28 db.dump
drwx------. 2 root root 16384 Mar 11 06:17 lost+found

3. 移行先のブロック・ボリュームをコンピュート・インスタンスにアタッチ

OCIコンソールにログインして、ブロック・ボリュームの設定画面を開き、コンピュート・インスタンスにアタッチします。

SSHでOCIのコンピュート・インスタンスに接続します。その後EC2と同じく、下記のコマンドを実行して、ブロック・ボリュームのファイルシステムを構築し、移行先のディレクトリ/dev/databaseTestにマウントします。

[opc@instance-20240307-1031 ~]$ sudo -s
[root@instance-20240307-1031 opc]# fdisk -l
省略です。

Disk /dev/sdc: 51 GiB, 54760833024 bytes, 106954752 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 1048576 bytes

[root@instance-20240307-1031 opc]# fdisk /dev/sdc
Welcome to fdisk (util-linux 2.32.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table.
Created a new DOS disklabel with disk identifier 0x838d1df5.

Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-106954751, default 2048):
Last sector, +sectors or +size{K,M,G,T,P} (2048-106954751, default 106954751):

Created a new partition 1 of type 'Linux' and of size 51 GiB.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

[root@instance-20240307-1031 opc]# fdisk -l
---省略---

Disk /dev/sdc: 51 GiB, 54760833024 bytes, 106954752 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 1048576 bytes
Disklabel type: dos
Disk identifier: 0x838d1df5

Device     Boot Start       End   Sectors Size Id Type
/dev/sdc1        2048 106954751 106952704  51G 83 Linux

[root@instance-20240307-1031 opc]# mkfs -t ext4 /dev/sdc1
mke2fs 1.46.2 (28-Feb-2021)
Discarding device blocks: done
Creating filesystem with 13369088 4k blocks and 3342336 inodes
Filesystem UUID: c9215b47-2632-4191-a81f-f6369fdedffd
Superblock backups stored on blocks:
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
	4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done

[root@instance-20240307-1031 opc]# mkdir /dev/awsEbs
[root@instance-20240307-1031 opc]# mount /dev/sdc1 /dev/awsEbs
[root@instance-20240307-1031 awsEbs]# df -h
Filesystem                  Size  Used Avail Use% Mounted on
---省略---

/dev/sdc1                    50G   24K   48G   1% /dev/awsEbs

4. コンピュート・インスタンスでrsyncを実行し、データファイルをEBSからブロック・ボリュームに移行

rsyncをインストールします。多くのLinuxにはデフォルトでrsyncコマンドがインストールされていますが、インストールされていない場合は以下のコマンドでインストールできます。

[root@instance-20240307-1031 opc]# yum install rsync -y
This system is receiving updates from OSMS server.
Last metadata expiration check: 0:12:04 ago on Wed 27 Mar 2024 07:14:07 AM GMT.
Package rsync-3.1.3-19.el8_7.1.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!

OCIコンピュート・インスタンスで下記のrsyncコマンドを実行して、AWS EBSにあるデータファイル/dev/databaseTest/db.csv、/dev/databaseTest/db.dumpを/dev/awsEbsにコピーします。

/tmp/aws.pemはAWS EC2にアクセスするSSHクライアントのキーです。
-avzPRはオプションのグループで、具体的な意味は以下の通りです：
-a：アーカイブモードで同期を行い、すべてのファイル属性を保持します。
-v：詳細な出力を表示し、実行中の操作を示します。
-z：伝送時にデータを圧縮し、伝送速度を向上させます。
-P：--partialと--progressオプションの組み合わせで、伝送の進捗を表示し、伝送に失敗したファイルの成功部分を保存して、再開の伝送をより速く終わらせます。
-R：相対パスを使用します。移行元のフィアルディレクトリがそのまま移行先で自動的に作成されます。
-e "ssh -i /tmp/aws.pem"：rsyncが使用するSSHクライアントを設定します。EC2にアクセスするSSHクライアントの秘密キーファイル/tmp/aws.pemで認証を行います。
ec2-user@57.181.39.193：EC2のユーザ名ec2-userとIPアドレス13.230.82.88です。
:/dev/databaseTest/db*：EBSのファイルパスです。ここでは、dbで始まるすべてのファイルを指定します。
/dev/awsEbs/：これはOCIコンピュート・インスタンスにアタッチしたブロック・ボリュームのディレクトリです。同期後のファイルをここに保存します。

Rsyncの参考ドキュメント：
https://rsync.samba.org/documentation.html

[root@instance-20240307-1031 awsEbs]# rsync -avzPR -e "ssh -i /tmp/aws.pem" ec2-user@13.230.82.88:/dev/databaseTest/db* /dev/awsEbs/
receiving incremental file list
dev/
dev/databaseTest/
dev/databaseTest/db.csv
             48 100%   46.88kB/s    0:00:00 (xfr#1, to-chk=1/4)
dev/databaseTest/db.dump
             55 100%   53.71kB/s    0:00:00 (xfr#2, to-chk=0/4)

sent 74 bytes  received 320 bytes  262.67 bytes/sec
total size is 103  speedup is 0.26

最後に、ダウンロードした結果を確認します。AWSからのデータファイルのディレクトリ情報にもそのまま保持します。

[root@instance-20240307-1031 opc]# ls -Rl /dev/awsEbs/
/dev/awsEbs/:
total 20
drwxr-xr-x. 3 root root  4096 Mar 27 06:36 dev
drwx------. 2 root root 16384 Mar 11 09:23 lost+found

/dev/awsEbs/dev:
total 4
drwxr-xr-x. 2 root root 4096 Mar 11 06:29 databaseTest

/dev/awsEbs/dev/databaseTest:
total 8
-rw-r--r--. 1 root root 48 Mar 11 06:29 db.csv
-rw-r--r--. 1 root root 55 Mar 11 06:28 db.dump

/dev/awsEbs/lost+found:
total 0

まとめ

rsyncで任意のディレクトリ構造を持つデータファイルをAmazon EBSからOCIオブジェクト・ストレージに移行する手順を紹介しました。
rcloneでの移行より、AWS S3とOCIオブジェクトストレージを必要とせず、EC2からCompute VMへ直接データの移行を行うことができます。
データ移行の要件がある場合にご参考ください。