OCIクラウド移行ガイドとは
オンプレミスやAWSなど、複数のプラットフォームからOracle Cloud Infrastructureへの移行プロジェクトに取り組んでいるクラウドエンジニア（@araidon,@kazunishi,@yama6）による、OCI移行手順をまとめたシリーズ記事です。
各回、サンプルワークロードから対象サービスを取り上げ、移行手順をガイドいたします。
まとめ記事は以下になります。
移行するサービス：Aurora PostgreSQL
今回、移行対象とするのはAmazon Aurora PostgreSQLです。
PostgreSQLクライアントアプリケーションである、pg_dumpと、pg_restoreを用いて、
Aurora PostgreSQLのDBをOCI Database with PostgreSQLに移行する手順を解説します。
移行方式
Amazon Aurora PostgreSQLのデータをpg dumpで取得し、そのダンプファイルを使用して、OCI Database with PostgreSQLへpg restoreを使用して移行します。
前提条件
・AWS,OCIそれぞれのPostgreSQL Databaseに対して接続するための、パブリックインスタンス上のEC2,ComputeVMが構築されていること
移行手順
- Aurora PostgreSQLの作成
- pg_dumpを利用したダンプファイルの取得
- OCI Database with PostgreSQLの作成
- pg_restoreを利用したリストアの実行
1. Aurora PostgreSQLの作成
AWSのコンソール画面にログインし、RDS＞データベースの作成画面に遷移します。
必要項目を入力していきます。
| 項目 | 入力内容 |
|---|---|
| データベース作成方法を選択 | 標準作成 |
| エンジンのオプション | |
| エンジンのタイプ | Aurora (PostgreSQL Compatible) |
| 利用可能なバージョン | Aurora PostgreSQL(Compatible with PostgreSQL 14.9) |
| テンプレート | 開発/テスト |
| 設定 | |
| DB クラスター識別子 | test-aurora-postgresql（任意） |
| 認証情報の設定 | |
| マスターユーザー名 | （任意） |
| マスターパスワード | （任意） |
| マスターパスワードの確認 | （任意） |
| クラスターストレージ設定 | Aurora スタンダード |
| インスタンスの設定 | |
| DB インスタンスクラス | バースト可能クラス (t クラスを含む) |
| 可用性と耐久性 | Aurora レプリカを作成しない |
| 接続 | |
| コンピューティングリソース | EC2 コンピューティングリソースに接続しない |
| ネットワークタイプ | IPv4 |
| Virtual Private Cloud (VPC) | (Auroraを建てるプライベートサブネットのVPC) |
| DB サブネットグループ | (Default) |
| パブリックアクセス | なし |
| 既存の VPC セキュリティグループ | （任意） |
| アベイラビリティーゾーン | （任意） |
 |
 |
 |
 |
 |
 |
必要項目を入力した後、作成ボタンを押下します。
作成を待機している間に、今回利用するpg_dumpをインストールしていきます。
2. pg_dumpを利用したダンプファイルの取得
今回利用するpg_dumpはPostgreSQLクライアントに含まれているため、PostgreSQLクライアントをインストールします。
2-1. PostgreSQLクライアントのインストール
今回、接続用のEC2インスタンスのOSはAmazon Linux 2023を選択しています。
環境に合わせて、各種linuxに対応した手順でインストールを実施してください。
各種OSごとの手順は以下を参照してください。
今回、Amazon Linux 2023用へのインストールは下記記事を参考にしました。
まずは利用可能なを探していきましょう。
$ dnf search postgresql
=========================================================================================================================== Name & Summary Matched: postgresql ============================================================================================================================
collectd-postgresql.x86_64 : PostgreSQL plugin for collectd
postgresql-odbc.x86_64 : PostgreSQL ODBC driver
postgresql15.x86_64 : PostgreSQL client programs
postgresql15-contrib.x86_64 : Extension modules distributed with PostgreSQL
postgresql15-docs.x86_64 : Extra documentation for PostgreSQL
postgresql15-llvmjit.x86_64 : Just-in-time compilation support for PostgreSQL
postgresql15-plperl.x86_64 : The Perl procedural language for PostgreSQL
postgresql15-plpython3.x86_64 : The Python3 procedural language for PostgreSQL
postgresql15-pltcl.x86_64 : The Tcl procedural language for PostgreSQL
postgresql15-private-devel.x86_64 : PostgreSQL development header files for this build of PostgreSQL server
postgresql15-private-libs.x86_64 : The shared libraries required only for this build of PostgreSQL server
postgresql15-server.x86_64 : The programs needed to create and run a PostgreSQL server
postgresql15-server-devel.x86_64 : PostgreSQL development header files and libraries
postgresql15-static.x86_64 : Statically linked PostgreSQL libraries
postgresql15-test.x86_64 : The test suite distributed with PostgreSQL
postgresql15-test-rpm-macros.noarch : Convenience RPM macros for build-time testing against PostgreSQL server
postgresql15-upgrade.x86_64 : Support for upgrading from the previous major release of PostgreSQL
postgresql15が利用可能であることがわかります。
インストールを行います。
sudo dnf install postgresql15
無事、インストールが完了したら、pg dumpを探してみましょう。
pg dumpは、/usr/bin配下にあります。
$ cd /
$ ls
bin boot dev etc home lib lib64 local media mnt opt proc root run sbin srv sys tmp usr var
$ cd usr/bin
$ ls | grep pg_
pg_dump
pg_dumpall
pg_isready
pg_restore
pg_upgrade
pg_dumpと、のちに扱うpg_restoreがインストールされたことが確認できました。
2-2. PostgreSQLクライアントからAmazon Aurora PostgreSQLへの接続
では次に、Auroraに接続してみましょう。
PostgreSQLクライアントをインストールした、接続用のEC2インスタンスからアクセスできるように、Amazon Aurora PostgreSQLを作成する際に選択したセキュリティグループのインバウンドルールを下記のように設定します。
設定後、Auroraのライターエンドポイントに対して、接続を行います。
$ psql --host=test-aurora-postgresql.cluster-cn07mhl9cm4v.ap-northeast-1.rds.amazonaws.com --port=5432 --username=postgres
Password for user postgres:
psql (15.0, server 14.9)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off)
Type "help" for help.
postgres=>
接続が確認できました。
2-3. サンプルデータの挿入
下記のサンプルデータを利用してデータのロードを行います。
2-3-1. サンプルデータの準備
こちらのURLからローカルにzipファイルをダウンロードします。
EC2インスタンスから一度ログアウトし、CloudShellに戻ります。
CloudShellにアップロードします。
CloudShellから下記コマンドを使用してEC2インスタンスにzipファイルを転送します。
[cloudshell-user@ip-XXX-XXX-XXX-XXX ~]$ ls
dvdrental.zip
[cloudshell-user@ip-XXX-XXX-XXX-XXX ~]$ scp -i 'EC2秘密鍵' 'ローカルの転送したいファイル' 'EC2ユーザー名@IPアドレス:ファイル配置先
再度EC2インスタンスにSSH接続し、下記コマンドでzipファイルを確認します。
$ ls
dvdrental.zip
zipファイルを解凍します。
$ unzip dvdrental.zip
Archive: dvdrental.zip
inflating: dvdrental.tar
$ ls
dvdrental.tar dvdrental.zip
dvdrental.tarを使用して、データをロードします。
2-3-2. サンプルデータのロード
Auroraに接続し、dvdrentalデータベースを作成します。
postgres=> CREATE DATABASE dvdrental;
CREATE DATABASE
一度ログアウトし、EC2インスタンスに戻ります。
postgres=> exit
$
pg_restoreツールを使用してデータをdvdrentalデータベースにロードします。
$ pg_restore -h test-aurora-postgresql.cluster-cn07mhl9cm4v.ap-northeast-1.rds.amazonaws.com -U postgres -d dvdrental dvdrental.tar
Password:
パスワードを打ち、数秒で処理が実行されます。
2-3-3. サンプルデータの確認
実際にデータが投入されたことを確認しましょう。
まず、データベース一覧表示します。
postgres=> \l
Name | Owner | Encoding | Collate | Ctype | ICU Locale | Locale Provider | Access privileges
-----------+----------+----------+-------------+-------------+------------+-----------------+-----------------------
dvdrental | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | libc |
postgres | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | libc |
rdsadmin | rdsadmin | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | libc | rdsadmin=CTc/rdsadmin
template0 | rdsadmin | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | libc | =c/rdsadmin +
| | | | | | | rdsadmin=CTc/rdsadmin
template1 | postgres | UTF8 | en_US.UTF-8 | en_US.UTF-8 | | libc | =c/postgres +
| | | | | | | postgres=CTc/postgres
(5 rows)
次に、データベースを切り替えます。
postgres=> \c dvdrental
psql (15.0, server 14.9)
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, compression: off)
You are now connected to database "dvdrental" as user "postgres".
dvdrental=>
テーブルの一覧を表示します。
dvdrental=> \dt;
List of relations
Schema | Name | Type | Owner
--------+---------------+-------+----------
public | actor | table | postgres
public | address | table | postgres
public | category | table | postgres
public | city | table | postgres
public | country | table | postgres
public | customer | table | postgres
public | film | table | postgres
public | film_actor | table | postgres
public | film_category | table | postgres
public | inventory | table | postgres
public | language | table | postgres
public | payment | table | postgres
public | rental | table | postgres
public | staff | table | postgres
public | store | table | postgres
(15 rows)
最後に、データの中身を確認します。
dvdrental=> select * from actor limit 5;
actor_id | first_name | last_name | last_update
----------+------------+--------------+------------------------
1 | Penelope | Guiness | 2013-05-26 14:47:57.62
2 | Nick | Wahlberg | 2013-05-26 14:47:57.62
3 | Ed | Chase | 2013-05-26 14:47:57.62
4 | Jennifer | Davis | 2013-05-26 14:47:57.62
5 | Johnny | Lollobrigida | 2013-05-26 14:47:57.62
(5 rows)
ここまでで、Auroraにデータがロードされたことを確認できました。
2-4. サンプルデータのDumpファイル作成
exitコマンドでAuroraから抜け、EC2インスタンス上でpg dumpを実行します。
$ pg_dump -h test-aurora-postgresql.cluster-cn07mhl9cm4v.ap-northeast-1.rds.amazonaws.com -U postgres -O -x --format=t --file=fromaws_dvdrental.tar dvdrental
Password:
$ ls
dvdrental.tar dvdrental.zip fromaws_dvdrental.tar
tarファイル形式のfromaws_dvdrental.tarというファイル名で、ダンプファイルを作成します。
また、このダンプファイルは別のデータベースにリストアするため、-O オプションを付ける必要があります。
これは、オブジェクトの所有権を元のデータベースにマッチさせるためのコマンドを出力しないようにするオプションです。
-x オプションでは、アクセス権限（grant/revokeコマンド）のダンプを抑制しています。
詳細は、下記リファレンスをご参照ください。
ここで作成したfromaws_dvdrental.tarを利用し、OCI Database with PostgreSQLにデータベースを移行します。
一度EC2からCloudShell上に転送し、CloudShellの機能を利用してファイルをローカルにダウンロードしておきます。
scp -i test-pub-key.pem ec2-user@ec2-52-199-86-11.ap-northeast-1.compute.amazonaws.com:/home/ec2-user/fromaws_dvdrental.tar ~/fromaws_dvdrental.tar
ここまでで、AWS側の作業は完了です。
3. OCI Database with PostgreSQLの作成
OCI側の設定を進めていきます。
まずは、データベースが必要となるため、コンソール画面から作成していきます。
OCIのコンソール画面にログインし、ナビゲーションメニューからPostgreSQL＞データベースを選択します。
新規データベースの作成を選択します。
次へボタンを押下し、必要項目を入力していきます。
| 項目 | 入力内容 |
|---|---|
| データベース構成 | |
| Database system name | test-postgresql（任意） |
| PostgreSQLバージョン | 14（固定） |
| データベース・システム | |
| ノード数 | 1 |
| Performance tier | 300k IOPS（固定） |
| ハードウェアの構成 | |
| OCPU数 | 2 |
| 使用可能なシェイプ | PostgreSQL.VM.Standard.E4.Flex.2.32GB を選択 |
| ネットワーキングの構成 | |
| 仮想クラウド・ネットワーク | （任意のVCNを指定） |
| サブネット | （任意のサブネットを指定） |
| プライベートIP オプション | （空欄） |
| データベース管理者資格証明 | |
| ユーザー名 | (任意) |
| Password options | Input password を選択 |
| Password | (任意) |
| Confirm password | (任意) |
 |
 |
 |
 |
必要項目を入力した後、サマリ画面が表示されるので、送信ボタンを押下します。
作成されるまで10-20分ほど待機します。
データベースが作成されました！
4. pg_restoreを利用したリストアの実行
4-1. postgresqlクライアントのインストール
2-1. PostgreSQLクライアントのインストールと同様に、OCIのCompute VMインスタンスにもPostgreSQLクライアントをインストールします。
なお、OCI側のOSはOracle Linux8を使用しています。
インストール方法については、こちらの記事を参考にしました。
4-2. OCI Database with PostgreSQLへの接続
下記コマンドを実行し、接続します。
このはOCI Database with PostgreSQLのDBシステムの詳細から確認できます。
同じVCNの中にあるCompute VMインスタンスから接続する場合、Endpoint,FQDNどちらからも接続が可能です。
[opc@test-instance ~]$ psql -h <endpoint> -U <usename> -d postgres
Password for user yamadas:
psql (14.10, server 14.9)
WARNING: psql major version 10, server major version 14.
Some psql features might not work.
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.
postgres=>
接続が確認できました！
4-3. リストアの実行
まず、データベースを作成します。
postgres=> create database oci_dvdrental;
CREATE DATABASE
postgresqlを抜けて、ローカルからアップロードしたfromaws_dvdrental.tarを使用してリストアを実行します。
postgres=> exit
[opc@test-instance ~]$ pg_restore -h <endpoint> -U <usename> -O -d oci_dvdrental fromaws_dvdrental.tar
4-4. テストデータの確認
再度OCI Database with PostgreSQLへ接続します。
oci_dvdrentalにデータベースを切替え、テーブルを確認し、データを確認します。
postgres=> \c oci_dvdrental
psql (14.10, server 14.9)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
You are now connected to database "oci_dvdrental" as user "yamadas".
oci_dvdrental=> \dt;
List of relations
Schema | Name | Type | Owner
--------+---------------+-------+---------
public | actor | table | yamadas
public | address | table | yamadas
public | category | table | yamadas
public | city | table | yamadas
public | country | table | yamadas
public | customer | table | yamadas
public | film | table | yamadas
public | film_actor | table | yamadas
public | film_category | table | yamadas
public | inventory | table | yamadas
public | language | table | yamadas
public | payment | table | yamadas
public | rental | table | yamadas
public | staff | table | yamadas
public | store | table | yamadas
(15 rows)
oci_dvdrental=> select * from actor limit 5;
actor_id | first_name | last_name | last_update
----------+------------+--------------+------------------------
1 | Penelope | Guiness | 2013-05-26 14:47:57.62
2 | Nick | Wahlberg | 2013-05-26 14:47:57.62
3 | Ed | Chase | 2013-05-26 14:47:57.62
4 | Jennifer | Davis | 2013-05-26 14:47:57.62
5 | Johnny | Lollobrigida | 2013-05-26 14:47:57.62
(5 rows)
Aurora PostgreSQLで確認した同様のデータが確認できました！
まとめ
pg dump, pg restoreによる、Amazon Aurora PostgreSQLから、11月中旬にGAされたOCI Database with PostgreSQLへの移行を検証しました。
移行作業の一助になりましたら幸いです。