RcloneでAzure BlobからOCIオブジェクト・ストレージにデータをコピー

Last updated at 2024-08-30Posted at 2021-11-01

初めに

Rclone は、クラウド・ストレージ上のファイルを管理するコマンドライン・プログラムです。OCI Object Storage、AWS S3、Azure Blob、Google Cloud Storageなど、多くのクラウドベンダーがサポートされています。On-Pからクラウドの間、あるいは異なるクラウド・ストレージ間でデータを簡単に転送できます。複数のクラウド・ベンダーを利用している場合、rcloneを利用すれば、データ転送が楽になります。

前回の記事で、AWS S3から、OCIオブジェクト・ストレージにデータをコピーする方法を紹介しました。(RcloneでAWS S3からOCIオブジェクト・ストレージにデータをコピー)

引き続き、Azure BlobからOCIオブジェクト・ストレージへのデータコピー方法をご紹介します。

ステップ

1. Rcloneのインストール
 2. OCI接続用情報の収集 (コピー先)
3. Azureストレージ・アカウント接続用情報の収集 (コピー元)
4. OCI接続の設定 (コピー先)
5. Azureストレージ・アカウント接続の設定 (コピー元)
6. データコピーの実施
 追記：OCIへの接続方法のアップデート

※STEP-1、STEP-2とSTEP-4は、前回(AWS->OCI)の内容と同じで、既に実施済であれば、スキップしてください。

事前準備

OCI(Oracle Cloud Infrastructure)およびAzureのクラウドアカウント。
Azureストレージ・アカウントを事前に作成しておきます。
Rclone実行用クライアント。 (Linux/Mac/Windowsがサポートされています。ここではLinux7を使用しています。)　HTTPSを使用し、クライアントからソース/ターゲット・クラウドに接続できることを確保してください。物理サーバ/VMか、On-P/Cloudか、構いません。（この例は、OCIにあるComputeインスタンスを利用します。）

1. Rcloneのインストール

非常に簡単で、一行のコマンドを実行すればOKです。
詳細なガイドについては、こちらを確認してください。(他のOSにインストールしたい場合。)

コマンド
curl https://rclone.org/install.sh | sudo bash

[opc@linux7 ~]$ curl https://rclone.org/install.sh | sudo bash
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  4497  100  4497    0     0   4794      0 --:--:-- --:--:-- --:--:--  4794
Archive:  rclone-current-linux-amd64.zip
......
rclone v1.56.0 has successfully installed.
Now run "rclone config" for setup. Check https://rclone.org/docs/ for more details.

[opc@linux7 ~]$

2. OCI接続用情報の収集 (コピー先)

接続を構成するには、OCIコンソールから下記の情報を収集する必要があります。
アクセス・キー(Access Key)と秘密キー(Secret Key)
リージョン識別子(Region Identifier)
オブジェクト・ストレージ・ネームスペース(Object Storage Namespace)
APIエンドポイント(API Endpoint)

アクセス・キーと秘密キー
OCIから収集方法に関するドキュメント・リンクはこちらです。

MENU->Identity & Secruity->Identity->Users->User Details->Customer Secret Keys

名前を入力し、「秘密キーの作成」ボタンをクリックします。

「コピー」をクリックして保存します。（秘密キーは二度と表示されないので、ご注意ください。）

作成後、「アクセス・キー」は以下のように表示され、いつでもコピーできます。

リージョン識別子
メニューバーのリージョン名をクリックし、「リージョンの管理」を選択すると、リージョン識別子が表示されます。この例は東京リージョン(ap-tokyo-1)を使用しています。

オブジェクト・ストレージ・ネームスペース
Azureは初クラウドの方は、このネームスペースをAzureのストレージ・アカウントの名前だと理解していただければOKです。

MENU->Governance & Administration->Account Management->Tenancy Details

OCI CLIが既にインストールと設定済なら、oci os ns getのコマンドでも簡単にネームスペースを確認できます。

APIエンドポイント
"Object_Storage_Namespace"と"Region_Identifier"の文字列を収集したものに置き換えて、以下のようにAPIエンドポイントの文字列を作成します。
https://<Object_Storage_Namespace>.compat.objectstorage.<Region_Identifier>.oraclecloud.com

3. Azureストレージ・アカウント接続用情報の収集 (コピー元)

Storage Accounts -> Security + Networking -> Access Keys

以下の画面でストレージ・アカウント名をコピーしてください。"Show Keys"をクリックし、キーの内容を表示します。

キーが表示されたら、右側のコピー・マークをクリックし、コピーします。

接続の時、ストレージ・アカウント名とアクセス・キーを利用しますので、メモしておいてください。

4. OCI接続の設定 (コピー先)

コマンド: rclone config

以下の情報を入力します。

「n」を入力、接続を新規作成します。
接続名を入力します。（例：「oci」)
「4」を選択します。(S3準拠のストレージ・プロバイダー)
「14」を選択します。(他のS3互換プロバイダー)

[opc@linux7 ~]$ rclone config
2021/09/10 12:30:23 NOTICE: Config file "/home/opc/.config/rclone/rclone.conf" not found - using defaults
No remotes found - make a new one
n) New remote
s) Set configuration password
q) Quit config
n/s/q> n
name> oci
Type of storage to configure.
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value
......
 4 / Amazon S3 Compliant Storage Providers including AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Minio, SeaweedFS, and Tencent COS
   \ "s3"
......
Storage> 4
Choose your S3 provider.
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value
......
14 / Any other S3 compatible provider
   \ "Other"
provider> 14

以下の情報を入力します。
5. 「1」を入力します（次のステップでクレデンシャルを入力することを意味します）。
6. 「アクセス・キー」を入力します（OCIコンソールから作成された）。
7. 「秘密キー」を入力します（OCIコンソールから作成された）。
8. リージョン識別子を入力します。（例：「ap-tokyo-1」)
9. 「APIエンドポイント」を入力します。

Get AWS credentials from runtime (environment variables or EC2/ECS meta data if no env vars).
Only applies if access_key_id and secret_access_key is blank.
Enter a boolean value (true or false). Press Enter for the default ("false").
Choose a number from below, or type in your own value
 1 / Enter AWS credentials in the next step
   \ "false"
 2 / Get AWS credentials from the environment (env vars or IAM)
   \ "true"
env_auth> 1
AWS Access Key ID.
Leave blank for anonymous access or runtime credentials.
Enter a string value. Press Enter for the default ("").
access_key_id> Your_Access_Key
AWS Secret Access Key (password)
Leave blank for anonymous access or runtime credentials.
Enter a string value. Press Enter for the default ("").
secret_access_key> Your_Secret_Key
Region to connect to.
Leave blank if you are using an S3 clone and you don't have a region.
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value
 1 / Use this if unsure. Will use v4 signatures and an empty region.
   \ ""
 2 / Use this only if v4 signatures don't work, e.g. pre Jewel/v10 CEPH.
   \ "other-v2-signature"
region> ap-tokyo-1
Endpoint for S3 API.
Required when using an S3 clone.
Enter a string value. Press Enter for the default ("").
endpoint> https://your_namespace.compat.objectstorage.ap-tokyo-1.oraclecloud.com

以下の情報を入力し、設定を完了します。
10. 「location_constraint」のプロンプトが表示されたら、Enterキーを押します。 (デフォルト)
11. ACLに「1」(プライベート)を入力します。(デフォルト)
12. もっと詳細な設定が必要ない場合は、「n」を入力します。(デフォルト)
13. 「y」を入力して確認します。(デフォルト)

Location constraint - must be set to match the Region.
Leave blank if not sure. Used when creating buckets only.
Enter a string value. Press Enter for the default ("").
location_constraint>
Canned ACL used when creating buckets and storing or copying objects.
......
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value
 1 / Owner gets FULL_CONTROL. No one else has access rights (default).
   \ "private"
......
acl> 1
Edit advanced config?
y) Yes
n) No (default)
y/n> n
--------------------
[oci]
type = s3
provider = Other
access_key_id = Your_Access_Key
secret_access_key = Your_Secret_Key
region = ap-tokyo-1
endpoint = https://your_namespace.compat.objectstorage.ap-tokyo-1.oraclecloud.com
acl = private
--------------------
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d> y
Current remotes:

Name                 Type
====                 ====
oci                  s3

ここまで、OCI接続の設定は完了です。接続可否を確認します。
OCI接続の確認
すべてのバケットを一覧表示します。
コマンド: rclone lsd <remote:>
リモート名の末尾に":"があることに注意してください。

[opc@linux7 ~]$ rclone lsd oci:
          -1 2021-09-10 14:47:45        -1 Target_Bucket
[opc@linux7 ~]$

5. Azureストレージ・アカウント接続の設定 (コピー元)

コマンド: rclone config

以下の情報を入力します。

「n」を入力、接続を新規作成します。(New remote)
"name>"：接続名を入力します。（例：「azure」)
"Storage>"：「25」を選択します。(azureblob)
"account>"：ストレージ・アカウント名を入力します(上記STEP-3で取得した情報)。

[opc@linux7 ~]$ rclone config
Current remotes:

Name                 Type
====                 ====
oci                  s3

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> n
name> azure
Type of storage to configure.
Enter a string value. Press Enter for the default ("").
Choose a number from below, or type in your own value
......
25 / Microsoft Azure Blob Storage
   \ "azureblob"
......
Storage> 25
Storage Account Name (leave blank to use SAS URL or Emulator)
Enter a string value. Press Enter for the default ("").
account> azure2oci

以下の情報を入力します。
5. "service_principal_file>": リターンを入力します。（デフォルト）
6. "key>": 「アクセス・キー」を入力します（上記STEP-3で取得した情報）。
7. "sas_url>": リターンを入力します。（デフォルト）
8. "use_msi>": リターン(false)を入力します。（デフォルト）
9. "use_emulator>": リターン(false)を入力します。（デフォルト）

Path to file containing credentials for use with a service principal.

Leave blank normally. Needed only if you want to use a service principal instead of interactive login.

    $ az ad sp create-for-rbac --name "<name>" \
      --role "Storage Blob Data Owner" \
      --scopes "/subscriptions/<subscription>/resourceGroups/<resource-group>/providers/Microsoft.Storage/storageAccounts/<storage-account>/blobServices/default/containers/<container>" \
      > azure-principal.json

See ["Create an Azure service principal"](https://docs.microsoft.com/en-us/cli/azure/create-an-azure-service-principal-azure-cli) and ["Assign an Azure role for access to blob data"](https://docs.microsoft.com/en-us/azure/storage/common/storage-auth-aad-rbac-cli) pages for more details.

Enter a string value. Press Enter for the default ("").
service_principal_file>
Storage Account Key (leave blank to use SAS URL or Emulator)
Enter a string value. Press Enter for the default ("").
key> <Your_Access_Key>
SAS URL for container level access only
(leave blank if using account/key or Emulator)
Enter a string value. Press Enter for the default ("").
sas_url>
Use a managed service identity to authenticate (only works in Azure)

When true, use a [managed service identity](https://docs.microsoft.com/en-us/azure/active-directory/managed-identities-azure-resources/)
to authenticate to Azure Storage instead of a SAS token or account key.

If the VM(SS) on which this program is running has a system-assigned identity, it will
be used by default. If the resource has no system-assigned but exactly one user-assigned identity,
the user-assigned identity will be used by default. If the resource has multiple user-assigned
identities, the identity to use must be explicitly specified using exactly one of the msi_object_id,
msi_client_id, or msi_mi_res_id parameters.
Enter a boolean value (true or false). Press Enter for the default ("false").
use_msi>
Uses local storage emulator if provided as 'true' (leave blank if using real azure storage endpoint)
Enter a boolean value (true or false). Press Enter for the default ("false").
use_emulator>

他の設定にはデフォルトのオプション（Enterキーを押す）を使用しますので、ここでは省略します。設定の最後は、次のようになります。

Edit advanced config?
y) Yes
n) No (default)
y/n>
--------------------
[azure]
type = azureblob
account = azure2oci
key = <Your_Access_Key>
--------------------
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d>
Current remotes:

Name                 Type
====                 ====
azure                azureblob
oci                  s3

e) Edit existing remote
n) New remote
d) Delete remote
r) Rename remote
c) Copy remote
s) Set configuration password
q) Quit config
e/n/d/r/c/s/q> q
[opc@linux7 ~]$

これで、ソース/ターゲット・クラウドへの接続が正常に構成されました。以下のコマンドで接続を確認できます。

Azure接続の確認
Command:
rclone listremotes - 設定ファイルから利用可能なすべてのリモートを一覧表示します。
rclone lsd <remote:> - バケット一覧を表示します。 (":"を忘れずに)
rclone ls <remote:path> - 指定されたバケット内のすべてのオブジェクトを一覧表示します。

[opc@linux7 ~]$ rclone listremotes
azure:
oci:
[opc@linux7 ~]$ rclone lsd azure:
          -1 2021-10-14 04:05:19        -1 azure-2-oci
[opc@linux7 ~]$ rclone ls azure:azure-2-oci
      747 tmp1.txt
      257 tmp2.txt
     3346 tmp3.txt
    10509 tmp4.txt
     1572 tmp5.txt
      933 tmp6.txt
     1080 tmp7.txt
     1232 tmp8.txt
     1233 tmp9.txt
[opc@linux7 ~]$

接続情報は、rclone.confという設定ファイルに保存されます。
rclone.confの格納先
Windowsの場合：%APPDATA%/rclone/rclone.conf
その以外：~/.config/rclone/rclone.conf

6. データコピーの実施

コピー前:
現在、ターゲットバケットには何もない状態です。

[opc@linux7 ~]$ rclone ls oci:Target_Bucket
[opc@linux7 ~]$

コピー用コマンド:
rclone copy source:sourcepath dest:destpath

必要に応じてフラグ（オプション）を追加できます。
--verbose - 出力結果に多くのメッセージを出すように。
--dry-run - 何もコピーせずにテストだけをする。
-P/--progress - リアルタイムの転送統計を表示するフラグ。
--max-age 24h - 最近変更された（24時間）すべてのファイルをコピーする

"rclone copy"コマンドの詳細を知りたい方は、こちらのマニュアルをご確認ください。

コマンドの出力結果:

[opc@linux7 ~]$ rclone --verbose copy azure:azure-2-oci oci:Target_Bucket
2021/10/14 06:57:06 INFO  : tmp2.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp3.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp1.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp4.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp6.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp5.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp8.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp7.txt: Copied (new)
2021/10/14 06:57:07 INFO  : tmp9.txt: Copied (new)
2021/10/14 06:57:07 INFO  : 
Transferred:       20.419Ki / 20.419 KiByte, 100%, 0 Byte/s, ETA -
Transferred:            9 / 9, 100%
Elapsed time:         1.2s

[opc@linux7 ~]$

コピー後:
これで、ソースバケットのデータがコピーされました。

[opc@linux7 ~]$ rclone ls oci:Target_Bucket
      747 tmp1.txt
      257 tmp2.txt
     3346 tmp3.txt
    10509 tmp4.txt
     1572 tmp5.txt
      933 tmp6.txt
     1080 tmp7.txt
     1232 tmp8.txt
     1233 tmp9.txt
[opc@linux7 ~]$

以上です。

追記：OCIへの接続方法のアップデート

追記日： 2023/4/21

OCIへの接続を立てる時、従来の「S3準拠のストレージ・プロバイダー」以外、OCI Nativeの設定方法も可能になりました。

ストレージのタイプを選択する時、次のように、「34」(OCI Object Storage)を指定してください。

[opc@linux8 ~]$ rclone config
2023/04/21 13:49:27 NOTICE: Config file "/home/opc/.config/rclone/rclone.conf" not found - using defaults
No remotes found, make a new one?
n) New remote
s) Set configuration password
q) Quit config
n/s/q> n

Enter name for new remote.
name> oci

Option Storage.
Type of storage to configure.
Choose a number from below, or type in your own value.
......
34 / Oracle Cloud Infrastructure Object Storage
   \ (oracleobjectstorage)
......
Storage> 34

認証方法は、次のようにいくつかを指定できます。今回は「2」(configファイルを利用)を例にして説明します(このconfigファイルは、OCI CLIにも利用できます)。

Option provider.
Choose your Auth Provider
Choose a number from below, or type in your own string value.
Press Enter for the default (env_auth).
 1 / automatically pickup the credentials from runtime(env), first one to provide auth wins
   \ (env_auth)
   / use an OCI user and an API key for authentication.
 2 | you'll need to put in a config file your tenancy OCID, user OCID, region, the path, fingerprint to an API key.
   | https://docs.oracle.com/en-us/iaas/Content/API/Concepts/sdkconfig.htm
   \ (user_principal_auth)
   / use instance principals to authorize an instance to make API calls.
 3 | each instance has its own identity, and authenticates using the certificates that are read from instance metadata.
   | https://docs.oracle.com/en-us/iaas/Content/Identity/Tasks/callingservicesfrominstances.htm
   \ (instance_principal_auth)
 4 / use resource principals to make API calls
   \ (resource_principal_auth)
 5 / no credentials needed, this is typically for reading public buckets
   \ (no_auth)
provider> 2

必要な情報を入力します。

オブジェクト・ストレージ・ネームスペース：STEP-2で取得したもの
Compartment OCID: バケットの置き場所
リージョン識別子：STEP-2で取得したもの
APIエンドポイント：デフォルトでよい
configファイルの場所：デフォルトでよい (~/.oci/config)
プロファイル：デフォルトでよい

Option namespace.
Object storage namespace
Enter a value.
namespace> <Your_Object_Storage_Namespace>

Option compartment.
Object storage compartment OCID
Enter a value.
compartment> <Your_CompartmentOcid>

Option region.
Object storage Region
Enter a value.
region> <Your_Region_ID>

Option endpoint.
Endpoint for Object storage API.
Leave blank to use the default endpoint for the region.
Enter a value. Press Enter to leave empty.
endpoint>

Option config_file.
Path to OCI config file
Choose a number from below, or type in your own string value.
Press Enter for the default (~/.oci/config).
 1 / oci configuration file location
   \ (~/.oci/config)
config_file>

Option config_profile.
Profile name inside the oci config file
Choose a number from below, or type in your own string value.
Press Enter for the default (Default).
 1 / Use the default profile
   \ (Default)
config_profile>

Edit advanced config?
y) Yes
n) No (default)
y/n> n

設定内容を確認した上、保存します。

Configuration complete.
Options:
- type: oracleobjectstorage
- provider: user_principal_auth
- namespace: <Your_Object_Storage_Namespace>
- compartment: <Your_CompartmentOcid>
- region: <Your_Region_ID>
Keep this "oci" remote?
y) Yes this is OK (default)
e) Edit this remote
d) Delete this remote
y/e/d> y

OCI構成ファイル
configファイルを用意して、~/.oci/configに保存します。
ファイル作成方法の詳細は、次の記事をご参照ください。
「OCIカスタム・メトリックでディスク使用率を監視」の事前準備

OCI接続の確認
すべてのバケットを一覧表示します。
コマンド: rclone lsd <remote:>

[opc@linux8 ~]$ rclone lsd oci:
          -1 2021-09-10 14:47:45        -1 Target_Bucket
[opc@linux8 ~]$

改訂歴
2021年11月：初版作成
2023年4月：OCIへの接続方法のアップデート

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up