More than 5 years have passed since last update.

[Oracle Cloud] Object Storage のリージョン間自動コピーを、Oracle Functions で実現

Last updated at 2019-08-28Posted at 2019-08-28

はじめに

Oracle Cloud Infrastructure(以下OCI) のオブジェクトストレージは、リージョン内に配置されたサービスです。
世界規模の可用性や、世界各地からのダウンロード速度を上げたい場合、複数のリージョンへオブジェクトを配置したいユースケースが考えられます。

現時点で、OCI には手動で複数リージョン間をまたいでコピーする機能はありますが、自動的にコピーをしてくれる機能ではありません。Oracle Functions と Events を活用して自動コピー機能を実現することができます。

今回の記事では、GitHub に上げているサンプルコードを使用して、使用する方法を紹介していきます。

※ サンプルコードなので、エラーハンドリングが考慮されていない箇所があります。
本番利用の際は、アルゴリズムの見直しや、指定したリージョンでコピーがされていない状況の検知を考慮する必要があります。ご留意ください。

概要図

Object Storage の設定

まずは、Object Storage の Bucket を、使用したいリージョンで作成をします。
サンプルコードの仕様上、全て同じ名前である必要があるため、multi_region という名前で作成します。

この記事の手順例では、以下の 3 リージョンを対象にしています

東京 (ap-tokyo-1)
アッシュバーン (us-ashburn-1)
フェニックス (us-phenix-1)

コピー先のリージョンは、自由に変更可能なので、好きなリージョンで作成頂いて構いません。

Function の設定

Function Deploy

まず、Functions を動かす準備が出来ていない場合は、以下の Document や Quick Start Guide を参考にして、事前準備をします。
Preparing for Oracle Functions
https://docs.cloud.oracle.com/iaas/Content/Functions/Concepts/functionsprerequisites.htm

Quick Start Guide
https://www.oracle.com/webfolder/technetwork/tutorials/infographics/oci_faas_gettingstarted_quickview/functions_quickview_top/functions_quickview/index.html

Functions を動かす準備が出来たら、GitHub から Sample コードをclone します

# 作業用ディレクトリ作成
mkdir ~/fnwork/
cd ~/fnwork/

# GitHub から clone
git clone https://github.com/Sugi275/oci-objectstorage-multiregioner.git

Sample コードの中で実行している概要は、以下の通りです

generateAction 関数で、Events から受け取ったパラメータと環境変数をもとに、Object Storage のコピー機能のパラメータを構造体(struct)として生成します
Object Storage に格納されたファイルが新規作成(create) と更新(update) の場合には、tokyo region から、他のリージョンにコピー。他のリージョンでファイルが存在している場合は上書き
ファイルが削除(delete) された場合は、他リージョンのファイルを削除

clone したディレクトリへ移動します

cd ~/fnwork/oci-objectstorage-multiregioner/

go.mod を作成します

echo "module func" > go.mod

Functions へ multiregioner の function を Deploy します。--app に渡すアプリケーション名は環境によって書き換えてください

fn --verbose deploy --app susugiya

次に、Deploy した Functions の OCID をコピーします。
OCI コンソールのメニューから、Developer Services > Functions を選択します。
私の環境で、事前に作成していた Application の名前を選択します。

objectstorage_multiregioner の OCID を Copy します

例 : ocid1.fnfunc.oc1.ap-tokyo-1.aaaaaaaaacbqyf6ps7uxmpz3tevmvkmvbbsqqcgkf3xk62zvjryb4hhgo36a

Function の環境変数設定

Functions に環境変数を設定します。3種類の環境変数が必要です。

OCI_BUCKETNAME : Object Storage のバケット名を指定します。今回の例では、multi_region としています。
OCI_SOURCE_REGION : Object Storage のコピー元のリージョン名を指定します。今回の例では、ap-tokyo-1 としています
OCI_DESTINATION_REGIONS : Object Storage のコピー先のリージョン名を指定します。複数存在する場合は、カンマで区切りで指定すればOKです。今回の例では、us-ashburn-1,us-phoenix-1 としています。

fn config func susugiya objectstorage_multiregioner OCI_BUCKETNAME "multi_region"
fn config func susugiya objectstorage_multiregioner OCI_SOURCE_REGION "ap-tokyo-1"
fn config func susugiya objectstorage_multiregioner OCI_DESTINATION_REGIONS "us-ashburn-1,us-phoenix-1"

Function の logging

Functions では、logging として現段階は2種類の方式がサポートされています

Object Storage へ出力
syslog

開発環境としては、syslog を使用するのが楽で良いです。Object Storage の場合は、出力されるのに約15分ほど待つ必要があるため、すばやい log 確認が出来ません。syslog の場合はすぐに確認できるのでお勧めです。

syslog を受け取るために syslog サーバを用意してもよいのですが、開発する時には無償で使用可能な SaaS の Papertrail が簡単でお勧めです。

Papertrail の設定方法は、こちらの記事を参考にしてください。
なお、OCI コンソール上から Papertrail の送付先を設定・確認することが可能です。

Edit Application を選択

logging 先を設定変更

Dynamic Group

次に、Function 内で OCI SDK を使用するための権限を付与するために、Resource Principle を使用するための設定を行います。Resource Principle 自体の説明はこちらを参照してください

OCI のメニューから、Identity > Dynamic Groups へ移動し、 Create Dynamic Group を押します
以下のパラメータを入力し、Create を押します

NAME : susugiya_objectstorage_multiregional_group
DESCRIPTIN : susugiya_objectstorage_multiregional_group

Rule に以下の文字列を入力します。resource.id の部分は、作成した Function の OCID を指定します。

ALL {resource.type = 'fnfunc', resource.id = 'ocid1.fnfunc.oc1.ap-tokyo-1.aaaaaaaaacbqyf6ps7uxmpz3tevmvkmvbbsqqcgkf3xk62zvjryb4hhgo36a'}

Policy

2種類の Policy を設定する必要があります

リソースプリンシパル用
Object Storage のリージョン間コピー機能用

リソースプリンシパル用

Identity > Policies へ移動し、 Create Policy を押します
以下のパラメータを入力し、Create を押します

NAME : objectstorage_multiregional_policy
DESCRIPTION : objectstorage_multiregional_policy
STATEMENT : 以下の文字列で指定します。 Dynamic Group で作成した名前を指定して、object-family(Object Storage サービス) を manage(全操作可能) な権限を付与しています

Allow dynamic-group susugiya_objectstorage_multiregional_group to manage object-family in compartment susugiya

画面例

Object Storage のリージョン間コピー機能用

Create Policy を押します
以下のパラメータを入力し、Create を押します

NAME : objectstorage_multiregional_policy
DESCRIPTION : objectstorage_multiregional_policy
STATEMENT : 以下の文字列で指定。使用したいリージョン分を全て指定します。リージョン名は、OCI コンソール上で確認可能です

Allow service objectstorage-us-ashburn-1 to manage object-family in tenancy
Allow service objectstorage-ap-tokyo-1 to manage object-family in tenancy
Allow service objectstorage-us-phoenix-1 to manage object-family in tenancy

参考 Document : https://docs.cloud.oracle.com/iaas/Content/Object/Tasks/copyingobjects.htm#permissions

参考リージョン名

Events の設定

次に、Tokyo Region の Object Storage を起点にして Events を動かすために設定を行います。
OCI のメニューから、 Application Integration > Events Service を選択します。

Create Rule を押して、以下のパラメータを指定していきます

DISPLAY NAME : objectstorage_multiregion
DESCRIPTION : objectstorage_multiregion
Events Matching : 下の画像を参考にして設定する
- EVENT TYPE に Object の Create, Delete, Update の3種類を入力
- Attribute に、bucketName を multi_region と手入力することで、特定のバケットに制限
Actions : Function の名前を指定