本ブログは、オラクル・クラウドの個人ブログの1つです。
目次
1. OCIストレージ・ゲートウェイとは
2. システムの要件
3. 事前準備
4. ストレージ・ゲートウェイのインストール
5. 管理コンソールへのログイン
6. 最初のファイル・システムの作成
7. ファイル・システムをクライアントへのマウント
1. OCIストレージ・ゲートウェイとは
ストレージ・ゲートウェイは、オンプレミス・アプリケーションをOCI (Oracle Cloud Infrastructure)に接続できるクラウド・ストレージ・ゲートウェイです。データをNFSターゲットに書き込むことができるアプリケーションでは、REST APIを取り込むためにアプリケーションを変更しなくても、OCI Object Storageにデータを書き込むことができます。
ストレージ・ゲートウェイを理解する良い方法は、他のファイル転送ツールと比較することです。Oracleは、オブジェクト・ストレージにアクセスするツールをいくつか提供しています。要件に応じて適当なツールを選んでください。
ファイル転送ツールの比較
| OCI Console | OCI CLI | OCI Storage Gateway | |
|---|---|---|---|
| オフィシャル・サポート | ✔ | ✔ | ✔ |
| 料金 | 無料 | 無料 | 無料 |
| 利用方式 | ブラウザ利用(GUI) | コマンド・ライン | マウント |
| OS | 制限なし | Linux/Windows/MacOS | Oracle Linux 7およびUEKリリース4以降 |
| インストールと設定 | 不要 | 必要※１ | 必要 |
| 認証方法 | ユーザ・パスワード | APIキー | APIキー |
| プロトコル | HTTPS | HTTPS | NFSv4, HTTPS |
| 利用場面 | ・汎用 ・手動転送 |
・フォルダ丸ごと転送 ・バッチ処理に向き |
・大量ファイルの転送に向き ・ファイル同期処理 |
| 利点 | クイックスタートに最適 | ・コマンドラインユーザーに優しい ・比較的軽量 |
・巨大なファイルを転送する時、パフォーマンスが有利 ・管理コンソール付き |
| 最新バージョン (2022年8月) |
サポート対象ブラウザーについては、Doc ID 2697934.1をご参照。 | 3.13 | 1.4 |
※１、Cloud Shellにインストールと設定済なので、直接に利用可能。
注意
- Windows OSはサポート対象外。
- 汎用のNASサーバではなく、データ転送の目的として使ってください。
2. システムの要件
2-1. ハードウェア・ソフトウェアの推奨事項および要件
| 分類 | 項目 | 内容 |
|---|---|---|
| ハードウェア | CPU | 2つのデュアルコアCPU以上、4コアCPUを推奨 |
| メモリ | メモリーの最小要件: ストレージ・ゲートウェイのどのファイル・システムでも16 GBが必須。 ファイル数が5000万個までのファイル・システムでは32 GB。 ファイル数が1億個までのファイル・システムでは64 GB。 |
|
| ストレージ | 推奨されるローカル・ストレージのディスク・サイズは600 GB(※1)です(ファイル・システム・キャッシュに500GB、メタデータ・ストレージに80GB、ログ・ストレージに20GBを含みます)。 | |
| ソフトウェア | OS | Oracle Linux 7およびUEKリリース4以降 (※2) |
| Docker | Docker 1.12.6以上 (自動インストール) |
※1. 上記のストレージサイズ (600 GB) は推奨値です。それより小さい場合、ストレージ・ゲートウェイが機能しないという意味ではありません。
※2. OCIドキュメントによると、現時点(2022年8月) Oracle Linux 7 のみがサポートされています。Oracle Linux 8 を使用している場合、Dockerのインストール時にリポジトリ接続の問題が発生する可能性があります。そのため、現時点では Oracle Linux 7 を使用し、Oracle Linux 8 のサポートを待つことをお勧めします。
2-2. 検証環境
私が利用している検証環境の構成は、以下となります。
| 分類 | 項目 | 内容 |
|---|---|---|
| インスタンス | OS | Oracle Linux 7.9 (OCI Compute VM) |
| シェイプ | VM.Standard.E4.Flex (2 OCPU, 32 GB) | |
| ブロック・ボリューム | サイズ | 合計: 1024 GB (1つのパーティション、3つの論理ボリューム) /ocisg/cache - 834 GB /ocisg/metadata - 150 GB /ocisg/log - 40 GB |
| パフォーマンス・レベル | Balanced | |
| アタッチメントの種類 | ISCSI | |
| ストレージ・ゲートウェイ | バージョン | 1.4 |
3. 事前準備
Storage Gateway 管理コンソール (STEP-6)で新しいファイルシステムを作成する場合、次の情報を準備する必要があります。
Object Storage API エンドポイント - STEP 3-1
コンパートメント OCID - STEP 3-2
テナンシ OCID - STEP3-3
ユーザ OCID - STEP3-3
公開キーの Finger Print - STEP3-3
秘密キー - STEP3-3
3-1. Object Storage API エンドポイント
東京リージョンの場合、エンドポイントは https://objectstorage.ap-tokyo-1.oraclecloud.comとなります。
他のリージョンについては、このリストを確認してください。 (違いはリージョンキーです。)
3-2. コンパートメントOCIDの取得
以下のように、転送先のバケットが存在するコンパートメントのOCIDを取得してください。
OCI Menu -> Identity & Security -> Compartments -> Compartmentを指定 -> "Copy"をクリック
3-3. API署名キーの生成
OCIコンソールまたはローカル端末 (Linux/Mac/Windows) で様々な方法で作成できます。
OCIコンソールでを作成するのをお勧めします。理由は、他の情報と一緒に取得できるからです。
アイデンティティ・ドメイン・ユーザーの場合:
Identity ->My profile -> API keys -> "Add API key"ボタンをクリック
「Generate API key pair」はデフォルトでチェックされています。「Download private key」ボタンを押して安全な場所に保存した後、「Add」ボタンを押します。
そうして、以下のような「構成ファイルのレビュー」画面が表示されます。 この検証では、特に構成ファイルを作成する必要はありません。 必要なのは、「User OCID」、「Tenancy OCID」、「Finger Print」などの数行です。 コピーを押して、これらの情報を安全に保管してください。
3-4. ブロック・ボリュームの作成とアタッチ
この例では 1TB のブロック・ボリュームを使用しています (600 GB 以上を推奨)。
作成後、ターゲット・インスタンスにアタッチします。 接続タイプは、「iSCSI」または「準仮想化」のいずれかを選択できます。 「iSCSI」タイプを選択した場合は、iSCSI コマンドを実行する必要があります (「準仮想化」よりオーバーヘッドが少ないです)。
iSCSIコマンドを実行すると、デバイス情報は次のようになります。
4. ストレージ・ゲートウェイのインストール
ブロック・ボリュームが新しく作成された場合、使用する前にディスクのパーティショニングは必要です。この例では、 partedコマンドを使用します。partedコマンドの詳細は、このドキュメントをご参照ください。
4-1. ディスクのパーティショニング
開始するコマンド: sudo parted /dev/sdb (/dev/sdb をデバイス名に変更する。)
parted 内のコマンド:
新しいディスクラベルを作成する: mklabel gpt
パーティションを作成する: mkpart primary 0% 100%
フラグを設定する: toggle 1 lvm (これは必須ではなく、スキップできる。)
「p」は表示(print)を意味し、「q」は終了(quit)を意味します。
[opc@linux7 ~]$ sudo parted /dev/sdb
GNU Parted 3.1
Using /dev/sdb
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
(parted) mkpart primary 0% 100%
(parted) toggle 1 lvm
(parted) p
Model: ORACLE BlockVolume (scsi)
Disk /dev/sdb: 1100GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt
Disk Flags:
Number Start End Size File system Name Flags
1 1049kB 1100GB 1100GB primary lvm
(parted) q
パーティショニング後、デバイス情報は次のようになります。
4-2. 論理ボリュームの作成
コマンド:
物理ボリュームを作成する: sudo pvcreate <device>
ボリューム・グループを作成する: sudo vgcreate <volume_group_name> <device>
論理ボリュームを作成する: sudo lvcreate -l 100%FREE -n <logical_volume_name> <volume_group_name>
キャッシュ、メタデータ、ログを個別に保存するため、3つの論理ボリュームを作成します。それらのサイズは、それぞれ500G、80G、および20Gとなります。
パラメータ-Lでストレージ・サイズを指定して、ログとメタデータ用の論理ボリュームを作成します。 最後の1つ (キャッシュ) については、100%FREEで指定したほうが良いと思います。(残りのサイズを計算する必要はありません。)
[opc@linux7 ~]$ sudo pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created.
[opc@linux7 ~]$ sudo vgcreate vg01 /dev/sdb1
Volume group "vg01" successfully created
[opc@linux7 ~]$ sudo lvcreate -L 40G -n lvlog vg01
Logical volume "lvlog" created.
[opc@linux7 ~]$ sudo lvcreate -L 150G -n lvmetadata vg01
Logical volume "lvmetadata" created.
[opc@linux7 ~]$ sudo lvcreate -l 100%FREE -n lvcache vg01
Logical volume "lvcache" created.
[opc@linux7 ~]$
作成後のデバイス情報は次のようです。
4-3. XFSファイルシステムの作成
コマンド形式:
sudo mkfs.xfs /dev/<volume_group_name>/<logical_volume_name>
例:
sudo mkfs.xfs /dev/vg01/lvcache
sudo mkfs.xfs /dev/vg01/lvmetadata
sudo mkfs.xfs /dev/vg01/lvlog
コマンドの出力を省略します。
4-4. 論理ボリュームのマウント
マウントポイントの作成:
[opc@linux7 ~]$ sudo mkdir /ocisg
[opc@linux7 ~]$ sudo mkdir /ocisg/cache /ocisg/metadata /ocisg/log
[opc@linux7 ~]$ sudo chown -R opc:opc /ocisg
論理ボリュームのマウント:
コマンド: sudo mount /dev/<volume_group_name>/<logical_volume_name> <directory_path>
[opc@linux7 ~]$ sudo mount /dev/vg01/lvcache /ocisg/cache
[opc@linux7 ~]$ sudo mount /dev/vg01/lvmetadata /ocisg/metadata
[opc@linux7 ~]$ sudo mount /dev/vg01/lvlog /ocisg/log
[opc@linux7 ~]$
df -hコマンドで結果を確認すると、上記の3つのファイルシステムがマウントされていることが分かります。
4-5. インストール・ファイルのダウンロードと解凍
ここからインストール・ファイル (TAR アーカイブ) をダウンロードします。
圧縮ファイルocisg-1.4.tar.gzのサイズは 1.1 GB です。
ダウンロード後、ストレージサーバーに転送します。 この例では、SFTP 経由で OCI Compute に転送し、/home/opc/sgw (事前に sgwフォルダーを作成しておく) の下に保存します。
TARファイルを解凍します。
[opc@linux7 sgw]$ pwd
/home/opc/sgw
[opc@linux7 sgw]$ ll
total 1108796
-rw-rw-r--. 1 opc opc 1135403104 Jul 20 04:07 ocisg-1.4.tar.gz
[opc@linux7 sgw]$ tar xvzf ocisg-1.4.tar.gz
ocisg-1.4/
ocisg-1.4/helper-install-ocisg.sh
ocisg-1.4/ocisg:1.4.tar
ocisg-1.4/ocisg-install.sh
ocisg-1.4/connect-fs.sh
ocisg-1.4/ocisg-control.sh
ocisg-1.4/health-check.sh
ocisg-1.4/support-bundle.sh
ocisg-1.4/test-bandwidth.sh
ocisg-1.4/ocisg-config.sh
ocisg-1.4/ocisg
ocisg-1.4/OCISG_README.txt
[opc@linux7 sgw]$
4-6. インストールを開始する
ocisg-install.shを実行して、ストレージ・ゲートウェイをインストールします。
コマンド: sudo ./ocisg-install.sh
[opc@linux7 sgw]$ cd ocisg-1.4
[opc@linux7 ocisg-1.4]$ pwd
/home/opc/sgw/ocisg-1.4
[opc@linux7 ocisg-1.4]$ sudo ./ocisg-install.sh
Dockerをインストールするかどうかと聞かれたら、「y」と入力して続行します。
Oracle Linux 8 を利用している場合、dockerをインストールしようとすると、リポジトリ接続の問題が発生する可能性があります。 回避策がありますが、Oracle Linux 8 のサポートを待つことをお勧めします。
[opc@linux7 ocisg-1.4]$ sudo ./ocisg-install.sh
Docker does not appear to be installed. Do you want to install docker engine with yum? [y/N] y
NFSを有効にするかどうかと聞かれたら、「y」と入力して続行します。
Setting the devicemapper storage driver ...
NFS server does not appear to be enabled. Do you want to enable NFS? [y/N] y
インストール場所を入力するか、「Enter」と入力して続行します。
Enter the install location press enter for default (/opt/ocisg/) :
キャッシュ、メタデータ及びログのパスを入力します。
Enter the path for OCISG file system cache : /ocisg/cache
Enter the path for OCISG metadata storage : /ocisg/metadata
Enter the path for OCISG log storage : /ocisg/log
キャッシュ、メタデータ、およびログを同じボリュームに保存しようとすると、次のような警告が表示されます。 「y」を入力して、インストールを続行できます。 （それらを別々のボリュームに保存することをお勧めします。）
================================================================================
WARNING:
Cache, Metadata, and log storage are on the SAME volume.
It is recommended to have a SEPARATE volume for log storage.
Recommended MINIMUM space for log storage is 20 GB.
================================================================================
Would you like to proceed anyway ('Y' to proceed, 'N' to stop installation) (y/N) ?
インストールが完了すると、次のメッセージが表示されます。
Management Console: https://linux7:32770
If you have already configured an OCISG FileSystem via the Management Console,
you can access the NFS share using the following port.
NFS Port: 32771
Example: mount -t nfs -o vers=4,port=32771 linux7:/<OCISG FileSystem name> /local_mount_point
[opc@linux7 ocisg-1.4]$
ご覧の通り、管理コンソールのURLとマウント・コマンドが表示されます。 上記情報は、コマンドsudo ocisg infoで取得できるため、メモしなくても構いません。
5. 管理コンソールへのログイン
5-1. イングレス・ルールの編集
管理コンソールにログインする前に、OCIセキュリティ・リスト (またはNSG) を編集して、TCP ポート (443、32770、32771)のインバウンド・トラフィックを許可する必要があります。
5-2. 初回ログイン
Webブラウザーを開き、管理コンソールのURLを入力します。
URL: https://<host_name_or_IP_address>:32770/
ストレージ・ゲートウェイは自己署名証明書を使用するため、以下のような警告メッセージが表示される場合があります。URLが正しいことを確認してから続行してください。
初回ログイン時にパスワードの新規設定が必要です。
新しいパスワードを再入力し、「ログイン」を押して続行します。
ログイン後、次の管理コンソールが表示されます。 ストレージ・サイズが推奨値より小さい場合、「システム・ステータス」に黄色い警告メッセージが表示されます。
6. 最初のファイル・システムの作成
ここまで、ファイル・システムはまだ作成されていません。 新規作成をしましょう。
STEP-3の準備が整っていることを確報した上、「ファイル・システムの作成」ボタンをクリックして開始してください。
「ファイル・システム名」はバケット名となります。 バケットが存在しない場合は自動作成されます。
各項目に用意しておいた内容を入力します。「秘密鍵のパスフレーズ」を持っていない場合はスキップします。入力後、「保存」をクリックします。
「接続」ボタンをクリックします。
これで接続が作成されました。 (約1分間)
OCI コンソールから結果を確認すると、新しいバケットが作成されました。
7. ファイル・システムをクライアントへのマウント
ストレージ・ゲートウェイの各ファイル・システムでは、ディレクトリがOCI Object Storageバケットにマップされます。ストレージ・ゲートウェイとNFSクライアントの間の接続を確立するには、ストレージ・ゲートウェイ・ファイル・システムをNFSクライアントにマウントする必要があります。
7-1. NFSクライアントにファイル・システムをマウントする
マウント用コマンドは、ストレージ・ゲートウェイのインストールが完了した時点表示されます。このコマンドは、 管理コンソールから、またはsudo ocisg infoコマンドでも確認できます。
[opc@linux7 ~]$ sudo mkdir /sg-bucket1
[opc@linux7 ~]$ sudo mount -t nfs -o vers=4,port=32771 10.0.2.21:/SG-Bucket1 /sg-bucket1
[opc@linux7 ~]$
df -hコマンドで結果を確認します。
7-2. 簡単なテスト
SGのインストール・ファイルをクライアント側からオブジェクト・ストレージのバケットにコピーするという簡単なテストを行います。
[opc@linux7 ~]$ sudo chown opc:opc /sg-bucket1
[opc@linux7 ~]$ cp -p /home/opc/sgw/ocisg-1.4.tar.gz /sg-bucket1
[opc@linux7 ~]$
開始時点：
転送が完了すると。 「Pending Uploads (保留中のアップロード)」は「0」になります。詳細については、ストリーミング・ログを確認できます。
OCIコンソールから確認すると、ファイルが正常にアップロードされたことが分かります。
サマリ
お疲れ様です！ここまで「ストレージ・ゲートウェイ」のインストールと設定作業は完了で、対象データのバックアップが開始できます。
「ストレージ・ゲートウェイ」以外、サード・パーティーの転送ツールもありますので、詳細は以下の関連記事をご参照ください。
以上
2024年3月追記
Storage Gatewayは、2024/2/28よりEnd of Lifeになることがアナウンスされました。代替案は、OCI-CLIか、Rcloneなどをご利用ください。アナウンスの詳細は、こちらを参照ください。
関連記事
オラクル・クラウドの個人ブログ一覧
OCIオブジェクト・ストレージへのファイル転送方法のまとめ
参考資料
ストレージ・ゲートウェイのインストール
ストレージ・ゲートウェイ管理コンソールへのログイン
最初のファイル・システムの作成
ファイル・システムの管理
Storage Gateway FAQ
Partitioning Disks with parted