【OCI】Storage Gateway経由でArchive Storageを使ってみた

はじめに

OCIのArchive Storageは高耐久・低価格のストレージサービスで
利用頻度の少ない大量のファイルを保存するのに適しています。
Archive Storageの基本的な利用方法については以下の記事をご参照ください。
[【OCI】Archive Storageを利用してファイルをアップロード、ダウンロードしてみた][1]
[1]:https://qiita.com/hongmnh/items/a72497d8c33f6ce26a00

この記事では既存のストレージ(例:大容量NAS)に保存されていたフォルダやファイルを
Archive Storageに移行した場合、移行後の運用においてOCI Storage Gatewayを活用する方法を
いくつか試しましたので紹介させていただきます。

テスト構成、Storage Gatewayの構築方法

テスト構成は以下の通りです

Storage Gatewayの構築方法は以下のOCIチュートリアルを参考にしています。
詰まることなく割とスムーズに構築することができました。
[ストレージ・ゲートウェイを作成する][2]
[2]:https://oracle-japan.github.io/ocitutorials/intermediates/storage-gateway/

試したこと

①OCIのGUIを利用してArchive Storageから必要なフォルダやファイルを見つける

テスト用のフォルダを10個(test1~test10)作成し、各フォルダにはテスト用のファイルを
1つずつ(sample1.txt~sample10.txt)アップロードしておきます。
test1のフォルダにはsample1.txtがtest2のフォルダにはsample2.txtが保存されている
ようなイメージです

ルートフォルダが表示されている状態で検索窓にsample1と入力して検索をかけてみます

結果は。。。
「アイテムが見つかりませんでした。」でした。
「sample1」の文字列が含まれるファイルとそのファイルが保存されているフォルダが
表示されることを期待していたのですが、、、

今度は「sample1.txt」が保存されているフォルダ(test1)に移動した状態で
同様の方法で検索をかけてみます

結果は。。。
test1フォルダに保存されているファイルがsample1.txtの1つしかないので先ほどと同じに見えますが
ちゃんと検索結果を表示してくれています

念のため「sample2」で検索してみると、test1のフォルダにはそのようなファイルは存在しないので
「アイテムが見つかりませんでした。」になりました。

ということで、OCIのGUI上でファイル名で検索するにはファイルが保存されているフォルダを
知っている必要があることがわかりました。
また画面キャプチャ等は載せていませんが、フォルダに関してもファイル検索時と
同様であることを確認しました。
※現時点でわかっていることからの結論になります。
何等かの方法でフォルダがわからなくても検索できる方法があるかもしれません。

ちなみに、クライアント・サーバ上ではfindコマンドを使って簡単に見つけることができます。

②Archive Storageにアップロードしたファイルをクライアント・サーバ側で確認する

ファイルアップロード前のルートフォルダの状態です
OCIのGUI上でみた場合、

クライアント・サーバでみた場合

OCIのGUIを利用してルートフォルダにテスト用ファイル(10個)をアップロードします。

アップロード完了。

しかし、クライアント・サーバ側では先ほどアップロードしたファイルがまだ見えません。

Archive Stroageの管理画面にログイン、「Refresh」を行う

「Refresh」されました。

再度クライアント・サーバ側で確認してみると、
見えました！

③クライアント・サーバ上で作成したファイルをArchive Storage側で確認する

クライアント・サーバ側でみた「test1」フォルダの状態です。
最初に保存した「sample1.txt」のみが存在します。

OCIのGUIからみた場合も同様の状態です。

クライアント・サーバ側で「sample2.txt」というファイルを作成します。

OCIのGUI側で確認すると、「sample2.txt」が見えました。
②で行ったrefresh操作は不要です。

先ほどは中身のない0バイトのファイルで試したのでほぼ即時に反映されましたが、
今度は少し容量の大きいファイル(約19MB)で試してみます。
予め用意しておいたファイル(pythonの設置ファイル)を「test1」フォルダにコピーします。

すぐにOCIのGUIで確認してみると、ファイル名は反映されていてサイズはまだ0バイトの状態です。

しばらくすると、アップロードが完了してサイズも正しい値に更新されました。

まとめ(検証を通して感じたこと)

・フォルダ構造が複雑かつファイル数が多い中から必要なものを探す必要がある場合は
　Storage Gatewayを利用すると便利(NFSマウントしたOSの検索機能を利用できるから)
・既存のストレージからArchive Storageへのデータ移行方法として以下の3つが考えられる
　　①インターネット経由でArchive Storageにアップロード(GUI or CLI)
　　②Storage Gateway経由でArchive Storageにアップロード(NFSマウント)
　　③OCIの[Data Transfer Service][3]を利用してArchive Storageにアップロード
[3]:https://docs.oracle.com/ja-jp/iaas/Content/DataTransfer/Concepts/overview.htm