実践編！Amazon S3/Google Cloud Storage エンタープライズデータ保護のテクニック 前編

はじめに

パブリッククラウドで様々なパイプライン処理に使われるクラウドストレージですが、昨今、データレイクや永続データの格納先としての利用も増えています。一方、クラウド環境のオブジェクトストレージは強固な耐久性と可用性で知られています。

本記事は3部作です。リンクはこちら　→　前編　中編　後編

データ保護が必要な理由

まずはこちらのYouTube動画をご覧ください！

AWSでもGCPでもそのサービスに対して”責任共有モデル”という概念が適用されています。
例）AWS の共有責任モデル
https://aws.amazon.com/jp/compliance/shared-responsibility-model/
こちらのURLにあるようにお客様のデータ、データの整合性、設定内容、暗号化、トラフィックの保護については全てお客様で責任を持つように定義されています。例えばAWSが担保するのはAWSのインフラストラクチャであってそのデータではありません。

したがって、これらのデータは自己の責任において保護、担保する必要があります。これはオブジェクトストレージに存在するデータでも同様です。これからそのデータを保護するための仕組みについてご紹介します。

s3fs

s3fs ツールは、S3 ストレージを NFS として公開します。そのファイルシステムが NetBackup ホストにマウントされ、マウントポイントがバックアップセレクションとして設定されている場合、NetBackup でS3ストレージを保護できます。

メモ：s3fs はオープンソースプロジェクト (https://github.com/s3fs-fuse/s3fs-fuse) です。ベリタスはs3fsの開発やサポートには関与していません。s3fs で見つかった問題は、s3fs プロジェクトチームへ直接連絡する必要があります。NetBackup は POSIX 準拠のファイルシステムをサポートしており、これは OSS でも同様です。s3fs がPOSIX 準拠のインターフェースを提供する限りはその属性をサポートします。

検証環境

• s3fs バージョン 1.85
• プラットフォーム- RedHat Linux 7.5 および SuSE Linux 12.3
• Veritas NetBackup 8.2

s3fs はネットワークマウントのためにNetBackup メディアサーバーに構築します。

検証シナリオ

検証は 2 つのシナリオで実施しています。

オンプレミス
NetBackup マスターサーバーとメディアサーバーをベリタスのオンプレミスのネットワークに構築しています。バックアップは MSDP または アドバンストディスクのストレージユニットに保存されています。このシナリオでクラウドストレージを利用すると、データがクラウドストレージからダウンロードされ、アップデートやリストアではクラウドストレージにデータが再アップロードされます。

パブリッククラウド
NetBackup マスターサーバーとメディアサーバーを EC2 インスタンスに構築しています。バックアップデータは同じリージョンの S3 バケットを使用して CloudCatalyst サーバーに転送されています。これにより、データは S3 バケットで移動しますので、データ転送のコストが削減され、転送速度が向上します。ただし、EC2 インスタンスには追加コストがかかります。

クラウドプロバイダー

プライマリの検証プラットフォームとしてAmazon S3 を利用します。また、AWS GovCloud、Google Cloud Platform、HITACHIにおけるサニティチェックを実施しています。

C2S は AWS GovCloud ではサポートされていません。
IAM ロール (s3fs および NetBackup でサポートされています)を利用します。

Veritas NetBackupと s3fs を設定する

1. s3fs ツールをダウンロードし、メディアサーバーにインストールします。サイトに記載されている手順に従います。
   https://github.com/s3fs-fuse/s3fs-fuse
2. man s3fs で s3fs に渡すことができるオプションのリストを取得します。
3. S3 バケットをマウントします。次のコマンドを実行します。

/usr/bin/s3fs <バケット名> <マウントポイント> -O passwd_file=<passwd_file> -o storage_class=<ストレージクラス> -o dbglevel=<デバッグレベル> -o curldbg

1. NetBackup のバックアップセレクションとして、マウントポイントまたはそのサブディレクトリとファイルを使用します。ワイルドカードやマルチストリームディレクティブなどの標準的な NetBackup の手法を使用できます。詳細は以下を確認してください。

複数のデータストリームを許可する
https://sort.veritas.com/doc_viewer/#/content?id=49563028-136776245-0%2Fv42177506-136776245
NetBackup でワイルドカードを使用する
https://sort.veritas.com/doc_viewer/#/content?id=49563028-136776245-0%2Fv41588053-136776245

なお、s3fs のロギングを有効にするには、syslogd/rsyslogd を設定します。

データを保護するための準備はこれだけです！

おわりに

今回はデータを保護が必要な背景、今回の検証環境やその準備について掲載しました。結構、あっけないですね！次回はアクセラレーターやリカバリにおける注意事項やプラグインの制限や設定なについて、ハードボイルドな感じで公開します！

本記事は3部作です。リンクはこちら　→　前編　中編　後編

商談のご相談はこちら

本稿からのお問合せをご記入の際には「コメント/通信欄」に#GWCのタグを必ずご記入ください。ご記入いただきました内容はベリタスのプライバシーポリシーに従って管理されます。

その他のリンク

【まとめ記事】ベリタステクノロジーズ 全記事へのリンク集もよろしくお願い致します！