はじめに
こんにちは。ネットアップ合同会社 Specialist SEの月岡です。
皆さん、Amazon SageMaker使っていますか？
Amazon SageMakerを使ったML/DLワークロードに興味があったり、もしくは既にAmazon SageMakerを業務で利用されている方も多くいらっしゃるかと思います。
今回は、Amazon SageMakerにAmazon FSx for NetApp ONTAPを組み合わせることで、より便利でより効率的なML/DL基盤を入手できる！？ということをお伝えします。
なお、話が長くなるので全4回に分けて投稿します。
- 第1回記事：https://qiita.com/Yoshinori_Tsukioka/items/e02537feb8008db46a99
- 第2回記事：https://qiita.com/Yoshinori_Tsukioka/items/0bdb5162f2ee25c82f32
- 第3回記事：https://qiita.com/Yoshinori_Tsukioka/items/2b6070a235b67634a2db
- 第4回記事：https://qiita.com/Yoshinori_Tsukioka/items/9016dd5c31293d76dd35
2023年7月10日（月）に以下の関連記事を投稿しています。
あわせてご確認ください。
https://qiita.com/Yoshinori_Tsukioka/items/d3abb579ec068323c125
Amazon SageMakerとは
- AWS公式サイトから抜粋（2022年9月時点）
フルマネージドインフラストラクチャ、ツール、ワークフローを使用して、あらゆるユースケース向けの機械学習 (ML) モデルを構築、トレーニング、デプロイ
Amazon FSx for NetApp ONTAPとは
- AWS公式サイトから抜粋（2022年9月時点）
NetApp の人気ファイルシステムである ONTAP 上に構築された、フルマネージド型共有ストレージ
Amazon SageMakerとAmazon FSx for NetApp ONTAPを組み合わせると何が嬉しいのか？
- Amazon SageMakerのノートブックインスタンスにAmazon FSx for NetApp ONTAPのNFSボリュームをマウントすることで、大容量のデータセットに対応できる。
- Amazon FSx for NetApp ONTAPのストレージ機能（重複排除・圧縮・データ階層化）で効率的なデータの管理が可能になる。
- Amazon FSx for NetApp ONTAPのFlexCloneによりデータセットの複製やバージョン管理が容易になる。
- ネットアップが提供しているNetApp DataOps Toolkitをノートブックインスタンスにインストールすることで、ノートブックインスタンスからAmazon FSx for NetApp ONTAPのボリューム操作（Snapshot取得、Volumeの複製など）が可能になる。
つまりは、データサイエンティストが抱える課題や悩みを解決し、より便利でより効率的なML/DL基盤を入手できます。（イメージは、以下のような感じです。）
やってみた
やってみたことは、大きく分けて4つです。
① Amazon FSx for NetApp ONTAPを作成し、Notebookインスタンス用のNFS Volumeを作成
② Notebookインスタンスを作成し、NFS Volumeをマウント
③ NetApp DataOps Toolkitをインストールし、NFS VolumeのSnapshot取得 / FlexCloneを作成
④ ライフサイクル設定により、再起動後もNFS Volumeの自動マウント / NetApp DataOps Toolkitの自動インストール
本稿では、①Amazon FSx for NetApp ONTAPを作成し、Notebookインスタンス用のNFS Volumeを作成までやってみます。
②から④も投稿しますので、お楽しみに。
Amazon FSx for NetApp ONTAPを作成し、Notebookインスタンス用のNFS Volumeを作成
Amazon FSx for NetApp ONTAPのファイルシステムを作成する。
-
AWSマネジメントコンソールにログインし、FSxを検索する。
-
FSxのコンソールが表示されたら、ファイルシステムを作成をクリックする。
-
ファイルシステムの作成画面に遷移するので、スタンダード作成をクリックする。
-
ファイルシステムの詳細で必要情報を入力する。（ファイルシステム名やデプロイタイプ、ストレージ容量などを決定）
-
ネットワークとセキュリティで必要情報を入力する。（作成先のVPC、VPC Subnet、セキュリティグループを決定）
-
セキュリティと暗号化で必要情報を入力する。（KMSと連動し、格納データの暗号化が可能）
-
デフォルトのストレージ仮想マシン設定で必要情報を入力する。
-
デフォルトのボリューム設定で必要情報を入力する。
-
次へをクリックし、ファイルシステムの作成を行う。
-
ファイルシステムが作成されたことを確認する。
-
ストレージ仮想マシンが作成されたことを確認する。
-
NFS Volumeが作成されたことを確認する。
-
ストレージ仮想マシンのIPアドレスを確認する。（今回の場合は、管理IPアドレスとNFS IPアドレスが必要）
以上でAmazon FSx for NetAppのファイルシステムの作成とAmazon SageMakerのノートブックインスタンスにマウントするNFS Volumeの作成が完了しました。
AWSマネジメントコンソールからNetApp ONTAPストレージが作成できるので、簡単ですね。
次回予告
Amazon SageMakerのノートブックインスタンスを作成して、Amazon FSx for NetApp ONTAPのNFSボリュームをマウントしたいと思います。