0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

sagemakerでEFSまたはAmazon FSx for Lustreを使用すると、どんなメリットがあるのか?

Last updated at Posted at 2021-01-29

結論

トレーニングジョブを行う際、EFSまたはAmazon FSx for Lustreを使うと、高速な開始と短いトレーニング時間に短縮できる。
次の段落では、EFSまたはAmazon FSx for Lustre使用せず、S3に格納されている場合について説明する。

参照:https://aws.amazon.com/jp/blogs/news/speed-up-training-on-amazon-sagemaker-using-amazon-efs-or-amazon-fsx-for-lustre-file-systems/

SageMakerの全体像とs3にデータを格納した場合のフロー

sagemakerのデフォルトの設定では、以下のアーキテクチャが採用される。
データは、全てS3バケットに集約されている状態。
この状態だと、トレーニングジョブを開始する際、
S3バケット→トレーニングインスタンスにアタッチされた EBS ボリュームにダウンロードのフローになる。
一方、EFSまたはAmazon FSx for Lustreを使用した場合は、ダウンロードの手間が省かれる。

スクリーンショット 2021-01-29 11.50.06.png

参照:https://www.accenture.com/jp-ja/blogs/cloud-diaries/amazon-sage-maker

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?