SageMaker JumpStartの日本語モデルで利用できるインスタンスタイプ一覧

はじめに

SageMaker JumpStartを使うとLLMが簡単にデプロイ・Fine-tuneできます。
DeployまたはTrainを実行する際には、インスタンスタイプを選択するのですが、選択可能なインスタンスタイプはモデル毎に決まっています。
しかし、その情報がSageMaker Studioを開いて調べる以外にまとまっている場所が無いように思えたので、自分用もかねて、各モデルで利用可能なインスタンスタイプを整理しておきます。
（もし情報がまとまっているサイトがあれば教えて頂けると助かります）

注意点

• 日本語対応の代表的なオープンモデル＋比較用にLlamaを記載しています。使えるモデル全てでは無いので注意してください。
• JumpStartで利用可能なモデル一覧はSageMakerドキュメントから確認可能です。
• 本記事の内容は2024/3/22時点の情報です

各モデルのインスタンスタイプ一覧

SageMaker JumpStartのDeploy, Trainで利用なインスタンスタイプと、東京リージョンでの時間あたりの料金を表で整理しています。

3/26追記
g5.12xlargeとg5.16xlargeを比較するとスペックが上がるのに料金が下がっているのですが、これは公式ドキュメントをそのまま参照しています。公式ドキュメントがおそらく間違っていると思いますが。。

Gemma 7B/Gemma 7B Instruct

Deploy	Train	インスタンスタイプ	時間当たり料金
-	-	ml.g5.xlarge	2.043USD
-	-	ml.g5.2xlarge	2.197USD
-	-	ml.g5.4xlarge	2.944USD
-	-	ml.g5.8xlarge	4.438USD
O	O	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
O	O	ml.g5.24xlarge	14.764USD
O	O	ml.g5.48xlarge	29.528USD
-	-	ml.g4dn.12xlarge	6.601USD
-	-	ml.p3dn.24xlarge	49.20USD
O	O	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

Gemma 2B/Gemma 2B Instruct

Deploy	Train	インスタンスタイプ	時間当たり料金
O	-	ml.g5.xlarge	2.043USD
O	O	ml.g5.2xlarge	2.197USD
O	O	ml.g5.4xlarge	2.944USD
O	O	ml.g5.8xlarge	4.438USD
O	O	ml.g5.12xlarge	10.283USD
O	O	ml.g5.16xlarge	7.426USD
O	O	ml.g5.24xlarge	14.764USD
O	O	ml.g5.48xlarge	29.528USD
-	-	ml.g4dn.12xlarge	6.601USD
-	-	ml.p3dn.24xlarge	49.20USD
O	O	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

CyberAgentLM2-7B-Chat (CALM2-7B-Chat)

Deploy	Train	インスタンスタイプ	時間当たり料金
O	-	ml.g5.xlarge	2.043USD
O	-	ml.g5.2xlarge	2.197USD
O	-	ml.g5.4xlarge	2.944USD
O	-	ml.g5.8xlarge	4.438USD
O	O	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
O	O	ml.g5.24xlarge	14.764USD
-	O	ml.g5.48xlarge	29.528USD
-	O	ml.g4dn.12xlarge	6.601USD
-	O	ml.p3dn.24xlarge	49.20USD
-	O	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

Rinna Japanese GPT NeoX 3.6B Instruction PPO

Deploy	Train	インスタンスタイプ	時間当たり料金
O	-	ml.g5.xlarge	2.043USD
O	-	ml.g5.2xlarge	2.197USD
O	-	ml.g5.4xlarge	2.944USD
-	-	ml.g5.8xlarge	4.438USD
-	-	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
-	-	ml.g5.24xlarge	14.764USD
-	-	ml.g5.48xlarge	29.528USD
-	-	ml.g4dn.12xlarge	6.601USD
-	-	ml.p3dn.24xlarge	49.20USD
-	-	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

Japanese StableLM Instruct Alpha 7B v2

Deploy	Train	インスタンスタイプ	時間当たり料金
O	-	ml.g5.xlarge	2.043USD
O	-	ml.g5.2xlarge	2.197USD
O	-	ml.g5.4xlarge	2.944USD
O	-	ml.g5.8xlarge	4.438USD
O	-	ml.g5.12xlarge	10.283USD
O	-	ml.g5.16xlarge	7.426USD
O	-	ml.g5.24xlarge	14.764USD
-	-	ml.g5.48xlarge	29.528USD
-	-	ml.g4dn.12xlarge	6.601USD
-	-	ml.p3dn.24xlarge	49.20USD
O	-	ml.p4d.24xlarge	51.66USD
O	-	ml.p4de.24xlarge	64.57572USD

Llama 2 7B

Deploy	Train	インスタンスタイプ	時間当たり料金
-	-	ml.g5.xlarge	2.043USD
O	-	ml.g5.2xlarge	2.197USD
O	-	ml.g5.4xlarge	2.944USD
O	-	ml.g5.8xlarge	4.438USD
O	O	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
O	O	ml.g5.24xlarge	14.764USD
O	O	ml.g5.48xlarge	29.528USD
-	O	ml.g4dn.12xlarge	6.601USD
-	O	ml.p3dn.24xlarge	49.20USD
O	-	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

Llama 2 13B

Deploy	Train	インスタンスタイプ	時間当たり料金
-	-	ml.g5.xlarge	2.043USD
-	-	ml.g5.2xlarge	2.197USD
-	-	ml.g5.4xlarge	2.944USD
-	-	ml.g5.8xlarge	4.438USD
O	-	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
O	O	ml.g5.24xlarge	14.764USD
O	O	ml.g5.48xlarge	29.528USD
-	O	ml.g4dn.12xlarge	6.601USD
-	O	ml.p3dn.24xlarge	49.20USD
O	-	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

Llama 2 70B

Deploy	Train	インスタンスタイプ	時間当たり料金
-	-	ml.g5.xlarge	2.043USD
-	-	ml.g5.2xlarge	2.197USD
-	-	ml.g5.4xlarge	2.944USD
-	-	ml.g5.8xlarge	4.438USD
-	-	ml.g5.12xlarge	10.283USD
-	-	ml.g5.16xlarge	7.426USD
-	-	ml.g5.24xlarge	14.764USD
O	O	ml.g5.48xlarge	29.528USD
-	-	ml.g4dn.12xlarge	6.601USD
-	-	ml.p3dn.24xlarge	49.20USD
O	O	ml.p4d.24xlarge	51.66USD
-	-	ml.p4de.24xlarge	64.57572USD

参考文献