Amazon SageMaker の使い方で悩んだら
猫好きのみなさま、そうでないみなさま、こんにちは。
Amazon SageMaker 使ってますよね（使っていない場合もあります）。
サクッと機械学習の開発環境を構築できたり、GPU マシンを使って分散学習できたり（Spot Instance も選択可能！）と、機械学習に関するあれこれに便利な Amazon SageMaker ですが、「SageMaker でこういうことできるの？」「これをやりたいとき、どうすれば良いの？」という状況になることもあると思います。
エンジニアの方は自己解決スキルが高い方が多いので、たいていググって正解にたどり着かれると思いますが、まれにググっても正解が見つからない、見つかるまでに時間がかかることもあると思います。そんなとき、この記事を思い出していただけるとお役に立つかもしれません。
具体的な使い方を知りたいとき：サンプルノートブック
AWS が SageMaker の サンプルノートブックを GitHub で公開 しているのをご存知でしょうか？
SageMaker の 開発者ガイド を読んで使い方を知るのもアリなのですが、こちらのサンプルノートブックから、ご自分のやりたいことに一番近そうなノートブックをベースに、それを改造していくと、やりたいことに最短距離で到達できることがあります。
2019年の AWS re:Invent で Amazon SageMaker Studio, Autopilot, Debugger, Experiments, Model Monitor などの新機能が発表されましたが、これらの機能を使うためのサンプルノートブックも用意されています。フォルダやノートブック名に機能名が入っているので、GitHub リポジトリ で機能名で検索すると所望のノートブックが見つかると思います。
とりあえず触ってみたいとき：ワークショップコンテンツ
| # | コンテンツ | 概要 |
|---|---|---|
| 1 | SageMaker Immersion Day | 英語のコンテンツですが SageMaker の代表的な機能を一通り体験できます。 1. SageMaker DataWrangler を使った前処理 2. XGBoost の学習、チューニング、デプロイ 3. 独自のモデルの学習 4. SageMaker Autopilot, SageMaker Debugger, SageMaker Model Monitor 5. バイアスと説明性 (SageMaker Clarify) 6. SageMaker Pipelines |
| 2 | Inferentia Workshop | 英語のコンテンツですが、推論用チップ Inferentia を搭載したインスタンスで推論を実行するまでを体験できます。 |
どんな機能があるのかを俯瞰的に知りたいとき：開発者ガイド
サンプルノートブックを動かしてみて、他に便利な使い方はないかな？と思った場合は、こちらの 開発者ガイド を見ていただくと、サンプルノートブックには書かれていなかった他の方法や便利機能などを知ることができます。最新情報を知りたい場合は、言語設定を英語 にすると、日本語バージョンでは書かれていない情報が出てくることがあります。言語設定は、開発者ガイドの上のメニューから変更することができます。情報を検索したいときは英語で検索するのがオススメです。検索エンジンに Amazon Kendra が使われており、英語による自然言語での検索が可能です。
API の使い方の詳細を知りたいとき：API リファレンス
サンプルノートブックで API のだいたいの使い方はわかったけど、他にはどんなオプションがあるの？などの詳細を知りたい場合は、API リファレンスを参照します。
Boto3 (AWS SDK for Python) の API について知りたい場合は こちら を、Amazon SageMaker Python SDK の API について知りたい場合は こちら を参照します。自分がどちらを使っているのかわからない！という方、ざっくり言うと、学習ジョブを立ち上げる際に create_training_job 関数を呼んでいれば AWS SDK for Python で、fit 関数を呼んでいれば Amazon SageMaker Python SDK を使っています。
その他の言語で SageMaker を使う場合は、以下を参照します。
- AWS Command Line Interface
- AWS SDK for .NET
- AWS SDK for C++
- AWS SDK for Go
- AWS SDK for Java
- AWS SDK for JavaScript
- AWS SDK for PHP V3
- AWS SDK for Ruby V2
謎のエラーがでたとき：Amazon SageMaker Discussion Forums
SageMaker をある程度使っていて、初めて遭遇したエラーが出たとき、Amazon SageMaker Discussion Forums でエラーメッセージで検索したり、機能や API 名で検索すると、ヒントが見つかるかもしれません。また、Forum で質問をすることで、解決策が見つかるかもしれません。
新しい機能を知りたいとき：AWS ブログ
新しい機能がリリースされると、AWS ブログ（日本語） や AWS ブログ（英語） で紹介されます。日本語の方にしかない記事や、英語の方にしかない記事もありますが、新しい機能の紹介だけでなく、SageMaker の便利な使い方の紹介の記事もあります。
その他便利情報：ノートブックインスタンスの Lifecycle 設定のサンプル
様々な Lifecycle 設定のサンプルがこちらで公開されています。任意の時間使用していないノートブックインスタンスを自動で停止させるなどのサンプルがあります。
https://github.com/aws-samples/amazon-sagemaker-notebook-instance-lifecycle-config-samples
まとめ
情報が散らばっていて、欲しい情報になかなかたどり着けないことがあるかもしれません。
そういうときに、この記事がお役に立てば幸いです。