AWS SageMaker Studioに含まれる個別機能を一通り触ってみた

概要

以下を一通り触ってみた。クラスメソッドさんの解説サイトを読みながら、AWS labsのサンプルを写経しました。
* Autopilot
* Experiments
* Model Monitoring
* SageMaker Debugger

※Studioからの見え方ではありません。

Autopilot

• XGBoostなどのアルゴリズムやハイパーパラメータを様々試してくれる
  • 実行するとSageMakerのジョブが250個走りました
    • なんだかんだでXGBoostが選ばれることが多い
  • データサイエンティストが要らなくなる、とまでは言えないまでもかなりの作業が楽になると思います
• 電話によるマーケティングで定期預金を契約するユースケース
  • Direct Marketing with Amazon SageMaker Autopilot

Experiments

• 機械学習は言うまでもなく、様々な学習を試行錯誤します 　 * 学習結果をタンキングし、後々比較検証できるようにします 　 * Autopilotは比較検証まで自動でやってくれるものだとすると、比較検証の部分を目検するイメージ
• MNISTの手書き文字を判別するユースケース
  • MNIST Handwritten Digits Classification Experiment

Model Monitoring

• 高精度が得られた学習モデルも時間変化などにより劣化する場合があります
  • 推論時に学習モデルの精度の劣化をモニタリングしてくれます
  • システム開発でもCI/CDにより品質デグレードを日々確認しますが、機械学習でも同様のことが必要なイメージ
• 学習済みモデルに対して推論をかけてモニタリングするユースケース
  • Monitor a live endpoint for violations against constraints

Debugger

• 化学の実験のように機械学習の学習時間は非常に長く、結果が出ないこともしばしば
  • 途中経過がどのような状態かは確認したいものです
  • 勾配やロスなどの状態を取得し、その内容に応じた分析が可能になります
• MNISTのデータセットに対する学習中に勾配消失やロスが減らない状態を監視するケース
  • Amazon SageMaker Debugger - Using built-in rule

まとめ

今回紹介した機能を統合したSageMaker Studioを使えばさらに簡単に使えるようになること間違いなしです。AutopilotをSageMaker Studioで使ってみたりもしましたが、より簡易に使えるようになるなという印象でした。