はじめに
先日、AWS認定 機械学習 - 専門知識 (AWS Certified Machine Learning - Specialty) に合格し、AWS認定試験をすべて制覇することができました。11冠達成!
この試験で特に重要なのがAWSの機械学習サービスである 「Amazon SageMaker」 です。
しかし、一口に「SageMaker」といっても「SageMaker ****」といった関連サービスがとても多い。
もちろん、機能が多いのはありがたいことなのですが、初心者にとっては覚えるのが大変なので、試験の復習も兼ねて、まとめてみました。
SageMaker サービス体系
注意事項
-
AWS re:Invent 2021 (2021/11/29 - 2021/12/03) 以降に発表されたサービスは別枠としているのは、リリースされて6か月以内のサービスや機能に関する問題が認定試験で出題される可能性は低いためです。
-
Exam Readiness: AWS Certified Machine Learning - Specialty (Japanese) には、以下の記載がありました。
- 試験問題には、以下は含まれません。
- 提供開始から 6 か月以内の新しいサービスや機能
- 料金やパフォーマンスメトリクスなど、変更される可能性がある情報
- ただし、本記事を見た時期によっては、これらのサービスや機能に関する問題も出題される可能性はあると思いますので、ご留意ください。
各SageMaker関連サービス概要
ここからは各サービスの概要を解説していきます。
-
本記事で触れるのはSageMaker関連サービスの概要です。
認定試験に合格するには、各サービスの詳細まで把握しておく必要があります。 -
SageMaker関連サービスをマスターするだけでは認定試験は合格できません。
一般的な機械学習の知識やSageMaker以外のAWSサービス(特にAI系サービス)に関する知識も必要になります。
Amazon SageMaker
まずは本家 SageMaker。これを覚えなきゃ始まりません。
機械学習モデルを構築、トレーニング、デプロイするフルマネージドサービスです。
-
キーワード
- モデル作成
- トレーニング
- 推論
SageMakerの組み込みアルゴリズム (built-in algorithms)
SageMakerの組み込みアルゴリズムは執筆時点(2022/3/14)で17種類あります。
数が多くて大変ですが、各アルゴリズムの特徴や用途は必ず覚えておきましょう。
- BlazingText
- DeepAR Forecasting
- Factorization Machines
- Image Classification
- IP Insights
- k-means
- k-nearest-neighbor (k-NN)
- LDA
- Linear Learner
- Neural Topic Model
- Object2Vec
- Object Detection
- PCA
- Random Cut Forest
- Semantic Segmentation
- Seq2Seq Modeling
- XGBoost (eXtreme Gradient Boosting)
各アルゴリズムの概要を覚えるには以下のブログが分かりやすかったです。(感謝)
Amazon SageMaker Data Wrangler
データ準備と機能エンジニアリングのプロセスを簡素化し、データ選択、クレンジング、探索、視覚化などをサポートするサービスです。
-
キーワード
- データの準備・前処理
- データクレンジング
Amazon SageMaker Clarify
データと機械学習モデルのバイアスを検出し、解釈可能性を視覚的に表現することができるサービスです。
-
キーワード
- バイアス(データの偏り)の検出
- 解釈可能性 (Interpretability)
Amazon SageMaker Ground Truth
トレーニングデータのラベリング(ラベル付け)を行うことができるサービスです。
なお、AWS re:Invent 2021 では Amazon SageMaker Ground Truth Plus が発表されました。
-
可能なラベリング
- テキスト分類
- 画像分類
- 物体検出
- セマンティック・セグメンテーション
- ユーザー定義のカスタムタスク
-
キーワード
- データラベリング(データのラベル付け)
Amazon SageMaker Feature Store
特徴データを管理するリポジトリ機能を提供するフルマネージドサービスです。
-
キーワード
- リポジトリ
- 特徴データ・特徴エンジニアリング
Amazon SageMaker Processing
データの前処理や後処理、モデル評価を実行するインフラ環境を提供するフルマネージドサービスです。
-
キーワード
- データ加工・前処理・後処理
- モデル評価
- 組み込み Scikit-Learn コンテナ
- 独自コンテナ
Amazon SageMaker Studio
機械学習のための統合開発環境(IDE)を提供するフルマネージドサービスです。
-
キーワード
- 統合開発環境 (IDE)
Amazon SageMaker JumpStart
ワンクリックで事前構築済みモデルをデプロイし、機械学習ワークフローを簡単に実現するフルマネージドサービスです。
-
キーワード
- 事前構築済みモデル
Amazon SageMaker Autopilot
可視性を備えた機械学習モデルの自動作成機能を提供するサービスです。
-
キーワード
- モデルの自動作成
- 可視性
Amazon SageMaker Debugger
トレーニングメトリックをリアルタイムで監視し、モデルのデバッグ(分析・最適化)をサポートする機能を提供するサービスです。
-
キーワード
- モデルの分析・最適化
Amazon SageMaker Model Monitor
本番環境にデプロイされたモデルを監視し、不正確な予測を検出してアラートを発することにより、モデルの品質を維持するためのモニタリングサービスです。
-
キーワード
- モデルの監視(モニタリング)
Amazon SageMaker Neo
クラウドインスタンスとエッジデバイス向けの機械学習モデルを最適化する機能を提供するサービスです。
-
キーワード
- モデル最適化
- 推論高速化・省メモリ化
- エッジデバイス最適化
Amazon SageMaker Edge
エッジデバイス(スマートカメラ、ロボット、その他のスマートエレクトロニクスなど)にデプロイされたモデルの管理・モニタリング機能を提供するサービスです。
-
キーワード
- エッジデバイス
- 管理・モニタリング
Amazon SageMaker Pipelines
機械学習向けのCI/CDサービスです。
-
キーワード
- CI/CD
AWS re:Invent 2021 以降に発表されたサービス・機能
ここからは AWS re:Invent 2021 (2021/11/29 - 2021/12/03) 以降に発表されたサービス・機能を紹介していきます。
前述のとおり、リリースされて間もないサービス・機能に関する問題が認定試験で出題される可能性は低いですが、今後、出題されるようになる可能性はあると思いますので掲載しておきます。
また、認定試験で出題されるかどうかに関わらず、SageMakerを使用している方はぜひ覚えておきましょう。
Amazon SageMaker Canvas
きました。機械学習に限らず、近年、注目されている ノーコードサービス です。
ノーコードでエンジニアではないビジネスユーザーがコードを記述せずに機械学習モデルを構築できるサービスです。
-
キーワード
- ノーコード
Amazon SageMaker Ground Truth Plus
既存サービスである Amazon SageMaker Ground Truth の強化版です。
-
キーワード
- データラベリング(データのラベル付け)
Ground Truth と Ground Truth Plus の違いは以下を参照してください。
引用:https://aws.amazon.com/jp/sagemaker/data-labeling/
Amazon SageMaker Training Compiler
深層学習 (Deep Learning) モデルのトレーニングを高速化する機能をサービスです。
-
キーワード
- 深層学習 (Deep Learning)
- トレーニングの高速化
Amazon SageMaker Inference Recommender
負荷テストを自動化し、機械学習モデルのパフォーマンスを最適化するAmazon SageMaker Studioの機能です。
-
キーワード
- 負荷テストの自動化
- パフォーマンス最適化
- コスト最適化
Amazon SageMaker Serverless Inference
機械学習のサーバーレスなインフラストラクチャを提供するサービスです。
-
キーワード
- サーバーレス
Amazon SageMaker Studio Lab
AWSアカウント不要、かつ、無料で機械学習の学習ができるサービスです。
-
キーワード
- 統合開発環境 (IDE)
- 無料
- AWSアカウント不要
勉強方法・試験対策
最後に、勉強方法と試験対策の情報を少しだけ書いておきます。
検索するとたくさん出てきますが、私は以下のブログが一番参考になりました。(感謝)
試験ガイド
AWS公式の試験ガイドには、どのような分野やサービスの問題が出題されるかが記載されているので、必ず目を通しましょう。
AWSトレーニングライブラリ (Exam Readiness)
AWS公式の試験対策講座です。無料でいつでも受けられます。
認定試験によっては日本語版が提供されていないものもありますが、機械学習は日本語版も提供されています。
AWSサービス別資料 (Black Belt)
試験に関する主要サービスの資料は読んでおくことをおすすめします。
実際にSageMakerを使ってみる
やはり、これが一番重要だと思います。
あとがき
本記事では、SageMakerにフォーカスしましたが、AWS認定 機械学習 - 専門知識に合格するには、RekognitionやForecastなどのSageMaker以外のAWSサービスに関するスキルや、一般的な機械学習の知識も求められます。
覚えることが多く、大変と思いますが、この記事が少しでも役に立てば幸いです。