この記事は株式会社ナレッジコミュニケーションが運営する Amazon AI by ナレコム Advent Calendar 2018 の11日目の記事になります。
Amazon SageMakerはAWSが提供するMachine Learning モデルの構築、トレーニング、デプロイをカバーする完全マネージド型の機械学習サービスです。
今回はそのSageMakerの新しい機能、Amazon SageMaker RLについて紹介します。
Amazon SageMaker RLはReinforcement Learningの略称で、強化学習のことを指します。
強化学習とは
機械学習は大きく「教師あり学習」「教師なし学習」と今回紹介する「強化学習」の3つに分類することができます。
「教師あり学習」は例えば天気予報で明日の天気はどうなるか？などの元になる情報入力から「分類」や「予測」をする方法です。
例:回帰分析
「教師なし学習」は文字通り、正解となる結果が無いものを指します。
例えば過去の購入履歴から購入者のグルーピングをするといった際に購入履歴を情報入力し、出力はグルーピングになりますが正解があるわけでないので近しい購入者をグルーピングしただけとなります。
例:クラスタリング
「強化学習」は上述の2つとは異なり、行動した結果を元に学習するという考え方になります。
明確なデータを元にした学習ではなく、与えられた環境を観測し行動しその結果について良し悪しを判断します。
その良し悪しから価値が最大化する行動を選択、評価を更新していきます。
最近では将棋や囲碁の世界で有名棋士対AIなどが行われていますがここで使われている機械学習も強化学習です。
強化学習については下記のサイトがわかりやすかったです。
【参考URL】
強化学習とは？ALPHAGOでも使われている強化学習を丁寧に解説
Amazon SageMaker RLについて
Amazon SageMaker RLはAmazon SageMaker の同様に、Jupyter notebook のコレクションが提供されていて、Github で入手可能です。
簡単な examplesから、より高度なロボティクス、金融など様々な業種のものまで幅広く提供されているのも特徴です。
また強化学習ではシミュレーションはCPU、学習は GPU という使われ方をすることが多いですが、Amazon SageMaker RLでは状況に合わせて柔軟にスケールできるのも大きなメリットです。
Amazon SageMaker RLはAWSのサービスとも連携
Amazon SageMaker RLはAWS RoboMaker(AWSが提供するAIロボットカー「AWS DeepRacer」などの知能ロボットアプリケーションを簡単に開発、テスト、デプロイできるサービス)やAmazon Sumerian(バーチャルリアリティ (VR)、拡張現実 (AR)、および 3D アプリケーションをすばやく開発できるAWSのサービス)シミュレータとも連携します。
【参考URL】
Amazon SageMaker RL – Amazon SageMakerを使ったマネージドな強化学習
さいごに
Amazon SageMaker RLは東京リージョンでもすぐに利用可能です。
またAmazon SageMakerは今回紹介した強化学習以外にも様々なアップデートがされました。
ぜひこれを機会に機会学習を触ってみてください！