はじめに
re:Invent 2018で発表された Amazon SageMaker の追加機能である Groud Truth について、AWS ML University 内で提供されている動画を訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。
また Ground Truth を実際に手を動かして試した記事は以下になります。
Amazon SageMaker Ground Truth を試してみる
Amazon SageMaker Ground Truth とは
概要
Ground Truth は、Amazon SageMaker 上で機械学習を行う上で必須となるデータセットを素早く正確にラベルリングすることが可能になる新機能です。データセットのラベル化の一部を自動的に行い、AWSが提供するアルゴリズムを駆使することでより正確なデータに変換して提供します。
学習データを用意するための課題
通常学習データの作成は、多大な労力とミスが伴う作業です。学習データの作成は多くの人員が必要になるので、結果的にコストとミスの増加に繋がります。なおかつ複雑な工程となるために完成させるのに数ヶ月かかる作業です。
Ground Truth による解決
Ground Truthはそういった問題を解決することができる機能を備えています。
- S3にあるデータを活用し、高精度なデータラベルの作成を簡単に行うことが可能
- 数クリックでデータのラベル化を完成させることが可能
- 類似したラベルのタスクにはテンプレートが提供される
- ラベリングを行うサポートする人材を選ぶパターンが3つ提供される
データのラベル化の作業が一通り完了すると、データはS3に遷移します。これにより高精度なデータのラベル化が可能となります。
人の手によるラベル化を行う場合、3つの選択肢の中からどれか1つを選ぶことができます。
- Amazon Mechanical Turkに登録されている作業員
- AWS Marketplaceに登録されているサードパーティベンダーの従業員
- 自社内で抱えている作業員
Ground Truth によるラベリング
Ground Truth により高精度なデータラベル化を可能にする理由は、UX 技術の進化とビルトインアルゴリズムによるものです。この UX は全てのテンプレートに搭載されており、どのようなラベル化のタスクにも対応しています。
Ground Truthがより高精度なデータラベル化を可能としている仕組みは上図の通りです。Ground Truthは自動ラベル化という機能を搭載しております。これにより高精度なデータのラベル化を可能とします。
自動ラベル化の仕組みを少し詳しく紹介します。この機能の特徴は Ground Truth 側で学習データを調べ、Groud Truth でのデータ理解度によって自動でラベル化するのか、それとも手動で行うかを選別する機能があります。
以上のことから、Ground Truthを利用することで3つのメリットを得られます。
- データのラベル化にかかるコストを70%以上も削減
- データセットの管理をセキュアにすることが可能
- 検証データセットをより高精度なものにすることが可能
おわりに
以上が Amazon SageMaker Ground Truth の動画内容のまとめとなります。
機械学習の工程の中で9割以上を占めると言われる学習データの用意が劇的に楽になると思われます。機械学習技術をビジネスに導入する際のハードルが大きく下がっていくのではないでしょうか。すごいサービスが世の中にどんどん登場しそうですね！