AWSデータ分析系ツールまとめ（AI+BI=MLOps）

AI+BI=MLOps?

AI(人工知能)とか、BI(Business Intelligence)とか
データ分析系のAWSのソリューションたちはいっぱいあるけどレベル感とか色々だし整理してみた。

• AI
  • SageMaker/Forecast/Personalize
• BI
  • Redshift/Athena/EMR/Quicksight
• MLOps(AI+BI)
  • 上記の組み合わせでデータ分析のエコシステムを構築

AI:難易度別の3レイヤ

難易度順に並べてみた。ガッツリ使うなら、2-1が良いがだんだんと2-2や3でも大丈夫な世界に近づきつつある。AI？機械学習？何それコワイっていう方は機械学習がわかるようになるステップを記録していくを参照ください。

1. ML Framework:NoteBookとかをそのまま使う
2. ML Services:
   1. Pythonとかガリガリ書く -> SageMaker
   2. アルゴリズム自動選定 -> AutoMLと呼ばれる領域。SageMaker Autopilot
3. AI Services:目的特化 -> Personalize/Forecastなど

参考：AWSの機械学習サービス概要と Amazon SageMaker

BI:データ活用の5ステップ

どういう情報ソースから収集・格納・加工・抽出・分析するかという5ステップがある。

1. 情報ソース
   2. IoT -> AWS IoT Greengrass
   1. ビッグデータ
   2. RDB
   3. ソース -> CodeCommit
2. 収集
   1. ストリーミング -> Kinesis
3. 格納
   1. RDB -> Redshift
   2. オブジェクト -> S3
4. 加工・抽出
   1. 加工：Glue/EMR
   2. 抽出：Redshift/Athena
5. 分析
   1. Quicksight

そのほか

• イベント処理：Lambda
• 順次実行：Stepfunctions
• ソース変更：CodeXX

MLOps(AI+BI):エコシステム化

AI+BIをどう組み合わせればよいか

上記の数々の組み合わせが紹介されている

参考：Amazon SageMaker を中心とした持続的な ML システム

3つの活用領域

AIをビジネスに活用するのがAI活用の通例だが、開発や運用への活用も着目されている。

• ビジネスへ：BizML
• 開発へ：DevML
• 運用へ：OpsML

ちょっと内容はずれるが、以下のサイトを参考にさせていただいた
※参考：MLOps（機械学習基盤）とは？　AIOpsとの違い

まとめ

は、なかなか難しいが、AIとBIとMLOpsはおさえておきたい技術の一つ。