MLOpsがいろいろ進化しててすごい #MLOps

先日機械学習系の勉強会に参加させてもらって、最近のMLOpsめっちゃ便利になっててスゲーって思ったのでつらつらと

MLOpsとは

雑に言うと機械学習の研究からデプロイまでのサイクルをいい感じに回そぜーっていうやつです
DevOpsの機械学習バージョンです。

何かしらの推論サービスを提供しようとすると、以下のようなフェーズをぐるぐる回すことが多いと思います。

フェーズごとに機械学習ならではの要件があるのですが、エンジニアとしてはなかなかつらい要件です

研究開発フェーズ
- いろいろな条件で機械学習をぶん回したいので、高スペック環境が必要
  - CPUどころかGPU・TPU環境が必要になることも
- いろいろな条件で検証して比較検討するので、検証した条件や結果を保存したい
モデル学習フェーズ
- もちろん高スペック環境が必要
- 大量のデータを取得する必要（になることが多い）
- 最新データを扱う必要があったり速度が求められる場合はかなり工夫しなければならない
デプロイフェーズ
- 機械学習モデルが巨大な場合、どこかのストレージに配置する必要がある
- モデルを再作成する場合など、バージョン管理が必要になることもある
サービス提供フェーズ
- もちろん高スペック環境が必要
  - モデル作成ほどではないが一時的にめっちゃメモリ食ったりCPU鬼使いする
- デプロイされた機械学習モデルを使用して推論サービスを提供するフェーズ。
- サービスダウンさせちゃいけない
  - 何もケアしないと、いとも簡単にサーバーが逝きます（CPUメモリ鬼食いするから）
- 速度が求められる
精度監視フェーズ
- リアルタイムや速報ベースで精度を監視する必要がある

機械学習ってただでさえ専門知識必要な難しい領域なのにOpsまで見てられるか！！ぷん！！！
と言いたくもなりますが、じゃぁそこの面倒見てくれる人がいるかっていうといないことが多いわけで。。

とはいえこの要件満たせないとサービスとして提供するのは難しいし、自前で全部構築するのはつらすぎなんだけど。。

というわけで満を持して登場したのがMLOpsマネージドサービスですね
面倒なことは全部マネージドサービスにやらせちゃおう、というやつです

AWS、GCP、AzureなどのクラウドサービスではMLOpsのマネージドサービスが結構出ているみたいです。
OSSで便利なツールもたくさんあるみたいです。

MLOpsマネージドサービス
- 機械学習ぜんぶまかせて～ALL IN ONE～なやつら
  - モデル学習、モデル評価、モデルデプロイまでぜーんぶやっちゃうよっ
- 勉強会ではSageMaker (AWS)、VertexAI (GCP 前はAI Platformという名前だった)、Kubeflow (OSS)の名前をよく聞きました。
- ここでサービス提供用のエンドポイントまで用意してあるってんだからすごいよね～（誰）
実験管理ツール
- 研究開発フェーズの強力なサポートツール。実験管理記録はまかしとき～なやつ
- いろいろあるみたいですが勉強会ではMLFlowの名前をよく聞きました。
パイプライン管理ツール
- データ前処理→モデル学習→モデル評価のフローを管理できるツール
- いろいろあるみたいですが勉強会ではAirflowの名前をよく聞きました。

正直このあたりのサービスを全く試した経験がなかったので、あまりにも当たり前に語られててヤバイ…！と思いました。勉強しないと。。

MLOpsマネージドサービスにのっけていればエンドポイント提供してハイ終わり、ということもできるのですが、そうもうまくいかないこともありますよね。はい。

前述したとおり高スペック環境が必要・サービスダウンさせちゃいけない・速度が求められるとなかなか大変な要求をこなさないといけないので、本番で提供するうえでかなり重要な観点です。

勉強会後の懇親会でみんな何使ってる～？って聞いたらマネージドサービスでエンドポイントあけるか、クラウドサービスのコンテナサービス（k8s含む）に乗っけることが多いんじゃないかな？とのことでした

そ、それってコンテナとかk8sにのっけた推論サービスの本番運用の知識も必要になるのかな？？？
Opsも勉強しないとーー

ということで少しYouTubeを漁ってみました

ということで勉強会を通じてMLOps勉強せなあかん！！と焦ったという話でした

まずはマネージドサービスの機能を調べてさくっと実装して体験しちゃうのもよさそうですね
また今後もYouTube漁ったり勉強会に参加するのも強い人が試した情報が得られてgoodだと思いました

こちらもめっちゃわかりやすかったのでどうぞ～