はじめに
こちらの記事はインテックアドベントカレンダー2022の2日目の記事です。
本記事では、MLOpsに関するサービスについて調査した内容をまとめていきます。
MLOpsは、Google Cloud Next 2018で有名になった概念で、DevOps for MLとして、機械学習システム特有の課題解決のために導入されています。そこから時間が経ち、MLOpsが各社で徐々にサービス化されてきました。
MLOpsの概要については、こちらの記事に大変わかりやすくまとまっていますので、一読をお勧めします。
対象読者
- MLOpsに興味のある方
- 機械学習システムを扱っている or 扱ったことがある方
MLOpsサービス
ここからは、現在MLOpsをサービスとして提供している企業とそのサービス内容について、まとめていきます。
NEC
NECでは、モデルの作成から運用支援までのライフサイクルをトータルに支援する、MLOpsサービスを提供しています。
具体的には、AIを実運用へ導入した後の運用のプロセスと必要なテンプレートを整備したソリューションのようです。
挙げている課題
- 検証時に精度の出ていたモデルが、実運用では精度が出なくなった
- 精度を上げるためにモデルを再学習しても、精度が上がらない
サービス内容について
| 提供サービス | サービスの詳細 |
|---|---|
| モデルのモニタリング | 定常的なモデルのモニタリング 精度劣化やデータの傾向変化時にアラート送信および次のアクションの提言 |
| モデルの更新 | モデルの再学習 再学習後のモデルと運用中のモデルの比較 |
| モデルの継続的な改善 | 業務内容変更に応じた分析内容等の変更 業務遂行時の課題解決案の提言 |
NTT DATA
NTT DATAでは、既存のDevOpsサービスにおける顧客へ素早く価値を届けるためのノウハウをベースに、多数のAI案件で得られた知見を適用し開発したMLOps導入サービスを提供しています。
具体的には、機械学習システムによるビジネス価値の創出の難しさの解決を図るソリューションのようです。
挙げている課題
- PoCから商用フェーズへの移行ができない
- デリバリースピードが出せず、ビジネス価値が維持できない
サービス内容について
| 提供サービス | サービスの詳細 |
|---|---|
| 機械学習版DevOpsツールの導入 | 案件ごとにテーラリングしたツールの提供 |
| 継続的なモデル評価（CE）を 行うパイプラインの導入 |
常に価値を生み出せるモデルを商用サービスへ繰り返しリリース |
| 運用作業の自動化 | ①モデル開発 ↓ ②デプロイ ↓ ③モデル精度監視 ↓ ④データ作成・再学習 ↓ ①モデル開発 ↓ … のサイクルを効率化 |
TDSE
TDSEでは、機械学習を利用した本番運用を支援し、ビジネス利用を促進するため、モデルの作成から本番環境へのデプロイ、精度監視といった一連の機械学習プロセスの効率化を行うMLOps支援サービスを提供しています。
挙げている課題
- MLOps環境が、業務においてはセキュリティポリシーのためにすべての機能をクラウド上で展開することが困難な場合があること
サービス内容について
| 提供サービス | サービスの詳細 |
|---|---|
| オープンソースによるMLOps環境のスクラッチ構築サービス | MLflowなどの主要なオープンソースを組み合わせたテンプレートを活用した、顧客ごとの最適環境の提供 |
Headwaters
Headwatersでは、AIシステム開発/運用の効率化とナレッジの蓄積/活用を行うMLOpsプラットフォーム SyncLect CL を提供しています。
挙げている課題
- データサイエンティストとソフトウェアエンジニアの間に壁があることが要因で、機械学習プロジェクトがPoCの壁を越えず、実運用まで至りづらい
- 機械学習の専門的な学習モデルの精度向上と、システム運用における安定稼働を行う人材は別々のスキルであることが多い
SyncLect CLについて
SyncLect CLは、AIシステム開発/運用の効率化とナレッジの蓄積/活用を行うMLOpsプラットフォームで、機械学習プロセスを自動化するものとなっています。
具体的には、下記のような特徴を持つようです。
- 各AI案件にて作成された特徴量エンジニアリングのライブラリ化
- 上記ライブラリをパイプライン化して実行可能な機能として提供
- AI開発/運用における各工程の半自動/自動化
- アノテーション
- 特徴量エンジニアリング
- 学習
- 評価
- デプロイ
- モデルの学習、評価、推論におけるマシンリソース管理の自動化
まとめ
今回は国内4社で提供されているMLOpsサービスについて、調査した内容をまとめました。
所感ですが、MLOpsサービスと一口にいっても、各社が機械学習システムを実運用化する上で課題としてあげている部分は若干異なっており、それだけ機械学習システムにおける課題は多岐にわたるということを改めて認識しました。
個人的には、NTT DATA MLOps導入サービスの中で、CE（継続的なモデル評価）という言葉が出てきたのが印象的です。
MLOpsは、DevOpsのCI（継続的インテグレーション）とCD（継続的デリバリー）に、CT（継続的トレーニング）が加わったものと言われますが、実運用においては、モデルの精度を監視して評価し、評価結果に応じて次のアクションにつなげる流れが重要になります。CEという言葉を定義することで、機械学習システムにおけるモデルの監視や評価の重要性が、MLOpsに初めてトライする方にも分かりやすく伝わると感じました。