現職でMLOpsエンジニアとして2年ほど働いており、機械学習のシステム開発や運用やトラブルシューティングに携わっているのですが、そこで得てきた機械学習をシステムに組み込むための知見をパターン化して公開しました。
(デザインパターンと名乗っていますが、デザインパターンの偉大な先人たちには遠く及ばない内容です。申し訳ありません。)
https://github.com/mercari/ml-system-design-pattern
機械学習システムデザインパターン作成の意図は現職のTechblogで書いています。
https://tech.mercari.com/entry/ml-system-design
それはそれとして、機械学習のモデルを本番システムで実用化する例やノウハウが世の中にどんどん出てきているので、個人的に参考にさせていただいている記事やブログをまとめてみたいと思います(自分のメモがてら)。
UI/UX
MLOps・MLシステム関連
- machine-learning-systems-design
- Challenges for machine learning systems toward continuous improvement
- Machine Learning Systems
- 機械学習システムのアーキテクチャアラカルト
- 機械学習システム開発案件の事例紹介
- 機械学習システムの33のアーキテクチャパターンおよびデザインパターン
- ゆるふわMLOps入門
- 2019年のDevOps/MLOpsエンジニアの標準的スキルセット
- MLOps with a Feature Store
- クックパッドでの機械学習フロー
- Kubernetes を利用したコンテナベース機械学習基盤の構築
- MLOpsフレームワークをざっくり比較する
- 機械学習モデルの推論web APIサーバーの構成 [FastAPIの実装例あり]
- Deep Learnningのモデルの作成・学習時の実験管理を楽にするツールたち
- AIプロダクト品質保証2019ガイドラインまとめ - 01
特定ライブラリやサービス、ツール系
Tensorflow
MS Azure
AWS Sagemaker
- awslabs/amazon-sagemaker-mlops-workshop
- Simple MLOps with Amazon SageMaker, Lambda and AWS Step Functions Data Science SDK
- Machine Learning Infrastructure ~Terraforming SageMaker Part 1~
- Airflow と SageMaker で構築する推論パイプライン
KubeFlow
- Architecture for MLOps using TFX, Kubeflow Pipelines, and Cloud Build
- How to carry out CI/CD in Machine Learning (“MLOps”) using Kubeflow ML pipelines (#3)
Tips・まとめ・学習コース系
- 推論のための機械学習基盤を本番稼働させる際に気をつけるn個のこと
- Cousera / Production Machine Learning Systems / Architecting Production ML Systems まとめ
- Six Important Steps to Build a Machine Learning System
- EthicalML/awesome-production-machine-learning
カンファレンス
- MLSys (旧称 SysML)
- MLOps NYC
- MLOps SF
- OpML
- Edge AI Summit