はじめに

4月23日にメルカリ澁井氏(@cvusk )により、機械学習システムのデザインパターンについてのブログポスト、および実ドキュメントがGitHub Pages公開されました。

https://tech.mercari.com/entry/ml-system-design より引用

また、氏の「データ分析基盤Developers Night #4 〜活用されるデータ基盤のつくり方〜」における「メルカリのデータ分析を支える機械学習システムのデザインパターン」の発表が、

にあり、併せて視聴すると、どのように設計パターンという発想に至ったか、またメルカリにおける設計パターン活用の実例に触れられます。

には、ご本人により、こうした機械学習のエンジニアリング、アーキテクチャ面の参考リンクがまとめられています。この設計パターンを読みながら、併せて活用できます。

こうした知見をまとまった形で公開いただいたことに感謝です。

機械学習システムの設計パターン構成

以下の5つの視点からまとめられています。特に、システムの現場の運用からの知見がちりばめられている、Serving, Opsは、情報量が多いです。

まだざっと通読したところなのですが、自分の2回目以降、あと人と話をするときのため、簡単なサマリを作りました。

利用シーンと制約に合わせたデプロイパターンが紹介されています。

バッチ、パイプライン化、パラメータやアーキテクチャサーチをパターンとして取り上げています。

主に本番環境投入前、または段階的投入のテストパターンが紹介されています。

Servingと連携する部分がありますが、デプロイした後の監視、および運用上の工夫がまとめられています。

同設計パターンは英語版も公開されています。また、 https://github.com/mercari/ml-system-design-pattern にてContribution(PR)が受け付けられています。