Posted at

Kubernetes 対応の分析フレームワークなど

More than 1 year has passed since last update.

Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。


Kubernetesネイティブ環境


Kubeflow

GitHub kubeflow - Machine Learning Toolkit for Kubernetes

Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。


Spark on Kubernetes

Apache Spark on k8s

Sparkプロジェクトでオフィシャルにkubernetes上での動作に対応しています。


Apache Airflow

Apache Airflow

Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ(パイプライン)を提供。


GPUs on GKE

GPU on google kubernetes

GKEにてGPUノード上で機械学習などを動かすための対応


オープンソース


Seldon Core

seldon-core - Machine Learning Deployment for Kubernetes

機械学習実装。


Polyaxon

polyaxon

大規模ディープラーニング環境を構築するための実装。


商用


RiseML

RiseM L- Deep Learning Platform for Kubernetes

GPUクラスタ上へ展開できるシンプルなディープラーニング用実装


ML Lambda

ML Lambda - Machine Learning serving cluster

Spark ML, Tensor Flow, shikit Learnなどをリアルタイムなクラスタ環境で実装したもの