Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。
Kubernetesネイティブ環境
Kubeflow
GitHub kubeflow - Machine Learning Toolkit for Kubernetes
Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。
Spark on Kubernetes
Apache Spark on k8s
Sparkプロジェクトでオフィシャルにkubernetes上での動作に対応しています。
Apache Airflow
Apache Airflow
Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ（パイプライン）を提供。
GPUs on GKE
GPU on google kubernetes
GKEにてGPUノード上で機械学習などを動かすための対応
オープンソース
Seldon Core
seldon-core - Machine Learning Deployment for Kubernetes
機械学習実装。
Polyaxon
polyaxon
大規模ディープラーニング環境を構築するための実装。
商用
RiseML
RiseM L- Deep Learning Platform for Kubernetes
GPUクラスタ上へ展開できるシンプルなディープラーニング用実装
ML Lambda
ML Lambda - Machine Learning serving cluster
Spark ML, Tensor Flow, shikit Learnなどをリアルタイムなクラスタ環境で実装したもの