Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。

Kubernetesネイティブ環境

Kubeflow

Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。

Apache Spark on k8s
Sparkプロジェクトでオフィシャルにkubernetes上での動作に対応しています。

Apache Airflow
Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ（パイプライン）を提供。

GPU on google kubernetes
GKEにてGPUノード上で機械学習などを動かすための対応

polyaxon
大規模ディープラーニング環境を構築するための実装。

RiseM L- Deep Learning Platform for Kubernetes
GPUクラスタ上へ展開できるシンプルなディープラーニング用実装

ML Lambda - Machine Learning serving cluster
Spark ML, Tensor Flow, shikit Learnなどをリアルタイムなクラスタ環境で実装したもの