Help us understand the problem. What is going on with this article?

Kubernetes 対応の分析フレームワークなど

More than 1 year has passed since last update.

Kubernetes でデータ分析の環境を組む流れができてきましたので、関連プロジェクトを列挙しておきます。

Kubernetesネイティブ環境

Kubeflow

GitHub kubeflow - Machine Learning Toolkit for Kubernetes

Tensor Flowや対応する設定が施されたJupyterノートブックまでを含むツールスタック。

Spark on Kubernetes

Apache Spark on k8s
Sparkプロジェクトでオフィシャルにkubernetes上での動作に対応しています。

Apache Airflow

Apache Airflow
Pythonベースのワークフローフレームワーク。ネイティブのkubernetesエグゼキュータ(パイプライン)を提供。

GPUs on GKE

GPU on google kubernetes
GKEにてGPUノード上で機械学習などを動かすための対応

オープンソース

Seldon Core

seldon-core - Machine Learning Deployment for Kubernetes
機械学習実装。

Polyaxon

polyaxon
大規模ディープラーニング環境を構築するための実装。

商用

RiseML

RiseM L- Deep Learning Platform for Kubernetes
GPUクラスタ上へ展開できるシンプルなディープラーニング用実装

ML Lambda

ML Lambda - Machine Learning serving cluster
Spark ML, Tensor Flow, shikit Learnなどをリアルタイムなクラスタ環境で実装したもの

Masutani
データサイエンティストをしています。地理空間情報系の処理を主に扱っています。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away