はじめに
ふとしたきかっけでKubeflowを触る機会があったので、OKEにインストールしてみました。
せっかくなので、インストール手順をまとめてみようと思います。
Kubeflowとは
Kubeflowは、Kubernetes上にエンドツーエンドの機械学習基盤を構築できるプラットフォームです。
モデルのトレーニングやデプロイなどといった機械学習サイクルの各プロセスに関するコンポーネントをKubernetes上に構築できます。
Kubeflowのシステムコンポーネントは以下のようになっています。（公式ドキュメントからお借りしました）
これをOKE上に構築していきます。
インストール手順
Kubeflowのインストール手順は、こちらのドキュメントにまとまっていますが、今回はkfctlというKubeflowを管理するためのCLIツールを利用してインストールしていきます。
残念ながら、ドキュメントにはOKEへのインストールに直接言及したページはありません... 
それがこの記事を書こうと思ったきっかけでもあります
OKEの構築
OKEの構築はこちらの1~3の手順を参考にしてください。
kfctlのインストール
kfctlはGitHubから最新版をダウンロードしてインストールします。
2021年8月時点の最新バージョンはv1.2.0です。
curl -LO https://github.com/kubeflow/kfctl/releases/download/v1.2.0/kfctl_v1.2.0-0-gbc038f9_linux.tar.gz
tar zxf kfctl_v1.2.0-0-gbc038f9_linux.tar.gz
chmod +x kfctl
sudo mv kfctl /usr/local/bin/kfctl
次にkfctlが利用する環境変数を設定していきます。(必須ではありません)
export BASE_DIR=$HOME/kubeflow
export PATH=$PATH:$BASE_DIR
export KF_NAME=mykubeflow
export KF_DIR=${BASE_DIR}/${KF_NAME}
export CONFIG_URI="https://raw.githubusercontent.com/kubeflow/manifests/v1.2-branch/kfdef/kfctl_k8s_istio.v1.2.0.yaml"
最後に作業ディレクトリを作成しておきます。
mkdir -p ${KF_DIR}
cd ${KF_DIR}
これでkfctlのインストールは完了です！
簡単ですね！
Kubeflowのインストール
いよいよ、Kubeflowをインストールしていきます。
kfctlを利用するとKubeflowのインストールはコマンド１発でできます。
kfctl apply -V -f ${CONFIG_URI}
${CONFIG_URI}は前の手順で環境変数として定義したものです。
たったこれだけです！非常に簡単ですね！！
このコマンドによって様々なコンポーネントがインストールされるので、全てのPodがReadyになるまで待機します。
環境にもよりますが、大体20分程度かなと思います。
全てのPodがReadyになると以下のような感じになります。(kube-system Namespaceは除外しています)
[opc@kubeflow-client mykubeflow]$ kubectl get pod -A
NAMESPACE NAME READY STATUS RESTARTS AGE
cert-manager cert-manager-7c75b559c4-s7tjm 1/1 Running 0 6m23s
cert-manager cert-manager-cainjector-7f964fd7b5-lvdvc 1/1 Running 0 6m23s
cert-manager cert-manager-webhook-566dd99d6-5wrmg 1/1 Running 1 6m23s
istio-system cluster-local-gateway-5898bc5c74-djc9t 1/1 Running 0 6m37s
istio-system istio-citadel-6dffd79d7-n4cvl 1/1 Running 0 6m47s
istio-system istio-galley-77cb9b44dc-548gl 1/1 Running 0 6m48s
istio-system istio-ingressgateway-7bb77f89b8-k2pnl 1/1 Running 0 6m48s
istio-system istio-nodeagent-59lvb 1/1 Running 0 6m48s
istio-system istio-nodeagent-b5f6m 1/1 Running 0 6m49s
istio-system istio-nodeagent-p2k8f 1/1 Running 0 6m48s
istio-system istio-nodeagent-xtw66 1/1 Running 0 6m48s
istio-system istio-pilot-67d94fc954-vjj8k 2/2 Running 0 6m48s
istio-system istio-policy-546596d4b4-784pl 2/2 Running 1 6m47s
istio-system istio-security-post-install-release-1.3-latest-daily-6bm4w 0/1 Completed 0 6m47s
istio-system istio-sidecar-injector-796b6454d9-fq5gj 1/1 Running 0 6m47s
istio-system istio-telemetry-58f9cd4bf5-qv6tn 2/2 Running 1 6m47s
istio-system prometheus-7c6d764c48-7k5ss 1/1 Running 0 6m48s
knative-serving activator-6c87fcbbb6-jlk6x 1/1 Running 0 4m28s
knative-serving autoscaler-847b9f89dc-7mspk 1/1 Running 0 4m29s
knative-serving controller-55f67c9ddb-q7xk5 1/1 Running 0 4m28s
knative-serving istio-webhook-db664df87-czd2r 1/1 Running 0 4m30s
knative-serving networking-istio-76f8cc7796-rw458 1/1 Running 0 4m29s
knative-serving webhook-6bff77594b-b5rz5 1/1 Running 0 4m30s
kubeflow admission-webhook-bootstrap-stateful-set-0 1/1 Running 2 5m22s
kubeflow admission-webhook-deployment-5cd7dc96f5-x9xls 1/1 Running 1 4m47s
kubeflow application-controller-stateful-set-0 1/1 Running 0 7m4s
kubeflow argo-ui-65df8c7c84-vnz74 1/1 Running 0 4m55s
kubeflow cache-deployer-deployment-5f4979f45-2d5s6 2/2 Running 2 4m55s
kubeflow cache-server-7859fd67f5-w56hs 2/2 Running 0 4m48s
kubeflow centraldashboard-67767584dc-r9wvq 1/1 Running 0 4m54s
kubeflow jupyter-web-app-deployment-8486d5ffff-j76h4 1/1 Running 0 4m54s
kubeflow katib-controller-7fcc95676b-b5qfc 1/1 Running 1 4m54s
kubeflow katib-db-manager-85db457c64-lzprn 1/1 Running 1 4m54s
kubeflow katib-mysql-6c7f7fb869-cd4s2 1/1 Running 0 4m51s
kubeflow katib-ui-65dc4cf6f5-8vw4s 1/1 Running 0 4m53s
kubeflow kfserving-controller-manager-0 2/2 Running 0 4m18s
kubeflow kubeflow-pipelines-profile-controller-797fb44db9-b6dn6 1/1 Running 0 4m53s
kubeflow metacontroller-0 1/1 Running 0 5m22s
kubeflow metadata-db-6dd978c5b-ppdzw 1/1 Running 0 4m53s
kubeflow metadata-envoy-deployment-67bd5954c-6kqqv 1/1 Running 0 4m53s
kubeflow metadata-grpc-deployment-577c67c96f-fmwd2 1/1 Running 1 4m52s
kubeflow metadata-writer-756dbdd478-mbg8z 2/2 Running 0 4m52s
kubeflow minio-54d995c97b-qcv5m 1/1 Running 0 4m52s
kubeflow ml-pipeline-7c56db5db9-s2scf 2/2 Running 1 4m52s
kubeflow ml-pipeline-persistenceagent-d984c9585-4gq6b 2/2 Running 0 4m52s
kubeflow ml-pipeline-scheduledworkflow-5ccf4c9fcc-rzr7c 2/2 Running 0 4m51s
kubeflow ml-pipeline-ui-7ddcd74489-bqp66 2/2 Running 0 4m48s
kubeflow ml-pipeline-viewer-crd-56c68f6c85-z7829 2/2 Running 3 4m51s
kubeflow ml-pipeline-visualizationserver-5b9bd8f6bf-wjww6 2/2 Running 0 4m51s
kubeflow mpi-operator-d5bfb8489-69h7h 1/1 Running 0 4m50s
kubeflow mxnet-operator-7576d697d6-2gvfm 1/1 Running 0 4m50s
kubeflow mysql-74f8f99bc8-hjc7t 2/2 Running 0 4m50s
kubeflow notebook-controller-deployment-5bb6bdbd6d-4ldpf 1/1 Running 0 4m50s
kubeflow profiles-deployment-56bc5d7dcb-2rs8x 2/2 Running 0 4m49s
kubeflow pytorch-operator-847c8d55d8-v5dwn 1/1 Running 0 4m49s
kubeflow seldon-controller-manager-6bf8b45656-46g4m 1/1 Running 0 4m49s
kubeflow spark-operatorsparkoperator-fdfbfd99-qvr2f 1/1 Running 0 5m22s
kubeflow spartakus-volunteer-558f8bfd47-zj66n 1/1 Running 0 4m16s
kubeflow tf-job-operator-58477797f8-27fv8 1/1 Running 0 4m48s
kubeflow workflow-controller-64fd7cffc5-hlx6n 1/1 Running 0 4m48s
これでインストールは完了です。
KubeflowのUIにアクセス
Kubeflowのインストールが完了したので、UIにアクセスしてみます。
デフォルトでは、以下のようにistio-ingressgatewayがNodePortタイプで作成されているので、こちらを利用します。
[opc@oke-client ~]$ kubectl get svc -A | grep istio-ingressgateway
istio-system istio-ingressgateway NodePort 10.96.221.79 <none> 15020:31800/TCP,80:31380/TCP,443:31390/TCP,31400:31400/TCP,15029:31756/TCP,15030:32683/TCP,15031:31867/TCP,15032:30051/TCP,15443:32296/TCP 31d
今回は、Worker Nodeはプライベート・サブネット上に作成しているので、kubectl port-forwardを利用してポートフォワードでアクセスしてみます。
パブリック・サブネット上に作成された場合は、Worker NodeのパブリックIPとポートを利用してアクセスできます。
kubectl port-forward -n istio-system svc/istio-ingressgateway 8080:80 --address 0.0.0.0
OKEクライアントがリモートに存在しSSHなどで接続している場合は、OKEクライアント側の8080ポートとローカル側の任意のポートをバインドすれば接続できます
アクセスするとこんな画面が表示されます。
この環境で、様々なML開発プロセスが回せそうです！
注意事項
Kubeflowのインストールで記載した通り、KubeflowをインストールするとたくさんのPodがデプロイされ、そこそこWorker Nodeのリソースを消費します。
私が試した感じでは、OCIのCompute Shapeとして2oCPU/メモリ16GB×3Nodeは最低でも必要そうな感じがしました。
機械学習を行うプラットフォームで、貧弱なスペックで運用するということはあまりないと思いますが、注意事項として残しておきます。
まとめ
簡単にKubeflowの環境を構築することができ、Kubeflowの便利さを改めて実感しました。
次回は、今回構築した環境とJupyter Enterprise Gatewayという仕組みを利用して、OKEのWorker Nodeのリソースプール(カーネル)をローカルから使ってみる手順を紹介したいと思います。
参考情報
-
Kubeflow公式ドキュメント
https://www.kubeflow.org/ -
kfctlのレポジトリ
https://github.com/kubeflow/kfctl