Go to Qiita Advent Calendar 2024 Top
LoginSignup
20
19

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

@XJKin株式会社アイティードゥ

Kubernetesの物理GPUノードでGPUコンテナを試す！

Posted at

物理GPUノードの計算能力を、メンバと共用で利用したい！
そんな思いに、KubernetesのGPUノードはぴったりです。

KubernetesのGPUノードで何ができるの？

物理サーバと違うのは、GPUを利用した計算のスケジューリングを、人間同士の調整不要で行える点です。
例えば、実行中のGPUコンテナが終了するまで、次のGPUコンテナが起動しません。
これは「ずっと見張っていて、GPUが空いたら実行！」とする必要は無く、何も意識せずにGPUコンテナを実行することで、計算リソースが空くのを勝手に待ってくれます。

やること

今回は構築支援ツールkubeadmを利用して作成したクラスタに、物理のGPUノードを追加しました。
その後Tensorflow GPUコンテナでGPU利用した計算を試してみます！

試した環境

Kubernetesクラスタ環境マシン構成は以下です。

ホスト名 cpu メモリ GPU OS 仮想/物理
controller-00 2コア 2GB なし Ubuntu18.04 仮想
controller-01 2コア 2GB なし Ubuntu18.04 仮想
controller-02 2コア 2GB なし Ubuntu18.04 仮想
worker-00 1コア 2GB なし Ubuntu18.04 仮想
worker-01 1コア 2GB なし Ubuntu18.04 仮想
　　
Kubernetesコンポーネントのバージョンは以下です。
ネットワークはflannelで構成しています。
コンポーネント バージョン
Kubernetes v1.18.2
Docker 19.03.8
flannel v0.12.0-amd64
nvidia-docker2 1.0.0-rc10
NVIDIA driver 440.82
NVIDIA device-plugin for Kubernets 1.0.0-beta6

追加するノード

追加するノードは以下です。

ホスト名 cpu メモリ GPU OS 仮想/物理
worker-gpu 8コア x2 128GB NVIDIA Geforce GTX1060 Ubuntu18.04 物理

GPUノードを準備する

基本的にはkubeadm joinで参加させる時と同様に、ノードの準備を行いますが、以下が違います。

  • GPUのドライバをインストールする
  • ランタイムをnvidia-docker2に変更する

そして参加した後

  • NVIDIA device-plugin for Kubernetesを導入する

1. GPUノードの前提作業

Ubuntu 18.04をインストールして、既存のクラスタと疎通をとれるようにしておきます。
flannelをデフォルトで利用している場合は、1枚目のNICでクラスタと通信できるようにしてください。
flannelはデフォルトだとOSの1枚目のNICでポッドネットワークを作成するため、2枚目以降のNICで構築したい場合は、flannelのマニフェストを書き換える必要があります。

2. GPUノードの準備

この項はkubeadmのノード追加では恒例の作業なのでご存知の方は読み飛ばしてください。

まずカーネルパラメータを設定します。

# cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sudo sysctl --system

kubeletを起動するためにswapを無効化しておきます。ノードの再起動が発生する場合は/etc/fstabのswap行をコメントアウトします。

# swapoff -a
# swapon --show
#

swapon --showコマンドを実行して何も表示されなければ、swapは無効になっています。

Dockerをインストールします。
まず前提パッケージのインストールします。

# apt-get update && apt-get install -y \
> apt-transport-https ca-certificates curl software-properties-common gnupg2

Dockerリポジトリを追加します。

# curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
# add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

Dockerをインストールします。

# apt-get update && apt-get install -y \
> containerd.io=1.2.13-1 \
> docker-ce=5:19.03.8~3-0~ubuntu-$(lsb_release -cs) \
> docker-ce-cli=5:19.03.8~3-0~ubuntu-$(lsb_release -cs)

Docker設定ファイルを作成します。

# cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

Dockerサービス用のディレクトリを作成します。

# mkdir -p /etc/systemd/system/docker.service.d

3.NVIDIAドライバのインストール

GPUノードに適切なGPUドライバを確認します。

# apt install ubuntu-drivers-common
～～～～～～
# ubuntu-drivers devices
== /sys/devices/pci0000:40/0000:40:02.0/0000:41:00.0 ==
modalias : pci:v000010DEd00001C03sv000010DEsd00001C03bc03sc00i00
vendor   : NVIDIA Corporation
model    : GP106 [GeForce GTX 1060 6GB]
manual_install: True
driver   : nvidia-driver-435 - distro non-free
driver   : nvidia-driver-390 - distro non-free
driver   : nvidia-driver-440 - distro non-free recommended   ←
driver   : xserver-xorg-video-nouveau - distro free builtin

#

　
nvidia-driver-440が最適であることが分かりました。
NVIDIA公式からダウンロードしてインストールする方法もありますが、パッケージ管理ツール以外でインストールしてしまうと、カーネルモジュールの更新によって動作しなくなることがあるので、アップデート時も依存関係を考慮してくれるaptでインストールします。

# apt install nvidia-driver-440

　
GPUが認識されているか確認してみます。

# nvidia-smi
Fri May 15 14:40:29 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.82       Driver Version: 440.82       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:41:00.0 Off |                  N/A |
| 25%   33C    P8     9W / 120W |      0MiB /  6070MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
#

ちゃんと認識されています。
これでドライバをインストールすることが出来ました。

4. nvidia-docker2のインストール

GPUを利用するためのランタイムをインスト―ルします。

# distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
# curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
OK
# curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
deb https://nvidia.github.io/libnvidia-container/ubuntu18.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-container-runtime/ubuntu18.04/$(ARCH) /
deb https://nvidia.github.io/nvidia-docker/ubuntu18.04/$(ARCH) /
# apt-get update && sudo apt-get install -y nvidia-docker2
～～～～～～～～
#

　
Dockerが利用するランタイムを変更します。

# vi /etc/docker/daemon.json
## 内容
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "default-runtime": "nvidia",
  "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

　
Dockerを再起動＆ enableにしておきます。

# systemctl restart docker && systemctl enable docker 
Synchronizing state of docker.service with SysV service script with /lib/systemd/systemd-sysv-install.
Executing: /lib/systemd/systemd-sysv-install enable docker

　
Dockerのランタイムがnvidiaに変更されていることを確認します。

# docker info | grep Runtime
 Runtimes: nvidia runc
 Default Runtime: nvidia
WARNING: No swap limit support
#

これでGPUノードをクラスタに追加する準備が出来ました！

GPUノードをクラスタに追加する

おなじみのあのコマンドを実行するだけです！
と、そのまえにトークンの有効期限は24時間という事なので、期限が切れている場合はマスターノードでトークンを発行しましょう！

# kubeadm token create
p4mn00.l3zru21qawhp4m60

初回join時のハッシュも紛失してしまった場合はハッシュも再取得します。

# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt \
>  | openssl rsa -pubin -outform der 2>/dev/null \
>  | openssl dgst -sha256 -hex | sed 's/^.* //'
6170c56742029031fb2845088b8dec4f73d7d9e90459dd9e07a1ffc8eb619f9e

　
さあお待ちかねのあのコマンドを実行しましょう！

# kubeadm join 192.168.184.213 --discovery-token p4mn00.l3zru21qawhp4m60 --discovery-token-ca-cert-hash sha256:6170c56742029031fb2845088b8dec4f73d7d9e90459dd9e07a1ffc8eb619f9e
～～～～～～～～
This node has joined the cluster:
～～～～～～～～

　
参加できているか確認してみましょう。

# kubectl get nodes
NAME            STATUS   ROLES    AGE   VERSION
controller-00   Ready    master   26h   v1.18.2
controller-01   Ready    master   25h   v1.18.2
controller-02   Ready    master   25h   v1.18.2
worker-00       Ready    <none>   25h   v1.18.2
worker-01       Ready    <none>   25h   v1.18.2
worker-gpu      Ready    <none>   44s   v1.18.2
#

うまく参加できたようです！

NVIDIA device pluginを実行する

参加したGPUノードのリソースを見てみましょう。

# kubectl describe node worker-gpu
Name:               worker-gpu
Roles:              <none>
～～～～～
Addresses:
  InternalIP:  192.168.207.201
  Hostname:    worker-gpu
Capacity:
  cpu:                32
  ephemeral-storage:  1951507452Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             131948100Ki
  pods:               110
Allocatable:
  cpu:                32
  ephemeral-storage:  1798509264786
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             131845700Ki
  pods:               110
～～～～～
PodCIDR:                      10.200.5.0/24
PodCIDRs:                     10.200.5.0/24
Non-terminated Pods:          (2 in total)
  Namespace                   Name                           CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                   ----                           ------------  ----------  ---------------  -------------  ---
  kube-system                 kube-flannel-ds-amd64-v4zsx    100m (0%)     100m (0%)   50Mi (0%)        50Mi (0%)      45s
  kube-system                 kube-proxy-vv9kh               0 (0%)        0 (0%)      0 (0%)           0 (0%)         45s
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests   Limits
  --------           --------   ------
  cpu                100m (0%)  100m (0%)
  memory             50Mi (0%)  50Mi (0%)
  ephemeral-storage  0 (0%)     0 (0%)
  hugepages-1Gi      0 (0%)     0 (0%)
  hugepages-2Mi      0 (0%)     0 (0%)
～～～～～
#

　
まだGPUに関わる情報が見えません。

NVIDIA device-pluginを適用してみます。

# wget https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/1.0.0-beta6/nvidia-device-plugin.yml
# kubectl -f apply nvidia-device-plugin.yml
daemonset.apps/nvidia-device-plugin-daemonset created
#

デーモンセットで各ノードにGPUを参照するポッドを配置しているようです。

もう一度GPUノードを見てみます。

# kubectl describe node worker-gpu
Name:               worker-gpu
Roles:              <none>
～～～～～～
Addresses:
  InternalIP:  192.168.207.201
  Hostname:    worker-gpu
Capacity:
  cpu:                32
  ephemeral-storage:  1951507452Ki
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             131948100Ki
  nvidia.com/gpu:     1
  pods:               110
Allocatable:
  cpu:                32
  ephemeral-storage:  1798509264786
  hugepages-1Gi:      0
  hugepages-2Mi:      0
  memory:             131845700Ki
  nvidia.com/gpu:     1
  pods:               110
～～～～～～～～
PodCIDR:                      10.200.5.0/24
PodCIDRs:                     10.200.5.0/24
Non-terminated Pods:          (3 in total)
  Namespace                   Name                                    CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                   ----                                    ------------  ----------  ---------------  -------------  ---
  kube-system                 kube-flannel-ds-amd64-v4zsx             100m (0%)     100m (0%)   50Mi (0%)        50Mi (0%)      64m
  kube-system                 kube-proxy-vv9kh                        0 (0%)        0 (0%)      0 (0%)           0 (0%)         64m
  kube-system                 nvidia-device-plugin-daemonset-6ztxk    0 (0%)        0 (0%)      0 (0%)           0 (0%)         63m
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests   Limits
  --------           --------   ------
  cpu                100m (0%)  100m (0%)
  memory             50Mi (0%)  50Mi (0%)
  ephemeral-storage  0 (0%)     0 (0%)
  hugepages-1Gi      0 (0%)     0 (0%)
  hugepages-2Mi      0 (0%)     0 (0%)
  nvidia.com/gpu     0          0
～～～～～～
#

項目 nvidia.com/gpu: が追加されました。
これでなんかリソース指定でGPUを使えそうですね！

GPUポッドを起動してみる

ポッド上からGPUが利用出来るか確認します。
以下のマニフェストを作成して


# tens-pod.yml
apiVersion: v1
kind: Pod
metadata:
  name: tens-pod
spec:
  containers:
    - name: tens-container
      image: tensorflow/tensorflow:latest-gpu-py3
      command: ["/bin/sleep"]
      args: ["3600"]
      resources:
        limits:
          nvidia.com/gpu: 1   ←これでGPUを要求しています。

適用します。

# kubectl apply -f tens-pod.yml
pod/tens-pod created
# k describe po | grep -e Name -e Node
Name:         tens-pod
Namespace:    default
Node:         worker-gpu/192.168.207.201
    SecretName:  default-token-8c9dw
Node-Selectors:  <none>
#

ちゃんとGPUノードで起動していますね！
エライ！！

ポッドに接続してGPUが見えているか確認してみましょう！

# kubectl exec -it tens-pod -- /bin/bash

________                               _______________
___  __/__________________________________  ____/__  /________      __
__  /  _  _ \_  __ \_  ___/  __ \_  ___/_  /_   __  /_  __ \_ | /| / /
_  /   /  __/  / / /(__  )/ /_/ /  /   _  __/   _  / / /_/ /_ |/ |/ /
/_/    \___//_/ /_//____/ \____//_/    /_/      /_/  \____/____/|__/


WARNING: You are running this container as root, which can cause new files in
mounted volumes to be created as the root user on your host machine.

To avoid this, run the container by specifying your user's userid:

$ docker run -u $(id -u):$(id -g) args...
# nvidia-smi
Thu May 14 16:51:10 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.82       Driver Version: 440.82       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:41:00.0 Off |                  N/A |
| 25%   34C    P8     9W / 120W |      0MiB /  6070MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
#

ちゃんとGPUが認識されていますね！

Tensorflowの簡単なものを実行して、GPUが動作しているか確認してみましょう。

# python
## 以下をコピペして実行

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

import tensorflow as tf
mnist = tf.keras.datasets.mnist
 
(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
 
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
 
model.fit(x_train, y_train, epochs=5)
model.evaluate(x_test, y_test)

　
実行中にGPUの負荷を見てみます。

# nvidia-smi
Thu May 14 17:16:14 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.82       Driver Version: 440.82       CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 106...  Off  | 00000000:41:00.0 Off |                  N/A |
| 25%   44C    P2    25W / 120W |   5905MiB /  6070MiB |      9%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0     13584      C   python                                      5895MiB |
+-----------------------------------------------------------------------------+
#

負荷と温度がほんのり上がっているのが分かります。
また、ProssesにPythonが表示されています。

これでGPUポッドが実行できるようになりました！！

おわりに

それぞれの用途に合わせて、マニフェストやコンテナイメージにPythonなどのコードを仕込んで、
ジョブコントローラで実行してもいいですね！
コンテナのジョブとしての実行も、Kubernetesの魅力のひとつですよね！

くれぐれも、GPUを占有しないように、計算が完了したらポッドが終了するような設定を行ってください！

弊社ブログではKubernetes,AWS, Ansibleをはじめとしたさまざまな技術記事を紹介しています。
是非ご覧ください！

20
19
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
20
19

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?