はじめに

Kubernatesクラスタを構成する場合には、どこのノードからも同一のDocker イメージの参照ができるように、Docker イメージの照会及び登録するレジストリが必要になります。 (KubernatesのPodは、原則どこのノードでも動作する可能性があるため)

一般的には、利用するクラウドサービス(Google/AWS/IBM..)が提供しているレジストリサービスを利用することが普通であると思いますが、学習のために自前でレジストリサービスを構築することにチャレンジします。

作業環境

ハードウエア Raspberry Pi 3B x 3台、4B x 2台
Kubernates version 1.18.2

レジストリの選択

Dockerイメージのレジストリとしては、クラスタ内外を含めたの様々な構成ができますが、以下の3パターンが一般的な構成になります。

パブリックレジストリを利用(Docker Hub)
クラウドサービスの提供するプライベートレジストリを利用(Google/IBM/AWSのContainer Registory等)
自前でプライベートレジストリを構築

可用性、運用・保守性、移行性等々を考慮すれば、1. または 2. から選択することが望ましいですが、Kubernatesの構築を通じて、Kubernatesを理解することが目的であるので、ここでは、「3. 自前でプライベートレジストリを構築」を選択します。

作業ステップ概要

作業が間違っていないことを確認して進めるために、以下の作業手順でレジストリサービスを構築していきます。

設計する
レジストリをDockerコマンドで実行し、ローカル接続ができることを確認
レジストリをDockerコマンドで実行し、リモート接続ができることを確認

作業ステップ

設計する

作成するレジストリに対して、想定している設定内容を以下で記述する。

設定	内容	補足
通信方式	TLS 1.2	HTTPのみではノード間での通信ができない
サーバー認証	自己証明書	無料で済ませるため
サーバー名	レジストのサーバー名	実行例は rasp-registry
ポート番号	レジストのポート番号	実行例は 5000

TLS ¹

通信をTLSと自己証明書で構築する理由は、それしか選択肢がないからです。

ローカル接続

Dockerの機能のみを利用して、ローカル接続ができるレジストリの構築ができることを確認します。

$ sudo mkdir -p /var/local/volume
$ docker run -d -p 5000:5000 --name registry --hostname registry --restart on-failure:10 -v /var/local/volume:/var/lib/registry registry:2

/var/local/volume を Docker イメージを登録するレジストリのディレクトリになります。 docker ps として、registry:2 イメージが稼働していれば、完了です。


# パブリックリポジトリからイメージを入手
$ docker pull hello-world

# タグを追加する
$ docker tag hello-world localhost:5000/hello-world

# プライベートリポジトリにイメージを登録
$ docker push localhost:5000/hello-world

# プライベートリポジトリにからイメージが入手
$ docker pull localhost:5000/hello-world

docker image でイメージが入手できたことを確認することができます。ノード内で利用可能なレジストリであるため、localhost を利用してイメージを参照します。

$ docker images 
REPOSITORY                           TAG                 IMAGE ID            CREATED             SIZE
hello-world                          latest              851163c78e4a        6 months ago        4.85kB
localhost:5000/hello-world           latest              851163c78e4a        6 months ago        4.85kB

ノード内で実行できることが確認できたので、コンテナーを削除しておきます。


# CONTAINER ID を確認する
$ docker ps | grep registry

# コンテナを停止させ、削除します。 
$ docker stop [CONTAINER ID]
$ docker rm [CONTAINER ID]

リモート接続

Dockerの機能のみを利用して、リモート接続ができるレジストリの構築ができることを確認します。

TLS通信で利用するための証明書を生成します。今回は外部に公開せず、Kubernatesのテスト環境であるため自己証明書を利用します。

以下のコマンドでは、x509自己署名証明書を4096ビットのRSA秘密鍵を生成しています。

自己署名証明書作成時に、Common Nameを聞いてくるので、このサーバーにアクセスする際の名前と一致させて置く必要があります。

domain.key が秘密鍵ファイル、domain.crtが証明書ファイルになります。

mkdir -p ~/tmp/certs
cd ~/tmp/certs
openssl req -newkey rsa:4096 -nodes -keyout domain.key -x509 -days 365 -out domain.crt

自己証明書を利用して、レジストリの実行を確認します。秘密鍵と証明書ファイルとは先ほど作成したファイルパスを指定します。以下では、ホスト側のファイルパス ~/tmp/certs をコンテナ側の /ファイルパス certs で参照できるようにして、起動をしています。

REGISTRY_HTTP_TLS_CERTIFICATE、REGISTRY_HTTP_TLS_KEY の環境変数には、それぞれ、証明書ファイル、秘密鍵ファイルの指定をします。コンテナ側のプロセスが参照するために、コンテナ側のファイルパスで指定をします。

docker run -d -p 5000:5000 \
 -v ~/tmp/certs:/certs \
 -v /var/local/volume:/var/lib/registry \
 -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt \
 -e REGISTRY_HTTP_TLS_KEY=/certs/domain.key \
 --restart=always --name registory registry:2

各ノードの設定

各ノードからレジストリに接続するためには、レジストリの証明書を各ノード上のDockerサーバーに登録する必要があります。そのためには、以下の作業をする必要があります。

Docker サーバーが管理する証明書のディレクトリ(/etc/docker/certs.d/レジストリのホスト名:ポート番号)を作成する。
作成した証明書のディレクトリに、証明書ファイルを ca.crt の名称で複写する
Docker サーバーの再起動をします。


# Docker サーバーの証明書のディレクトリを作成する
$ sudo mkdir -p /etc/docker/certs.d/rasp-registry:5000
$ cd /etc/docker/certs.d/rasp-registry:5000

# 証明書のコピーとサーバーの再起動
$ sudo scp pi@証明書を作成したホスト:証明書の生成パス/domain.crt ca.crt
$ sudo service docker restart

レジストリが各ノードからアクセスできることを確認しています。お馴染みの hello-world が pull できることを確認します。 (hello-worldは、事前に push しなくても登録されている様でした)

$ docker pull rasp-registry:5000/hello-world
Using default tag: latest
latest: Pulling from hello-world
4ee5c797bcd7: Pull complete 
Digest: sha256:50b8560ad574c779908da71f7ce370c0a2471c098d44d1c8f6b513c5a55eeeb1
Status: Downloaded newer image for rasp-registry:5000/hello-world:latest

$ docker run rasp-registry:5000/hello-world

確かに実行をすることもできました。