はじめに

ここまで自分が投稿した記事を使って、下記が作れるようになりました。

これらを利用して、private Docker Hub を作ってみます。

今回作成する private Docker Hub の仕組み

ローカルで作成したDockerfileをGitLabにpush
GitLabからWebHookでJenkinsに通知
JenkinsにてDockerfileをビルド
- Jenkinsはdockerコンテナで起動している
- Jenkinsコンテナ内でDockerfileをビルドしているわけではない
- ホストのdockerAPI（docker-py経由）を利用している
docker build
- 成功した場合、private registryにpush
- 失敗した場合、Gmailに通知を行う

環境

OS: Ubuntu14.04
docker version: 1.4.1
/etc/default/dockerにこちらの設定を行う
上記ホストを2台用意

下記のような構成を目指します。(全てdockerコンテナです。)

ホストA
- private dockcer registry
- private dockcer registry(Web UI)
ホストB
- GitLab
- Jenkins

ローカルGitリポジトリは下記のような構成にすること

ubuntu1404_test
- Dockerfile
hoge
- Dockerfile
fuga
- Dockerfile

設定（ホストA）

private dockcer registry

下記を参考にregistryコンテナを用意します。

$ sudo docker ps
IMAGE                                        PORTS
konradkleine/docker-registry-frontend:latest 443/tcp, 0.0.0.0:8080->80/tcp
registry:latest                              0.0.0.0:5000->5000/tcp

※CONTAINER IDなどは省略

設定（ホストB）

GitLab 初期設定

下記を参考にGitLabコンテナを用意します。

GitLab in docker でLDAP認証を利用する

$ sudo docker ps
IMAGE                   PORTS                                                   NAMES
sameersbn/gitlab:latest 443/tcp, 0.0.0.0:10022->22/tcp, 0.0.0.0:10080->80/tcp   hungry_ardinghelli
sameersbn/mysql:latest  3306/tcp                                                gitlab-mysql
sameersbn/redis:latest  6379/tcp                                                gitlab-redis

※CONTAINER IDなどは省略

GitLabにログイン後、プロジェクトを作成し、ローカルと連携します。
なお、ubuntu1404_testディレクトリの中には簡単なDockerfileが入っています。
※ディレクトリ名をイメージタグに使用するので、重複などしないように注意して下さい。

Jenkins 初期設定

下記を参考にしつつ、必要なモジュールを追加したJenkinsコンテナを用意します。

doragon/Dockerfile/debian/8.0/jenkins/

$ sudo git clone https://github.com/doragon/Dockerfile.git
$ sudo mv Dockerfile/debian/8.0/jenkins/ ./
$ sudo rm -rf Dockerfile
$ cd jenkins/
$ mkdir jenkins_home
$ chmod 777 jenkins_home

$ sudo docker build -t koide/jenkins .

$ sudo docker run -p 28080:8080 -d \
 -v [PATH]/jenkins/jenkins_home:/var/jenkins_home \
 -v [PATH]/jenkins/workspace:/var/workspace \
 koide/jenkins

$ sudo docker ps
IMAGE                PORTS
koide/jenkins:latest 50000/tcp, 0.0.0.0:28080->8080/tcp

ここで、GitLabと連携を行うため、jenkinsユーザーの個別設定を行います。
※本来ならDockerfileで完結すべきなのですが、rootユーザー以外での権限設定がうまくいかないためコンテナ内で作業を行います。

$ sudo docker exec -it 3fbc958b8006 bash
jenkins@3fbc958b8006:/$
jenkins@3fbc958b8006:/$ cd
jenkins@3fbc958b8006:~$ pwd
/var/jenkins_home

jenkins@3fbc958b8006:~$ mkdir .ssh
jenkins@3fbc958b8006:~$ cd .ssh
jenkins@3fbc958b8006:~/.ssh$ ssh-keygen -t rsa -f id_rsa -C "jenkins@test.com" -N ""
jenkins@3fbc958b8006:~/.ssh$ chmod 744 $HOME/.ssh
jenkins@3fbc958b8006:~/.ssh$ chmod 700 $HOME/.ssh/id_rsa
jenkins@3fbc958b8006:~/.ssh$ vim config

$HOME/.ssh/config

Host [GITLAB_ON_DOCKER_HOST]
 User git
 Hostname [GITLAB_ON_DOCKER_HOST]
 Port [DOCKER_HOST_PORT_MAPPED_GITLAB_PORT_22]
 IdentityFile ~/.ssh/id_rsa

※[GITLAB_ON_DOCKER_HOST]、[DOCKER_HOST_PORT_MAPPED_GITLAB_PORT_22]は適宜修正して下さい。
※[DOCKER_HOST_PORT_MAPPED_GITLAB_PORT_22]はここでは10022です。（上述のGitLabコンテナ作成時を参照）

後ほど、GitLabに登録するため、id_rsa.pubを控えておきます。

jenkins@3fbc958b8006:~/.ssh$ cat id_rsa.pub

jenkins@3fbc958b8006:~/.ssh$ git config --global user.email "jenkins@test.com"
jenkins@3fbc958b8006:~/.ssh$ git config --global user.name "jenkins"

ここまでで、Jenkinsコンテナ内での作業は終わりです。
次にJenkinsのWebUIにて、必要なプラグインをインストールします。
Jenkinsの管理 ⇒ プラグインの管理 ⇒ 利用可能
から「Gitlab Hook Plugin」をインストールします。

GitLab へ Jenkins ユーザーを追加

GitLabにAdmin権限を持つユーザーでログインします。
Admin area ⇒ New user
からjenkinsユーザーを作成します。

※パスワードはユーザー作成後に、編集できます。

次に、Admin権限を持つユーザーをログアウトして、作成したjenkinsユーザーでログインします。
Profile settings ⇒ SSH Keys ⇒ Add SSH Key
を選択し、先ほどjenkinsコンテナ内で生成したid_rsa.pubを設定して下さい。

再度、ログアウトをし、Dockerfile_CIプロジェクトを作成したユーザーでログインします。
ProjectのSettings ⇒ Members ⇒ New project member
を選択し、jenkinsユーザーを追加します。

続いて、jenkinsへのweb hook設定を行います。
ProjectのSettings ⇒ Web Hooks

http://[JENKINS_ON_DOCKER_HOST]:[DOCKER_HOST_PORT_MAPPED_JENKINS_PORT_8080]/job/Dockerfile_CI/build?delay=0sec

※[JENKINS_ON_DOCKER_HOST]:[DOCKER_HOST_PORT_MAPPED_JENKINS_PORT_8080]は適宜修正して下さい。
※[DOCKER_HOST_PORT_MAPPED_JENKINS_PORT_8080]はここでは28080です。（上述のJenkinsコンテナ作成時を参照）

Jenkins にてジョブの作成

新規ジョブ作成 ⇒ フリースタイル・プロジェクトのビルド
を選択します。（ジョブ名は何でも構いません。）

ソースコード管理 ⇒ Git ⇒ Repositories ⇒ Credentials ⇒ Add
を選択し、ユーザー名jenkinsを作成します。

Repository URLにはGitLabプロジェクトのSSHを入力して下さい。
なお、ここでは[DOCKER_HOST]を書いているため、エラーを出力していますが、正しいGitLabプロジェクトのSSHを入力することで、このエラーは出力されなくなります。

最後に
ビルド・トリガ ⇒ SCMをポーリングにチェック
ビルド ⇒ シェルの実行

jenkins_shell

BASEURL='tcp://[DOCKER_HOST_B]:4243'
VERSION='1.12'

PATH=`pwd`
REGISTRY='[DOCKER_HOST_A]:5000'

for f in *; do
  if test $f = "README.md" ; then
    continue
  fi

  WORKPATH=$PATH/$f
  echo $WORKPATH
  TAG='jenkins/'$f
  echo $TAG
  /usr/bin/python /var/workspace/dockerclient.py $WORKPATH $TAG $REGISTRY $BASEURL $VERSION
done

通知の設定

このままではビルド失敗時に何も通知されません。
今回はGmailを利用した通知の設定を行います。

Jenkinsの管理 ⇒ システムの設定 ⇒ Jenkinsの位置 ⇒ システム管理者のメールアドレス

システム管理者のメールアドレス： xxx@gmail.com

Jenkinsの管理 ⇒ システムの設定 ⇒ E-mail 通知

SMTPサーバー： smtp.gmail.com
SMTP認証にチェック
ユーザー名： xxx@gmail.com
パスワード： xxxxxx
SSLにチェック
SMTPポート： 465
文字セット： UTF-8

上記を設定し、保存します。続いて、

ジョブを選択 ⇒ 設定 ⇒ ビルド後の処理 ⇒ E-mail通知

宛先： hoge@gmail.com,fuga@gmail.com

これで設定は全て終了です。

CIの流れ（例）

ローカルでDockerfileを修正する
GitLabへpushする
Jenkinsでビルド結果の確認
private docker registryにpushされているか確認

build失敗時は次のようになる。

補足

Web Hookの部分はJenkinsのビルド実行をそのまま叩いていますが、下記のような設定方法もあります。

http://[JENKINS_ON_DOCKER_HOST]:[DOCKER_HOST_PORT_MAPPED_JENKINS_PORT_8080]/gitlab/build_now

元々こちらを使用するつもりでしたが、ポートの指定が異なるためか、うまくWebHookが通らないので、今回は避けました。

今後の課題

今回の実装では、confファイルなどを考慮していません。
そのため、Dockerfileと同階層に別のファイルがあった場合、おそらくエラーになります。（未確認）

解決策はdockerclient.py内へ設定ファイル込みのbuildを記述することと、Jenkinsシェルの設定を追記することですが、そちらはまだ未実装です。

おわりに

少し長くなってしまいましたが、最後までお読み頂き、ありがとうございました。

private Docker Hub を作ってみた