お勉強のため、MySQLコンテナにアクセスするWebアプリケーション（WebSphere Liberty）コンテナを作成し、IBM Cloud Private CEにデプロイしてみたメモ。

IBM Cloud Private CEのインストールは以下の記事を参照。Kubernetes環境であればIKS（IBM Cloud Kubernetes Service）でもMinikubeでもDocker for Macでも何でもよいはず。

AWSにIBM Cloud Private-CE 2.1.0.3をインストールする

AWSにIBM Cloud Private-CE 3.1をインストールする

ClusterImagePolicyの作成

ICP 3.1ではデフォルトではイメージをPullできるレジストリーが制限されているため、DockerHubからのイメージのPullを許可する。ICP 2.1.0.3では不要。

コンテナー・イメージ・セキュリティーの適用

allow-dockerhub-image-policy.yaml

apiVersion: securityenforcement.admission.cloud.ibm.com/v1beta1
kind: ClusterImagePolicy
metadata:
  name: allow-dockerhub-image-policy
spec:
  repositories:
  # Docker hub Container Registry
  - name: "docker.io/*"
    policy:

Namespaceの作成

今回のアプリケーションはsugiというNamespaceに作成することにする。そのNamespaceを作成する。

kubectl create ns sugi

（オプション）
kubectlが操作するデフォルトのNamespaceを作成したNamespaceに変えておく。

ubuntu@icp31-single:~$ kubectl config current-context
mycluster-context
ubuntu@icp31-single:~$ kubectl config set-context mycluster-context --namespace=sugi
Context "mycluster-context" modified.
ubuntu@icp31-single:~$

MySQLコンテナのデプロイ

以下を参考にする。

Run a Single-Instance Stateful Application

PV/PVCの作成

今回は簡単に試すためPVとしてはhostPathで使用するので、ディレクトリーを用意する。NFSが利用できればその方が望ましい。

root@icp31-single:~# mkdir -p /data/mysql
root@icp31-single:~# ls -l /data
total 4
drwxr-xr-x 2 root root 4096 Oct 23 10:45 mysql
root@icp31-single:~#

MySQLから使用するPesistentVolumeを作成する。

mysql-pv.yaml

kind: PersistentVolume
apiVersion: v1
metadata:
  name: mysql-pv
spec:
  storageClassName: mysql
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  hostPath:
    path: "/data/mysql"

kubectl apply -f mysql-pv.yaml

PesistentVolumeClaimを作成する。なお、PVは全てのNamespaceで共通のリソースであるが、PVCはNamespace毎に作成するリソースである。

mysql-pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pvc
spec:
  storageClassName: mysql
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi

kubectl apply -f mysql-pvc.yaml -n sugi

PVCがBoundになったことを確認しておく。

ubuntu@icp31-single:~$ kubectl get pvc -n sugi
NAME        STATUS    VOLUME     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
mysql-pvc   Bound     mysql-pv   10Gi       RWO            mysql          1m
ubuntu@icp31-single:~$

Secretの作成

MySQLのコンテナはrootパスワードを環境変数として渡す必要があるので、パスワードを保管するSecretを作成する。

パスワードをBase64でエンコードする。

ubuntu@icp31-single:~$ echo -n "password" | base64
cGFzc3dvcmQ=
ubuntu@icp31-single:~$

Secretを作成する。

mysql-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: mysql-secret
type: Opaque
data:
  root-password: cGFzc3dvcmQ=

kubectl apply -f mysql-secret.yaml -n sugi

Deploymentの作成

MySQLのデプロイメントを作成する。先ほど作成したSecretから環境変数を定義している。

mysql-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
spec:
  replicas: 1
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:5.7
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mysql-secret
              key: root-password
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysql-pvc

kubectl apply -f mysql-deployment.yaml -n sugi

Podが稼働したことを確認する。

ubuntu@icp31-single:~$ kubectl get po -n sugi
NAME                     READY     STATUS    RESTARTS   AGE
mysql-7c47657796-b7x48   1/1       Running   0          41s
ubuntu@icp31-single:~$

Serviceの作成

MySQLのServiceを作成する。アプリケーションはこのServiceに接続する。

mysql-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  ports:
  - port: 3306
  selector:
    app: mysql

kubectl apply -f mysql-service.yaml -n sugi

MySQLコンテナの初期化

MySQLコンテナにユーザーを作成し、テーブルを作成し、初期データをロードする。
本来はJobで実行するのが望ましいかもしれない。ここではkubectl execで実施する。

（追記）
Jobでやる場合は以下の記事を参照。
Kubernetes JobでMySQLへデータをロードする

（補足）
環境変数MYSQL_DATABASEや、MYSQL_USERとMYSQL_PASSWORDにより、コンテナの初回起動時にデータベースを1つ作成したり、ユーザーをひとり作ることも可能。また、/docker-entrypoint-initdb.d/ディレクトリーにスクリプトを配置して、コンテナの初回起動時に初期化処理を行う事も可能。

2.5.8.2 More Topics on Deploying MySQL Server with Docker

MySQLのPodを確認する。

kubectl get po -n sugi

Podにログインする。

kubectl exec -it -n sugi <Pod名> bash

mysqlクライアントを実行する。パスワードは環境変数から取得。

mysql -uroot -p${MYSQL_ROOT_PASSWORD}

mydbデータベースを作成する。

create database mydb;

libertyユーザーを作成する。

create user 'liberty' identified by 'liberty';

libertyユーザーにmydbへの全権限を付与する。

grant all privileges on mydb.* to 'liberty';

一度抜けてlibertyユーザーで入り直す。パスワードはliberty。

quit;
mysql -u liberty -p

mydbにmemberテーブルを作成する。

use mydb;
DROP TABLE IF EXISTS member;
CREATE TABLE `member` (
  id int NOT NULL AUTO_INCREMENT,
  name varchar(255) NOT NULL,
  created timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  updated timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (id)
);

テストデータを挿入する。

INSERT INTO member (name) VALUES ('user1'),('user2'),('user3');
INSERT INTO member (name) VALUES ('user4'),('user5'),('user6');

データを確認。

SELECT * from member;

（実行例）

mysql> SELECT * from member;
+----+-------+---------------------+---------------------+
| id | name  | created             | updated             |
+----+-------+---------------------+---------------------+
|  1 | user1 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
|  2 | user2 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
|  3 | user3 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
|  4 | user4 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
|  5 | user5 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
|  6 | user6 | 2018-10-23 11:18:48 | 2018-10-23 11:18:48 |
+----+-------+---------------------+---------------------+
6 rows in set (0.00 sec)

mysql>

終了する。

quit;
exit

Libertyコンテナのデプロイ

MySQLに接続して取得したデータを表示するアプリケーションを乗せたLibertyコンテナを作成する。

アプリケーションの作成

簡単なWebアプリケーションを作成する。以下のコマンドでWarファイルを抽出して先に進んでもよい。

docker run --rm -v $(pwd):/data sotoiwa540/hellomysql:1.0 cp /config/dropins/hellomysql.war /data/

アプリケーションの作成は本筋から外れるため、ここでは要点のみ記載。

Eclipseで「Dynamic Web Project」を作成し、以下のServletを作成する。

HelloServlet.java

package com.example;

import java.io.IOException;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

import javax.naming.Context;
import javax.naming.InitialContext;
import javax.naming.NamingException;
import javax.servlet.ServletException;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.sql.DataSource;

/**
 * Servlet implementation class HelloServlet
 */
@WebServlet("/HelloServlet")
public class HelloServlet extends HttpServlet {
	private static final long serialVersionUID = 1L;

	/**
	 * Default constructor.
	 */
	public HelloServlet() {
		// TODO Auto-generated method stub
	}

	/**
	 * @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse
	 *      response)
	 */
	protected void doGet(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {

		response.setContentType("text/html; charset=SJIS");
		PrintWriter writer = response.getWriter();

		DataSource dataSource = null;
		Connection conn = null;

		try {
			Context context = new InitialContext();
			dataSource = (DataSource) context.lookup("jdbc/mydb");
		} catch (NamingException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
			throw new ServletException(e);
		}

		try {
			conn = dataSource.getConnection();

			PreparedStatement statement = conn.prepareStatement("select name from member");
			ResultSet result = statement.executeQuery();
			while (result.next()) {
				writer.println(result.getString(1));
				System.out.println(result.getString(1));
			}

		} catch (SQLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally {
			try {
				if (conn != null)
					conn.close();
			} catch (SQLException e) {
			}
		}

		writer.append("Served at: ").append(request.getContextPath());
	}

	/**
	 * @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse
	 *      response)
	 */
	protected void doPost(HttpServletRequest request, HttpServletResponse response)
			throws ServletException, IOException {
		// TODO Auto-generated method stub
		doGet(request, response);
	}

}

MySQLのJDBCドライバーのjarファイルをダウンロードして、Libertyの${server.config.dir}/resources/mysqlディレクトリーに配置する。

Libertyのserver.xmlは以下のようになる。MySQLへの接続情報は環境変数で渡すようにする。ローカルで稼働確認する際はserver.envを使って環境変数を渡すとよい。

server.xml

<server description="new server">
  <!-- Enable features -->
  <featureManager>
    <feature>webProfile-7.0</feature>
    <feature>localConnector-1.0</feature>
  </featureManager>
  <!-- To access this server from a remote client add a host attribute to 
		the following element, e.g. host="*" -->
  <httpEndpoint host="*" httpPort="9080" httpsPort="9443" id="defaultHttpEndpoint" />
  <library id="MySQLLib">
    <fileset dir="${server.config.dir}/resources/mysql" includes="*.jar" />
  </library>
  <dataSource jndiName="jdbc/mydb" transactional="false">
    <jdbcDriver libraryRef="MySQLLib" />
    <properties databaseName="mydb" serverName="${env.MYSQL_SERVERNAME}" portNumber="${env.MYSQL_PORTNUMBER}" user="${env.MYSQL_USER}" password="${env.MYSQL_PASSWORD}" />
  </dataSource>
  <!-- Automatically expand WAR files and EAR files -->
  <applicationManager autoExpand="true" />
  <applicationMonitor updateTrigger="mbean" />
</server>

ローカルで稼働確認する場合、以下のコマンドでDockerでMySQLを起動することができる。

docker run --name mysql -e MYSQL_ROOT_PASSWORD=password -d -p 3306:3306 mysql:5.7

起動後は以下のコマンドでコンテナの中に入り、先ほどと同様にユーザーやデータを作る。

docker exec -it mysql bash

Libertyイメージのビルド

Dockerfileを作成する。

Dockerfile

FROM websphere-liberty:webProfile7
COPY server.xml /config/
RUN installUtility install --acceptLicense defaultServer
COPY mysql-connector-java-8.0.13.jar /config/resources/mysql/
COPY hellomysql.war /config/dropins/

同じディレクトリーに必要なファイルを配置する。

$ tree .
.
├── Dockerfile
├── hellomysql.war
├── mysql-connector-java-8.0.13.jar
└── server.xml

0 directories, 4 files
$

このディレクトリーでDockerビルドを実行し、DockerHubにPushする。

docker build -t sotoiwa540/hellomysql:1.0 .
docker push sotoiwa540/hellomysql:1.0

Secretの作成

MySQLに接続するユーザーのパスワードを格納するためのSecretを作成する。

パスワードをBase64でエンコードする。

$ echo -n "liberty" | base64
bGliZXJ0eQ==

Secretを作成する。

liberty-secret.yaml

apiVersion: v1
kind: Secret
metadata:
  name: liberty-secret
type: Opaque
data:
  liberty-password: bGliZXJ0eQ==

kubectl apply -f liberty-secret.yaml -n sugi

ConfigMapの作成

パスワード以外のMySQLへの接続情報を格納したConfigMapを作成する。

liberty-config.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: liberty-config
data:
  mysql-servername: "mysql"
  mysql-portnumber: "3306"
  mysql-user: "liberty"

kubectl apply -f liberty-config.yaml -n sugi

Libertyコンテナのデプロイ

Libertyコンテナをデプロイする。

liberty-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: liberty
spec:
  selector:
    matchLabels:
      app: liberty
  replicas: 1
  template:
    metadata:
      labels:
        app: liberty
    spec:
      containers:
      - name: liberty
        image: sotoiwa540/hellomysql:1.0
        imagePullPolicy: Always
        ports:
        - containerPort: 9080
        env:
        - name: MYSQL_SERVERNAME
          valueFrom:
            configMapKeyRef:
              name: liberty-config
              key: mysql-servername
        - name: MYSQL_PORTNUMBER
          valueFrom:
            configMapKeyRef:
              name: liberty-config
              key: mysql-portnumber
        - name: MYSQL_USER
          valueFrom:
            configMapKeyRef:
              name: liberty-config
              key: mysql-user
        - name: MYSQL_PASSWORD
          valueFrom:
            secretKeyRef:
              name: liberty-secret
              key: liberty-password

kubectl apply -f liberty-deployment.yaml -n sugi

Podが稼働したことを確認する。

ubuntu@icp31-single:~/hellomysql$ kubectl get po -n sugi
NAME                       READY     STATUS      RESTARTS   AGE
liberty-74fd798747-pwghp   1/1       Running     0          11s
mysql-7c47657796-bkc67     1/1       Running     0          4m
ubuntu@icp31-single:~/hellomysql$

Serviceの作成

Serviceを作成する。

liberty-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: liberty
spec:
  type: ClusterIP
  selector:
    app: liberty
  ports:
  - protocol: TCP
    port: 9080

kubectl apply -f liberty-service.yaml -n sugi

Ingressの作成

Ingressを作成する。
Minikubeの場合はアノテーションがnginx.ingress.kubernetes.io/rewrite-target:となるかもしれない。

liberty-ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: liberty
  annotations:
    ingress.kubernetes.io/rewrite-target: /
spec:
  rules:
  - host:
    http:
      paths:
      - path: /liberty
        backend:
          serviceName: liberty
          servicePort: 9080

kubectl apply -f liberty-ingress.yaml -n sugi

稼働確認

ブラウザで以下のURLにアクセスし、アプリケーションがMySQL内のデータを取得して表示することを確認する。

https://<ICPのProxyのVIP>/liberty/hellomysql/HelloServlet

ログを確認する。

ubuntu@icp31-single:~/hellomysql$ kubectl logs liberty-74fd798747-pwghp -n sugi
Launching defaultServer (WebSphere Application Server 18.0.0.3/wlp-1.0.22.cl180320180905-2337) on IBM J9 VM, version 8.0.5.22 - pxa6480sr5fp22-20180919_01(SR5 FP22) (en_US)
[AUDIT   ] CWWKE0001I: The server defaultServer has been launched.
[AUDIT   ] CWWKE0100I: This product is licensed for development, and limited production use. The full license terms can be viewed here: https://public.dhe.ibm.com/ibmdl/export/pub/software/websphere/wasdev/license/base_ilan/ilan/18.0.0.3/lafiles/en.html
[AUDIT   ] CWWKG0093A: Processing configuration drop-ins resource: /opt/ibm/wlp/usr/servers/defaultServer/configDropins/defaults/keystore.xml
[AUDIT   ] CWWKZ0058I: Monitoring dropins for applications.
[AUDIT   ] CWWKS4104A: LTPA keys created in 3.087 seconds. LTPA key file: /opt/ibm/wlp/output/defaultServer/resources/security/ltpa.keys
[AUDIT   ] CWPKI0803A: SSL certificate created in 7.370 seconds. SSL key file: /opt/ibm/wlp/output/defaultServer/resources/security/key.jks
[AUDIT   ] CWWKT0016I: Web application available (default_host): http://liberty-74fd798747-pwghp:9080/hellomysql/
[AUDIT   ] CWWKZ0001I: Application hellomysql started in 0.994 seconds.
[AUDIT   ] CWWKF0012I: The server installed the following features: [localConnector-1.0].
[AUDIT   ] CWWKF0011I: The server defaultServer is ready to run a smarter planet.
user1
user2
user3
user4
user5
user6
ubuntu@icp31-single:~/hellomysql$