概要
CentOS7のホストの上にsystemd-nspawnでシステムコンテナを立てる方法の備忘録です
元となるマスターコンテナ(テンプレート)と
それのクローンコンテナを作ります
(以下のコマンドはroot/sudoで実行しています)
環境
CentOS-7-x86_64-Minimal-1611.isoから
minimal installのちyum updateを実行(2017/06/25)
前提
以下のものを使用するのでインストールします
- systemd-networkd
- systemd-resolved
- screen
- perl
- policycoreutils-python
ホスト側
yum install \
systemd-networkd \
systemd-resolved \
policycoreutils-python \
screen \
perl \
-y
環境や設定は以下のものを使うので適宜読み替えてください
#インターネット接続されたデバイス名、DHCP有効
EXTERNAL_DEV_NAME='enp0s3'
#↑のデバイスが属するzone
EXTERNAL_ZONE_NAME='public'
#仮想ブリッジデバイス名
INTERNAL_DEV_NAME='br0'
#仮想ブリッジデバイス、コンテナが属するzone
INTERNAL_ZONE_NAME='internal'
#仮想ブリッジデバイスのIPアドレス設定
INTERNAL_GATEWAY_ADDR='10.0.0.1'
INTERNAL_NETWORK_PREFIX='24'
#コンテナが使用するDNSサーバーのアドレス
DNS_ADDR='8.8.8.8'
マスターコンテナの設定
#初回ログイン時のrootパスワード
CONTAINERS_MASTER_FIRST_ROOT_PASSWD='password'
#コンテナのデータを置くディレクトリ
CONTAINERS_MASTER_DATA_DIR='/root/data/containers/master/'
#コンテナのIPアドレス
CONTAINERS_MASTER_NETWORK_ADDR='10.0.0.2'
クローンコンテナの設定
#クローン元のコンテナのデータがあるディレクトリ
CONTAINERS_MASTER_DATA_DIR='/root/data/containers/master/'
#クローンコンテナのデータを置くディレクトリの親
CONTAINERS_CLONE_DATA_DIR='./data/containers/clones/'
#コンテナ名
L_CONTAINER_NAME='serv1'
#初回ログイン時のrootパスワード
CONTAINERS_CLONE_FIRST_ROOT_PASSWD='pass1'
#コンテナのIPアドレス
CONTAINERS_CLONE_NETWORK_ADDR='10.0.0.11'
ホストのネットワーク設定
systemd-networkdを利用するように変更
ホスト側
systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl start systemd-networkd systemd-resolved
systemctl enable systemd-networkd systemd-resolved
#systemd-resolvedは直接/etc/resolv.confを変更しないので
mv /etc/resolv.conf /etc/resolv.conf.orig
ln -s /run/systemd/resolve/resolv.conf /etc/resolv.conf
#systemd-networkd用の設定ファイル
mkdir -p /etc/systemd/network/
cat << EOS > /etc/systemd/network/${EXTERNAL_DEV_NAME}.network
[Match]
Name=${EXTERNAL_DEV_NAME}
[Network]
DHCP=yes
EOS
chmod 644 /etc/systemd/network/${EXTERNAL_DEV_NAME}.network
コンテナ用のプライベートネットワークを作成
コンテナとホストを接続するブリッジデバイスを作成
ホスト側
cat << EOS > /etc/systemd/network/${INTERNAL_DEV_NAME}.netdev
[Match]
[NetDev]
Name=${INTERNAL_DEV_NAME}
Kind=bridge
EOS
chmod 644 /etc/systemd/network/${INTERNAL_DEV_NAME}.netdev
cat << EOS > /etc/systemd/network/${INTERNAL_DEV_NAME}.network
[Match]
Name=${INTERNAL_DEV_NAME}
[Network]
Address=${INTERNAL_GATEWAY_ADDR}/${INTERNAL_NETWORK_PREFIX}
IPForward=yes
EOS
chmod 644 /etc/systemd/network/${INTERNAL_DEV_NAME}.network
コンテナからのインターネットアクセスをホスト経由で行えるように設定
/etc/systemd/network/${EXTERNAL_DEV_NAME}.network
#[Network]セクションに追加
IPForward=kernel
IPMasquerade=yes
以上の設定を読み込み、IPマスカレードできるよう設定
ホスト側
systemctl restart systemd-networkd
firewall-cmd --permanent --zone=${INTERNAL_ZONE_NAME} --change-interface=${INTERNAL_DEV_NAME}
firewall-cmd --permanent --zone=${EXTERNAL_ZONE_NAME} --change-interface=${EXTERNAL_DEV_NAME}
firewall-cmd --permanent --zone=${EXTERNAL_ZONE_NAME} --add-masquerade
firewall-cmd --reload
マスターコンテナ作成
コンテナのデータを置くディレクトリを作成し、絶対パスを取得
(コンテナ内のルートディレクトリ)
ホスト側
mkdir -p ${CONTAINERS_MASTER_DATA_DIR}
L_CONTAINER_ROOT_DIR=$(readlink -f ${CONTAINERS_MASTER_DATA_DIR})
コンテナ内に必要なものをインストール
コンテナ内にカーネルは必要ないので--exclude=kernel*
ホスト側
yum --installroot=${L_CONTAINER_ROOT_DIR} \
--releasever=7 --disablerepo='*' --enablerepo=base \
group install 'core' 'base' \
--exclude=kernel* \
-y
yum --installroot=${L_CONTAINER_ROOT_DIR} \
--releasever=7 --disablerepo='*' --enablerepo=base \
install 'systemd-networkd' \
--exclude=kernel* \
-y
echo exclude=kernel* >> ${L_CONTAINER_ROOT_DIR}/etc/yum.conf
初期パスワードを設定
ホスト側
sed -i \
-e "s@^root:[^:]*@root:$(perl -E "say crypt('"${CONTAINERS_MASTER_FIRST_ROOT_PASSWD}"', '\$6\$'. crypt(rand, rand 100))")@" \
${L_CONTAINER_ROOT_DIR}/etc/shadow
コンテナのネットワーク設定
ホスト側
systemctl disable NetworkManager --root=${L_CONTAINER_ROOT_DIR}
systemctl enable systemd-networkd --root=${L_CONTAINER_ROOT_DIR}
cat << EOS > ${L_CONTAINER_ROOT_DIR}/etc/resolv.conf
nameserver ${DNS_ADDR}
EOS
mkdir -p ${L_CONTAINER_ROOT_DIR}/etc/systemd/network/
cat << EOS > ${L_CONTAINER_ROOT_DIR}/etc/systemd/network/host0.network
[Match]
Name=host0
[Network]
Address=${CONTAINERS_MASTER_NETWORK_ADDR}/${INTERNAL_NETWORK_PREFIX}
Gateway=${INTERNAL_GATEWAY_ADDR}
EOS
touch ${L_CONTAINER_ROOT_DIR}/etc/sysconfig/network
コンテナのセキュリティコンテキストを初期化
ホスト側
restorecon -Rv ${L_CONTAINER_ROOT_DIR}
コンテナを起動します
ホスト側
screen -S 'master' systemd-nspawn -b -D ${L_CONTAINER_ROOT_DIR} --network-bridge=${INTERNAL_DEV_NAME}
コンテナのログインプロンプトが表示されるのでroot/初期パスワードでログインし、自由に環境を構築して下さい
備考
コンソールから抜ける場合
以下の順にキーを押す
Ctrl+a
d
コンソールに再度入る場合
ホスト側
screen -r 'master'
クローンコンテナの作成
(マスターコンテナはシャットダウンして下さい)
コンテナのデータを置くディレクトリを作成し、絶対パスを取得
ホスト側
L_CONTAINER_ROOT_DIR=${CONTAINERS_CLONE_DATA_DIR}/${L_CONTAINER_NAME}
mkdir -p ${L_CONTAINER_ROOT_DIR}
L_CONTAINER_ROOT_DIR=$(readlink -f ${L_CONTAINER_ROOT_DIR})
マスターコンテナのデータディレクトリにオーバーレイしたディレクトリを作成
(コンテナ内のルートディレクトリ)
ホスト側
mkdir -p ${L_CONTAINER_ROOT_DIR}/work
mkdir -p ${L_CONTAINER_ROOT_DIR}/upper
mkdir -p ${L_CONTAINER_ROOT_DIR}/merge
mount -t overlay overlay -o lowerdir=${CONTAINERS_MASTER_DATA_DIR},upperdir=${L_CONTAINER_ROOT_DIR}/upper,workdir=${L_CONTAINER_ROOT_DIR}/work ${L_CONTAINER_ROOT_DIR}/merge
初期パスワードを設定
ホスト側
sed -i \
-e "s@^root:[^:]*@root:$(perl -E "say crypt('"${CONTAINERS_CLONE_FIRST_ROOT_PASSWD}"', '\$6\$'. crypt(rand, rand 100))")@" \
${L_CONTAINER_ROOT_DIR}/merge/etc/shadow
コンテナのネットワーク設定
ホスト側
mkdir -p ${L_CONTAINER_ROOT_DIR}/merge/etc/systemd/network
cat << EOS > ${L_CONTAINER_ROOT_DIR}/merge/etc/systemd/network/host0.network
[Match]
Name=host0
[Network]
Address=${CONTAINERS_CLONE_NETWORK_ADDR}/${INTERNAL_NETWORK_PREFIX}
Gateway=${INTERNAL_GATEWAY_ADDR}
EOS
コンテナのセキュリティコンテキストを初期化し、一旦アンマウント
ホスト側
restorecon -Rv ${L_CONTAINER_ROOT_DIR}/merge
umount ${L_CONTAINER_ROOT_DIR}/merge
コンテナを起動します
ホスト側
#(systemd-nspawn単体でもoverlayできるらしいのですが試していません)
mount -t overlay overlay -o lowerdir=${CONTAINERS_MASTER_DATA_DIR},upperdir=${L_CONTAINER_ROOT_DIR}/upper,workdir=${L_CONTAINER_ROOT_DIR}/work ${L_CONTAINER_ROOT_DIR}/merge
screen -S ${L_CONTAINER_NAME} systemd-nspawn -b -D ${L_CONTAINER_ROOT_DIR}/merge --network-bridge=${INTERNAL_DEV_NAME} --machine=${L_CONTAINER_NAME}
コンテナのログインプロンプトが表示されるのでroot/初期パスワードでログインし、自由にガチャガチャして下さい
備考
コンソールから抜ける場合
以下の順にキーを押す
Ctrl+a
d
コンソールに再度入る場合
ホスト側
screen -r ${L_CONTAINER_NAME}
外部からコンテナへアクセス
ポートフォワードの設定
ホスト側
#受け付けるホスト側のポート
L_HOST_PORT=11022
#プロトコル
L_PROTO=tcp
#フォワード先のコンテナのアドレス
L_CONTAINER_ADDR=10.0.0.11
#フォワード先のコンテナのポート
L_CONTAINER_PORT=22
ホストからのポートフォワードを設定
ホスト側
firewall-cmd --zone=${EXTERNAL_ZONE_NAME} --add-forward-port="port=${L_HOST_PORT}:proto=${L_PROTO}:toaddr=${L_CONTAINER_ADDR}:toport=${L_CONTAINER_PORT}"
firewall-cmd --zone=${EXTERNAL_ZONE_NAME} --add-port=${L_HOST_PORT}/${L_PROTO}