はじめに

MIERUNEアドベントカレンダー22日目です！

いよいよ終盤ですね！

今回はDockerのマルチステージビルドについてやっていきます！

いやいやGIS関係ないんかい！と思う方もいるかもしれませんが、そんなことはありません！

GISに関わるプログラミングをするときにPythonはもはや必須ですし、WebGISをやっていく上でDockerも必須です。
なのでまぁDockerの話題はほぼGISですね。

ということで早速やっていきましょう！

作成するファイルはこちらに置いていますので、せっかちな方はご利用ください。
https://github.com/nokonoko1203/minimize-docker-image

必要なファイルを作成する

まずは適当にディレクトリを作成しましょう！

mkdir minimize-docker-image
cd minimize-docker-image

次に適当なPipfileを作成して書き込みます。
Pythonのバージョンはなんでも良いですが、今回はpython3.9のdockerイメージを利用するので、3.9系を指定しました。
マイクロバージョンはほんとになんでも良いです。

touch Pipfile

Pipfile

[[source]]
name = "pypi"
url = "https://pypi.org/simple"
verify_ssl = true

[dev-packages]
autopep8 = "*"
flake8 = "*"
isort = "*"
mypy = "*"

[packages]
requests = "==2.24.0"

[requires]
python_version = "3.9.9"

作成したPipfileを利用してlockファイルを作ります。

pipenv lock

最後にDockerfileを作成しましょう。

Dockerfile

FROM python:3.9-buster

ENV PYTHONUNBUFFERED=1

RUN mkdir app

WORKDIR /app

COPY Pipfile.lock /app/

RUN pip install -U pip && \
    pip install pipenv==2021.5.29 && \
    pipenv sync --system && \
    pip uninstall --yes pipenv

これだけでPythonの実行環境が概ね完成しました！
Dockerってすごいですね！

イメージを作成して起動してみる

作成したDockerfileを利用してDockerイメージを作成しましょう！
python-sampleのところは作成したいイメージ名を指定しますので、任意で構いません。

docker image build . -t python-sample

Dockerイメージからコンテナを起動してPythonのパッケージがインストールされているか確認してみましょう！

% docker container run --rm python-sample pip list
Package                           Version
--------------------------------- ---------
backports.entry-points-selectable 1.1.1
certifi                           2021.10.8
chardet                           3.0.4
distlib                           0.3.4
filelock                          3.4.0
idna                              2.10
pip                               21.3.1
platformdirs                      2.4.0
requests                          2.24.0
setuptools                        57.5.0
six                               1.16.0
urllib3                           1.25.11
virtualenv                        20.10.0
virtualenv-clone                  0.5.7
wheel                             0.37.0

Pythonもちゃんと入っていそうです。

% docker container run --rm python-sample python -V
Python 3.9.9

Dockerイメージをスリムにする

先程作成したDockerイメージのサイズを確認してみましょう。

% docker image ls | grep python-sample
python-sample  latest  abd1e5ec8c95  15 minutes ago  945MB

dockerイメージの容量は比較的大きめ（945MB）です。

基本的な原則として、イメージサイズが大きいと良いことは少ないです。

イメージのビルドに時間がかかる上、SSDを圧迫します。

配布する際にはアップロードにもダウンロードにも時間がかかってしまいますね。

なので、特に理由がなければコンパクトにするのが望ましいです。

ということでDockerfileを編集してイメージサイズを下げていきましょう！

Dockerfileを改修して軽量なイメージを利用する

Dockerfileを以下のように修正します。

FROM python:3.9-slim-buster

ENV PYTHONUNBUFFERED=1

RUN mkdir app

WORKDIR /app

COPY Pipfile.lock /app/

RUN pip install -U pip && \
    pip install pipenv==2021.5.29 && \
    pipenv sync --system && \
    pip uninstall --yes pipenv

利用するイメージをpython:3.9-busterからpython:3.9-slim-busterに変更してみました。
このままイメージをビルドしてみましょう。

docker image build . -t python-sample-minimize

動作確認

% docker container run --rm python-sample-minimize pip list
Package                           Version
--------------------------------- ---------
backports.entry-points-selectable 1.1.1
certifi                           2021.10.8
chardet                           3.0.4
distlib                           0.3.4
filelock                          3.4.0
idna                              2.10
pip                               21.3.1
platformdirs                      2.4.0
requests                          2.24.0
setuptools                        57.5.0
six                               1.16.0
urllib3                           1.25.11
virtualenv                        20.10.0
virtualenv-clone                  0.5.7
wheel                             0.37.0

そのままイメージサイズを確認してみます。

% docker image ls | grep python-sample             
python-sample-minimize  latest  733101d08d8f  12 seconds ago  174MB
python-sample  latest  abd1e5ec8c95  4 hours ago  945MB

！！！

なんとびっくりイメージサイズが1/5以下に！！！！！

というのは当たり前で…

python:3.9-buster: よく利用される（Python以外の）ツールなどもてんこ盛りでプリインストールされている便利なイメージ
python:3.9-slim-buster: 利用頻度の低いツールを削ぎ落とした軽量イメージ

です。

ツールがあまりインストールされていないので、当然イメージサイズも小さい、ということになります。

今回は特に問題ないので利用しましたが、slim-busterを利用する際には自分の必要とするツールがプリインストールされているのかどうかよく確認してから利用する必要があります。

また、運用中のコンテナをbusterからslim-busterへ移行する場合にはより一層注意が必要です。

さらなる軽量化を目指す

ということで、（利用したいツールが全て揃っているのであれば）slim-busterを利用するだけでだいぶイメージサイズを軽量化できることがわかりましたが、今回はもう少し攻めてみましょう。

Dockerfileを以下のように修正します。

FROM python:3.9-buster as builder

ENV PYTHONUNBUFFERED=1

RUN mkdir app

WORKDIR /app

COPY Pipfile.lock /app/

RUN pip install -U pip && \
    pip install pipenv==2021.5.29 && \
    pipenv sync --system && \
    pip uninstall --yes pipenv

FROM python:3.9-slim-buster as production

ENV PYTHONUNBUFFERED=1

RUN mkdir app

WORKDIR /app

COPY --from=builder /usr/local/lib/python3.9/site-packages /usr/local/lib/python3.9/site-packages/
COPY --from=builder /app /app/

Dockerfileの中にFROMが2回出てくるのが見慣れないという方もいるかもしれませんね。

これはマルチステージビルドといって、FROM文を複数使い、各ステージにbuilder・productionのような名前をつけて段階的にビルドしていくことです。

今回の例では、まずbuilderステージでpython:3.9-busterを利用し、pipからのライブラリのインストールなどを完了させます。
その後、python:3.9-slim-busterを利用したproductionステージで、builderステージでインストールしたライブラリが格納されたディレクトリごとコピーしてきています。

こうすることでpipやpipenvなど、アプリケーションの実行に不要なファイルを除外することができます。
では実際にイメージをビルドしてみましょう。

% docker image build . -t python-sample-minimize

その後、イメージサイズを確認してみましょう。

% docker image ls | grep python-sample-minimize
python-sample-minimize  latest  f9ab98960d48  32 seconds ago  138MB

174MBから138MBまで減らすことができました！

終わりに

複雑な依存関係をもたず、簡単なスクリプト実行のためにDockerを利用するのであれば、案外サクッとイメージサイズを下げることができます。

今回はマルチステージ前後で４０MB程度しか減りませんでしたが、実行ファイルをビルドする必要があったり、Next.jsを利用して静的ファイルを吐き出す際の利用など、「ビルド時には多くのライブラリが必要だが、アプリケーションの実行にはほとんど依存関係が必要ない」場合にはものすごい効果を発揮します。

皆さんもどんどん利用していきましょう！