Docker muti-stage builds で中間イメージにタグ付けする

モチベーション

Docker image の容量を少しでも小さくするために，ビルド用イメージとメインのイメージを分けることがあります．特に，Docker 17.05以降では，multi-stage buildsがサポートされ取り回しがよくなりました．

Dockerfile

## Build pytorch. ##
FROM python:3.6.3 AS build-env
# Install dependencies.
RUN pip install numpy pyyaml mkl setuptools cmake cffi
# Disable GPU.
ENV NO_CUDA 1
# Download and build.
RUN wget https://github.com/pytorch/pytorch/archive/v0.2.0.tar.gz && \
    tar -zxvf v0.2.0.tar.gz && \
    cd pytorch-0.2.0 && \
    python setup.py install

## Build main image. ##
FROM python:3.6.3
ENV LD_LIBRARY_PATH /usr/local/lib
# Install dependencies.
RUN pip --no-cache-dir install numpy mkl
# Install pytorch.
RUN mkdir /usr/local/lib/python3.6/site-packages/torch \
          /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info
COPY --from=build-env /usr/local/lib/python3.6/site-packages/torch /usr/local/lib/python3.6/site-packages/torch
COPY --from=build-env /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info

$ docker build -t pytorch .
$ docker images
REPOSITORY             TAG                 IMAGE ID            CREATED             SIZE
pytorch                latest              a47d831b6b81        7 seconds ago        1.52GB
<none>                 <none>              775d7f035616        About a minute ago   2.14GB

一方で， multi-stage builds で生成された中間イメージは docker image prune で削除されてしまったり， CI環境でのキャッシュの取り回しが若干面倒であったりします．そこで， multi-stage builds の中間イメージにタグ付けしたいというのがモチベーションです．

どうやるの？

COPY --from=<image> <src> <dest> の構文を使うことで，ビルド用イメージとメインのイメージをつなぐようにします．
まず，ビルド用イメージの Dockerfile を用意します．

Dockerfile.build

FROM python:3.6.3

# Install dependencies.
RUN pip install numpy pyyaml mkl setuptools cmake cffi
# Disable GPU.
ENV NO_CUDA 1
# Download and build.
RUN wget https://github.com/pytorch/pytorch/archive/v0.2.0.tar.gz && \
    tar -zxvf v0.2.0.tar.gz && \
    cd pytorch-0.2.0 && \
    python setup.py install

続いて，メインイメージの Dockerfile を用意します．

Dockerfile

FROM python:3.6.3

ENV LD_LIBRARY_PATH /usr/local/lib
# Install dependencies.
RUN pip --no-cache-dir install numpy mkl
# Install pytorch.
RUN mkdir /usr/local/lib/python3.6/site-packages/torch \
          /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info
COPY --from=pytorch_build:local /usr/local/lib/python3.6/site-packages/torch /usr/local/lib/python3.6/site-packages/torch
COPY --from=pytorch_build:local /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info /usr/local/lib/python3.6/site-packages/torch-0.2.0-py3.6.egg-info

この方法だと，2つの Dockerfile に分かれてしまうため，最後にビルド手順を記述する Makefile を用意します．

Makefile

all: main

pytorch_build: Dockerfile.build
	docker build -f Dockerfile.build -t pytorch_build:local --cache-from=pytorch_build:local .

main: Dockerfile pytorch_build
	docker build -f Dockerfile -t pytorch --cache-from=pytorch .

ビルドすると，

$ make
$ docker images
REPOSITORY             TAG                 IMAGE ID            CREATED             SIZE
pytorch                latest              da56568f200a        20 seconds ago      1.52GB
pytorch_build          local               587212a81a2f        22 seconds ago      2.14GB

中間イメージにもちゃんとタグが付いていることが分かると思います．また，mnist のサンプルもちゃんと動きます．

$ docker run -it --rm pytorch bash
root@ba9f46714e02:/# git clone https://github.com/pytorch/examples pytorch-examples
Cloning into 'pytorch-examples'...
remote: Counting objects: 1484, done.
remote: Compressing objects: 100% (6/6), done.
remote: Total 1484 (delta 1), reused 4 (delta 0), pack-reused 1478
Receiving objects: 100% (1484/1484), 29.96 MiB | 249.00 KiB/s, done.
Resolving deltas: 100% (783/783), done.
Checking connectivity... done.
root@ba9f46714e02:/# cd pytorch-examples/mnist
root@ba9f46714e02:/pytorch-examples/mnist# pip install -r requirements.txt 
Requirement already satisfied: torch in /usr/local/lib/python3.6/site-packages (from -r requirements.txt (line 1))
Collecting torchvision (from -r requirements.txt (line 2))
  Downloading torchvision-0.1.9-py2.py3-none-any.whl (43kB)
    100% |████████████████████████████████| 51kB 797kB/s 
Collecting pyyaml (from torch->-r requirements.txt (line 1))
  Downloading PyYAML-3.12.tar.gz (253kB)
    100% |████████████████████████████████| 256kB 2.0MB/s 
Requirement already satisfied: numpy in /usr/local/lib/python3.6/site-packages (from torch->-r requirements.txt (line 1))
Collecting six (from torchvision->-r requirements.txt (line 2))
  Downloading six-1.11.0-py2.py3-none-any.whl
Collecting pillow (from torchvision->-r requirements.txt (line 2))
  Downloading Pillow-4.3.0-cp36-cp36m-manylinux1_x86_64.whl (5.8MB)
    100% |████████████████████████████████| 5.8MB 253kB/s 
Collecting olefile (from pillow->torchvision->-r requirements.txt (line 2))
  Downloading olefile-0.44.zip (74kB)
    100% |████████████████████████████████| 81kB 7.0MB/s 
Building wheels for collected packages: pyyaml, olefile
  Running setup.py bdist_wheel for pyyaml ... done
  Stored in directory: /root/.cache/pip/wheels/2c/f7/79/13f3a12cd723892437c0cfbde1230ab4d82947ff7b3839a4fc
  Running setup.py bdist_wheel for olefile ... done
  Stored in directory: /root/.cache/pip/wheels/20/58/49/cc7bd00345397059149a10b0259ef38b867935ea2ecff99a9b
Successfully built pyyaml olefile
Installing collected packages: six, olefile, pillow, torchvision, pyyaml
Successfully installed olefile-0.44 pillow-4.3.0 pyyaml-3.12 six-1.11.0 torchvision-0.1.9
root@ba9f46714e02:/pytorch-examples/mnist# python main.py 
Downloading http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz
Downloading http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz
Processing...
Done!
Train Epoch: 1 [0/60000 (0%)]	Loss: 2.316824
Train Epoch: 1 [640/60000 (1%)]	Loss: 2.311471
Train Epoch: 1 [1280/60000 (2%)]	Loss: 2.298839
Train Epoch: 1 [1920/60000 (3%)]	Loss: 2.317593
Train Epoch: 1 [2560/60000 (4%)]	Loss: 2.282021
Train Epoch: 1 [3200/60000 (5%)]	Loss: 2.272163
・・・
Train Epoch: 10 [56960/60000 (95%)]	Loss: 0.142048
Train Epoch: 10 [57600/60000 (96%)]	Loss: 0.199800
Train Epoch: 10 [58240/60000 (97%)]	Loss: 0.102195
Train Epoch: 10 [58880/60000 (98%)]	Loss: 0.305267
Train Epoch: 10 [59520/60000 (99%)]	Loss: 0.162137

Test set: Average loss: 0.0543, Accuracy: 9822/10000 (98%)

まとめ

COPY --from=<image> <src> <dest> の構文を使うことで中間イメージにタグ付けすることが出来ました．しかし，1つの Dockerfile では完結できないあたり，コレジャナイ感もあります．メリットとしては，ローカルを介することがないため， Docker に閉じた世界でビルドが完結しローカル環境でもCI環境でも同様に扱うことが出来る点が挙げられるかと思います．
COPY --from=<image> <src> <dest> の構文自体あまり知られていないようにも思いますので，もしかしたら，既存のイメージから必要なパッケージのみを取り出すなどの用途に利用できるかも分かりません．
なお，本家では，LABEL を使う方法が提案されていたりします．しかし，この方法だとCI環境でのラベルのライフサイクルの管理がやや面倒です． multi-stage builds で適切にキャッシュを扱えるような機能がリリースされることを待っています．