Docker for Mac の Volumeマウントの遅さについて
Docker for Mac は正式版になる以前からローカルファイルシステムをマウントした際の、read/writeの遅さが指摘されていた。特に write 側は絶望的なベンチマークがいつも示されていた。
私も、2017年10月に以下の記事でその当時のベンチマークをしている。
このまま改善されないまま進むんではないかと悲観的に見ていたのだが、 18.03.0-ce の rc1 のリリースノートに以下のように Support NFS Volume sharing という記述があったのに気がついた。
### 2018-02-27 18.03.0-ce-rc1-mac54 "18.03.0-ce-rc1-mac54"
* Upgrades
- [Docker 18.03.0-ce-rc1](https://github.com/docker/docker-ce/releases/tag/v18.03.0-ce-rc1)
* New
- VM Swap size can be changed in settings. See [docker/for-mac#2566](https://github.com/docker/for-mac/issues/2566), [docker/for-mac#2389](https://github.com/docker/for-mac/issues/2389)
- Support NFS Volume sharing. Also works in Kubernetes.
Docker for Mac には以前から、 d4m-nfs というものがあり、コンテナ側で nfs-client を動かして、Macのファイルシステムを NFS マウントするというものがあったが、それとどう違うんだ？と情報を探していたんだが、ようやくやり方がわかったので、ついでにベンチマークしてみた。
Docker for Mac での ローカルファイルシステム NFS マウントのやり方
Docker for Mac でローカルファイルシステムを NFS マウントするには以下の手順が必要となる
-
/etc/exportsに共有するディレクトリの設定をする -
/etc/nfs.confに NFS の設定を追加する -
sudo nfsd restartで設定反映 -
docker-compose.ymlに Volume の設定をする
/etc/exports に共有するディレクトリの設定をする
/etc/exports には以下のように設定する。
"/Users" localhost -alldirs -mapall=501:20
上記の設定は以下のような意味となる。
-
/Users以下のすべてのサブディレクトリの NFS マウントを許可する- この例はかなり大雑把な設定をしているので、実際に使う際には自分のホームディレクトリの特定の作業ディレクトリ以下を許可する形になると思う
- localhost からの NFSマウントを許可する
- NFSマウントしたものに対する書き込みは、uid 501、gid 20 でアクセスしたものとする
- Mac で一人目のアカウントを追加すると uid 501 gid 20 で追加される
- ターミナルで id コマンドを実行すると作業ユーザの情報が表示されるので、それを確認して 501 でなければそれを設定する
/etc/nfs.conf に NFS の設定を追加する
/etc/nfs.conf には以下のように設定する。
#
# nfs.conf: the NFS configuration file
#
nfs.server.mount.require_resv_port = 0
最後の１行だけ追加している。この設定をしておけば、1024以上のポートからの接続でもNFSマウント可能となる。
sudo nfsd restart で設定反映
/etc/exports と /etc/nfs.conf の設定変更を反映するために、 sudo nfsd restart を実行して、 nfsd を再起動する。
ここまでは最初に１回やっておけば、次回以降はしないでもOK。
docker-compose.yml に Volume の設定をする
ここまで準備できれば、以下のように設定すれば、 NFS マウントが可能となる。
version: '3.6'
services:
db:
image: mysql:5.7
hostname: db
container_name: db
environment:
- MYSQL_ROOT_PASSWORD=root
ports:
- "3306:3306"
web:
build: .
image: centos69-apache-php
hostname: web
container_name: web
volumes:
- nfs-htdocs:/var/www/html
ports:
- "8080:80"
depends_on:
- db
volumes:
nfs-htdocs:
driver: local
driver_opts:
type: nfs
o: addr=host.docker.internal,actimeo=1
device: ":${HOME}/nfs-test/htdocs"
上記の設定は、今までの通常マウントと以下のような違いがある。
- volumes での設定 NFS をつかった volume 設定をしている
- driver_opts に
type=nfsを指定することにより、NFSを使ったVolumeになる - 接続先ホストに
host.docker.internalを指定することにより、Mac のローカルIPに接続する - device に マウントするローカルディレクトリを指定する。ここではフルパスをきちんと指定しないといけないため、
${HOME}を使うことにより、ディレクトリ構成だけ合わせておけば、ユーザが変わっても大丈夫にしている - この例では
nfs-htdocsという名前で volume 設定している
- driver_opts に
- services 側のコンテナ側の volumes には、 volumes セクションで設定した名前を指定する
- この例では
nfs-htdocsという volume をコンテナの/var/www/htmlにマウントする
- この例では
実際にはどういう挙動をしているのか？
Docker for Mac の NFS volume share は以下のように実現されている。
- Docker for Mac は moby linux が VM として動作しており、その上で各Dockerコンテナが動いている
- NFS volume share は、この moby linux がローカルファイルシステムを nfs マウントして、さらにコンテナに対する volume share を行っている
- 以下のコマンドで、moby linux に接続できる
screen ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/tty- 内部的には
/var/lib/docker/volumesディレクトリ以下で管理されている
通常の volume マウントを行って、コンテナで mount コマンドをうつと以下のように表示される。
osxfs on /var/www/html type fuse.osxfs (rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other,max_read=1048576)
NFS volume share を行って、コンテナで mount コマンドをうつと以下のように表示される
:/Users/kunit/nfs-test/htdocs on /var/www/html type nfs (rw,relatime,vers=3,rsize=65536,wsize=65536,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=192.168.65.2,mountvers=3,mountproto=tcp,local_lock=none,addr=192.168.65.2)
ベンチマーク結果(2018-03-29現在)
以下の記事と同じ条件でベンチマークを再度取ってみた。
ベンチマークを取った環境は以下のもの
- MacBook Pro (Retina, 13-inch, Early 2015)
- 3.1 GHz Intel Core i7
- 16GB Memory
- 1TBフラッシュストレージ
- macOS Sierra 10.12.6
- Docker for Mac edge version 18.03.0-ce-mac58 (23607)
| dd | symfony-3.0 bench(１回目/２回目/3回目) | |
|---|---|---|
| Vagrant + Virtualbox | 0m1.861s | 89.29 / 104.96 / 104.86 |
| Vagrant + Virtualbox + CoreOS Docker | 0m1.851s | 66.65 / 98.06 / 97.53 |
| Docker for Mac(通常マウント) | 0m18.311s | 45.49 / 66.20 / 65.72 |
| Docker for Mac(cached mount) | 0m18.942s | 142.55 / 159.52 / 157.64 |
| Docker for Mac(delegated mount) | 0m18.518s | 146.31 / 169.33 / 167.12 |
| Docker for Mac(nfs mount) | 0m2.657s | 175.77 / 198.60 / 204.16 |
| Docker for Mac(docker-sync) | 0m0.256s | 205.92 / 227.85 / 218.98 |
結果考察
- Vagrant を使ったものは dd の結果が昨年と10倍遅い。何度やってもこの結果になったのだが理由がわからない・・・
- Docker for Mac の通常マウント/cachedマウント/delegatedマウントは相変わらず dd つかったベンチマークは絶望的
- Docker for Mac の cachedマウントとdelegatedマウントの symfony-3.0 を使ったベンチマークが何故かかなり良くなっている。Docker for Macが地味に改善されていた？
- 今回追加された NFS マウントだが、 dd の結果が大幅に改善されている。今回何故か遅くなってしまった Vagrant の結果とほぼ同じなので大健闘(Vagrant も nfs マウントしてるので同じスピードになるのはある意味納得ではあるんだが)
- docker-sync は相変わらず爆速
まとめ
18.03 で使えるようになった NFS Volume share は、nfsの設定を少しすれば気軽につかえるし、docker-sync ほどめんどくさくないのでかなりいいと思う。(docker-sync での運用は今までしてないが、よく落ちるという話もちらほら聞くし)
これくらいのスピードがでるならば、もう通常のボリュームマウントは使う必要はないと思います。
2018-03-30 追記
以下はもともとまとめに書いた内容だったが、ちょっと用途が特殊だったようだったのでざっくり打ち消し。
(一応、フォローしておくと、Dockerファイル内で VOLUME 指定しているディレクトリをローカル側にマウントする場合は注意が必要かもしれないということかも)
これくらいのスピードがでるならば、もう通常のボリュームマウントは使う必要はない・・・と言いたいんだが、今日色々試してみたところ以下のような落とし穴があった。
MySQL コンテナのデータボリューム(/var/lib/mysql)にNFSマウントしたvolumeを使おうとすると、コンテナ起動時(ENTRYPOINT)のデータの初期化時にパーミッションが問題となりうまくコンテナが起動しない
既に仕組みを説明したとおり、Docker for Mac の NFS マウントは間に入っている moby linux に一旦マウントしてから、各コンテナで利用するんだが、moby linux にマウントした際に、MySQL コンテナのデータボリュームが rootユーザの所有になってしまって、その後の chown コマンドでの mysql ユーザ所有への変更部分で落ちてしまう。
実際のログは以下の通り。
chown: changing ownership of '/var/lib/mysql/': Operation not permitted
この回避方法がわからない限り、MySQLコンテナのデータボリュームは今まで通りのマウントを続けないと行けない。しかし、データベースのデータボリュームは read/write が一番激しい場所のはずなので、ここにこそ NFS マウントでの速度アップを適用したいのだが・・・
明日以降もいろいろと試してうまく行ったらここに追記するが、うまく行ったぞという方がいらっしゃったらコメントお願いします・・・(本当にお願いします)
2018/04/04 追記
もともと記述していた NFS Volume の設定ですが、特にオプションを指定してませんでした。
それで少し運用してみたところ、ローカルファイルシステムのファイルの修正が、コンテナ側になかなか反映されなかったので、以下のように修正しています。これでしばらく運用してみようと思います。
driver_opts に actimeo オプションを追加
volumes:
nfs-htdocs:
driver: local
driver_opts:
type: nfs
o: addr=host.docker.internal,actimeo=1
device: ":${HOME}/nfs-test/htdocs"