手元のwindowsのノートブックにKaggleのDocker Imageを使って手軽に環境構築しようとした際に詰まった部分を備忘として記録します。
基本的に「天色グラフィティ」の記事を参考にしていますので、まずこちらを参照し、OSがwindowsのWin10 Pro以外かつDocker toolboxをお使いの場合は参考になるかと思います。
##つまずいた点① docker-composeのyamlの実行がvolume nameのエラーでうまくいかない
上記の記事の通りdocker-composeのyamlファイルを作成したら、エラーになりました。
version: "3"
services:
jupyter:
build: .
volumes:
- $PWD:/tmp/working
working_dir: /tmp/working
ports:
- 8888:8888
command: jupyter notebook --ip=0.0.0.0 --allow-root --no-browser
「volume name is too short, names should be at least two alphanumeric characters」というエラーが出てきます。調べてみた結果、yamlファイル中のvolumesの環境変数の表記が$PWD
は変数ですが、手元の環境ではうまく動かず、${PWD}
とPWD(現在のディレクトリパスを取得する)コマンドを実行するようにした方がうまくいくようです。
そのため$PWD:/tmp/working
ではなく${PWD}/tmp/working
の方でうまくいきました(Docker初学者のため、より詳細の理由についてはコメント頂ければ幸いです。)
##つまずいた点② ブラウザでDockerに接続できない
docker-compose up --build
で修正したyamlファイルで実行すると、kaggleの分析環境でjupyter notebookが立ち上がった状態でうまくコンテナをビルトできました。
しかし、ブラウザで「http://localhost:8888/?token=XXXX」
をURLで入力してDockerの8888ポート経由でjupyter notebookに接続しようとしてもうまくいきません。
Docker toolboxの場合、直接localhost(ローカルホスト)に接続できず、Docker Toolboxで動かしている仮想マシンのIPアドレスを取得してURLにlocalhostの代わりに入力する工夫が必要です。
> docker-machine ip default
192.168.XX.XX
するとうまくjupyter notebookに接続することができました。
##つまづいた点③ ホストOSのディレクトリへのマウントがうまくできない
前述のyamlファイルのvolume
の部分はマウントするディレクトリを表していますが、実は自分の環境においては、マウントがうまくいかずホストOS(ローカル)とVM上のディレクトリが同期しませんでした。
調査した結果以下が原因であることがわかりました。
- Oracle VirtualBoxのフォルダ共有設定がなされていない
- docker側のVMのブートファイル(boot2docker.iso)のバージョンがdocker toolboxのインストール時に一緒にインストールされたVirtualBoxのバージョンと一致していない。
1.は「Oracle VM VirtualBox マネジャー」を立ち上げ、現在使用しているdocker machine VMの
詳細>共有フォルダ>新規共有フォルダを追加する>自動マウント・永続化にするにチェックすることで、マウントができます。windows向けのdocker toolboxはVirtualBoxを経由しているため、このような設定をしないとdockerのコマンドが効果を持ちません。
VM VirtualBoxアイコン
VM VirtualBoxマネジャー
VM詳細の共有フォルダー設定ウィンド
ところが、1.について設定しても、マウントがうまくいきませんでした。原因は最初にインストールしたVirtualBoxのバージョンとDockerのVMのブートファイルのバージョンが一致しなかったことが原因です。(なぜこうなったかは不明)
ブートファイルを現状のVirtualBoxのバージョンに合わせて変えるのもできますが、私はVirtualBoxを最新のバージョンにインストールしなおし、同時にブートファイルも更新しました。
ブートファイルは、C://Users/{ユーザー}/.docker/machine/cache/boot2docker.iso
として格納されています。このファイルはここで入手できます。
VirtualBoxのバージョンは、ヘルプ>VirtualBoxについてで確認することができ、ここでインストーラーをダウンロードできます。
ブートファイルを置き換え、VirtualBoxの再インストールを実施し、古いdocker VM machineをVirtualBoxマネジャーにて削除を行います。Docker Quick Start Terminalを起動すると、自動的にブートファイルに基づき、新たなdocker用のVMを立ち上げてくれます。
細かいことですが、ブートファイルのバージョンとVirtualBoxのバージョンの違いはそのまま、ホストOSのマウントに使用するGuestAdditions.isoのという設定ファイルのバージョン違いになり、マウントがうまくいかない原因になります。
つまづいた点④ jupyter notebookを毎回立ち上げたくない
Docker imageに基づきyamlファイルでDockerコンテナを作成しましたが、コンテナを立ち上げるごとにjupyter notebookが立ち上げるコマンドが入っていますので、その都度コンテナとともにjupyter notebookが立ち上がってしまいます。その時下記のようなコマンドでコンテナを立ち上げ、アタッチすることで、実質前述のyamlファイルの設定において、jupyter notebookを立ち上げない以外は同様な設定でコンテナにアクセスできます。
docker run -t -i --name {コンテナ名} -p 8888:8888 -v $PWD:/tmp/working:/tmp/working -w /tmp/working {Dockerイメージ名} /bin/bash
もろもろinstallやディレクトリを作成したのち、jupyter notebook --ip=0.0.0.0 --allow-root --no-browser
でjupyter notebookを立ち上げて使うこともできます。同様に上のdockerコマンドにあったyamlファイルを作って実行することもできます。(ここでは割愛します)
参考までによく使うdockerコマンドを下に記します。
#VMを立ち上げる
docker-machine start {VM名}
#現在作成されているイメージ一覧
docker images
#現在作成されているコンテナ一覧
docker ps -a
#上記で確認したコンテナを名称ないしIDでスタートする
docker start {コンテナ名/コンテナID}
#スタートしたコンテナにアタッチする
docker attach {コンテナ名/コンテナID}
#VMを終了する
docker-machine stop {VM名}
#不要なイメージを削除する
docker rmi {イメージ名/イメージID}
#不要なコンテナを削除する
docker rm {コンテナ名/コンテナID}
##最後に
手軽に市販のwindowsのノートブックで分析してみたいが、環境を汚したくない場合、Dockerはすごく便利なソフトウェアです。それを一般的なWindows 10 Home Editionで導入した際につまづいた点をまとめました。参考になれば幸いです。