はじめに
Docker初心者がUdemyの講座「米国開発者がゼロから教えるDocker講座」を受講して学んだ、EC2上にデータ分析環境を作成する方法について、自分で見返すためにも簡単にまとめたものになります。
バージョン
・Docker：20.10.8
Dockerの基礎知識
・Dockerを使用するメリット
環境の構築や共有の手間を減らせることが、メインのメリットのようです。
実際、各自が使用しているPCなどに、一から必要なライブラリをインストールして、バージョンを合わせて。。とやっていくのは大分手間がかかりそうです。
Dockerでは、Docker imageさえ共有してしまえば簡単に環境を共有することができます。
・コンテナ作成までの流れ
実際に運用するのは作成したコンテナ中ということになりますが、他者と共有するのはそれを作成する元となる、Docker imageやDockerfileになります。下図にdockerにおける作業の大雑把な流れを示しています。
・EC2上にDocker imageを作成(共有)する方法
EC2上にDocker imageを作成(共有)する方法としては、大きく三つあるようです。
▷Docker imageをDocker hubにpushし、そのimageをEC2にpullする。
▷DockerfileをEC2上に送り、EC2上でbuildする。
▷Docker imageをtarファイルにしてEC2上に送る。
三つ目についてはDocker imageのファイルが重くなるため、あまりインターネットを介したやりとりには向いておらず、ローカルで共有する際に使うようです。
今回は一つ目の手法で行いました。
DockerでEC2上にデータ分析環境を作成する
anacondaをインストールし、jupyter labを立ち上げてくれるデータ分析環境を作成します。
流れとしては、
1.DockerfileからDocker imageをbuild
2.Docker hubにDocker imageをpush
3.AWS ec2にDocker imageをpull
4.Docker runを実行しDocker imageからコンテナを作成
●Dockerfileを作成⇨Docker imageをbuild
Docker imageの元となるDockerfileを作成します。テキストエディタであれば何でも良いかと思います。Dockerfileのファイル名については、「Dockerfile」が良いかと思います。それ以外の名前の場合は、buildする際に、-f ＜ファイル名＞ のオプションでDockerfileの名前を指定する必要があります。
下記に今回使用したDockerfileのコマンドを記載しています。
FROM
基本的にDockerfileの一番最初に記載し、ベースとなるimageを決定する。ほとんどのケースでOSを指定することになるらしく、今回はubuntuを指定している。
RUN
LINUXのコマンドを実行する。
今回は最初にapt-getのアップデートと、sudo,wget,vimのインストールを行なっている。
2回目のRUNでは、wgetでAnacondaインストーラのダウンロード、shでインストーラの実行、rmでインストーラの削除を行なっている。
WORKDIR
RUNを実行する場所を変えることができる。今回はルート直下ではなくopt内にanacondaをインストールするため、/optに移動している。パッケージをインストールする際、optにインストールするのは割と定番の流れらしい。
ENV
環境変数を設定することができる。パスを通すときによく使用する模様。
今回は、anacondaのパスを通している。
CMD
コンテナのデフォルトで実行されるdockerコマンドを指定でき、基本的にDockerfileの最後に記載する。
今回はjupyter labをローカルホストに起動するためのコマンドを指定しています。
※jupyter lab起動時のコマンドについてはこちらの記事が分かりやすかったです。
Dockerfileの作成
FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
sudo \
wget \
vim
WORKDIR /opt
RUN wget https://repo.anaconda.com/archive/Anaconda3-2019.10-Linux-x86_64.sh && \
sh /opt/Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3 && \
rm -f Anaconda3-2019.10-Linux-x86_64.sh
ENV PATH /opt/anaconda3/bin:$PATH
RUN pip install --upgrade pip
WORKDIR /
CMD ["jupyter", "lab", "--ip=0.0.0.0", "--allow-root", "--LabApp.token=''"]
Dockerfileを作成したら、コンソールでbuildします。
今回はファイル名「Dockerfile」で作成したため、-fの指定なしでbuildします。
anacondaという名前のimageをbuildします。
docker build -t イメージ名 Dockerfileのディレクトリ
docker build -t anaconda .
特にエラーが無ければdocker imagesを実行して下記のようにimageができているかと思います。
docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
anaconda latest f211111117 3 weeks ago 3.42GB
●Docker imageをDocker hubにpushする
次にこのimageをDocker hubにpushします。
・Docker hub上にリポジトリを作成
pushする前に、Docker hub上にpush先となるリポジトリを作成しておく必要があります。
https://hub.docker.com/
こちらのDocker hubのページにログインして最初のページに出てくる「Create Repository」ボタンで、適当な名前のリポジトリを作成します。基本的に一つのリポジトリに対し、一つのimageを格納する形になるようです（ただし一つのimageに対して複数のタグを作成可能）。
・pushする
作成したリポジトリにimageをpushするのですが、pushするimageの名前は、「Dockerに登録したユーザー名/さっき作成したリポジトリ名」である必要があります。そこで、さっき作成したimageの名前を変更します。
docker tag 変更前のimage名 変更後のimage名
docker tag anaconda ユーザー名/リポジトリ名
これでpushできるようになったので、pushします。
docker push image名
docker push ユーザー名/リポジトリ名
これで、Docker hubのリポジトリ上にimageがpushできました。
●aws ec2にDocker imageをpull
ec2上にubuntuのインスタンスを立て、dockerをダウンロードします。
インスタンス上で下記を実行
sudo apt-get update
sudo apt-get install docker.io
sudo gpasswd -a ubuntu docker
これで、インスタンス上でdockerが使用できるようになりました。
あとはDocker hub上から、imageをpullしてくるだけです。
docker pull image名
docker pull ユーザー名/リポジトリ名
これでec2上にdocker imageを共有することができました。
●Docker imageをrunし、jupyter labを立ち上げる。
それでは、コンテナをrunします。
runする際に使用したオプションを記載します。
--rm
コンテナ使用後に自動で削除される
-v ホストのディレクトリパス:コンテナ内のディレクトリパス
ホストのディレクトリと、コンテナのディレクトリをマウントできる。
-p ホストのポート:コンテナのポート
ホストのポートとコンテナのポートを接続する。
docker run --rm -v ~/mouted:/work -p 8888:8888 image名
docker run --rm -v ~/mounted:/work -p 8888:8888 ユーザー名/リポジトリ名
上記を実行し、jupyter labが立ち上がります。
実際にブラウザで下記のURLを入力し、接続してみます。
ec2のパブリックアドレス:8888
開きました！
今回はworkディレクトリにマウントしたため、workディレクトリ内で作業すれば、ホスト側のディレクトリでも反映されます。