Spark 2.4.3 の Docker イメージを作成する

以下のコマンドでビルド済みSparkのコードを取得します。

$ wget https://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz

以下のコマンドでDockerイメージをビルドし、DockerHubにpushします。

$ ./bin/docker-image-tool.sh -r yohei1126 -t v.2.4.3 build
$ ./bin/docker-image-tool.sh -r yohei1126 -t v.2.4.3 push

これでDockerイメージが3個あります。

$ docker images | grep spark
yohei1126/spark-r                                                           v2.4.3              3fe1391b05dc        23 minutes ago      741MB
yohei1126/spark-py                                                          v2.4.3              181ffe00ea8f        24 minutes ago      447MB
yohei1126/spark                                                             v2.4.3              4758132028fd        24 minutes ago      356MB