Ubuntu18にApache Sparkのインストール。2019-08-05

概要

2019年8月時点の Apache Spark のインストールメモです。（自分の作業メモです）
とりあえずなんか動いた！というのを確認するところまでやります。

環境

% cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04.2 LTS"

準備

Javaのインストール

% sudo apt-get install openjdk-11-jdk
% java --version
openjdk 11.0.4 2019-07-16
OpenJDK Runtime Environment (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3)
OpenJDK 64-Bit Server VM (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3, mixed mode, sharing)

Apache Sparkのインストール

https://spark.apache.org/downloads.html
ダウンロードして展開して終了です。

% wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
% tar -xzf spark-2.4.3-bin-hadoop2.7.tgz

とりあえずダウンロードして展開したそのままで進めます。
ちゃんとやるなら /usr/local とか /opt の下あたりに配置しつつ環境変数も各シェルのrcあたりに書いておくと良いです。

% cd spark-2.4.3-bin-hadoop2.7
% export SPARK_HOME=$(pwd)
% export PATH=$PATH:$SPARK_HOME/bin

とりあえず動かしてみる

spark-shell を起動してみる

% spark-shell
（...Warningとか出たけどとりあえず気にしないことにする）
Spark context Web UI available at http://10.0.2.15:4040
Spark context available as 'sc' (master = local[*], app id = local-1564991419374).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 11.0.4)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

とインタラクティブシェルが起動すれば大丈夫でしょう。
とりあえず動いた！というのが確認できました。

まとめ

自分の作業メモがてら2019年8月時点のApache Sparkのインストールについて書きました。

（Apache Sparkのインストールについてここ数年くらいで大きな変更はなさそうな雰囲気、だったのでわざわざ書かなくてよかったかも ）