やること

Ubuntu 18.04（WSL）上にpysparkを試すための環境をさくっと用意する。
anacondaやpyenvは使用しないので、使いたい方は随時対応してください。

前提環境

Windows 10 Home
Ubuntu 18.04 LTS (WSL) インストールしたばかりの状態から開始

作る環境

Spark 2.4.6
Hadoop 2.7
Python3.6.9
jupyter-notebook

手順

まずはSparkのインストール

jdkをインストール

sudo apt-get update
sudo apt-get install -y openjdk-8-jdk

sparkをインストール

入れたいバージョンに応じて、各所変更すると吉。

wget http://ftp.riken.jp/net/apache/spark/spark-2.4.6/spark-2.4.6-bin-hadoop2.7.tgz
tar zxvf spark-2.4.6-bin-hadoop2.7.tgz
sudo mv spark-2.4.6-bin-hadoop2.7 /usr/local/
sudo ln -s /usr/local/spark-2.4.6-bin-hadoop2.7 /usr/local/spark

環境変数追加

あとで~/.bashrcの末尾に追記推奨。
ターミナル起動時に毎回追加なくて済む。

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

動作確認

spark-shell --master local[*]

こんな表示が出ればOK
Ctrl + D で脱出

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.6
      /_/

Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 1.8.0_252)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

次にPython3のインストールと設定

python3 インストール

既にあれば省略
/usr/bin/python3がパスになっている想定

sudo apt install python3

環境変数の設定

これもあとで~/.bashrcの末尾に追記推奨。

export PYSPARK_PYTHON=/usr/bin/python3

動作確認

pyspark --master local[*]

こんな表示が出ればOK
これでpysparkが使える。
Ctrl + D で脱出

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.6
      /_/

Using Python version 3.6.9 (default, Apr 18 2020 01:56:04)
SparkSession available as 'spark'.
>>>

jupyterのインストールと設定

pip3のインストール

既にあれば省略

sudo apt install python3-pip

jupyter-notebookをインストール

既にあれば省略

sudo apt install jupyter-notebook

環境変数の設定

あとで~/.bashrcの末尾に追記推奨。
ipは好きに変えてOK。

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook --ip=127.0.0.1' pyspark

動作確認

pyspark --master local[*]

jupyter-notebookが起動して、アクセスできたらOK

適当なpython3ノートブックを作成して下記を実行してみる。

spark

下記のようになれば成功。

完了！

各環境変数の設定を~/.bashrcの末尾に追記しておくと今後が楽。
思う存分pysparkを試せばよい。