Posted at

brewでSparkをインストールする

More than 3 years have passed since last update.

ちょっと試したい時にローカル環境にSpark入れたのでメモ。

# brew でインストール

brew update
brew install apache-spark

# パスを通す
export SPARK_HOME="/usr/local/Cellar/apache-spark/1.6.2/libexec/"
export PYSPARK_SUBMIT_ARGS="--master local[2]"

これだけ。

次回も使うんだったら.bashrcに書いておく。

echo 'export SPARK_HOME="/usr/local/Cellar/apache-spark/1.6.2/libexec/"' >> ~/.bashrc

echo 'export PYSPARK_SUBMIT_ARGS="--master local[2]"' >> ~/.bashrc

たぶんbrewのSparkのバージョン変わったらパスを通す場所が変わるので、brew infoで確認するとよいらしい。

:~ $ brew info apache-spark

apache-spark: stable 1.6.2, HEAD
Engine for large-scale data processing
https://spark.apache.org/
/usr/local/Cellar/apache-spark/1.6.2 (842 files, 300.2M) *
Built from source on 2016-07-20 at 15:21:29
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/apache-spark.rb

少し重いけど、ちょっと試したいだけなら十分だった。

MLlibもちゃんと動いたし。


参考URL

https://gist.github.com/ololobus/4c221a0891775eaa86b0