Apache SparkをOSXで動かそう #Spark

など注目のアップデートが盛りだくさんです。
ビルド済みパッケージを利用してもいいのですが、ちゃんとビルドしてつかってみよう！
特にドキュメントと違うことはないけれど、メモ代わりに残しておきます。

環境

ドキュメントには、Building Spark using Maven requires Maven 3.0.4 or newer and Java 6+.とあるので、事前にMavenとJavaがインストール済みかを確認しておく。

# Java 6以上が必要です。
java -version

# Maven 3.0.4以上が必要です。
mvn -version

残念な結果だったらHomebrewなりで環境を整えておきます。

ここからバージョンとPackage Type(Source Codeを選択)を確認しつつダウンロード。
その後、解凍して/usr/localに置いておく

cd ~/Download
tar xzvf spark-1.4.0
mv spark-1.4.0 /usr/local

Sparkのホームに移動

cd  /usr/local/spark-1.4.0

んでビルドコマンドを実行。

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

ちょっと待ってるとMavenが頑張ってくれてビルドが行われます。
僕はこれだけで特に何もなく終了。

~/.bash_profileにSparkのインストール先を書いておく。
なお複数のバージョンのSparkがインストールされている場合、ここで指定しておく。

~/.bash_profile

# Apache Spark
# export SPARK_HOME=/usr/local/spark-1.3.1/
export SPARK_HOME=/usr/local/spark-1.4.0/
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH

細かい設定は$SPARK_HOME/conf/spark-env.shに書くのが正しいみたい。ここの書き方は今度またまとめるつもり。

色々機能も増えているので試したいことは多いのだけれど、SparkRからいじってみようかな。SparkMLも興味がある。それらはまた今度！