Apache sparkの開発環境構築のために

そろそろ、spark-shellだけでなく、アプリケーションを作成して実行させたいため、windows上に環境構築を作成しようと思ったのでメモ。
以下のアプリはインストール済み。
* scala 2.11.1（ SCALA_HOMEを設定しておく）
* scala 2.10.4（ SCALA_HOMEを設定しておく）
* gitクライアント

※ spark installだけならscalaはまだ必要ないかも・・。

Apache Sparkのインストール

参考サイト : Running the Examples and Shell
Windowsへのインストール

gitを使い任意のディレクトリへsparkをクローンします.
今回は C:\dev配下にしています。
cd C:\dev git clone git://github.com/apache/spark.git

Apache Sparkのビルド

C:\dev\spark\sbtにsbt.batを作成します。

参考:For non-Cygwin users using the standard Windows terminal, create a batch file sbt.bat

sbt-launch.jarのダウンロード

sbt-launch.jarをダウンロードし、C:dev\spark\sbtに置く。

sbt.batの作成

sbt.bat

@echo off
set SPARK_HOME=%~dp0..
echo %SPARK_HOME%
java -Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M -jar %SPARK_HOME%\sbt\sbt-launch.jar %*

assemblyを実行します。実行するときは、%SPARK_HOME%に移動して実行します。
cd C:\dev\spark sbt\sbt.bat assembly

動作確認

spark-shellの起動

bin\spark-shell

spark-shell_application_UIを開き、起動ができたかどうか確認.

http://localhost:4040

下みたいな画面が表示されれば起動できている。(Completed Stagesの部分はアプリの実行後の場合)

examplesの実行

bin\run-example.cmd SparkPi 10
..
..
Pi is roughly 3.14492

以上で、ローカルでのspark実行環境が出来ました。
次は、Eclipse上でのビルド環境の構築かな・・・。

Apache Spark application 開発環境構築 (1)