Apache Sparkのサンプルプログラムを、IntelliJ IDEAで動かすときに、変更する可能性のある個所のTips

Projectのimport

最初は、Existing Sourcesからプロジェクトを作成します。

build.sbtファイルが存在するフォルダをプロジェクトルートフォルダとして選択します。
use-auto importもチェックを入れました。

Build

build.sbt

libraryDependencies ++=
Seq("org.apache.spark" % "spark-core_2.10" % "1.5.0" % "provided")

SparkのApplicationを、IntelliJのようなIDEで動作させる場合は、Sparkのライブラリが必要になるので、providedをcompileに変更します。
（逆に、予め起動したSparkに、spark-submitで投入する場合には、Sparkのライブラリは起動しているSparkに含まれるために、Sparkのアプリケーションのjarには必要ありません。）

provided/compileのような、依存関係のあるライブラリが無い場合の実行時エラーは、例外の発生（Class Not Found Exception）です。

Configuration

SparkConfに必須の初期値がありますよね。こちらがダウンロードしているサンプルにない場合があり、そのときは追加しないと動かなかったりします。

よくありがちなサンプル

sample.scala（修正前）

    val conf = new SparkConf
    val sc = new SparkContext(conf)

自分のローカル設定を反映した場合のソース

sample.scala（修正後）

    val conf = new SparkConf
    conf.setSparkHome("/Users/yourname/xxx/spark-1.6.2-bin-hadoop2.6")
    conf.setMaster("local")
    conf.setAppName("SampleAppName")
    val sc = new SparkContext(conf)

定義が不足している場合の実行時エラーは、コンテキストの初期化エラーです。

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration

ちょっと動かすなら、ソースファイルに定義を書いても良いけど、最終的には定義ファイル（conf/spark-defaults.conf）に記載すると思います。

将来はこちらの公式HPの記載を参照です。