Scala版のSpark Jarの最小限の構成

結論、Scala-libraryもSpark-coreも要らない（Spark-submit時に勝手にclasspathに追加される）ので、これだけで動作する。

plugins.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.2")

build.sbt

  organization := "com.github.uryyyyyyy",
  scalaVersion := "2.11.7", //2.10.x
  libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % sparkVersion % "provided"
  )

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

あとは、

sbt assembly

とかでいける。