More than 5 years have passed since last update.

Spark-shell起動時のエラー

Posted at 2016-03-02

macでspark-shell起動時にエラーSparkContextのinitializing errorが出る場合

エラーメッセージ

Can't assign requested address: Service 'sparkDriver' failed after 16 retries!

自分が見つけられてないので下記流す。

export  SPARK_MASTER_IP=127.0.0.1
export  SPARK_LOCAL_IP=127.0.0.1
spark-shell

ターミナル起動時に毎回流すのが面倒な場合は
.bash_profileとかに書いとくか、$SPARK_HOME/conf/spark-env.shに追記するとよい。

brewで入れた場合は

/usr/local/Cellar/apache-spark/1.6.0/libexec/conf

この辺にspark周りのファイルまとまってる。

とか書きつつ、brewでapache-sparkの1.6.0を入れた場合、SPARK_HOMEを設定するとpermission deniedとか怒られる模様。

けどとりあえずどうにかしたい場合

unset SPARK_HOME && spark-shell