macでspark-shell起動時にエラーSparkContextのinitializing errorが出る場合
エラーメッセージ
Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
自分が見つけられてないので下記流す。
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
spark-shell
ターミナル起動時に毎回流すのが面倒な場合は
.bash_profileとかに書いとくか、$SPARK_HOME/conf/spark-env.shに追記するとよい。
brewで入れた場合は
/usr/local/Cellar/apache-spark/1.6.0/libexec/conf
この辺にspark周りのファイルまとまってる。
とか書きつつ、brewでapache-sparkの1.6.0を入れた場合、SPARK_HOMEを設定するとpermission deniedとか怒られる模様。
issueは上がってる
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967
けどとりあえずどうにかしたい場合
unset SPARK_HOME && spark-shell