VagrantにSparkをインストールする

Java1.8のインストール

※ 1.9だとSpark2.2.0でエラーになる

Sparkをダウンロード

Download Apache Spark

下記ページからWgetするURLを選択する
spark2.2.0 hadoop2.7

cd /usr/local/src/
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgz
tar zxvf spark-2.2.0-bin-hadoop2.7.tgz
cp spark-2.2.0-bin-hadoop2.7 /usr/local/spark2.2

Hadoopをダウンロード

hadoop ユーザー作成

groupadd hadoop
useradd -d /home/hadoop -g hadoop -m hadoop
passwd hadoop

Hadoop をダウンロード

2.7.4をダウンロード

cd /usr/local/src/
wget http://ftp.jaist.ac.jp/pub/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
tar zxvf hadoop-2.7.4.tar.gz
chown -R hadoop. /usr/local/src/hadoop-2.7.4
mv /usr/local/src/hadoop-2.7.4 /usr/local/hadoop

※/vagrant直下で権限変更出来ない為 /usr/local/srcなどの適当なディレクトリで権限変更を行う

Hadoopの設定

/usr/local/hadoop/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

環境変数設定

vi /home/hadoop/.bash_profile

export SPARK_HOME=/usr/local/spark2.2
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/bin
export SPARK_LOCAL_IP=192.168.33.11

VagrantFile

追記

  config.vm.network "private_network", ip: "192.168.33.11"
  config.vm.hostname = "localhost"

Windows環境 hosts編集

C:\Windows\System32\drivers\etc\hosts
追記

192.168.33.11 localhost

vagrant 再起動

hadoopユーザーでSpark実行

su hadoop
cd $SPARK_HOME
bin/spark-shell