事前準備
何もないけどOSのバージョン確認(今回はCentOS 6.7 final)
cat /etc/redhat-release
Javaのインストール
Open Javaをyumでインストールする
まずはインストール可能なopenjdkを検索します
yum search openjdk
ランタイムのインストール
sudo yum install java-1.8.0-openjdk
開発環境のインストール
sudo yum install java-1.8.0-openjdk-devel
Apache Sparkのインストール
パッケージをダウンロード
ここからダウンロード可能です。
今回はコマンドで！
Hadoop 2.6が含まれているバージョンを入れます
お好きなところからダウンロード
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
解凍
tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/lib/
シンボリックリンクを作成
ln -s /usr/local/lib/spark-1.6.1-bin-hadoop2.6 /usr/local/lib/spark
環境変数の追加
sudo vi /etc/profile.d/spark.sh
以下の2つの設定を挿入
export SPARK_HOME=/usr/local/lib/spark
export PATH=$SPARK_HOME/bin:$PATH
保存が終わったら再読み込み
source /etc/profile
最後に正常にセットアップできたか確認
spark-shell --version
