Apache Sparkをセットアップしてみる

#事前準備
##何もないけどOSのバージョン確認(今回はCentOS 6.7 final)
cat /etc/redhat-release
##Javaのインストール
###Open Javaをyumでインストールする
####まずはインストール可能なopenjdkを検索します
yum search openjdk

####ランタイムのインストール
sudo yum install java-1.8.0-openjdk

####開発環境のインストール
sudo yum install java-1.8.0-openjdk-devel

#Apache Sparkのインストール
##パッケージをダウンロード

ここからダウンロード可能です。

##今回はコマンドで！
###Hadoop 2.6が含まれているバージョンを入れます

####お好きなところからダウンロード
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

###解凍
tar zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/lib/

###シンボリックリンクを作成
ln -s /usr/local/lib/spark-1.6.1-bin-hadoop2.6 /usr/local/lib/spark
###環境変数の追加
sudo vi /etc/profile.d/spark.sh

以下の2つの設定を挿入
export SPARK_HOME=/usr/local/lib/spark
export PATH=$SPARK_HOME/bin:$PATH
保存が終わったら再読み込み
source /etc/profile
###最後に正常にセットアップできたか確認
spark-shell --version