1. CDH5(YARN)をインストール
以前試した
http://qiita.com/yuki_saito_/items/c435ec6832da60df9e27
CDH5をUbuntuにインストール その2(MRv1 SingleNode 編)
のパラレルワールド
2.手順
2.1 CDH5のインストール
以下に沿ってインスト➖ル
http://www.cloudera.com/documentation/cdh/5-0-x/CDH5-Quick-Start/cdh5qs_yarn_pseudo.html
手順通りに簡単に構築できた。
ただ、メモリをめちゃめちゃ使うのでVMのメモリを2Gから6Gに変更した。
2.2 SAPRKのインストール
sudo apt-get install spark-core spark-master spark-worker spark-history-server spark-python
そして、.profileに
export SPARK_HOME=/usr/lib/spark
を追加して、sourceコマンドを実行
$SPARK_HOME/bin/spark-shell
で実行できる。
メチャメチャ簡単やん。