LoginSignup
1
1

More than 5 years have passed since last update.

CDH5をUbuntuにインストール その2(YARN SingleNode 編) ついでにSPARKも

Posted at

1. CDH5(YARN)をインストール

以前試した
http://qiita.com/yuki_saito_/items/c435ec6832da60df9e27

CDH5をUbuntuにインストール その2(MRv1 SingleNode 編)
のパラレルワールド

2.手順

2.1 CDH5のインストール

以下に沿ってインスト➖ル
http://www.cloudera.com/documentation/cdh/5-0-x/CDH5-Quick-Start/cdh5qs_yarn_pseudo.html

手順通りに簡単に構築できた。
ただ、メモリをめちゃめちゃ使うのでVMのメモリを2Gから6Gに変更した。

2.2 SAPRKのインストール

sudo apt-get install spark-core spark-master spark-worker spark-history-server spark-python

そして、.profileに
export SPARK_HOME=/usr/lib/spark
を追加して、sourceコマンドを実行

$SPARK_HOME/bin/spark-shell
で実行できる。

メチャメチャ簡単やん。

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1