1.構成図

本投稿で、下記の構造ようなStandaloneクラスターの環境を構築します。

マスタの構成
- Master: 192.168.0.100
ワーカノードの構成
- Worker1: 192.168.0.101
- Worker2: 192.168.0.102

2.SSH接続の確認

※私のそのたの投稿【SSH接続時パスワードなしでSSH接続の設定方法】を参照してください。

3.Hosts設定の確認

3.1.Master

Master上で、「/etc/hosts」ファイルの一番下に、以下の情報を追加します。

192.168.0.100 cluster-master
192.168.0.102 cluster-slave1
192.168.0.101 cluster-slave2

3.2.Slave1

Slave1上で、「/etc/hosts」ファイルの一番下に、以下の情報を追加します。

192.168.0.100 cluster-master
192.168.0.101 cluster-slave2

3.3.Slave2

Slave2上で、「/etc/hosts」ファイルの一番下に、以下の情報を追加します。

192.168.0.100 cluster-master
192.168.0.102 cluster-slave1

4.Sparkのインストール

4.1.Master

以下のようにSparkのインストールを行います。

# sparkダウンロード
cd /usr/work
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
tar zxvf spark-2.3.2-bin-hadoop2.7.tgz
# 移動
sudo mv spark-2.3.2-bin-hadoop2.7 /usr/local/lib/spark-2.3.2-bin-hadoop2.7
cd /usr/local/lib/
sudo ln -s spark-2.3.2-bin-hadoop2.7 spark

「/etc/profile.d」の下に、「spark.sh」ファイルを作り、SPARK_HOMEなどの環境変数を設定します。

# spark.sh作成
cd /etc/profile.d
vi spark.sh
# 以下の変数を追加、保存
export SPARK_HOME=/usr/local/lib/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
# 有効化
source spark.sh

4.2.Slave1

以下のようにSparkをインストールします。

# sparkダウンロード
cd /usr/work
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
tar zxvf spark-2.3.2-bin-hadoop2.7.tgz
# 移動
sudo mv spark-2.3.2-bin-hadoop2.7 /usr/local/lib/spark-2.3.2-bin-hadoop2.7
cd /usr/local/lib/
sudo ln -s spark-2.3.2-bin-hadoop2.7 spark

SPARK_HOMEなどの環境変数を設定するファイルを作ります。

# spark.sh作成
cd /etc/profile.d
vi spark.sh
# 以下の変数を追加、保存
export SPARK_HOME=/usr/local/lib/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
# 有効化
source spark.sh

4.3.Slave2

以下のようにSparkをインストールします。

# sparkダウンロード
cd /usr/work
wget http://ftp.jaist.ac.jp/pub/apache/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
tar zxvf spark-2.3.2-bin-hadoop2.7.tgz
# 移動
sudo mv spark-2.3.2-bin-hadoop2.7 /usr/local/lib/spark-2.3.2-bin-hadoop2.7
cd /usr/local/lib/
sudo ln -s spark-2.3.2-bin-hadoop2.7 spark

SPARK_HOMEなどの環境変数を設定するファイルを作ります。

# spark.sh作成
cd /etc/profile.d
vi spark.sh
# 以下の変数を追加、保存
export SPARK_HOME=/usr/local/lib/spark
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
# 有効化
source spark.sh

5.Standaloneに必要な環境変数の設定

5.1.Master

「/usr/local/lib/spark/conf」に移動して、以下のファイルを編集します。
Slaveの実際のメモリー容量とCPUのコア数により、パラメータを編集します。

spark.executor.memory 2g
spark.executor.instances 1
spark.executor.cores 2

パラメータの意味

オプション	説明
spark.executor.memory	Executorに配布されるメモリーの容量（＜ Workerの空きのメモリ量）
spark.executor.instances	Standalone上には、1しか設定できない
spark.executor.cores	Executorに配布されるコア数（＜ワーカーの実際のコア数）

「spark-env.sh」に、Masterのホストとポートを設定します。

export SPARK_MASTER_HOST=192.168.0.100
export SPARK_MASTER_PORT=7077

「slaves.sh」に、全てのSlaveのIP追加します。

192.168.0.101
192.168.0.102

5.2.Slave

Masterで設定済の「spark-defaults.conf」、「spark-env.sh」、「slaves.sh」ファイルをSlave1とSlave２の同じのフォルダーの配下にコピーしてください。

6.Standaloneの起動と状態確認

Master側で、StandaloneのMasterサービスとWorkerサービスを起動します。

# Master起動
start-master.sh
# Slave起動
start-slaves.sh

Master側で、Masterサービスの状態を確認します。

# Masterサービスの起動状態確認
jps
# 以下の情報が表示されたらMasterサービスが起動済です
XXXX Jps
XXXX Master

Slave1とSlave2側で、それぞれのWorkerサービスの状態を確認します。

# Workerサービス状態確認
jps
# 以下の情報が表示されたらMasterサービスが起動済です
XXXX Jps
XXXX Worker

WebUIで、StandaloneのMasterとWorkerの状態も確認できます。
MasterとWorkerサービスが正常に起動されたら、SparkクラスタのWebUI【http://192.168.0.100:8080】からMasterと各Workerの情報が確認できます。

7.Standaloneの停止と状態確認

Master側で、StandaloneのMasterサービスとWorkerサービスを停止します。

# MasterとSlaveを全部停止
start-master.sh
start-slaves.sh
# Masterサービスの状態確認
jps
XXXX Jps

Masterが表示されなければMastersサービスが停止されたはず（Slaveの停止も同じ方法でやってください）