イントロダクション

このblogの記事によくまとまっています。
StarClusterはMITが開発したツールで、お手軽にAWS EC2上にクラスタマシンを作ってくれます。EC2でクラスタを形成するの案外面倒なのですが、これを使えば作業時間数分でクラスタマシンを立ち上げることができます。

AWS下ごしらえ

AWSのアカウントを取得しておく

StarCluster 環境設定

StarClusterのインストール

conda上の仮想環境に構築する場合

conda create -n sc python=2.7 pip
source activate sc
pip install starcluster

condaにもパッケージがあるが、何故かt2.microが使えない様子。

　configファイルの作成

starclusterのコンフィグファイルを作成する
starcluster helpと叩いて、2を選択すると~/.starcluster/configが自動作成される。

starcluster help
# StarCluster - (http://star.mit.edu/cluster) (v. 0.95.6)
# Software Tools for Academics and Researchers (STAR)
# 中略
# !!! ERROR - config file /home/ubuntu/.starcluster/config does not exist
#
# Options:
# --------
# [1] Show the StarCluster config template
# [2] Write config template to /home/ubuntu/.starcluster/config
# [q] Quit
Please enter your selection: 2

　configファイルの編集

~/.starcluster/configファイルをエディタで直接いじる
公式ドキュメントはこちら
25,26行目 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYの記載:
- IAMのユーザを選択してアクセスキーを作成
28行目 AWS_USER_IDの記載:
- IAMユーザの数字12桁
32,33行目 regionの設定:
- AWS_REGION_NAME = ap-northeast-1
- AWS_REGION_HOST = ec2.ap-northeast-1.amazonaws.com
一旦編集抜ける
東京リージョンのAMIを確認する

データの転送速度を気にして東京リージョンに設定していますが、それ以外にもアメリカよりも東京リージョンの方がノード間の通信速度が速いことが多いとの噂があります。

starcluster listpublic
# >>> Listing all public StarCluster images...
# 中略
# 64bit Images:
# --------------
# [0] ami-3f29403e ap-northeast-1 starcluster-base-ubuntu-13.04-x86_64-hvm (HVM-EBS)
# [1] ami-fdd1bffc ap-northeast-1 starcluster-base-ubuntu-13.04-x86_64 (EBS)
# [2] ami-6a04876b ap-northeast-1 starcluster-base-ubuntu-12.04-x86_64 (EBS)
# [3] ami-d22394d3 ap-northeast-1 starcluster-base-ubuntu-11.10-x86_64 (EBS)
#
# total images: 7

~~t2.microを使いたいため、hvm版を選択する。~~
spotinstanceでt2.microが使えないため、お試しはEBS版でやる

77行目: CLUSTER_SIZE = 1
93行目: NODE_IMAGE_ID = ami-fdd1bffc
96行目: NODE_INSTANCE_TYPE =t1.micro
111行目: MASTER_INSTANCE_TYPE = t2.micro
114行目: MASTER_IMAGE_ID = ami-3f29403e

77行目でクラスタサイズを指定できる。
その他の設定は、なくてもとりあえず動く。
132行目をuncommentするとスポットインスタンスで動かす様子。
pluginでhadoopも使用可能です。リンク

keyの生成

starcluster createkey mykey -o ~/.ssh/mykey.rsa
# >>> Successfully created keypair: mykey
# >>> fingerprint: <fingerprint>
# >>> keypair written to /home/ubuntu/.ssh/mykey.rsa

alias

starclusterってのが長いので、aliasを追加しておく
echo 'alias sc="starcluster"' >> ~/.bashrc

StarClusterの簡易操作

$ source activate sc
$ sc start mycluster
# > 3.5 minくらいで立ち上がる

# クラスタマシンへのノード追加
sc an mycluster
# > 1個追加 an or addnode
sc an -n 3 mycluster
# > 3個追加
sc an -I t1.micro -b 0.0031 -n 3 mycluster 
# > 最大0.31セントでt1.microのスポットインスタンスを3つ入札

# クラスタマシンのノード削除
sc rn mycluster
# > 1個削除。複数ある場合は最後のノード。 rn or removenode

# クラスタマシンへのssh
sc sm mycluster
# > sm or sshmaster

# クラスタマシンへのファイル送受
sc put /path/to/file/or/dir /path/on/remote/server
sc get /path/on/remote/server /path/to/file/or/dir

# StarClusterの停止
sc stop mycluster
sc stop --terminate-unstoppable mycluster
# > スポットインスタンスは停止できない。オプションをつけるとスポットを削除しながら停止可能

# StarClusterの再起動
sc start -x mycluster
# > status stoppedのマシンを動かすには-xオプションをつける

# StarClusterの削除
sc terminate mycluster

# スポットインスタンスの値段確認
sc shi t1.micro
# > shi or spothistory

# クラスタの確認
sc lc
# > lc or listcluster

未記載コマンド一覧

restart, reboot: クラスタを再起動する
sshnode, sn: SSH to a cluster node
loadbalance, bal: Start the SGE Load Balancer.
sshinstance, si: SSH to an EC2 instance
listinstances, lsi: List all running EC2 instances
listspots, ls: List all EC2 spot instance requests
listimages, li: List all registered EC2 images (AMIs)
listkeypairs, lk: List all EC2 keypairs
removekey, rk: Remove a keypair from Amazon EC2
s3image, simg, createimage: Create a new instance-store (S3) AMI from a running EC2 instance
ebsimage, eimg: Create a new EBS image (AMI) from a running EC2 instance
showimage, shimg: Show all AMI parts and manifest files on S3 for an instance-store AMI
downloadimage, di: Download the manifest.xml and all AMI parts for an instance-store AMI
removeimage, ri: Deregister an EC2 image (AMI)
createvolume, cv: Create a new EBS volume for use with StarCluster
listvolumes, lv: List all EBS volumes
resizevolume, res: Resize an existing EBS volume
removevolume, rv: Delete one or more EBS volumes
showconsole, sc: Show console output for an EC2 instance
listregions, lr: List all EC2 regions
listzones, lz: List all EC2 availability zones in the current region (default: us-east-1)
listbuckets, lb: List all S3 buckets
showbucket, sb: Show all files in an S3 bucket
runplugin, rp: Run a StarCluster plugin on a running cluster
shell, sh: Load an interactive IPython shell configured for starcluster development