AWS Data Pipeline とは
 AWS Data Pipelineで日次バッチ処理取得データをS3にポストする

AWS DataPipeline は DB 接続だったり、S3 上のログを EMR に流しこんだりなど日次バッチを AWS 上で定義、実行ができるというもので、とても便利そうです。

今回は 0:00 に起動している ec2 インスタンスがあったら容赦なく停止するというバッチを AWS DataPipeline の ShellCommandActivity を使って作ってみます。

なお、VPC ではなく、EC2−Classic で試してみます。

前提条件

ec2 インスタンスには dont_stop というタグが付与されているものとします
dont_stop タグの value が False のインスタンスを停止対象とします

はまったこと

ShellCommandActivity
- ベースは amazon-linux 2013.03
  - 今のところ HVM インスタンスは非サポート
  - awscli が 0.9 と非常に古い
    - --query や --filters が使えないので要 update
- エラー処理をちゃんとしないとキレイに terminate されない

ManageMentConsole から pipeline を作る

Create Pipeline

Name と Description に必要な情報を入力します
Building using a template では ShellCommandActivity 選択します

Parameters

S3 フォルダの指定は必須です
- 今回は S3://my-bucket/output s3://my-bucket/input のようにします
Shell command to run にスクリプトを貼り付けます
- \ を使う場合はエスケープする必要があります

スクリプトはこんなのです。

#!/bin/bash

sudo yum update aws-cli -y

AWS="/usr/bin/aws --region ap-northeast-1"

ids=$(${AWS} ec2 describe-instances --filters \\
    "Name=tag:dont_stop,Values=False" \\
    "Name=instance-state-code,Values=16" \\
    --query 'Reservations[].Instances[].InstanceId' \\
    --output text)

if [ -z "${ids}" ]; then
    echo "nothing running instance."
else
    echo "stop instances ids -> ${ids}"
    ${AWS} ec2 stop-instances --instance-id ${ids} \\
    && echo "complete ec2-auto-stop."
fi

exit 0