この記事について

JAWS-UG CLI専門支部 #90 Kinesis Firehose 復習編で実施するハンズオン用の手順書です。

前提条件

必要な権限

作業にあたっては、以下の権限を有したIAMユーザもしくはIAMロールを利用してください。

以下のサービスに対するフルコントロール権限
- Kinesis Firehose
- IAM
- EC2
- S3
- CloudWatch Logs
- STS
- (Lambda)
  - データの変換を行う場合
- (KMS)
  - データの暗号化を行う場合

0. 準備

0.1. リージョンを指定

オレゴンリージョンで実施します。（東京マダー？）

コマンド

export AWS_DEFAULT_REGION="us-west-2"

0.2. 資格情報を確認

コマンド

aws configure list

インスタンスプロファイルを設定したEC2インスタンスでアクセスキーを設定せずに実行した場合、以下のようになります。

結果

      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************QSAA         iam-role
secret_key     ****************c1xY         iam-role
    region                us-west-2              env    AWS_DEFAULT_REGION

0.3. バージョン確認

コマンド

aws --version

結果

aws-cli/1.11.129 Python/2.7.12 Linux/4.9.38-16.33.amzn1.x86_64 botocore/1.5.92

0.4. バージョンアップ（必要に応じて）

コマンド

sudo pip install -U awscli

0.5. 変数の確認

コマンド

cat << ETX

    DELIVERY_STREAM_NAME: ${DELIVERY_STREAM_NAME}
    BUCKET_NAME: ${BUCKET_NAME}

ETX

1. 単一レコードの登録

1.1. データの生成

ファイル名の指定

コマンド

SINGLE_RECORD_FILE_NAME="record.json"

ファイルの生成

コマンド

cat << EOF > ${SINGLE_RECORD_FILE_NAME}
{
  "Data": "blob\n"
}
EOF

cat ${SINGLE_RECORD_FILE_NAME}

ファイルの検証

コマンド

jsonlint -q ${SINGLE_RECORD_FILE_NAME}

1.2. データの登録

変数の確認

コマンド

cat << ETX

    DELIVERY_STREAM_NAME: ${DELIVERY_STREAM_NAME}
    SINGLE_RECORD_FILE_NAME: ${SINGLE_RECORD_FILE_NAME}

ETX

結果


    DELIVERY_STREAM_NAME: jawsug-cli-stream
    SINGLE_RECORD_FILE_NAME: record.json

データの登録

コマンド

aws firehose put-record \
    --delivery-stream-name ${DELIVERY_STREAM_NAME} \
    --record file://${SINGLE_RECORD_FILE_NAME}

結果

{
    "RecordId": "********************************************************************************************************************************************************************************************************************************"
}

1.3. データの確認

ファイルの確認

1分（BUFFER＿INTERVALで指定した時間）待ちましょう。

コマンド

aws s3 ls s3://${BUCKET_NAME} --recursive

結果

2016-11-05 07:21:54          4 2016/11/05/07/jawsug-cli-stream-1-2016-11-05-07-21-53-60e3ea4c-5e75-4fbd-8ce2-11406f55a930

ファイルのダウンロード

コマンド

mkdir data01
cd data01

コマンド

aws s3 sync s3://${BUCKET_NAME} .

結果

download: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58 to 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58

ファイルの確認

コマンド

cat （ダウンロードしたファイルのパス）

結果

blob

1.4. ファイルの削除

ファイルの削除

コマンド

aws s3 rm --recursive s3://${BUCKET_NAME}/

結果

delete: s3://jawsug-cli-firehose-************/2016/11/05/07/jawsug-cli-stream-1-2016-11-05-07-21-53-60e3ea4c-5e75-4fbd-8ce2-11406f55a930

コマンド

cd ..
rm -r data01

2. 複数レコードの一括登録

2.1. データの生成

ファイル名の指定

コマンド

MULTI_RECORDS_FILE_NAME="records.json"

ファイルの生成

コマンド

cat << EOF > ${MULTI_RECORDS_FILE_NAME}
[
  {
    "Data": "blob1\n"
  },
  {
    "Data": "blob2\n"
  },
  {
    "Data": "blob3\n"
  },
  {
    "Data": "blob4\n"
  }
]
EOF

cat ${MULTI_RECORDS_FILE_NAME}

ファイルの検証

コマンド

jsonlint -q ${MULTI_RECORDS_FILE_NAME}

2.2. データの登録

コマンド

aws firehose put-record-batch \
    --delivery-stream-name ${DELIVERY_STREAM_NAME} \
    --records file://${MULTI_RECORDS_FILE_NAME}

結果

{
    "FailedPutCount": 0,
    "RequestResponses": [
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        }
    ]
}

2.3. データの確認

ファイルの確認

1分（BUFFER＿INTERVALで指定した時間）待ちましょう。

コマンド

aws s3 ls s3://${BUCKET_NAME} --recursive

結果

2016-11-23 11:33:36         24 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-33-35-e3f2b6dd-7923-4f54-aeff-301ddc998006

ファイルのダウンロード

コマンド

mkdir data02
cd data02

コマンド

aws s3 sync s3://${BUCKET_NAME} .

結果

download: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58 to 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58

ファイルの確認

コマンド

cat （ダウンロードしたファイルのパス）

結果

blob1
blob2
blob3
blob4

2.4. ファイルの削除

ファイルの削除

コマンド

aws s3 rm --recursive s3://${BUCKET_NAME}/

結果

delete: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-33-35-e3f2b6dd-7923-4f54-aeff-301ddc998006

コマンド

cd ..
rm -r data02

以上