Help us understand the problem. What is going on with this article?

[JAWS-UG CLI] Amazon Kinesis Firehose re:入門 (3) レコードの登録

More than 3 years have passed since last update.

この記事について

JAWS-UG CLI専門支部 #90 Kinesis Firehose 復習編で実施するハンズオン用の手順書です。

前提条件

必要な権限

作業にあたっては、以下の権限を有したIAMユーザもしくはIAMロールを利用してください。

  • 以下のサービスに対するフルコントロール権限
    • Kinesis Firehose
    • IAM
    • EC2
    • S3
    • CloudWatch Logs
    • STS
    • (Lambda)
      • データの変換を行う場合
    • (KMS)
      • データの暗号化を行う場合

0. 準備

0.1. リージョンを指定

オレゴンリージョンで実施します。(東京マダー?)

コマンド
export AWS_DEFAULT_REGION="us-west-2"

0.2. 資格情報を確認

コマンド
aws configure list

インスタンスプロファイルを設定したEC2インスタンスでアクセスキーを設定せずに実行した場合、以下のようになります。

結果
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile                <not set>             None    None
access_key     ****************QSAA         iam-role
secret_key     ****************c1xY         iam-role
    region                us-west-2              env    AWS_DEFAULT_REGION

0.3. バージョン確認

コマンド
aws --version
結果
aws-cli/1.11.129 Python/2.7.12 Linux/4.9.38-16.33.amzn1.x86_64 botocore/1.5.92

0.4. バージョンアップ(必要に応じて)

コマンド
sudo pip install -U awscli

0.5. 変数の確認

コマンド
cat << ETX

    DELIVERY_STREAM_NAME: ${DELIVERY_STREAM_NAME}
    BUCKET_NAME: ${BUCKET_NAME}

ETX

1. 単一レコードの登録

1.1. データの生成

ファイル名の指定

コマンド
SINGLE_RECORD_FILE_NAME="record.json"

ファイルの生成

コマンド
cat << EOF > ${SINGLE_RECORD_FILE_NAME}
{
  "Data": "blob\n"
}
EOF

cat ${SINGLE_RECORD_FILE_NAME}

ファイルの検証

コマンド
jsonlint -q ${SINGLE_RECORD_FILE_NAME}

1.2. データの登録

変数の確認

コマンド
cat << ETX

    DELIVERY_STREAM_NAME: ${DELIVERY_STREAM_NAME}
    SINGLE_RECORD_FILE_NAME: ${SINGLE_RECORD_FILE_NAME}

ETX
結果
    DELIVERY_STREAM_NAME: jawsug-cli-stream
    SINGLE_RECORD_FILE_NAME: record.json

データの登録

コマンド
aws firehose put-record \
    --delivery-stream-name ${DELIVERY_STREAM_NAME} \
    --record file://${SINGLE_RECORD_FILE_NAME}
結果
{
    "RecordId": "********************************************************************************************************************************************************************************************************************************"
}

1.3. データの確認

ファイルの確認

1分(BUFFER_INTERVALで指定した時間)待ちましょう。

コマンド
aws s3 ls s3://${BUCKET_NAME} --recursive
結果
2016-11-05 07:21:54          4 2016/11/05/07/jawsug-cli-stream-1-2016-11-05-07-21-53-60e3ea4c-5e75-4fbd-8ce2-11406f55a930

ファイルのダウンロード

コマンド
mkdir data01
cd data01
コマンド
aws s3 sync s3://${BUCKET_NAME} .
結果
download: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58 to 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58

ファイルの確認

コマンド
cat (ダウンロードしたファイルのパス)
結果
blob

1.4. ファイルの削除

ファイルの削除

コマンド
aws s3 rm --recursive s3://${BUCKET_NAME}/
結果
delete: s3://jawsug-cli-firehose-************/2016/11/05/07/jawsug-cli-stream-1-2016-11-05-07-21-53-60e3ea4c-5e75-4fbd-8ce2-11406f55a930
コマンド
cd ..
rm -r data01

2. 複数レコードの一括登録

2.1. データの生成

ファイル名の指定

コマンド
MULTI_RECORDS_FILE_NAME="records.json"

ファイルの生成

コマンド
cat << EOF > ${MULTI_RECORDS_FILE_NAME}
[
  {
    "Data": "blob1\n"
  },
  {
    "Data": "blob2\n"
  },
  {
    "Data": "blob3\n"
  },
  {
    "Data": "blob4\n"
  }
]
EOF

cat ${MULTI_RECORDS_FILE_NAME}

ファイルの検証

コマンド
jsonlint -q ${MULTI_RECORDS_FILE_NAME}

2.2. データの登録

コマンド
aws firehose put-record-batch \
    --delivery-stream-name ${DELIVERY_STREAM_NAME} \
    --records file://${MULTI_RECORDS_FILE_NAME}
結果
{
    "FailedPutCount": 0,
    "RequestResponses": [
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        },
        {
            "RecordId": "********************************************************************************************************************************************************************************************************************************"
        }
    ]
}

2.3. データの確認

ファイルの確認

1分(BUFFER_INTERVALで指定した時間)待ちましょう。

コマンド
aws s3 ls s3://${BUCKET_NAME} --recursive
結果
2016-11-23 11:33:36         24 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-33-35-e3f2b6dd-7923-4f54-aeff-301ddc998006

ファイルのダウンロード

コマンド
mkdir data02
cd data02
コマンド
aws s3 sync s3://${BUCKET_NAME} .
結果
download: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58 to 2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-18-58-947ea60d-041c-4750-ab31-cff260b7cf58

ファイルの確認

コマンド
cat (ダウンロードしたファイルのパス)
結果
blob1
blob2
blob3
blob4

2.4. ファイルの削除

ファイルの削除

コマンド
aws s3 rm --recursive s3://${BUCKET_NAME}/
結果
delete: s3://jawsug-cli-firehose-************/2016/11/23/11/jawsug-cli-stream-1-2016-11-23-11-33-35-e3f2b6dd-7923-4f54-aeff-301ddc998006
コマンド
cd ..
rm -r data02

以上

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした