Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
6
Help us understand the problem. What is going on with this article?
@daikumatan

[JAWS-UG CLI] Kinesis:#1 ストリームの作成

More than 5 years have passed since last update.

注意事項

Amazon Kinesis に無料枠はありません。今回のハンズオンでは2つの shard を 2時間弱使用するため、利用料金として10円程度発生しますのでご注意ください。ハンズオン後はストリームの削除をお忘れなくお願いします。

Kinesis の料金 (2015年5月4日現在)
http://aws.amazon.com/jp/kinesis/pricing/

  • $0.0195 /h (1shardあたり)
  • $0.0430 /1,000,000 PutRecords

前提条件

Kinesis への権限

  • Kinesis に対してフル権限があること。

AWS CLI のバージョン

  • 以下のバージョンで動作確認済
    • AWS CLI 1.7.24
コマンド
aws --version
結果(例)
aws-cli/1.7.25 Python/2.7.6 Darwin/14.3.0

0. 準備

0.1. リージョンの決定

作成するストリームのリージョンを決めます。
(カレントユーザが利用するカレントリージョンも切り変わります。)

コマンド(東京リージョンの場合)
export AWS_DEFAULT_REGION='ap-northeast-1'

0.2. 変数の確認

プロファイルとリージョンが想定のものになっていることを確認します。

変数の確認
aws configure list
結果(例)
      Name                    Value             Type    Location
      ----                    -----             ----    --------
   profile KinesisFull-handsOn-Kinesis-user-5KVYHRGZMYWG              env    AWS_DEFAULT_PROFILE
access_key     ****************HORA shared-credentials-file    
secret_key     ****************F9zU shared-credentials-file    
    region           ap-northeast-1              env    AWS_DEFAULT_REGION

1. 事前作業

1.1. ストリーム名の決定

ストリーム名を決めます。

command
STREAM_NAME="handson"

1.2. Shard 数の決定

シャード数をきめます。
(補足) 1Shardの容量

  • 入力 : 1MB/sec, 1000TPS
  • 出力 : 2MB/sec, 0005TPS
command
SHRD_COUNT=1

1.3 同名のストリーム名の不存在確認

command
aws kinesis describe-stream --stream-name ${STREAM_NAME}
result
A client error (ResourceNotFoundException) occurred when calling the DescribeStream operation: Stream handson under account XXXXXXXXXXXX not found.

2. ストリームの作成

2.1 ストリームの作成

command
cat << ETX

STREAM_NAME : ${STREAM_NAME}
SHARD_COUNT : ${SHRD_COUNT}

ETX
command
aws kinesis create-stream --stream-name ${STREAM_NAME} --shard-count ${SHRD_COUNT}
result
(戻り値なし)

2.2 ストリームの確認

ストリームが作成されたことを確認します。

command
aws kinesis describe-stream --stream-name ${STREAM_NAME}

ストリーム作成直後は "StreamStatus" が "CREATING" となります。

result
{
    "StreamDescription": {
        "StreamStatus": "CREATING", 
        "StreamName": "handson", 
        "StreamARN": "arn:aws:kinesis:ap-northeast-1:XXXXXXXXXXXX:stream/handson", 
        "Shards": []
    }
}

ストリームが作成されるまで、wait コマンドを実行し待ちます。
作成されると、プロンプトが戻ってきます。

command
aws kinesis wait stream-exists --stream-name ${STREAM_NAME}
result
(戻り値なし)

実際にストーリームが作成されたことを確認します。"StreamStatus" が "ACTIVE" になっていれば作成完了です

command
aws kinesis describe-stream --stream-name ${STREAM_NAME}
result
{
    "StreamDescription": {
        "StreamStatus": "ACTIVE", 
        "StreamName": "handson", 
        "StreamARN": "arn:aws:kinesis:ap-northeast-1:XXXXXXXXXXXX:stream/handson", 
        "Shards": [
            {
                "ShardId": "shardId-000000000000", 
                "HashKeyRange": {
                    "EndingHashKey": "340282366920938463463374607431768211455", 
                    "StartingHashKey": "0"
                }, 
                "SequenceNumberRange": {
                    "StartingSequenceNumber": "49550864092651309338540168505480986788282674130572017666"
                }
            }
        ]
    }
}

完了

ストリームを作成したら、次にシンプルなデータの送信/受信を行ってみます
http://qiita.com/daikumatan/items/e92d9e71f9a729ea8467

6
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
daikumatan
2002-2015: Fujixerox, Numerical simulation Engineer 2015-2016: NVIDIA Japan, BD Manager 2016-2020: Rescale Japan, Evangelist 2020-Present: XTREME-D, CTO

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
6
Help us understand the problem. What is going on with this article?