Edited at

[JAWS-UG CLI] #22 - Kinesis入門

More than 3 years have passed since last update.


注意事項


本ハンズオンで利用料金が発生します


  • Kinesisに無料枠はありません。僅かながらも課金されます。

  • 実施後は必ずストリームを削除してください。時間課金されます


ハンズオン環境の準備


  • JAWS-UG CLI ハンズオンのための事前準備



  • #22 Kinesis 入門 では、上記に加え bc コマンドを使います。このコマンドは、場合によってはインストールされていない可能性があります。which bcを実行し、パスが表示されなければ、別途 yum 等で bc コマンドをインストールしてください


概要


説明資料


ハンズオン


Tips


Q & A


Shardの分割 or マージ中に データを put したらどういう挙動になるのか?

新しい Shard にデータは put されます。

ただし、ステータスが Updating から Active になるまで、データを get することはできません

どこまでデータを get したかなどの管理を KCL が やってくれるので、できるだけ KCL を使いましょう


Iteratorとは何者?

C のポインターみたいなもの。ただし、5分ごとに動的に変化していく。なぜこのように動的に変化するのかまではわかりませんでした。


shardをマージするとき A & B を B & A すると挙動として違いがでるのか?

でません。基本同じになるでしょう。


その他、実用上参考になる情報

貴重な情報だと思うので、SAの榎並さんとの会話をメモっておきます!


  • KCLはヒストリカルなデータをちゃんと生成するためのライブラリーだよ。ダッシュボードをどう作るかは、なかなか難しい問題だね!

  • JawsDays2015 の HackDays のサンプルは、ダッシュボードを node.js で作ったけど、shard の分割・マージには対応できないつくりになっているよ。分割・マージ時のデータの取得に厳密性を求めないのであれば、分割・マージを実行するコードにラッパーかぶせて対応するのもありだね!

  • 海外の事例だと、Kinesis --> Storm --> Redis などあるよ !