0
0

AWS Datapipelineとは

Posted at

##勉強前イメージ
Kinesis周りのサービスと何が違うんだ・・
違いが全然分からない・・

##結論
ざっくりと以下の内容で理解
・AWS内でのデータの転送・変換を自動化するもの、何か特定の機能を持つサービスではなく、複数のAWSリソース間のデータの橋渡しを定義する連携サービス

例)以下のようにアプリログを毎日保存し、週末にログ分析を実行する流れを自動化できたりする。
アプリケーションサーバ(EC2) → S3に日次保存 → EMRでデータ解析
AWS-datapipeline-概略図.png

##Kinesis関連のサービスとの違い
結論、実行していること自体はほぼ一緒(リソース間のデータの転送・分析)だが、目的が違い、それぞれの目的に沿ってサービスが設計されている
・Kinesis
「リアルタイムに」データを分析したり転送したりしたい場合にはこっちを選択
データが発生したら即座に他リソースへ転送したり分析したりしたい場合に適している。まさにログデータとか、ストリームデータとか。

・Datapipeline
日次/週次のように、ある一定の間隔でパッチ的にデータの変換や分析を行いたい場合にはこちらが適している。例で示したアプリログを日次で保存して週末に解析、などはこちら。

以上!

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0