Amazon Data Pipelineの用語説明
Amazon Data Pipelineの用語を説明していきます。
(チュートリアル等はやりません。)
間違いがあれば、気軽にコメントくださいm(_ _)m
ここでやること
- Amazon Data Pipelineに関する用語の説明
ここでやらないこと
- Data Pipelineの設定の仕方
用語説明
Pipeline
- Activityをまとめたもの
- Pipeline 1 : N Activities
Activity
- 処理内容
- S3のデータをRDSにロードする等。データを加工するには別途コーディングする必要がある。
Datanode
- SourceとDestinationのこと
- e.g. S3(datanode) => Activity(何らかの処理をする) => RDS(datanode)
Schedule
- 実行スケジュール
Resources
- 処理を実行するインスタンスに関する情報
- EC2 or EMR?
- Region
- Instance size
- AMI
Preconditions
- 調べてない
Others
- (他にもあるけど)SNSの設設定
Parameters
- プレースホルダに対応する値を入力する。