AWS
DataPipeline

[AWS] Amazon Data Pipelineの用語説明


Amazon Data Pipelineの用語説明

Amazon Data Pipelineの用語を説明していきます。

(チュートリアル等はやりません。)

間違いがあれば、気軽にコメントくださいm(_ _)m


ここでやること


  • Amazon Data Pipelineに関する用語の説明


ここでやらないこと


  • Data Pipelineの設定の仕方


用語説明


Pipeline


  • Activityをまとめたもの


    • Pipeline 1 : N Activities




Activity


  • 処理内容
    - S3のデータをRDSにロードする等。データを加工するには別途コーディングする必要がある。


Datanode


  • SourceとDestinationのこと


    • e.g. S3(datanode) => Activity(何らかの処理をする) => RDS(datanode)




Schedule


  • 実行スケジュール


Resources


  • 処理を実行するインスタンスに関する情報


    • EC2 or EMR?

    • Region

    • Instance size

    • AMI




Preconditions


  • 調べてない


Others


  • (他にもあるけど)SNSの設設定


Parameters


  • プレースホルダに対応する値を入力する。