AWS Glue Studio data previewsを試してみた

背景・目的

Glue Studio Visual now supports interactive data previewsが発表されました。

これにより、データソースの中身や途中経過ができるようになりましたので、試してみたいと思います。

まとめ

「Data preview」をクリックすることにより、下記の確認ができます。

• データソースの確認
• 意図した方法で変換されているか確認

概要

Using data previews in the visual job editorを元に整理します。

「Data preview」をクリックすることにより、下記の確認ができるようです。

• データソースの確認ができる。
• 意図した方法で変換されているか確認できる。

実践

事前準備

1. 下記のデータをS3にデータを用意します。

   {"id":1,"value":100}
   {"id":2,"value":200}
   {"id":3,"value":300}
   {"id":4,"value":400}
   {"id":5,"value":500}
   

Data previewを試す

1. Glueの「ETL jobs」で「Visual ETL」をクリックします。

   

2. Data sourceにS3を指定します。
   

3. ①「IAMロールを指定」し、②「Start session」をクリックします。
   

4. 1分くらいすると表示されました。
   

5. SQL QueryのTransformを定義します。
   

6. SQL queryに下記を書きます。

   select count(id),sum(value) from myDataSource
   

7. 「Start session」をクリックします。表示されました。
   

8. TargetにS3を指定します。
   

9. Target nodeはサポートされていないようです。
   

考察

今回、Data　Previewを試してみました。今まで動かしながらログ出力しながら、データの中身を確認していたましたが、これにより、動かさずとも途中経過がある程度確認できるようになり便利なりました。

参考