Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
0
Help us understand the problem. What is going on with this article?
@munaita_

Airflowのマクロがうまく動かない場合に確認すること

背景

以前こんな感じの質問を受けた。

{{}} の中に書けるマクロがあるかと思いますが、書いてもプリプロセスしてくれなくて。
何かおまじないや、設定追加が必要なものなのでしょうか。

これに関してメモ。

まず、Airflowのマクロとは

Airflow Document# Macros reference

Airflowのマクロとはテンプレートで挙動する変数
例えば、 {{ execution_date }} を呼び出すと、実行時間をPendulumクラスのインスタンスで取得できる。

動く場合と動かない場合

ドキュメントにもあるが、このMacro は Jinja Templates内で有効なものである。

例を示す。

動く例↓

動く例
t1 = BigQueryOperator(
    task_id="example",
    sql="./sql/example.sql",
    use_legacy_sql=False,
    destination_dataset_table="pj.mart.example${{ execution_date.strftime('%Y%m%d') }}", # イケる!
    write_disposition="WRITE_TRUNCATE",
    allow_large_results=True,
    time_partitioning={"type": "DAY"},
    dag=dag
)

動かない例↓

動かない例

ds = {{execution_date}}.to_date_string # ここでエラー
BigQueryOperator(~~)

Operatorの、とある引数フィールドであればMacroは使用することができる。

じゃあ、どのOperatorのどの引数でmacro使えるのか?

Jinja Templating

You can use Jinja templating with every parameter that is marked as “templated” in the documentation.

ドキュメント見て、 templated って書いてある項目ならイケるらしい。

例えば、

airflow.contrib.operators.bigquery_operator

をみると、sqldestination_dataset_tabletemplated と書いてあるので macroを使用できることがわかる。

0
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
munaita_
フリーランスのデータエンジニアです。 データ基盤構築や、ビッグデータを扱うシステム構築が得意です。 新卒サイバーエージェントからフリーランス。 広告/小売/教育など幅広いドメインのデータビジネスを経験しています。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
0
Help us understand the problem. What is going on with this article?