Apache Airflowの環境変数を使用する

Apache Airflowとは

Apache AirflowはOSSのワークフロー管理ツールです。DAG（有向非巡回グラフ）を用いてワークフローを作成し、各種データの取り込み、加工などの処理のワークフロー制御を行うことができます。
また、AWSなどのクラウドプロバイダーからApache Airflowのマネージドサービスが提供されているため、比較的に導入、利用がしやすいツールとなっています。
この記事ではAirflowのバージョン2.2を使用しています。

Apache Airflowの環境変数の使用

Apache AirflowではDAGから使用可能な環境変数(Variables)をAirflow UIのAdmin画面を通して設定可能です。

環境変数(Variables)の設定

• Airflow UIで「Admin」 → 「Variables」を選択します。
  
• 「+」を選択します。
  
• 環境変数のKey, Valを設定し「Save」をクリックします。
  
• 環境変数(Variables)に登録できたことが確認できます。
  

DAGのコードで環境変数を利用する

DAGのコードではVariableのimportをまずはする必要があります。
Variable.get(Key値)で環境変数のValueを取得することができます。

コード例

from airflow.models import DAG, Variable
output_table_name = Variable.get("output_table")