はじめに

こんにちは。ジールの@________________-_です。

ローカルでairflow breezeを利用しておりますが、WebUIのAcitonsからDelete DAGを実行するとエラーとなり削除できない事象が発生しました。
今までこんなこと無かった気がするので簡単に調査してみました。

Delete DAGを実行すると、

エラーとなり削除ができない！

悲しいです。。。

環境

Airflow breeze：v2.3.0.dev0
すべてデフォルト設定で利用

結論

tag付のDAGを削除しようとしていることが原因のようでした。

詳細

エラー内容を確認すると、sqlalchemy.exc.IntegrityError: (sqlite3.IntegrityError) FOREIGN KEY constraint failedと記載があります。外部キー制約が原因で動作しないようです。

また、[SQL: DELETE FROM dag WHERE dag.dag_id IN (?)] [parameters: ('example_external_task_sensor_parent',)]との記載もある為、dagテーブルのカラムに対して外部キーを設定しているテーブルが原因ぽいです。
早速テーブルを探してみたところdag_tagテーブルを発見しました！

以下airflow breeze内部からsqliteにて確認しました。

cd ~/airflow
sqlite3 airflow.db

dag_tagテーブルのdag_idカラムに外部キーが設定されているのが分かります。

--表示モードをlineにする
sqlite> .mode line;
--dag_tagテーブルのDDLを表示
sqlite> select * from sqlite_master where type='table' and name='dag_tag';
>>     type = table
>>     name = dag_tag
>> tbl_name = dag_tag
>> rootpage = 4
>>      sql = CREATE TABLE dag_tag (
>>         name VARCHAR(100) NOT NULL,
>>         dag_id VARCHAR(250) NOT NULL,
>>         PRIMARY KEY (name, dag_id),
>>         FOREIGN KEY(dag_id) REFERENCES dag (dag_id)
)

つまり、dag_tagテーブルのdag_idカラムがdagテーブルのdag_idカラムを参照した外部キーとなっている為、
先にdag_tagテーブルのレコードを削除しないと、dagテーブルからもレコードを削除できない状態です。

念のためsqlでも同様のエラーが発生するか試してみます。

--外部キーが有効になっているか確認
sqlite> PRAGMA foreign_keys;
>> foreign_keys = 0
--外部キーを有効にする
sqlite> PRAGMA foreign_keys=true;
sqlite> PRAGMA foreign_keys;
>> foreign_keys = 1
--dagテーブルからexample_external_task_sensor_parent DAGを削除
sqlite> delete from dag where dag_id = 'example_external_task_sensor_parent';
>> Error: FOREIGN KEY constraint failed --同様に外部キー制約エラー

同様のエラーが発生したので今度はdag_tagテーブルから先に削除してみます。

--dag_tagテーブルからexample_external_task_sensor_parent DAGを削除
sqlite> delete from dag_tag where dag_id = 'example_external_task_sensor_parent';
--dag_tagテーブルから削除後、dagテーブルからexample_external_task_sensor_parent DAGを削除
sqlite> delete from dag where dag_id = 'example_external_task_sensor_parent';
--エラーも発生せず削除が可能

問題なく削除可能でした。
WebUIでも削除されています。

改めて纏めると、

DAGを作成すると、dagテーブルにレコードが登録される。
DAGにtagを設定すると、dag_tagテーブルにもレコードが作成される。
dag_tagテーブルのdag_idカラムは、dagテーブルのdag_idカラムを参照する外部キーとなっている。
上記の関係性から、tagのあるDAGを削除するには、dag_tagテーブルから対象レコードを削除した後にdagテーブルからも削除する必要がある。
dagテーブルの対象レコードを先に削除しようとすると、dag_tagテーブルに対象レコードが存在している為外部キー制約エラーとなる。

テーブルの関係は以下の通り。

dagテーブル：dagが登録されているテーブル
dag_tagテーブル：dagのtagが登録されているテーブル。dag_idカラムはdagテーブルのdag_idカラムを参照した外部キー。

おわりに

実際のコードを読んでないので正確なことは言えませんが、
dag_tagテーブルのレコードを削除する前にdagテーブルのレコードを削除しようとしている為 エラーになっていると推測致しました。
ちなみに、DAGからtagを外すとWEBUIからも削除可能でした（tagをもともと設定していないDAGも削除可能）。
tagを設定していてもWebUIから削除出来る方法って何かあるんですかね？？？

おまけコマンド実行の場合

コマンドでDAGを削除した場合はどうなるのか試してみました。

airflow dags delete -y example_external_task_sensor_parent

結果としては、同じエラーになったりならなかったり。。。謎です。
成功した場合は、

Remove 2 Record(s)

と表示されます。
ちなみに、tagを2個に増やすと、

Remove 3 Record(s)

と表示されます。
dagテーブルからdag1レコードと、dag_tagテーブルからdagのtag2レコードが削除されているものと思われます。
以上！

株式会社ジールでは、「ITリテラシーがない」「初期費用がかけられない」「親切・丁寧な支援がほしい」「ノーコード・ローコードがよい」「運用・保守の手間をかけられない」などのお客様の声を受けて、オールインワン型データ活用プラットフォーム「ZEUSCloud」を月額利用料にてご提供しております。
ご興味がある方は是非下記のリンクをご覧ください：