はじめに
2025年4月22日、ついにAirflow 3.0がGAされましたね。
AWSのEC2上に、Dockerを利用して環境を構築してみたので、その手順をメモしておきます。
やってみる
EC2インスタンスの作成
今回は、以下のスペックで、EC2インスタンスを作成しました。
- OS：Amazon Linux 2023
- インスタンスタイプ：m5.2xlarge
公式Docを見ると、メモリ4GB以上という要件がありました。ただ、t2.medium（メモリ4GiB）やt3.large（メモリ8GiB）で試すと、起動しなかったり動きが遅かったりしたので、今回はとりあえずm5.2xlarge（vCPU 8, メモリ32GiB）で動かしています。
セキュリティグループ修正
以下のインバウンドルールを追加します。
- 手元のPCからSSHでの接続用
- ポート：22
- ソース：自身のIPアドレス
- Airflow UIのブラウザアクセス用
- ポート：8080
- ソース：自身のIPアドレス
Dockerインストール
ここからは、何かしらのツールでEC2に接続します。今回は、手元のPCのTera TermからSSH接続しました。
以下のコマンドを実行して、Dockerをインストールします。
# システムアップデート
sudo dnf update -y
# Docker インストール
sudo dnf install docker -y
sudo systemctl start docker
sudo systemctl enable docker
sudo usermod -a -G docker ec2-user
Docker Composeインストール
次に、Docker Composeをインストールします。
# Docker Composeダウンロード、インストール
DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}
mkdir -p $DOCKER_CONFIG/cli-plugins
curl -SL https://github.com/docker/compose/releases/download/v2.4.1/docker-compose-linux-x86_64 -o $DOCKER_CONFIG/cli-plugins/docker-compose
# 実行バイナリに対して実行権限付与
chmod +x $DOCKER_CONFIG/cli-plugins/docker-compose
# インストール結果の確認
docker compose version
# 一度抜ける
exit
以下を参考にしました。今はDocker composeのv2が主流なんですね。
Airflowの初期化と起動
ここまででDockerの環境が準備出来たので、Airflowのdocker-composeを使ってAirflowの環境を構築します。
現時点でのAirflowの最新バージョンはv3.0.1なので、新しいバージョンがある場合はdocker-compose.yamlのURLを修正してください。
# 作業ディレクトリ作成
mkdir airflow
cd airflow
# docker-compose.yamlのダウンロード
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/3.0.1/docker-compose.yaml'
# 必要なディレクトリの作成
mkdir -p ./dags ./logs ./plugins ./config
# ユーザー設定
echo -e "AIRFLOW_UID=$(id -u)" > .env
# データベースの初期化
docker compose up airflow-init
# Airflowの起動
docker compose up -d
以下を参考にしました。
Airflow UIにアクセス
環境立ち上げに少し時間がかかりますが、完了したら
http://<EC2のIP>:8080
にアクセスします。
上手く環境が作れていれば、以下のようなSign in画面が表示されるはずです。UsernameとPasswordはデフォルトだとどちらもairflowなので、これを入力してサインインします。
サインインできました！！！かなり画面デザイン変わってる！！！
ダークモードにして、元々あったDAG（tutorial）を何回か実行してみました。DAGの画面もかなり変わってますね。
今回はv3.0.1で構築しましたが、それが出る前のv3.0.0で試したところ、Airflow UIにアクセスすると画面遷移がループしてアクセスできませんでした。このissueで報告されていましたが、v3.0.1で直ったようです。
アクセスできない場合は、ログを確認してみましょう。Airflow UIへのアクセスログは、APIサーバーのログで確認できます。
# 100行ログを見る
docker compose logs --tail=100 airflow-apiserver
おわりに
GAされてから1か月近くたってしまいましたが、ようやく自分の手元で構築することができました。
新しい機能など、試してみたいと思います。特に、左メニューの一つであるAssetsが気になります。今まではDatasetsという、DAGで扱うデータを抽象化した概念がありましたが、それが進化したもののようです。
データリネージュが実現できたり、データの更新を検知して処理を実行したりできるようで、既存のDatasetsとどう違うかとかを追ってみようと思います。
では、皆様よき Airflow 3 ライフを！