はじめに：MWAAの設定に悩むエンジニアへ

AWS Managed Workflows for Apache Airflow（MWAA）は、Apache Airflowをマネージドで提供するサービスです。
しかし、「どのパラメータをどのように設定すればよいのか分からない」という課題に直面するエンジニアも多いのではないでしょうか。
本記事では、MWAAの主要な設定パラメータについて、公式ドキュメントや実務経験に基づいた解説を行い、ベストプラクティスや注意点も併せて紹介します。

MWAAとは？その概要と背景

MWAAは、Apache Airflowのワークフロー管理をAWS上で簡単に実現できるマネージドサービスです。
Airflowの設定ファイルであるairflow.cfgの内容を、MWAAでは環境変数として設定することで、柔軟な構成が可能となっています。
これにより、スケーラビリティや可用性の高いワークフロー管理が実現できます。

よくある課題とエラー

MWAAの設定において、以下のような課題やエラーが報告されています：

タスクの同時実行数が制限される：core.parallelismやcore.dag_concurrencyの設定不足。
カスタムプラグインが読み込まれない：core.lazy_load_pluginsの設定がTrueのまま。
Secrets Managerとの連携エラー：secrets.backendやsecrets.backend_kwargsの設定ミス。
メール通知が送信されない：SMTP設定の不足や誤り。

これらの課題は、適切なパラメータ設定とベストプラクティスの遵守によって解決可能です。

主要パラメータの解説と設定例

以下に、MWAAで設定可能な主要なパラメータとその設定例を示します。

1. タスク関連の設定


core.parallelism = 40
core.dag_concurrency = 16
core.default_task_retries = 3

これらの設定により、タスクの同時実行数やリトライ回数を制御できます。

2. スケジューラー関連の設定


scheduler.catchup_by_default = False
scheduler.scheduler_zombie_task_threshold = 300

スケジューラーの挙動や、ゾンビタスクの検出時間を設定できます。

3. ワーカーのオートスケーリング設定


celery.worker_autoscale = 16,12

ワーカーの最大・最小同時実行数を設定し、負荷に応じたスケーリングを実現します。

4. Secrets Managerとの連携設定


secrets.backend = airflow.providers.amazon.aws.secrets.secrets_manager.SecretsManagerBackend
secrets.backend_kwargs = {"connections_prefix": "airflow/connections", "variables_prefix": "airflow/variables"}

AWS Secrets Managerを利用して、接続情報や変数の安全な管理が可能です。

5. メール通知設定


email.email_backend = airflow.utils.email.send_email_smtp
smtp.smtp_host = smtp.gmail.com
smtp.smtp_starttls = True
smtp.smtp_ssl = False
smtp.smtp_port = 587
smtp.smtp_user = your_email@gmail.com
smtp.smtp_password = your_app_password

メール通知を有効にするためのSMTP設定です。Gmailのアプリパスワードを使用することを推奨します。

ベストプラクティスと運用上の注意点

MWAAの運用において、以下のベストプラクティスを遵守することが重要です：

最小権限の原則：IAMロールやポリシーは、必要最小限の権限に留める。
Secrets Managerの活用：接続情報や変数はSecrets Managerで管理し、コード内にハードコーディングしない。
CI/CDの導入：DAGのデプロイはCI/CDパイプラインを通じて行い、手動での変更を避ける。
ログの監視：CloudWatch Logsを活用し、エラーや異常の早期検出を行う。
バージョン管理：requirements.txtやplugins.zipはS3でバージョン管理し、変更履歴を追跡可能にする。

まとめと今後の展望

MWAAの設定は多岐にわたりますが、各パラメータの意味と役割を正しく理解し、適切に設定することが、安定したワークフロー運用の鍵となります。
今後は、より高度な設定やトラブルシューティングについても取り上げていく予定です。
本記事が、MWAAの設定に悩むエンジニアの一助となれば幸いです。