6
5

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

Airflow 備忘

Last updated at Posted at 2019-08-15

はじめに

Airflow関連の作業の備忘録

対象バージョン

1系

基本

同時実行数について

airflow.cfg name Environment Variable Default Value
parallelism AIRFLOW__CORE__PARALLELISM 32
dag_concurrency AIRFLOW__CORE__DAG_CONCURRENCY 16
worker_concurrency AIRFLOW__CELERY__WORKER_CONCURRENCY 16
max_threads AIRFLOW__SCHEDULER__MAX_THREADS 2
  • parallelism
    • タスク同時実行数。これは、全ての実行しているDAGを通しての制限値になります。
  • dag_concurrency
    • 特定DAG内のタスク同時実行数
    • たとえ、50のタスクを持ったDAGでも同時実行数はこのパラメータに制限されます。
  • worker_concurrency
    • 一つのワーカーで実行されるタスクの数。4つワーカーがあれば、16のworker concurrencyで最大64タスクを同時に実行できます。

タスク優先度付

  • タスクに優先度をつけたい場合

テーブル

  • テーブル一覧

スキーマ | 名前 | 型 | 所有者
----------+-----------------------+----------+-------------
public | alembic_version | テーブル | xxxxx
public | celery_taskmeta | テーブル | xxxxx
public | celery_tasksetmeta | テーブル | xxxxx
public | chart | テーブル | xxxxx
public | connection | テーブル | xxxxx
public | dag | テーブル | xxxxx
public | dag_pickle | テーブル | xxxxx
public | dag_run | テーブル | xxxxx
public | import_error | テーブル | xxxxx
public | job | テーブル | xxxxx
public | known_event | テーブル | xxxxx
public | known_event_type | テーブル | xxxxx
public | kube_resource_version | テーブル | xxxxx
public | kube_worker_uuid | テーブル | xxxxx
public | log | テーブル | xxxxx
public | sla_miss | テーブル | xxxxx
public | slot_pool | テーブル | xxxxx
public | task_fail | テーブル | xxxxx
public | task_instance | テーブル | xxxxx
public | task_reschedule | テーブル | xxxxx
public | users | テーブル | xxxxx
public | variable | テーブル | xxxxx
public | xcom | テーブル | xxxxx

6
5
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
6
5

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?