Celery4.2.1でタスクにデフォルトのQueueを指定する #Python

今年もこの季節がやってきましたね。なんだか今年は例年より暖かい気がしています。
さて、呉高専の専攻科生のちゃんゆーです。1日目は軽めなお話です。

PythonでジョブキューといえばCeleryが挙げられますが、CeleryのQueue指定方法について書いていきます。

前提

環境は

$ pip freeze
celery==4.2.1

を想定しています。

公式ドキュメントより、下記タスクを定義しているとします。

from celery import Celery

app = Celery('tasks', broker='pyamqp://guest@localhost//')

@app.task
def add(x, y):
    return x + y

なお、以下のQueue、Workerを起動しているものとします。

$ celery -A proj worker -Q high
$ celery -A proj worker -Q middle
$ celery -A proj worker -Q low

こちらはよく見かける指定方法。

add.apply_async(queue='high')

addタスクが、highのQueueで実行されます。

タスクによっては、実行するQueueを固定したい場合もあるでしょう。
その場合は、デコレータに指定してやります。

@app.task(queue="high")
def add(x, y):
    return x + y

add.apply_async()
add.delay() # もちろんdelayでもOK!

このことを知らず、呼び出し側から毎度指定していたのですが、その必要もなかったのですね…

この辺よく調べるとドキュメントにもちゃんと書いてありました。
celery.app.task — Celery 4.2.0 documentation
ちゃんと読み込む必要ありますね…

DjangoでCeleryを使う場合、以下のように shared_task デコレータを使うことが多いと思います。

from celery import shared_task

@shared_task
def add(x, y):
    return x + y

この場合、 @app.task と同様にQueueの指定ができます。

@shared_task(queue="high")
def add(x, y):
    return x + y

add.delay()

今回はCeleryのデフォルトのQueueの設定方法をまとめました。
ちなみに、デフォルトのQueueを指定しても、呼び出し時に指定すると、呼び出し時に指定したQueueが優先されるようです。

それにしても、Celeryって日本語記事ほとんどなくってつらい…

さて、明日はどんな記事が投稿されるのでしょうか！
お楽しみに！