この記事は、Elixir Advent Calendar 2025 その6 の7日目です
昨日は私で 「Broadwayを嗜む④:シングルコードからマクロで複数Broadwayを立てる(Elixirマクロの実践利用例)」 でした
piacere です、ご覧いただいてありがとございます ![]()
前回 から引き続き、Elixirのパーフェクトな並行データフレームワークだけど、実践例が(国内では)少ない「Broadway」について、今回は設定違いの複数Broadwayをシングルコードから立てるマクロとSupervisorの使い方について解説します
普段、何気無くElixirで使っている use の正体が分かるコラムでもあります
なお、第1回コラムのコードを土台に改善していきますので、下記を先に実施しておいてください
この「Broadwayを嗜む」シリーズのコラムは下記です
① パーフェクトな並行・並列データフレームワーク「Broadway」の基本的な使い方
② データ順を維持しながら並行・並列を高めるコントロール
③ ProducerのレートリミッターとbatcherのタイムアウトによるQoS
④ シングルコードからマクロで複数Broadwayを立てる(Elixirマクロの実践利用例)
⑤ カスタムProducerをリストから本物のキューに換装する
⑥ パーティショニングによるマルチユーザー対応
⑦ 異常データが来たときはリトライしたり、除外してログ出力
⑧ マルチコア並列をベンチマークする
① Producer複製のためのマクロ化
まず、Producer複製のために、シングルコードから use を使ったモジュール複製をするためのマクロ化を、Producerモジュールに対して行います(use にて利用するコードは後述③にて)
と言うのも、Broadwayを複数立てる上で、BroadwayとProducerは1対1の関係が必要なため、Broadwayを複数起動するだけでは成り立たないからです
use を呼び出す側で個別カスタマイズするためのパラメータ(ここではモジュール名を個別化するために使う id が該当)処理を defmacro __using__() ~ end で囲み、更にその中に複製したいコード本体を quote do ~ end で囲むことで、モジュール複製は実現できます
なお、id はコード本体中で利用できるようにするため、unquote を使って quoteによるマクロ状態から解釈可能な実体(つまり、id に設定された値 ⋯ 実際は C08_C08D16_C08S05T100 のような文字列が後述③のコードで設定される)へと変換しています
defmodule SimpleProducer do
+ defmacro __using__(opts) do
+ id = Keyword.get(opts, :id)
+
+ quote do
use GenStage
- @name Module.concat([Basic.Broadway, Broadway.Producer_0])
+ @id unquote(id)
+ @name Module.concat([Basic.Broadway, @id, Broadway.Producer_0])
def push(items) when is_list(items), do: GenServer.cast(@name, {:push, items})
@impl true
def init(:init), do: {:producer, {[], 0}}
@impl true
def handle_cast({:push, items}, {queue, pos}), do: broker(queue ++ items, pos)
@impl true
def handle_demand(next, {queue, pos}), do: broker(queue, pos + next)
def broker(queue, pos) do
IO.puts("[SimpleProducer.broker] 呼出")
IO.puts(" [broker] BEFORE: #{pos}")
{currents, remains} = Enum.split(queue, pos)
new_pos = pos - length(currents)
IO.puts(" [broker] AFTER: #{new_pos}")
{:noreply, currents, {remains, new_pos}}
end
+ end
+ end
end
② Broadway複製のための設定パラメータ引数化
各パーツの並行度やバッチサイズなどの設定だけ異なるBroadwayは、設定パラメータを引数で渡せるようにすれば複製できるようになります
defmodule Basic.Broadway do
use Broadway
@impl true
def handle_message(_processor, message, _context) do
message
|> Broadway.Message.update_data(fn x ->
IO.puts("[Basic.Broadway.handle_messaage] 受信:#{inspect(x)}")
x
end)
end
@impl true
def handle_batch(_batcher, messages, _batch_info, _context) do
IO.puts("[Basic.Broadway.handle_batch] 処理したバッチ数:#{length(messages)}")
IO.puts("[Basic.Broadway.handle_batch] #{inspect(Enum.map(messages, & &1.data))}")
messages
end
- def start_link(_opts) do
+ def start_link(setting) do
IO.puts("[Basic.Broadway.start_link] 起動")
- Broadway.start_link(__MODULE__,
- name: __MODULE__,
- producer: [
- module: {SimpleProducer, :init},
- concurrency: 3,
- transformer: {__MODULE__, :transform, []}
- ],
- processors: [
- default: [
- max_demand: 6,
- concurrency: 2
- ]
- ],
- batchers: [
- default: [
- batch_size: 5,
- batch_timeout: 100,
- concurrency: 8
- ]
- ]
- )
+ Broadway.start_link(__MODULE__, setting)
end
def transform(event, _opts) do
%Broadway.Message{data: event, acknowledger: {__MODULE__, :ack_id, :ack_data}}
end
def ack(:ack_id, _successful, _failed), do: :ok
end
③ Supervisor配下でProducer生成+複数Broadway起動
複数のBroadway設定が入った settings の分、上記マクロ化されたProducerを Module.create で動的モジュール生成し、Broadwayの producer.module にリンクすると同時に、各Broadwayの設定と起動を行います
Producerモジュール名は、SimpleProducer.C08_C08D16_C08S05T100 のような感じで、各Broadwayの設定値に沿ったID付になりますが、このIDもコード中で設定値から生成しており、id としてマクロに渡され、前述通りProducerモジュール名として使われます
Broadwayモジュール名も、Broadway.C08_C08D16_C08S05T100 のような感じで、各Broadwayの設定値に沿ったID付になります
defmodule Basic.Application do
use Application
+ def i2p(n), do: n |> Integer.to_string |> String.pad_leading(2, "0")
def start(_type, _args) do
+ settings = [
+ %{prod_c: 8, proc_c: 8, proc_d: 8, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 16, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 24, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 32, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 40, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 48, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 56, batch_c: 8, batch_s: 5, batch_t: 100},
+ %{prod_c: 8, proc_c: 8, proc_d: 64, batch_c: 8, batch_s: 5, batch_t: 100},
+ ]
+
+ settings = settings
+ |> Enum.map(&Map.put(&1, :id,
+ "C#{i2p(&1.prod_c)}_C#{i2p(&1.proc_c)}D#{i2p(&1.proc_d)}_" <>
+ "C#{i2p(&1.batch_c)}S#{i2p(&1.batch_s)}T#{i2p(&1.batch_t)}"))
children = [
- {Basic.Broadway, []}
+ for %{prod_c: prod_c, proc_c: proc_c, proc_d: proc_d,
+ batch_c: batch_c, batch_s: batch_s, batch_t: batch_t, id: id} <- settings do
+ producer_module = Module.concat([SimpleProducer, id])
+ Module.create(producer_module,
+ quote do
+ use SimpleProducer, id: unquote(id)
+ end,
+ Macro.Env.location(__ENV__))
+
+ broadway_module = Module.concat([Broadway, id])
+
+ setting = [
+ name: broadway_module,
+ producer: [
+ module: {producer_module, :init},
+ transformer: {Basic.Broadway, :transform, []},
+ concurrency: prod_c
+ ],
+ processors: [
+ default: [
+ concurrency: proc_c,
+ max_demand: proc_d
+ ]
+ ],
+ batchers: [
+ default: [
+ concurrency: batch_c,
+ batch_size: batch_s,
+ batch_timeout: batch_t
+ ]
+ ]
+ ]
+ %{start: {Basic.Broadway, :start_link, [setting]}, id: String.to_atom(id)}
+ end
]
opts = [strategy: :one_for_one, name: Basic.Supervisor]
Supervisor.start_link(children, opts)
end
end
④ 起動したBroadwayの確認
Supervisor配下で起動されたBroadwayを下記で確認できます
iex> Process.whereis(Basic.Supervisor) |> Supervisor.which_children
[
{:C08_C08D64_C08S05T100, #PID<0.513.0>, :worker, [Basic.Broadway]},
{:C08_C08D56_C08S05T100, #PID<0.480.0>, :worker, [Basic.Broadway]},
{:C08_C08D48_C08S05T100, #PID<0.447.0>, :worker, [Basic.Broadway]},
{:C08_C08D40_C08S05T100, #PID<0.414.0>, :worker, [Basic.Broadway]},
{:C08_C08D32_C08S05T100, #PID<0.381.0>, :worker, [Basic.Broadway]},
{:C08_C08D24_C08S05T100, #PID<0.348.0>, :worker, [Basic.Broadway]},
{:C08_C08D16_C08S05T100, #PID<0.315.0>, :worker, [Basic.Broadway]},
{:C08_C08D08_C08S05T100, #PID<0.282.0>, :worker, [Basic.Broadway]}
]
なお、Livebook上で本コード群を実行し、Process.whereis() して、「Supervision tree」タブをクリックしても、スーパーバイザー配下の各Broadwayプロセスが見れます
⑤ 各Broadwayの呼び出し
複製された各Producerの push を下記のように呼び出せば、設定の異なるBroadway毎に呼び出せます
iex> SimpleProducer.C08_C08D16_C08S05T100.push(Enum.to_list(1..15))
終わりに
シングルコードからマクロで複数Broadwayを立てる方法について解説しました
普段、何気無く使っている use の正体が「パラメータ付きモジュール複製」だと言うことが伝わったでしょうか?
なお use の正確な挙動としては、use したモジュール配下に __using__ したコードを展開する「パラメータ付きコードテンプレート展開」や「AST展開によるコンパイル時コード生成」ですが、「パラメータ付きモジュール複製」と表現した方が伝わりやすいと思います
このような強力で柔軟な高効率コーディングが叶うのが、パイプやパターンマッチ等とはまた別のElixirの魅力です
またElixirマクロは、モジュール複製だけで無く、下記コラムのような独自構文やDSLにも活躍し、Phoenixの plug や get やpost 等、Ectoの schema、ExUnitの test 等もマクロ製なので、思ったより馴染みがあるのでは無いでしょうか?
次回は、リストをキュー代わりにしていることで非効率なProducer側を改善してみます
p.s.このコラムが、面白かったり、役に立ったら…
明日も私で 「Broadwayを嗜む⑤:カスタムProducerをリストから本物のキューに換装する」 です

