4
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Broadwayを嗜む④:シングルコードからマクロで複数Broadwayを立てる(Elixirマクロの実践利用例)

4
Last updated at Posted at 2026-01-10

この記事は、Elixir Advent Calendar 2025 その6 の7日目です

昨日は私で 「Broadwayを嗜む④:シングルコードからマクロで複数Broadwayを立てる(Elixirマクロの実践利用例)」 でした


piacere です、ご覧いただいてありがとございます :bow:

前回 から引き続き、Elixirのパーフェクトな並行データフレームワークだけど、実践例が(国内では)少ない「Broadway」について、今回は設定違いの複数Broadwayをシングルコードから立てるマクロとSupervisorの使い方について解説します

普段、何気無くElixirで使っている use の正体が分かるコラムでもあります

なお、第1回コラムのコードを土台に改善していきますので、下記を先に実施しておいてください

この「Broadwayを嗜む」シリーズのコラムは下記です

① パーフェクトな並行・並列データフレームワーク「Broadway」の基本的な使い方
② データ順を維持しながら並行・並列を高めるコントロール
③ ProducerのレートリミッターとbatcherのタイムアウトによるQoS
④ シングルコードからマクロで複数Broadwayを立てる(Elixirマクロの実践利用例)
⑤ カスタムProducerをリストから本物のキューに換装する
⑥ パーティショニングによるマルチユーザー対応
⑦ 異常データが来たときはリトライしたり、除外してログ出力
⑧ マルチコア並列をベンチマークする

① Producer複製のためのマクロ化

まず、Producer複製のために、シングルコードから use を使ったモジュール複製をするためのマクロ化を、Producerモジュールに対して行います(use にて利用するコードは後述③にて)

と言うのも、Broadwayを複数立てる上で、BroadwayとProducerは1対1の関係が必要なため、Broadwayを複数起動するだけでは成り立たないからです

use を呼び出す側で個別カスタマイズするためのパラメータ(ここではモジュール名を個別化するために使う id が該当)処理を defmacro __using__() ~ end で囲み、更にその中に複製したいコード本体を quote do ~ end で囲むことで、モジュール複製は実現できます

なお、id はコード本体中で利用できるようにするため、unquote を使って quoteによるマクロ状態から解釈可能な実体(つまり、id に設定された値 ⋯ 実際は C08_C08D16_C08S05T100 のような文字列が後述③のコードで設定される)へと変換しています

basic/lib/simple_producer.ex
defmodule SimpleProducer do

+ defmacro __using__(opts) do
+   id = Keyword.get(opts, :id)
+
+   quote do
      use GenStage

-     @name Module.concat([Basic.Broadway, Broadway.Producer_0])
+     @id unquote(id)
+     @name Module.concat([Basic.Broadway, @id, Broadway.Producer_0])

      def push(items) when is_list(items), do: GenServer.cast(@name, {:push, items})
    
      @impl true
      def init(:init), do: {:producer, {[], 0}}
    
      @impl true
      def handle_cast({:push, items}, {queue, pos}), do: broker(queue ++ items, pos)
    
      @impl true
      def handle_demand(next, {queue, pos}), do: broker(queue, pos + next)
    
      def broker(queue, pos) do
        IO.puts("[SimpleProducer.broker] 呼出")
        IO.puts("  [broker] BEFORE: #{pos}")
        {currents, remains} = Enum.split(queue, pos)
        new_pos = pos - length(currents)
        IO.puts("  [broker] AFTER: #{new_pos}")
        {:noreply, currents, {remains, new_pos}}
      end
+   end
+ end
end

② Broadway複製のための設定パラメータ引数化

各パーツの並行度やバッチサイズなどの設定だけ異なるBroadwayは、設定パラメータを引数で渡せるようにすれば複製できるようになります

basic/lib/broadway.ex
defmodule Basic.Broadway do
  use Broadway

  @impl true
  def handle_message(_processor, message, _context) do
    message
    |> Broadway.Message.update_data(fn x ->
      IO.puts("[Basic.Broadway.handle_messaage] 受信:#{inspect(x)}")
      x
    end)
  end

  @impl true
  def handle_batch(_batcher, messages, _batch_info, _context) do
    IO.puts("[Basic.Broadway.handle_batch] 処理したバッチ数:#{length(messages)}")
    IO.puts("[Basic.Broadway.handle_batch] #{inspect(Enum.map(messages, & &1.data))}")
    messages
  end

- def start_link(_opts) do
+ def start_link(setting) do
    IO.puts("[Basic.Broadway.start_link] 起動")
-   Broadway.start_link(__MODULE__,
-     name: __MODULE__,
-     producer: [
-       module: {SimpleProducer, :init},
-       concurrency: 3,
-       transformer: {__MODULE__, :transform, []}
-     ],
-     processors: [
-       default: [
-         max_demand: 6,
-         concurrency: 2
-       ]
-     ],
-     batchers: [
-       default: [
-         batch_size: 5,
-         batch_timeout: 100,
-         concurrency: 8
-       ]
-     ]
-   )
+   Broadway.start_link(__MODULE__, setting)
  end

  def transform(event, _opts) do
    %Broadway.Message{data: event, acknowledger: {__MODULE__, :ack_id, :ack_data}}
  end

  def ack(:ack_id, _successful, _failed), do: :ok
end

③ Supervisor配下でProducer生成+複数Broadway起動

複数のBroadway設定が入った settings の分、上記マクロ化されたProducerを Module.create で動的モジュール生成し、Broadwayの producer.module にリンクすると同時に、各Broadwayの設定と起動を行います

Producerモジュール名は、SimpleProducer.C08_C08D16_C08S05T100 のような感じで、各Broadwayの設定値に沿ったID付になりますが、このIDもコード中で設定値から生成しており、id としてマクロに渡され、前述通りProducerモジュール名として使われます

Broadwayモジュール名も、Broadway.C08_C08D16_C08S05T100 のような感じで、各Broadwayの設定値に沿ったID付になります

basic/lib/application.ex
defmodule Basic.Application do
  use Application

+ def i2p(n), do: n |> Integer.to_string |> String.pad_leading(2, "0")

  def start(_type, _args) do
+   settings = [
+     %{prod_c: 8, proc_c: 8, proc_d: 8, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 16, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 24, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 32, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 40, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 48, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 56, batch_c: 8, batch_s: 5, batch_t: 100},
+     %{prod_c: 8, proc_c: 8, proc_d: 64, batch_c: 8, batch_s: 5, batch_t: 100},
+   ]
+
+   settings = settings 
+     |> Enum.map(&Map.put(&1, :id, 
+       "C#{i2p(&1.prod_c)}_C#{i2p(&1.proc_c)}D#{i2p(&1.proc_d)}_" <> 
+       "C#{i2p(&1.batch_c)}S#{i2p(&1.batch_s)}T#{i2p(&1.batch_t)}"))

    children = [
-     {Basic.Broadway, []}
+     for %{prod_c: prod_c, proc_c: proc_c, proc_d: proc_d, 
+         batch_c: batch_c, batch_s: batch_s, batch_t: batch_t, id: id} <- settings do
+       producer_module = Module.concat([SimpleProducer, id])
+       Module.create(producer_module, 
+         quote do
+           use SimpleProducer, id: unquote(id)
+         end, 
+         Macro.Env.location(__ENV__))
+
+       broadway_module = Module.concat([Broadway, id])
+
+       setting = [
+         name: broadway_module,
+         producer: [
+           module: {producer_module, :init},
+           transformer: {Basic.Broadway, :transform, []},
+           concurrency: prod_c
+         ],
+         processors: [
+           default: [
+             concurrency: proc_c,
+             max_demand: proc_d
+           ]
+         ],
+         batchers: [
+           default: [
+             concurrency: batch_c,
+             batch_size: batch_s,
+             batch_timeout: batch_t
+           ]
+         ]
+       ]   
+       %{start: {Basic.Broadway, :start_link, [setting]}, id: String.to_atom(id)}
+     end
    ]

    opts = [strategy: :one_for_one, name: Basic.Supervisor]
    Supervisor.start_link(children, opts)
  end
end

④ 起動したBroadwayの確認

Supervisor配下で起動されたBroadwayを下記で確認できます

iex> Process.whereis(Basic.Supervisor) |> Supervisor.which_children
[
  {:C08_C08D64_C08S05T100, #PID<0.513.0>, :worker, [Basic.Broadway]},
  {:C08_C08D56_C08S05T100, #PID<0.480.0>, :worker, [Basic.Broadway]},
  {:C08_C08D48_C08S05T100, #PID<0.447.0>, :worker, [Basic.Broadway]},
  {:C08_C08D40_C08S05T100, #PID<0.414.0>, :worker, [Basic.Broadway]},
  {:C08_C08D32_C08S05T100, #PID<0.381.0>, :worker, [Basic.Broadway]},
  {:C08_C08D24_C08S05T100, #PID<0.348.0>, :worker, [Basic.Broadway]},
  {:C08_C08D16_C08S05T100, #PID<0.315.0>, :worker, [Basic.Broadway]},
  {:C08_C08D08_C08S05T100, #PID<0.282.0>, :worker, [Basic.Broadway]}
]

なお、Livebook上で本コード群を実行し、Process.whereis() して、「Supervision tree」タブをクリックしても、スーパーバイザー配下の各Broadwayプロセスが見れます

image.png

⑤ 各Broadwayの呼び出し

複製された各Producerの push を下記のように呼び出せば、設定の異なるBroadway毎に呼び出せます

iex> SimpleProducer.C08_C08D16_C08S05T100.push(Enum.to_list(1..15))

終わりに

シングルコードからマクロで複数Broadwayを立てる方法について解説しました

普段、何気無く使っている use の正体が「パラメータ付きモジュール複製」だと言うことが伝わったでしょうか?

なお use の正確な挙動としては、use したモジュール配下に __using__ したコードを展開する「パラメータ付きコードテンプレート展開」や「AST展開によるコンパイル時コード生成」ですが、「パラメータ付きモジュール複製」と表現した方が伝わりやすいと思います

このような強力で柔軟な高効率コーディングが叶うのが、パイプやパターンマッチ等とはまた別のElixirの魅力です

またElixirマクロは、モジュール複製だけで無く、下記コラムのような独自構文やDSLにも活躍し、Phoenixの plug や get やpost 等、Ectoの schema、ExUnitの test 等もマクロ製なので、思ったより馴染みがあるのでは無いでしょうか?

次回は、リストをキュー代わりにしていることで非効率なProducer側を改善してみます

p.s.このコラムが、面白かったり、役に立ったら…

image.png で応援よろしくお願いします :bow:


明日も私で 「Broadwayを嗜む⑤:カスタムProducerをリストから本物のキューに換装する」 です

4
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?