この記事は筆者オンリーのAdvent Calendar 202512日目の記事です。

RustでSIP通話を受けて、ASRで文字起こし→LLMで返答→（VOICEVOXで音声化して）相手に返す、という音声ボットを作っています。

この記事は LLM部分だけ を、アドベントカレンダー向けに「選択肢って何がある？」を ざっくり まとめます。
（ZoiperやSIPの細かい話、音声返送まわりは次回に回します）

LLMは何を担当するの？

音声ボットでLLMにやってほしいことは、だいたいこのへんです。

この「外部処理を呼ぶ」は、各LLMの ツール呼び出し / 関数呼び出し 機能を使うと実装が楽になります。

クラウドLLM：こういうのがある

「API叩けば使える」系。まず動かすならこれが一番早いです。

クラウドLLMの雑なイメージ：

「手元のPCや自前サーバで動かす」系。会話内容を外に出したくない時に強いです。

ローカルLLMの雑なイメージ：

アドベントカレンダーで書くなら、こういう整理が分かりやすいと思います。

LLM部分は、あとで差し替えられるように境界を決めておくと楽です。

次の記事では、Zoiper等のSIPフォンを絡めて

みたいな 通話ボットとして成立させる話 を書く予定です。

（おまけ）自分メモ：LLM選定で最後に効くやつ