LLM を使ったアプリと言っても、モデルを鍛える基盤から、チャットに常駐するボット、音声や動画を扱う道具、身の回りの情報整理まで、層がかなり違います。この記事では、最近まとめたノートの中から「LLM を実際の仕事や生活に組み込むとき、どの層で何が使えるか」が見えてくる 8 本を選びました。
どれも OSS か、公開されている解説記事です。各項目の最後に、もう少し詳しく書いた元ノート（日本語ページ）へのリンクを置いています。
1. Oumi：基盤モデルの学習から配備までを一本の CLI で
Oumi は、データ準備・学習・評価・推論・デプロイを同じ設定体系で回せるオープンソースのプラットフォームです。SFT や LoRA/QLoRA、DPO、GRPO といった手法を、ノート PC からクラスタやクラウドまで同じコマンド（oumi train、oumi evaluate、oumi infer）で扱えます。最近のバージョンではツール呼び出しを前提にしたモデルづくりに寄せていて、実行可能なツール環境や verl ベースの GRPO まで揃ってきました。Qwen、Gemma、DeepSeek、Llama など主要なオープンモデルのレシピがそのまま置いてあるので、「とりあえず自分のデータで微調整してみたい」ときの出発点として便利です。
2. 「LLM エージェントはただのグラフ」という見方
エージェントのフレームワークは年々重くなりがちですが、この解説記事は逆方向から攻めます。約 100 行の PocketFlow を使い、エージェントを「判断ノード・行動ノード・終了ノードと、判断へ戻るループ」でできた単純なグラフとして描き直してみせます。各ノードは prep（共有ストアから読む）、exec（処理）、post（結果を書き戻し次の遷移を決める）の 3 段だけ。検索して答える小さなリサーチ助手を例に、LangGraph や OpenAI Agents の中にも同じ骨格があることを示していて、複雑なフレームワークを読む前の頭の整理にちょうどいい一本です。
3. F5-TTS：Flow Matching で作る音声合成
F5-TTS は、Flow Matching を使った音声合成の論文に対応する公式実装です。ConvNeXt V2 を組み込んだ Diffusion Transformer で学習と推論を速くしつつ、推論時のステップ配分を工夫する Sway Sampling で品質を稼いでいます。pip install f5-tts で入り、Gradio の UI から参照音声を使った読み上げや複数話者の生成を試せます。Triton や TensorRT-LLM を使った配備手順と遅延のベンチマークまで付いているのが実務向きです。ただしコードは MIT でも、事前学習済みモデルは学習データの都合で CC-BY-NC なので、商用利用の前には確認が必要です。
4. VideoLingo：動画の字幕付けと吹き替えをまとめて自動化
VideoLingo は、音声認識・字幕の分割と翻訳・タイミング合わせ・吹き替えまでを Streamlit の画面ひとつで流せるツールです。YouTube の動画なら yt-dlp で取得するところから始められ、単語単位の認識と強制アラインメントで字幕のズレを抑えています。翻訳には用語集や「訳してから見直す」ステップを挟めて、TTS も GPT-SoVITS、Edge TTS、F5-TTS などから選べます。雑音の多い音声や複数言語が混ざる音声では精度が落ちること、話者ごとに声を自動で振り分けはしないことも正直に書かれているので、期待値を合わせてから使えます。
5. LangBot：いろいろなチャットに LLM ボットを置くための土台
LangBot は、LLM を Discord、Telegram、Slack、LINE、さらに中国圏の QQ や WeChat、Feishu、DingTalk などへ同じコードでつなぐための、本番運用を意識したボット基盤です。マルチターン会話やツール呼び出し、RAG の知識ベースに加え、Dify や n8n、Langflow との連携、MCP 対応、プラグインの仕組みまで持っています。アクセス制御やレート制限、NG ワードのフィルタといった「社内に置くと必ず聞かれる」機能が最初から入っているのが大きいところで、uvx langbot で手元に立ち上げて Web の管理画面から触れます。
6. HuixiangDou（茴香豆）：グループチャットで空気を読む技術アシスタント
HuixiangDou は InternLM チームによる、グループチャット向けの知識アシスタントです。面白いのは「答えるべきでない質問には答えない」ことを設計の中心に置いている点で、前処理・拒否・応答の 3 段パイプラインで雑談や的外れな話題を弾き、チャットを荒らさないようにしています。学習は不要で、CPU のみの構成から GPU 2GB、マルチモーダル用の 10GB 構成まで選べ、文書の密検索、コードの疎検索、ナレッジグラフ、Web 検索を組み合わせられます。回答範囲は「答えてよい質問・答えない質問」の例と閾値で調整する方式で、社内 Q&A ボットを作るときの考え方として参考になります。
→ HuixiangDou の 3 段パイプラインと構成の選び方
7. Chatwoot：セルフホストできるカスタマーサポート基盤
Chatwoot は Intercom や Zendesk の代わりとして使える、オープンソースのカスタマーサポート基盤です。Web チャット、メール、各種 SNS、WhatsApp、LINE、SMS などの問い合わせを一つの受信箱に集約し、ヘルプセンター、社内メモ、メンション、定型返信、自動割り当てといった運用機能が揃っています。Captain という AI エージェントがよくある質問への一次対応を受け持つので、LLM を「顧客対応の現場」にどう入れるかの具体例としても見られます。MIT ライセンスで、顧客データを自社で持てる点が選ぶ理由になりやすいでしょう。
8. ブックマークに LLM の要約と全文インデックスを付ける
最後は個人の工夫の記録です。著者は 3 年半で 800 件以上たまったブックマークを公開リポジトリで管理していましたが、リンク切れや「タイトルを覚えていないと探せない」問題に悩んでいました。そこで新しいブックマークが追加されるたびに GitHub Actions が動き、Wayback Machine への保存、Jina Reader による本文の Markdown 化、LLM による箇条書き要約と一行まとめの生成までを自動で行う仕組みを作っています。要約には deepseek-chat を使い、費用は月 1 元未満とのこと。大掛かりな RAG を組まなくても、身近な情報整理なら小さなパイプラインで十分役に立つという好例です。
→ GitHub Actions で回すブックマーク要約の仕組み
おわりに
並べてみると、「モデルを作る（1、3）」「エージェントを理解する（2）」「人がいる場所に置く（5、6、7）」「自分の作業を楽にする（4、8）」という層に分かれました。LLM アプリを考えるとき、どの層で困っているのかを先に決めると、選ぶ道具もかなり絞れると思います。