はじめに
llama-swapを試したくて触っていますが、Open WebUI経由で使えると色々便利そうなので調べてみると、あっさりと繋がったのでメモを残しておきます。
llama-swapの起動
llama-swapを起動します。モデルとconfig.yamlは別途用意しておきます。
% llama-swap --config config.yaml --listen localhost:10000
Open WebUI側の設定
Open WebUIを起動します。
% uv run open-webui serve
ブラウザで「管理者パネル」→「設定」→「接続」と開き、「OpenAI API接続の管理」でプラス(+)を押して、llama-swapのURLを登録します。上記の場合、以下のように記載します。
http://localhost:10000/v1
末尾の「/v1」を忘れると接続しません。なお「v1」とは、googleのAIによる概要によると、「OpenAI社が定めたAPIの標準規格(バージョン1)と互換性を持つ、外部AIモデルへの接続設定やエンドポイント(通信窓口）」を意味するそうです。
APIキーは空欄のままです。設定後のスクリーンショットを添付します。
起動の確認
接続に成功すると、チャット画面からllama-swapで設定しているモデルを選択できるようになります。ネット検索も可能になります。
参考URL