llama.cpp で llama-ui という WebUI が利用可能になりました(https://github.com/ggml-org/llama.cpp/discussions/16938)が、英語しか対応していません。そこで、日本語に翻訳したフォークを作成しました。
ビルド方法:
git clone --depth=1 https://github.com/Nerahikada/llama.cpp.git
cd llama.cpp
cmake -B build -DLLAMA_BUILD_UI=ON -DLLAMA_USE_PREBUILT_UI=OFF #-DGGML_CUDA=ON
cmake --build build --config Release -j$(nproc)
llama-server を起動すると、http://127.0.0.1:8080 で WebUI が起動します。リッスンするアドレスやポートを変更するには、--host, --port 引数を使用します(例: --host 127.0.0.1 --port 8033)。