llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
モデルのダウンロード
- タスク特化のモデルを使いたかったのでこちらをダウンロード
- models/配下にダウンロードしたモデルを配置する
起動
./server -m models/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf --port 2600 --host 0.0.0.0
参考
More than 1 year has passed since last update.
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme