llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
モデルのダウンロード
- タスク特化のモデルを使いたかったのでこちらをダウンロード
- models/配下にダウンロードしたモデルを配置する
起動
./server -m models/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf --port 2600 --host 0.0.0.0
参考
git clone https://github.com/ggerganov/llama.cpp.git
./server -m models/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf --port 2600 --host 0.0.0.0
Register as a new user and use Qiita more conveniently