前提条件

Windows11にllama.cppをインストールする方法についてまとめます

llama.cppのクローン

以下のGithubのページからllama.cppをクローン、もしくはZip形式でダウンロードして解凍してください。

下記のサイトからw64devkitの最新版をダウンロードして解凍してください。

解凍したファイルに含まれているw64devkit.exeを起動させ、llama.cppのファイルまで移動してください。

llama.cppで以下のコマンドを実行することでllama.cppをビルドさせることが出来ます

make

w64devkitを用いて以下のコードを実行するとサーバーを立てることができる

$ ./server -m models/vicuna-7b-v1.5.ggmlv3.q4_K_M.bin -c 2048

-m 以降のパスにmodelsフォルダに配置したLLMモデルのパスを指定することで、指定したLLMモデルを扱うことができる。

上記の画像は起動したサーバーにブラウザからアクセスした際の画像です。