前提条件

Windows11に対するllama-cpp-pythonのインストール方法をまとめます。

目次

・環境構築
・インストール
・実行

環境構築

CMakeのダウンロード

CMake

上記の画像の赤枠の欄からCMakeをダウンロードし、Cドライブの直下に配置する。

環境パスを通す

システム環境変数に

C:\cmake-3.28.1-windows-x86_64\bin

を追加してください

visual studio build tools 2022のダウンロード

visual studio build tools 2022

上記のリンクからvisual studio build tools 2022をダウンロードし、パソコンにインストールを行ってください

インストールを行う際はC++によるデスクトップ開発にチェックを入れてください

llama-cpp-pythonのインストール

pip install llama-cpp-python

上記のコードをコマンドプロンプトで実行することでインストールが行えます

エラーが出た場合

w64devkitをインストールする必要があるかもしれない。

'nmake' '?' or CMAKE_C_COMPILER

と言ったエラーが出た場合には、w64devkitをインストールしてパスを通した後に、下記のコードを実行してください。

$env:CMAKE_GENERATOR = "MinGW Makefiles"
$env:CMAKE_ARGS = "-DLLAMA_OPENBLAS=on -DCMAKE_C_COMPILER=C:/w64devkit/bin/gcc.exe -DCMAKE_CXX_COMPILER=C:/w64devkit/bin/g++.exe"

GPUに関するエラーが出た場合

CUDAとcudnnをインストールしてください