llama.cppでalpaca(4bit量子化)を動かす

llama.cppのコンパイル

git clone [e-mail]:ggerganov/llama.cpp.git
cd llama.cpp
make

(投稿時点の最終コミットは53dbba769537e894ead5c6913ab2fd3a4658b738)

tokenizerとalpacaモデルのダウンロード

mkdir models/alpaca_7b
wget -O models/alpaca_7b/tokenizer.model https://huggingface.co/chavinlo/alpaca-native/resolve/main/tokenizer.model
wget -O models/alpaca_7b/ggml-alpaca-7b-q4.bin https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin

新ggml形式へ変換

python convert-unversioned-ggml-to-ggml.py models/alpaca_7b models/alpaca_7b/tokenizer.model
python migrate-ggml-2023-03-30-pr613.py models/alpaca_7b/ggml-alpaca-7b-q4.bin models/alpaca_7b/ggml-alpaca-7b-q4.bin.1

# 変換前のファイル削除
rm models/alpaca_7b/ggml-alpaca-7b-q4.bin.orig
rm models/alpaca_7b/ggml-alpaca-7b-q4.bin

推論

./main -m models/alpaca_7b/ggml-alpaca-7b-q4.bin.1