自分のPCでLLaMAを実行するツールが公開されたのでご紹介します。
LLaMAとは
FacebookでおなじみのMeta社が開発した研究者向けの大規模言語モデルです。
パラメータ数により、4つのモデルがあります。
- 7B（70億）
- 13B（130億）
- 30B（300億）
- 65B（650億）
Dalai
そのツールはこちら。
名前は「ダライ・ラマ」から来ていると思われます。
（中国からアクセスできなさそう ^^;）
早速、環境構築から始めてみます。
なお、この記事を書いているときのDalaiのバージョンは「0.1.0」になります。
（注：毎日のように更新されており、以降の説明はもはや過去のものとなっています）
環境構築
私の環境はWindowsですので、以降、Windowsでの説明になります。
WSL環境の構築
残念ながらWindowsネイティブな環境では動かないので、WSL環境を用意します。
（注：現在は、公式サイトにVisual Studio Communityを使った環境構築方法が載っています）
ここではubuntuを用意します。
（詳細は省略）
環境は最新に更新しておいてください。
sudo apt update
sudo apt upgrade -y
sudo apt dist-upgrade -y
sudo apt autoremove -y
Node.jsのインストール
次にNode.jsをインストールします。
そのため、まずはnvmをインストールします。
sudo apt install curl
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
source ~/.bashrc
その後、Node.jsをインストールします。
nvm install node
pythonのインストール
次にpythonをインストールします。
sudo apt install python3 -y
venvのインストール
さらに、仮想環境であるvenvをインストールします。
sudo apt install python3.8-venv
venvのバージョンは、pythonに合わせてください。
Dalaiのインストール
「Dalai」をNode.jsにインストールします。
以下のコマンドを実行します。
npx dalai llama
（npmパッケージの中身はこちらで確認できます）
なお、このコマンドでインストールされるモデルは「7B」というモデルで、それ以外のモデルもインストールしたい場合は、以下のように指定します。
npx dalai llama 7B 13B 30B 65B
なお、途中のダウンロードや変換処理で失敗したときは、もう一度コマンドを実行してみてください。
これで環境構築は終了です。
おまけ
モデルをダウンロードしてくると、大量にストレージを使ってしまいますが、各モデルのフォルダ内の「consolidated.00.pth」等は削除することができます。
（「ggml-model-f16.bin」「ggml-model-q4_0.bin」等に量子化変換されているため）
実行
では動かしてみます。
まずWebサーバを起動します。
npx dalai serve
（後ろにポート番号を付けることもできます）
次にWebブラウザから「http://localhost:3000」にアクセスします。
右上の「models」で、使用するモデルの変更が出来ます。
なお現在は、残念ながら7Bだと英語でしか会話ができないみたいですし、回答がまともではありません。
おまけ
バックグラウンドでは、以下のようなコマンドが動いているようです。
./main --seed -1 --threads 4 --n_predict 1000 --model models/7B/ggml-model-q4_0.bin \
--top_k 40 --top_p 0.9 --temp 0.8 --repeat_last_n 64 --repeat_penalty 1.3 \
-p "お金持ちになる方法を教えてください。"
まとめ
それほど簡単ではないですが、一応、自分のPCに大規模言語モデルAIを入れて動かすことが出来ました。
API経由での利用もできるようなので、こちらを利用することに意味があるのかもしれません。
追加情報
どんどんバージョンが上がっているdalaiですが、updateは以下のように行えばいいようです。
（以下は、0.3.0に上げる場合）
npx dalai@0.3.0 setup