llamaをdalaiを用いて簡単にローカルマシンで実行する。

はじめに

ローカル環境でllamaを実行したのでその備忘録
モデルは英語に対応しているようです。

環境

Ubuntu(Linux) -> wsl
node.js = 19.8.1
python3 =3.10.9

モデルのインストール

npx dalai llama install 7B

その他モデルは、

13B 30B 65B

がある。

実行

npx dalai serve

http://localhost:3000/　等のリンクが表示されるのでブラウザでアクセス

まとめ

wsl

sudo apt install -y curl
curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash -
sudo apt install -y nodejs

sudo apt install python3

npx dalai llama install 7B
npx dalai serve