必要なもの
16GB以上のメモリーを積んだGPU
Livebookをインストールした環境
実際動作させた環境
- GPU RTX4090(24GB)
- GPU Driver Version: 555.42.02
- CUDA Version: 12.5
- cudnn 8.9.0.131
- Elixir
- Erlang/OTP 25 [erts-13.0.4]
- Elixir (1.16.3)
- Livebook v0.13.0-dev
- その他構成(参考までに)
- OS Ubuntu 22.04.1 LTS
- CPU 13th Gen Intel® Core™ i9-13900KF
- メモリ 128GB
- SSD 2TB
OSのインストール
Elixirのインストール
Livebookのインストール
上記のページから引用
git clone https://github.com/livebook-dev/livebook.git
cd livebook
mix deps.get --only prod
# Run the Livebook server
MIX_ENV=prod mix phx.server
GPU環境構築
のBase InstallerとDriver Installerを参考にする
ここまででGPU DriverとCUDAはインストールできる
cudnn
https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/
から
libcudnn8_8.9.0.131-1+cuda12.1_amd64.deb
libcudnn8-dev_8.9.0.131-1+cuda12.1_amd64.deb
をダウンロード
ダウンロード後インストール
sudo dpkg -i libcudnn8_8.9.0.131-1+cuda12.1_amd64.deb
sudo dpkg -i libcudnn8-dev_8.9.0.131-1+cuda12.1_amd64.deb
ここまでできればほぼクリア…
Llama2環境
Hugging Faceの部分を参考
Livebookのソースはこちらを使う
下記の「依存モジュールのインストール」参考に
Setupの部分を置き換える
（僕はLlama 2の部分は成功してMistralはまだ成功してない）
後日動きました
└GPUのメモリー不足でした
└Llama 2のセッションを消してMistralのみにすれば良い
動作動画