LLaVAが簡単に使えるという事で試してみました。
実行時にGPUメモリの消費が増える所が問題でしたので
メモとして残しておきます。
テキスト生成では、実行時のGPUメモリ追加消費で
問題となったことがありませんでしたので想定外でした。
環境
GPU:RTX 4060 Ti 16G
CPU:AMD Ryzen 5 5500
MEM:96 GB
WSL2-Ubuntu 22.04.2 LTS
実施手順と結果
Gitの手順通りに実施
8bitでのモデルのロード自体は成功（15.2GB/16GB）
ただし、実際に画像を認識させる際に
「NETWORK ERROR DUE TO HIGH TRAFFIC.
PLEASE REGENERATE OR REFRESH THIS PAGE.」
とエラーが表示
エラー原因
画像の認識の際に、追加で2GB程のメモリを消費
なお、4bitでのモデルロード後で8GB
画像認識時は11GB、尚この状態でチャットは可能
環境構築時のメモ
パスが通っていないとGradioで画像のSned時にエラー
パスの設定
vim ~/.bashrc で追加
export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH
source ~/.bashrc
試してみました
以上