　LLaVAが簡単に使えるという事で試してみました。
実行時にGPUメモリの消費が増える所が問題でしたので
メモとして残しておきます。
　テキスト生成では、実行時のGPUメモリ追加消費で
問題となったことがありませんでしたので想定外でした。

環境

　GPU:RTX 4060 Ti 16G
　CPU:AMD Ryzen 5 5500
　MEM:96 GB
　WSL2-Ubuntu 22.04.2 LTS

実施手順と結果

Gitの手順通りに実施
8bitでのモデルのロード自体は成功（15.2GB/16GB）
ただし、実際に画像を認識させる際に
「NETWORK ERROR DUE TO HIGH TRAFFIC.
　PLEASE REGENERATE OR REFRESH THIS PAGE.」
とエラーが表示

　画像の認識の際に、追加で2GB程のメモリを消費
　なお、4bitでのモデルロード後で8GB
画像認識時は11GB、尚この状態でチャットは可能

　パスが通っていないとGradioで画像のSned時にエラー

　vim ~/.bashrc　で追加

export LD_LIBRARY_PATH=/usr/lib/wsl/lib:$LD_LIBRARY_PATH

 source ~/.bashrc

以上