LLaVAのローカルPCでの動作報告-GPU16GB-実行時のメモリ消費が想定外に大きかったので4bitでload
LLaVAが簡単に使えるという事で試してみました。 実行時にGPUメモリの消費が増える所が問題でしたので メモとして残しておきます。 テキスト生成では、実行時のGPUメモリ追加消費で 問題と...
2
1
Comment0
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles