結論から
VRAMは5MBのRAG,gemma4-E2Bの組み合わせで4.5GBの領域を使用した
DRAMは10GB使用した
英語の資料を使用する際は、その資料を包括する概念を英語で表記しないと
ローカルAIモデルは資料を読み取れない場合がある
(例えば、今回だと線形代数なので "linear algebraの概要について教えて"と表記して
やる必要がある")
一旦これをパスすると、あとは日本語でいろいろ聞いても大丈夫(と思われる)
今回使用したもの/環境
英語のpdf(6MB)
科目は線形代数
データモデルはgemma4-E2B
GPUは NVIDIA RTX3060 12GB
使用するソフトは
LM studio 0.4.18 となる
システムプロンプトが
文章は忖度なくお願い
文章の構成は
10行程度の概要
短いコード例(C++)
例えるなら
3行の注意点
という構成にまとめて。
もしこちらがキーワード等を復唱したらほぼ合致してるかどうか簡単な確認を取って。
「詳しい解説をお願い」と書いたときは
14行でキーワードを含めた概要の文章
7行程度のコード例
3行の備考
を書いて
テスト
"資料に則って、線形代数の概要を教えて"
読み取れなかったらしい
原典が英語であるので、もしかして求めるデータを英語表記にしないとだめなのか？ と思い
以下のプロンプトを書いてみた
"資料に則って、Linear algebraの概要について教えて"
更に深堀を行う。出力された文章に記載されていた"線形代数の概念"について聞いてみる
回答してくれた
トークン速度は93.38トークン/sだった。
簡単なプロファイル
使用したVRAMはPC全体で4.2GBだった
(ディスプレイの描画・アプリ動作中含め)
DRAMは11GB
GPUはピーク時で95%程度だった。
デフォルトのコンテキスト長を2048にする
thinkはオフ
システムプロンプト
添付した資料に基づいて、回答は簡潔に。復唱したと判断したら
その内容を忖度なく評価してほしい
補足(コンテキスト長を4096→1024に短縮したときの結果)
この検証では、1回あたり生成されたトークンはおおよそ800トークンだった。
そこで、コンテキスト長をデフォルトの4096から1024削減すれば、VRAMの使用量をかなり抑えられるのではと考えた。
結果
VRAMは 合計で4.0GB使用
システムメモリはPC全体で10GBの使用だった
あまり抑えることはできなかった。一発でなんかうまく行くことはない。残念。
プロンプトの最適化手法についてはコンテキスト長の短縮以外特に知らない。
比較表
| コンテキスト長:4096時のDRAM | コンテキスト長:1024時のDRAM | コンテキスト長:4096時のVRAM | コンテキスト長:1024時のVRAM |
|---|---|---|---|
| 11GB | 10GB | 4.2GB | 3.9GB |