VRAM12GBの4070TiでChat with RTXのLlama2が選択できない問題の解消

概要

• Chat with RTXをインストールしたがLlama2が選択できなかった
• GPUのVRAMは16GB以上を想定されているが私のGPUは12GBであることが原因だった
• インストールの設定ファイルを書き換えることでLlama2が選択できるようになった

環境

• Windows 10 64bit
• RTX4070Ti 12GB

llama13b.nviの書き換え

インストーラの下記ディレクトリにあるllama13b.nviを書き換える。

NVIDIA_ChatWithRTX_Demo\ChatWithRTX_Offline_2_11_mistral_Llama\RAG\llama13b.nvi

こちらの26行目のMinSupportedVRAMSizeでVRAMサイズの下限が設定されている。
デフォルトで"15"の記載があるがVRAM16GBを最小と想定されている。
私のVRAM12GBに合わせてこの数値を"11"に書き換える。

書き換え前

    <string name="MinSupportedVRAMSize" value="15"/>

書き換え後

    <string name="MinSupportedVRAMSize" value="11"/>

起動確認

あとは普通にインストールするだけでLlama2が選択できるようになる。