ローカルLLMでのRAG の回答が遅い。それ毎回同じ長文を prefill していませんか？ — prefix cache / RadixAttention を RTX 4070 で実測 - Qiita

View the Qiita 15th anniversary article

ローカルLLMでのRAG の回答が遅い。それ毎回同じ長文を prefill していませんか？ — prefix cache / RadixAttention を RTX 4070 で実測likers

@kanaji2002
修士1年
@kevin28gou
@tt01
kurihara ryoichi@ryoichi-kurihara
jun@jun76
IT系の人です。
@omushi
@pm00
@Shun_Takahashi
Super Fashionista です！！ https://www.instagram.com/madonna.77768/
@instantforever
ゲーム好きなおっさん openpgp4fpr:C707539DEBC0BC588B77D4872F5124779A4DD7D7
@cau55480
功真並崎@taku1899neko
大阪の大学で情報系の学部に所属しています。株式会社シーみる取締役兼エンジニア