flagこの記事誰得? 私しか得しないニッチな技術で記事投稿!@Marron-chan(そこの お前)2026-06-13ローカルLLMでのRAG の回答が遅い。それ毎回同じ長文を prefill していませんか? — prefix cache / RadixAttention を RTX 4070 で実測
flagこの記事誰得? 私しか得しないニッチな技術で記事投稿!@Marron-chan(そこの お前)2026-07-04vLLM の中身を覗いて、自作 kernel で LLM の生成速度を約15%上げた話