そこの お前

@Marron-chan

146Contributions
40
Posts0
Followees4
Followers

ローカルLLM・小規模GPU環境における推論サービング設計とモデル選定を強みとしています。vLLM/SGLang/Ollama、量子化、KV Cache、並列推論、TTFT/ITLを実測し、用途・VRAM・レイテンシ・スループットから最適な実用構成を判断できます。

Location

TOKYO

Following Organizations

No Organizations you are following

Following tags(4)See all

GoRustC++Python

Contributions

article is Stocked

あなたのボトルネックはどれ？ — ローカルLLMを速くする手段の早見表（RTX 4070 実測）

article is Liked

ローカルLLMでのRAG の回答が遅い。それ毎回同じ長文を prefill していませんか？ — prefix cache / RadixAttention を RTX 4070 で実測

article is Stocked

ローカルLLMでのRAG の回答が遅い。それ毎回同じ長文を prefill していませんか？ — prefix cache / RadixAttention を RTX 4070 で実測

article is Stocked

ローカルLLMを複数人で共有するとKV Cacheはどうなるか — Prefix Cache を cache_salt で実測（問題編）

posted an article

ローカルLLM共有サーバのKV Cache境界を設計する — Gatewayで cache_salt を強制付与（対策編）

posted an article

ローカルLLMを複数人で共有するとKV Cacheはどうなるか — Prefix Cache を cache_salt で実測（問題編）

article is Liked

自作PCにSSDを増設してWindowsとUbuntuをデュアルブートしてみた

posted an article

投機デコードを入れたら出力が変わった時に読む記事 — 品質劣化ではなく計算誤差の話

posted an article

vLLM の中身を覗いて、自作 kernel で LLM の生成速度を約15%上げた話

article is Liked

# vLLM × SGLang でLLMベンチマーク計測 — 12GB GPU で同じモデルを公平に比較する準備編