@masahiro_shohda

ローカルLLM・小規模GPU環境における推論サービング設計とモデル選定を強みとしています。vLLM/SGLang/Ollama、量子化、KV Cache、並列推論、TTFT/ITLを実測し、用途・VRAM・レイテンシ・スループットから最適な実用構成を判断できます。

Qiita公式アカウントです。Qiitaに関するお問い合わせに反応したり、お知らせなどを発信しています。