この数週間、水面下で開発を続けていたサイドプロジェクトを公開しました。

これは Dynamic Memory Sparsification（DMS）の初の本格的な公開実装です。
DMSは、昨年NVIDIA関連の研究者によって発表されたKVキャッシュ圧縮技術で、論文では最大8倍のKVキャッシュメモリ削減効果が報告されています。

実際のテストでは、品質を一切損なうことなく、4.8倍～7.6倍のKVキャッシュメモリ削減を実現できました。
FastDMSには、学習されたヘッドごとのトークン削除機構のための（非常に遅い）Hugging Face向けリファレンス実装とトレーニングコードも含まれています。

そして「Fast」の名の由来でもあるのですが、最先端のLLMを活用してカーネル最適化を繰り返した結果、

・Prefill性能は vLLM の BF16 / FP8 実装と同等レベル
・Decode性能は 1.5倍以上高速

という水準に到達しました。

これは少し寄り道的なプロジェクトでもあり、本格的なプロダクション品質まで仕上げるには、まだかなりの時間と労力が必要です。

なので今回はとりあえず公開して、誰かがこのバトンを引き継いでくれることを期待しています😅

※本記事はLinkdInに投稿された記事を翻訳、再投稿したものです。