AMD RDNA3 GPUをお持ちの方に向けて、週末プロジェクトとして取り組んでいたものを共有します。
hipEngine は、gfx1100（7900 XTX、W7900）および gfx1151（Strix Halo）向けに最適化された、まったく新しいオープンソース（AGPLv3）の Python/C++/HIP 推論エンジンです。
現在は Qwen 3.5 MoE ParoQuant のみをサポートしていますが、非常に高速に動作します。
また、PyTorchには依存しておらず、ネイティブのHIPライブラリを直接利用する設計になっています。内部では100種類以上（現在も増加中）の独自カーネルを実装しています。
その結果、まだ開発初期段階にもかかわらず（カーネル最適化を始めたのは今月初め、hipEngine自体はまだ1週間未満のプロジェクトです）、すでにデコード性能では llama.cpp と肩を並べるレベルに達しており、プリフィル処理では全面的に上回っています。
特に長いコンテキストでは、ケースによっては2倍以上高速です。
また、ROCm対応版のParoQuantフォークと、19GBサイズの Qwen 3.6 35B-A3B PARO Packed Safetensorモデル も公開しました。
開発者の方は、ドキュメント類にも興味を持っていただけるかもしれません。特に gfx1100向けのRoofline Analysis（性能分析）ドキュメントは参考になると思います。
現在はシステムが安定して動作するようになったので、次のステップとしてQwen 3.6を本格的に動かしながら評価を進めています。また、GPUがアイドル状態の時間には、自動的にさらなる最適化を継続していく予定です。
※本記事は、LinkdInに投稿された内容を翻訳したものです。