目的
M5Stack Module-LLM(ax630c)のNPU Modeについて紹介します。
NPU Modeについて
M5Stack Module-LLMには、AXERA-TECHのAX630CというSoCが載っています。AX630CにはデュアルコアのCortex-A53に加えて、NPUが搭載されています。
Pulsar2という、深層学習の推論モデルをNPUで動作するように、モデルを変換するツールがあるのですが、
Pulsar2の設定項目の中に、NPU Modeというものがあります。
NPU Modeは、NPU1がNPUをAI-ISPと共通するhalf coreのモードで、NPU2がNPUを推論で占有するfull coreのモードです。NPU2を選択した方が推論の速度が速くなります。
AI-ISPは、主にカメラからの入力画像に対して、暗視強化と超解像度の画像処理を行うために使われるものです。
‐ NPU1: shares compute with AI-ISP
‐ NPU2: runs independently at full power (faster)
YOLO11のオブジェクト認識モデルで確認したところ、NPU2はNPU1と比べて、シングルコアと比べて2割くらい早くなりました。
Module LLMのYOLO11の推論で、NPU dualコアモードを試してみる。シングルコアと比べて2割くらい早くなりますね。 pic.twitter.com/aSNtJjcGVB
— nnn (@nnn112358) December 4, 2024
参考
https://en.axera-tech.com/Product/126.html
https://x.com/nnn112358/status/1864335300245475682
https://x.com/HanxiaoM/status/1868995075298168950
https://x.com/HanxiaoM/status/1869223722475008406