🎄この記事は、M5Stack Module LLM Advent Calendar 2024 に参加してます。

【LLMって莫大な電力が必要なの？】

生成AIのLLM(Large Language Mode)と言えば、ChatGPTやChatGPT、Gemini、Claudeと色々ありますよね。しかし最近は各社、LLMを動かすには電力不足で、原発を立てるニュースをよく耳にします。
AIデータセンター急増､電力爆食の懸念　Google原発投資

手元で動くLLMの進化

一方、LLMはどんどん効率化※されて、ローカルPC、スマホ、シングルボードで動かせるLLMが出てきました。そんな中、登場して来たのがM5Stack社の製品です。
※推論は効率化されて必要なメモリ量も減ってきましたが、学習には引き続き高価な高速/大容量システムが必要です

【M5Stack LLM Module】

低消費電力でLLMを実行

原発が必要とニュースになっているLLMが、M5Stack社のドキュメントによると、1.5wで動くそうです。もちろん同じ処理でも同じ速度でもありませんが「マイコンでLLMの時代の始まり」を感じて、購入してみました。
「AX630C SoC プロセッサを搭載し、Transformer モデルをネイティブにサポートする 3.2 TOPs の高効率 NPU を統合～中略～メインチップはTSMCの12nmプロセスを使用して製造されており、実行時の消費電力は約1.5Wで、高効率で長時間の動作に適しています。(Google翻訳より)」
M5Stack LLM(large language model) Module (AX630C)
https://docs.m5stack.com/en/module/Module-llm

M5 Base AAA 単4電池ホルダー

M5Stack LLM Moduleは単体でも動きますが、作られた意図は M5Stack (ESP32)のオプションとしてのようです。そこで、M5Stackを動かすための乾電池モジュールで、このLLM Moduleも動かすことができるか、テストしてみました。
M5 Base AAA 単4電池ホルダー

【電池でLLMが動いた！】

M5Stack Core2にUSBを接続すると電源が入ったため、AAA 単4電池ホルダーでは電源が入らないと思いましたが…

スイッチを2段階で押せば、普通に使えることが分かりました！

【最後に】

電池で動くLLMハードを初めて見ました！しかし、これはシングルボード LLMの始まりであり、既にM5Stack社から次のプロトタイプの写真が公開されていました。2025年が楽しみです！