🎄この記事は、M5Stack Module LLM Advent Calendar 2024 に参加してます。
【LLMって莫大な電力が必要なの？】
生成AIのLLM(Large Language Mode)と言えば、ChatGPTやChatGPT、Gemini、Claudeと色々ありますよね。しかし最近は各社、LLMを動かすには電力不足で、原発を立てるニュースをよく耳にします。
AIデータセンター急増､電力爆食の懸念 Google原発投資
手元で動くLLMの進化
一方、LLMはどんどん効率化※されて、ローカルPC、スマホ、シングルボードで動かせるLLMが出てきました。そんな中、登場して来たのがM5Stack社の製品です。
※推論は効率化されて必要なメモリ量も減ってきましたが、学習には引き続き高価な高速/大容量システムが必要です
【M5Stack LLM Module】
低消費電力でLLMを実行
原発が必要とニュースになっているLLMが、M5Stack社のドキュメントによると、1.5wで動くそうです。もちろん同じ処理でも同じ速度でもありませんが「マイコンでLLMの時代の始まり」を感じて、購入してみました。
「AX630C SoC プロセッサを搭載し、Transformer モデルをネイティブにサポートする 3.2 TOPs の高効率 NPU を統合～中略～メインチップはTSMCの12nmプロセスを使用して製造されており、実行時の消費電力は約1.5Wで、高効率で長時間の動作に適しています。(Google翻訳より)」
M5Stack LLM(large language model) Module (AX630C)
https://docs.m5stack.com/en/module/Module-llm
M5 Base AAA 単4電池ホルダー
M5Stack LLM Moduleは単体でも動きますが、作られた意図は M5Stack (ESP32)のオプションとしてのようです。そこで、M5Stackを動かすための乾電池モジュールで、このLLM Moduleも動かすことができるか、テストしてみました。
M5 Base AAA 単4電池ホルダー
【電池でLLMが動いた！】
M5Stack Core2にUSBを接続すると電源が入ったため、AAA 単4電池ホルダーでは電源が入らないと思いましたが…
スイッチを2段階で押せば、普通に使えることが分かりました！
【最後に】
電池で動くLLMハードを初めて見ました！しかし、これはシングルボード LLMの始まりであり、既にM5Stack社から次のプロトタイプの写真が公開されていました。2025年が楽しみです！