インターネットが使えないときに大規模言語モデルの助けを借りたいときがあるかも知れません．今回は，MacBook Air 2020でどの程度大規模言語モデルが動くか検証します．

前提

使用すのはMacbook Air 2020です．Apple M1とメモリ16GBを搭載しています．
ollamaを使用します．
Dockerを使用します． ollamaをDockerから使用するとGPUが使えません．CPUのみで計算します．
Dockerの仮想マシンにはCPUは8コア，メモリは6GB割り当てています．

Dockerでのollamaの導入

次のコマンドでDockerコンテナ実行します．初回起動時にイメージがダウンロードされます．

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

次のコマンドで，言語モデルと対話します．例では，llama3を使用しています．

docker exec -it ollama ollama run llama3

実行結果

大きなモデルは実用的でないので，Phi-3 Mini，Llama3 8b, Starling 7b, Wizerdlm2 7b, CodeGemma 7b，Japanese-Starling-ChatV-7Bの4ビット量子化版を使います．「Can you tell me about neural entworks?」と質問したときのハードウェア使用率と生成スピードを計測しました．CPU使用率とメモリ使用率は仮想マシンのものです．

Model	モデルのサイズ	CPU使用率	メモリ使用率	tokens/sec
Phi-3 Mini	2.3GB	400%	50%	2.42
Llama3 8b	4.7GB	400%	81%	3.52
Starling-lm 7b	4.1GB	400%	70%	4.16
Wizerdlm2 7b	4.1GBGB	400%	71%	4.08
CodeGemma 7b	5.0GB	400%	91%	2.94
Japanese-Starling-ChatV-7BGB	4.4	400%	75%	1.31

このように，Macbookで，かつCPUのみで計算しても用途によってはギリギリ使えるスピードが出ていると思います．ChatGPTやClaudeなどのサービスやローカルのGPUを搭載したPCに比べれば相当遅いですが，緊急用であれば十分な速さではないでしょうか．

また，Phi-3 Miniが遅いのが意外です（何度か実行しても変わりませんでした）．今回の結果からMacbookのCPUで計算する場合，モデルサイズから実行速度の大小が推測できないことが分かりました．なぜそうなるかの理由は分かりません．

感想

Macbook Air 2020でも小さめの大規模言語モデルが比較的実用的な速さで動きます．このことから，インターネットが使えない出先でも，英語やコーディングで大規模言語モデルの助けを得ることができることが分かりました（バッテリーの持ちが心配ではありますが…）．