ローカル環境でLLMを動かす時代へ──驚きと疑問

最近、DeepSeekを Ollama を使ってローカル環境で動かしてみました。
クラウドではなく、自分のPCでLLM（大規模言語モデル）を動かすという体験は、まるで「誰のものでもない、自分だけのAIを手に入れたような感覚」を味わわせてくれました。

インターネットに繋がなくても推論ができる。
自分のデータを自由に扱える。
応答速度も意外と速い。

「ローカルAIの時代が来た！」そう思うとワクワクせずにはいられませんでした。

しかし、そこでふと疑問が湧きました。

「こんなに大規模なLLMが、たった数十GB（軽いものでは数GB）で収まっているのはなぜだろう？」

元々、LLMは数百GB、場合によっては数TBもの膨大なデータを使って学習されているはずです。それにも関わらず、ローカルで動かすモデルのサイズは驚くほどコンパクト。

どうしてこんなに小さくなるのか？精度には影響がないのか？

自分なりに調べてみました！

先に結論から

先に結論から入ると近年の大規模言語モデルには量子化という手法を用いてファイルサイズを削減しています。

量子化とは

学習済みモデルの重み(パラメータ)をより少ないビット幅(例:4bitや8bit)で実現し直すことで、モデルのサイズとメモリ使用量を下げる技術。

例 : 16bit浮動少数点数で140億パラメータ(14B)ある場合、単純計算すると、少なくとも約28GB程度のサイズが必要にな理がちですが、4bit量子化にすると理論上1/4のサイズになって、約7GB前後に圧縮することができる。(多少オーバーヘッドがあるのでサイズが増えることが多い)

※量子化について詳しく説明されている記事を以下に添付しておきます。
https://www.cloudflare.com/ja-jp/learning/ai/what-is-quantization/

量子化でサイズを圧縮すると精度はどうなる？

通常はある程度の精度低下が生じる。

しかし最近の量子化手法では推論性能をそこまで大きく落とさずに、モデルサイズを大幅に削減できるらしい...
(まだ勉強不足でなぜ落ちないかはまだわからない)

他にも容量が少なくて済む理由が

推論に最低限必要なデータのみを使用

推論に必要な"重み"だけをまとめた軽量ファイル形式(ggmlなど)が活用されている

llama.cppベースの最適化(CPU推論の効率化)

DeepSeek R1 14B なども llama.cpp のエンジンを利用して推論可能な形で提供されている（Ollama を通じて動かすなど）
llama.cpp は CPU（特に Apple Siliconなど）での高速実行を想定しており、NEON / AVX などのSIMD命令をフル活用している
量子化 + CPU最適化により、GPU なしでも「比較的実用的な速度」を出せる

まとめ

DeepSeek や Llama 系モデルをローカルで動かすときに必要なストレージが少なく、かつ推論がそこそこ動く要因は、「4bit/8bit量子化」や「推論専用の軽量化されたファイル形式」が普及していることが大きい。
llama.cpp (Ollama) は CPU 上での推論を効率化する仕組みを備えており、Apple Silicon では特に相性が良い（CPUのSIMDや行列演算ユニットを使える）
その結果、GPUなしのノートPCでも 9GB ほどのファイルを読み込んで 14B 級のモデルが動かせるようになっている。速度は高性能GPUに劣るものの、対話用途や軽いテキスト生成には実用的なレベル

最後に

最後まで読んでいただき、ありがとうございました！

DeepSeek のローカル実行には夢があります。
自分のPC上で動かせるということは、誰にも依存せず、自分だけのAIを持つことができるということ。さらにカスタマイズすれば、例えば関西弁で返答するモデルを作ったり、ChatGPT の「MyGPT」のようなパーソナライズされたAIを作ることもできるかもしれません。

しかも、量子化技術のおかげで GPUなしのノートPCでも実用的に動くというのは本当に魅力的です。せっかくの環境なので、私も色々試して使い倒していこうと思います！

これからもローカルAIの可能性を探求していきましょう。
ぜひ、皆さんも試してみてください！🚀