はじめに
⚠️ 執筆補助に関する注記
本記事は、著者がMac上でローカルLLMを検証したメモやログをベースに、AIと共同で構成の整理・清書を行っています。
本記事は、M3 Pro Mac環境にローカルLLMを構築したときの備忘録です。
PCスペック
- チップ:Apple M3 Pro
- メモリ:18 GB
- ストレージ:1 TB
- OS:macOS Tahoe 26.5.2
検証モデルと体感
自身のPCスペック(18 GBメモリ)で快適に動かせることを大前提に、CanIRun.aiや先行記事を参考にしつつ、後述のモデルをOllama経由で実際に動かして比較しました。
検証モデルと体感
入力は以下。
LocalLLMをMacで組もうと思っています。
何がいいか考えて。
スペックは以下。
* チップ:Apple M3 Pro
* メモリ:18 GB
* OS:macOS Sonoma バージョン14.8.7
* ストレージ:1TB
| モデル名 | 体感 |
|---|---|
llama3.1:8b |
思考(Reasoning)プロセスなし。回答は早いが、やや具体的な回答に欠ける印象(古いからかも)。 |
qwen3.5:9b |
思考に約2分を要し、回答の出力自体も遅め。ただし、回答内容自体は適切。 |
gemma4:e4b |
思考プロセスあり。回答が早く、内容も適切でバランスが良い。 |
ornith:9b |
思考プロセスあり。回答が早く、内容も適切。コーディング能力が非常に高いらしい。 |
コストを気にせずいくらでも回せる時点で満足だったので、だいぶ評価は雑です...
体感、gemma4:e4bかornith:9bが今のところ普段遣いには良さそうです。
なぜ LM Studio ではなく Ollama を選んだのか
ローカルLLMを実行するUI/ツールとして「LM Studio」と「Ollama」が有名ですが、今回はOllamaをメインに採用しました。ほぼ私的な理由ではありますが、参考になれば...
-
CLI操作が直感的(Dockerライク)
-
pull,run,listなど、Dockerのようなコマンド体系で、個人的に気に入っています。 - 逆に、LM StudioのGUIはリッチすぎて、個人的な相性は会いませんでした。
-
-
Dockerとの親和性
- 後述する「Open WebUI」などもDockerコンテナとして立ち上げるため、LLMの管理ツールもコンテナ連携しやすい形で管理できたほうが良さそうだと考えました。
-
カスタムモデルのドキュメントが豊富?
- カスタムモデルのドキュメントや情報が転がっている印象を受けました。
-
公式のアンインストール手順が親切
- 公式ドキュメントにアンインストールの方法が明記されており、環境を汚したくない自分としては非常に好印象でした。
Ollama 簡易コマンドチートシート
# モデルのインストール
ollama pull ${モデル名}
# インストール済みのモデル一覧の確認
ollama list
# モデルの起動(対話モード)
ollama run ${モデル名}
# モデルの終了(対話モード内にて)
/bye # または Ctrl + D
今後の展望
今回で、ローカルでLLMが動くベースは整いました。
今後は、「AIエージェント」へと進化させるために、以下も試していきたいものです。
1. Web検索(RAG / 最新情報の取得)の組み込み
Ollama単体ではローカルの知識しか持たず、最新の技術情報を追えません。そこでフロントエンドに Open WebUI を導入し、Web検索機能を入れ込みたいです。
※ DuckDuckGo Search(DDGS)設定を試みましたが、検索できず...調査中...
2. AIエージェントとの組み合わせ
AIエージェント化してからが本番だと思うので、自律型AIエージェントフレームワークとの連携を考えていきたいです。
3. ローカルLLMの評価
今回所感だけで各モデルを検証しているので、モデルごとの出力の良し悪しを定量的・客観的に評価できる仕組みは確立しておきたいところです。
4. 他のおすすめモデル
以下記事に記載のあるモデルが人気のよう。手隙のときに試してみたいものです。
まとめ
M3 Pro Macでも、18GBメモリあれば、9Bクラスのモデルでも比較的まともに動作することがわかりました。
ローカルLLMである以上、最新の情報は取って来ることはできませんが、文章構成や翻訳などの最新情報が不要なものについては、ローカルLLMでも十分なのではないでしょうか。
何より、いくら使ってもタダですからね。
