はじめに

「ローカルLLMは、高性能なGPUを搭載した特別なPCでなければ使えない」

私自身、少し前までそう思っていました。しかし今回、一般的な M1 Mac・メモリ16GB にLM Studioを導入し、Qwen3.5-9BとQwen3.5-4Bを試したところ、その認識が大きく変わりました。

結論から言えば、次の構成なら十分に実用的です。

品質重視：Qwen3.5-9B MLX 4bit
速度重視：Qwen3.5-4B MLX 4bit

特に4Bは軽快で、一般的な質問、文章作成、要約、アイデア整理なら大きな不満を感じませんでした。

この記事では、導入の過程で試したモデル、速度差、つまずいた点、ベンチマークの見方、そしてローカルLLMのセキュリティ上のメリットをまとめます。

検証・記載内容は2026年8月時点のものです。LM Studioやモデルの更新により、画面・挙動・性能が変わる可能性があります。

検証環境

項目	内容
PC	Apple Silicon搭載Mac
チップ	M1
ユニファイドメモリ	16GB
アプリ	LM Studio
GGUF Runtime	Metal llama.cpp
MLX Runtime	LM Studio MLX
主なContext Length	4096

LM Studioは、モデルの検索、ダウンロード、チャット、設定変更までをGUIで行えるローカルLLM実行環境です。ダウンロード済みモデルとの通常のチャットは、インターネット接続なしでも実行できます。

最初に試したのはQwen3.8-27Bの低ビット量子化版

きっかけは、「Qwen3.8-27Bの2bit級量子化版なら、16GBのMacでも動く」という情報でした。

実際に試すと、モデルを動作させること自体はできました。しかし、生成速度はおよそ 2トークン／秒。技術的には動いていますが、日常的なチャット用途には待ち時間が長く感じます。

ここで得た最初の気付きは、次の点です。

「メモリに載る」ことと「快適に使える」ことは別である。

27Bモデルを極端に量子化すれば16GB環境でも読み込める可能性があります。しかし、速度と量子化による品質低下を考えると、必ずしも最適解ではありません。

なお、2026年8月時点で正式公開されているローカル向けQwen3.8の小さいモデルは27Bです。LM StudioもQwen3.8-27Bのモデル容量を約16.1GB、最低システムメモリを16GBとしています。OSやKVキャッシュの使用分まで考えると、M1・16GBで4bit版を快適に扱うのは厳しい条件です。

Qwen3.5-9B GGUF Q4_K_M：品質は良いが速度は約5トークン／秒

次に試したのが Qwen3.5-9B GGUF Q4_K_M です。

27Bより大幅に軽くなり、回答品質もかなり優秀でした。一方、私の環境では生成速度が約 5トークン／秒。利用できない速度ではありませんが、長い回答を待つ場面では少しつらさがあります。

この段階では、次のような評価でした。

項目	感触
日本語品質	良好
一般知識	良好
分析・推論	かなり使える
生成速度	やや遅い
実用性	用途を選べば使える

転機はMLX版への切り替え

Apple Siliconでは、GGUF＋llama.cppだけでなく、Apple Silicon向けに最適化された MLX 形式を利用できます。

そこで同じ9Bモデルを、Qwen3.5-9B MLX 4bit に切り替えました。

結果は明確で、GGUF版より体感速度が改善し、回答品質とのバランスも良好でした。M1・16GBで使うなら、Qwen3.5-9BはMLX 4bitが本命だと感じます。

モデル容量の目安は約5.95GBです。16GBのユニファイドメモリでも、Context Lengthを4096程度に抑えれば、通常利用に十分な余裕を確保できます。

Qwen3.5-4B MLX 4bit：一般用途なら驚くほど実用的

さらに軽い Qwen3.5-4B MLX 4bit も試しました。

こちらは約3GBのモデルで、9Bより明らかに軽快です。一般的な質問、文章作成、要約、アイデア出しでは、想像していたほど9Bとの差を感じませんでした。

もちろん、4Bが常に9Bと同じ品質というわけではありません。複雑な条件を含む指示、技術的な検討、長文全体の整合性、プログラミングなどでは9Bのほうが安定します。

私の使用感を整理すると、次のようになります。

用途	4B	9B
一般的な質問	◎	◎
メール・文書の下書き	◎	◎
要約・箇条書き整理	◎	◎
アイデア出し	◎	◎
複数条件を含む分析	○	◎
技術文書・仕様検討	○	◎
数学・論理推論	○	◎
コーディング	△～○	○～◎
応答速度	◎	○

そのため、現在の推奨運用は次のとおりです。

普段使い：Qwen3.5-4B MLX 4bit
重要な分析：Qwen3.5-9B MLX 4bit

どちらか一方を削除する必要はありません。両方保存してもモデルファイルは合計約9GBで、使用時に必要なモデルだけをロードすれば済みます。

ベンチマークでは4Bと9Bの差が意外に小さい

Artificial Analysis Intelligence Indexでは、各モデルについて次のスコアが掲載されています。Reasoningの有無が異なるため、表にも評価条件を併記します。

モデル	Intelligence Index	Reasoning	備考
GPT-4o（2025年3月版）	12	なし	推定値
GPT-4.1	20	なし	推定値
Qwen3.5-4B	20	あり	推定値
Qwen3.5-9B	22	あり	独立評価
Qwen3.5-27B	35	あり	推定値
Qwen3.8-27B	52	あり	独立評価

4Bと9Bの差はわずか2ポイントです。一般用途で4Bが十分使えると感じたこととも整合します。

ただし、この数値は正答率ではありません。また、私が使用しているMLX 4bit版をM1上で直接測定した値でもありません。Thinkingの有無、量子化、プロンプト、実行環境によって実際の性能は変わります。

もう一つ驚いたのが、少し前まで最高水準だったクラウドAIとの比較です。GPT-4oは2024年5月にOpenAIの新しいフラッグシップモデルとして発表されました。現在の同指数で再評価すると、GPT-4oの2025年3月版が12、後継のGPT-4.1が20です。Qwen3.5-4Bの20はGPT-4.1と同点で、GPT-4oを上回っています。

つまり、約2年前にはクラウドで提供される最高水準クラスだった生成AIに近いテキスト推論性能が、約3GBのモデルとして手元のM1 Macで動いている、という見方ができます。ローカルLLMの進歩を実感するには、非常に分かりやすい比較だと思います。

ただし、これは現在のArtificial Analysis Intelligence Index上での比較です。同指数はエージェント、コーディング、科学的推論などを重視しており、数値だけで「Qwen3.5-4Bは総合的にGPT-4oやGPT-4.1と完全に同等」とは断定できません。またQwen3.5-4BはThinkingあり、GPT-4oとGPT-4.1はThinkingなしで評価されているという条件差もあります。

QwenはThinkingを使った難しいテキスト推論に強い一方、ChatGPTにはWeb検索、コード実行、音声、各種ツール連携など、モデル以外の機能があります。比較するときは「モデル単体」と「サービス全体」を分けて考える必要があります。

インストール時につまずいた点：Thinkingが常にONになった

MLX版を最初にインストールした際、LM Studio上でThinkingの選択ができず、常にThinkingが動作する状態になりました。

原因として考えられたのは、Hugging Face上のMLXモデルをURLで直接指定したため、LM Studio側のモデル設定情報が正しく適用されなかったことです。

一度モデルを削除し、LM Studio公式カタログからインストールし直すことで解決しました。

推奨するインストール方法

LM StudioのRuntimeを最新版にする
LM Studio公式モデルページを開く
「Use Model in LM Studio」を押す
ダウンロード形式で「MLX 4bit」を選ぶ
新しいチャットを作り、対象モデルを選択する

公式モデルページはこちらです。

選択するモデルは次のものです。

lmstudio-community/Qwen3.5-9B-MLX-4bit
lmstudio-community/Qwen3.5-4B-MLX-4bit

Hugging FaceのURLを直接入力する方法でもモデル自体は導入できますが、Thinking切替などLM Studio独自設定を確実に使いたい場合は、公式カタログ経由が安全です。

M1・16GBで最初に設定した値

まずは次の設定から始めました。

設定項目	推奨値
Context Length	4096
Max Concurrent Predictions	1
Thinking	通常はOFF
Vision	画像を扱うときだけON
Speculative Decoding	最初はOFF
その他	原則として初期値

MLXでは、GGUFのようにGPU Offloadの層数を細かく設定する必要はありません。

Context Lengthは大きいほどよいわけではありません。モデル上は非常に長いContextに対応していても、実際にはKVキャッシュが増えてメモリを消費し、処理も重くなります。通常のチャットなら4096、長い資料を扱うときだけ8192以上を検討するのが現実的です。

ローカルLLMはWeb検索できない。しかし、それが安全性になる

LM Studioでダウンロード済みQwenを通常のチャットとして使う場合、モデル自身はWeb検索しません。学習済み知識と、ユーザーが入力・添付した情報だけを使って回答します。

これは不便な面もありますが、社内利用では大きな利点になります。

入力した文章を外部AIサービスへ送らない
PDFなどの文書処理もローカルで完結できる
インターネットを切断した状態でも利用できる
製品仕様、品質情報、会議資料などを扱いやすい

LM StudioはMCPサーバーを追加することでWeb検索や外部ツール連携も可能ですが、その場合は検索語やデータが外部サービスへ送られる可能性があります。

実務では、次の2モードに分けるのが分かりやすいと感じました。

完全ローカルモード

社内文書の要約
品質報告の整理
アイデア検討
文章の下書き
機密情報を含む作業

外部AI・Web検索モード

最新ニュース
法改正や市場情報
製品価格
公開情報の調査

「何でも一つのAIに任せる」のではなく、情報の機密性と鮮度によって使い分けることが重要です。

WindowsではMLXではなくGGUFを使う

MLXはApple Silicon向けです。Windowsで同じQwen3.5-4Bを使う場合は、通常は GGUF Q4_K_M を選びます。

ただし、空きRAMが5GB程度しかないWindows PCでは、4Bでもかなりギリギリです。Context Lengthを2048から始め、ThinkingとVisionをOFF、同時生成数を1にする必要があります。

WindowsではCPU、専用GPU、VRAMの有無によって速度差が大きいため、「4Bだから必ずM1と同じ速度になる」とは限りません。

なぜ2020年発売のM1で、今になってローカルLLMが快適になったのか

M1が突然高速化したわけではありません。後から次の条件が揃いました。

4bit量子化によりモデル容量が小さくなった
llama.cppやMLXがApple Siliconへ最適化された
4B～9Bの小型モデル自体が大幅に賢くなった
LM Studioによって導入と設定がGUI化された

技術者が試行錯誤しながらローカルLLMを動かし始めたのは2023年頃です。一般ユーザーでも扱いやすくなったのは2024年以降、日本語で高品質な小型モデルを快適に使えるようになったのは2025～2026年と考えるのが自然です。

今回使ったQwen3.5-4B／9Bが公開されたのは2026年3月です。つまり、M1・16GBでこの水準の回答を得られるようになったのは、ごく最近です。

まとめ

今回の検証で最も大きかった気付きは、次の5点です。

M1・16GBでもローカルLLMは実用品になる
動く最大モデルより、快適に動く適正サイズを選ぶべき
Apple SiliconではMLX 4bitが有力
Qwen3.5-4Bは一般用途で想像以上に優秀
Web検索できない完全ローカル構成は、機密情報を扱う際の強みになる

現在の私の推奨構成は、以下のとおりです。

優先事項	推奨モデル
速度・普段使い	Qwen3.5-4B MLX 4bit
品質・複雑な分析	Qwen3.5-9B MLX 4bit
Qwen3.8の検証	16GB機では実験用途に限定

ローカルLLMは、クラウドAIを完全に置き換えるものではありません。しかし、外部へ出したくない情報を扱う「安全な思考補助ツール」としては、すでに十分実用段階に入っています。

古いM1 Macが、これほど有効な生成AI端末になるとは予想していませんでした。今後、小型モデルと推論エンジンの進化が続けば、一般的なPCにローカルAIが常駐する使い方は、さらに広がっていくと思います。

参考リンク