初めに
普段は M4 Mac mini（32GB）でOllamaを使って30B前後のモデルでローカルLLM環境を作っているのですが、32GBだとどうしても動かせるモデルのサイズに限界があります。
そんな中、最近 Strata というツールが「メモリに入りきらない大きなモデルも動かせる」と話題になっていたので、実際に試してみました。
本記事では、Strataを使ってMac mini（32GB）でQwen3.8-Flash-Nextを動かすまでの手順を、
- まずは デスクトップアプリ で動かしてみる
- 次に ターミナル で動かす
- 最後に Hermes Agent から使う
という流れでまとめます。
前提：
私の実行環境です。
- M4 Mac mini（メモリ 32GB / 内蔵SSD）
- macOS 27.2
- Strata 0.2.x（デスクトップアプリ 0.2.7、CLI 0.2.9）
- Hermes Agent v0.22.5 はインストール済み
Hermes Agent 自体のインストール方法は、ここでは省略します。
Strataとは
Strata は、ローカルでAIモデルを動かすための無料・オープンソース（MIT）のアプリです。
Windows / Linux / Mac に対応していて、デスクトップアプリとCLI（ターミナル）の両方が用意されています。
一番の特徴は、メモリに入りきらない大きな MoE モデルを、SSD から読み込みながら動かせる ことです。
MoE（Mixture of Experts）モデルは、たくさんの「専門家（エキスパート）」を持っていて、1トークンを生成するたびに、そのうちの一部しか使いません。
Strata はこの性質を利用して、
- よく使うエキスパート → メモリに置いておく
- それ以外のエキスパート → 必要になったときにSSDから読み込む
という動かし方をするようです。
公式の Mac 向けドキュメントでは、32〜48GB の Mac について「エキスパートを SSD からストリーミングする」と説明されています。
参考: Strata on a Mac - A Mac whose memory cannot hold the pack (32 to 48 GB)
Ollamaとの違い
| Ollama | Strata | |
|---|---|---|
| 得意なこと | メモリに収まるモデルを手軽に切り替える | メモリより大きい MoE モデルを動かす |
| Macで使えるモデル | 多数 | 現状は Qwen3.8-Flash-Next 系（Gyro を含む）のみ |
| 推論エンジン | llama.cpp ベース | 独自の Metal エンジン |
| 同時リクエスト | 複数可（設定次第） | 1件のみ |
| API | OpenAI互換 / 独自API | OpenAI互換 / Anthropic互換 |
なので、Ollama の代わりというよりは、「32GBのMacで、本来64GB以上必要なモデルを動かすための選択肢」 という位置づけだと思っています。
デスクトップアプリで動かす
1. インストール
Strata のリリースページ の 「Assets」 から Strata-0.2.7-macos-arm64.dmg をダウンロードします。
dmg を開いて、Strata を 「アプリケーション」 フォルダにドラッグ し、起動します。
2. モデルの選択とダウンロード
起動後、まずはモデルを選びます。
- 保存先：標準で提案される
Documents/Strata/Modelsのまま（内蔵SSD） - モデル：Qwen3.8-Flash-Next / Q2_0 (GSQ-RCO)
- 会話コンテキスト：64K（エージェントを動かす上で、最低限これくらいは欲しい）
ちなみに量子化のバージョンは現時点では３種類から選択できるようになっています。
Q2_0 でもし動かなければ、 Gyro-S を試してもらえればと思います。
ダウンロードに結構時間かかりますので、しばらく待ちましょう。
3. チャットしてみる
準備が終わったら、そのままチャット画面で話しかけてみます。
少し中国語が混ざってしまっていますが、回答が返ってきていることまで確認できればOKです。
これで、実際に 32GBしかないMac miniでもQwen3.8-Flash-Nextが動く ことが確認できました。
ただ、実際に動かした感覚は、簡単な会話ですら回答に時間がかかっているなと感じます。
まぁそこは無理やり大規模モデルを動かしているので、トレードオフですね。。。
ターミナルで動かす
次にターミナル版を入れます。
Hermes Agent などの別アプリから使う場合は、ターミナルの方が必要になります。
0. 事前準備
ターミナルで動かす前に、デスクトップアプリから読み込んだモデルを解除しておきましょう。
両方動かすと、メモリを取り合ってしまいます。
1. インストール
ターミナル版は下記のコマンド一発でインストールすることができます。
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh && sh install.sh
Installed. Run: strata launch
インストール後、バージョンまで確認できればOKです。
strata --version
strata 0.2.9 (build 0.1.55; ...)
2. 起動
起動コマンドは下記になります。
strata launch
起動後、画面の案内に従ってモデルを選ぶと、サーバーが起動します。
※ 私の場合、デスクトップアプリで保存した設定が残っていたため、起動直後に Q2_0 64K が選べるようになっていました。
起動すると、以下の様な画面がターミナルに表示され、 http://127.0.0.1:8080/ のエンドポイントが使えるようになります。
この画面で、strataによるパフォーマンスを確認することができます。
また、タブは [1 Overview] ~ [7 Connect] まであるので、気になる方は内容をチェックしてみてください。
3. チャットアプリから使ってみる
Hermes Agentに繋げる前に、エンドポイントを開くとチャット画面が表示されます。
http://127.0.0.1:8080/
しかし、チャットをする前にAPI Keyを設定する必要があります。
下記コマンドで APIキーが表示されるので、それをコピーしておきます。
strata connect hermes --show-key
API_KEY=sk-strata-***...
それをチャットブラウザの About タブにある Settings に貼り付けます。
後は実際にChat画面にもどり、会話をしてみましょう。
回答が返ってくればOK.
今回は日本語もしっかりしていますね。
ちなみに、先ほどのstrataのターミナルで[1 Overview]を見ると、回答生成中は色々と処理が動いているのが見えるはずです。
Hermes Agentから使う
最後に、Hermes Agent の頭脳を Strata に切り替えます。
strataのターミナルは起動したままで大丈夫です。
1. 接続設定を確認する
Strata には、アプリごとの接続設定を出力してくれる strata connect コマンドがあります。
Hermes Agent にも対応しているので、まずは何を設定すればいいかを確認します。
strata connect hermes
Hermes Agent (chat + tools; tested (Hermes Agent 2026.9.24))
File: ~/.hermes/config.yaml
model:
default: qwen3.8-flash-next-q2_0
provider: lmstudio
base_url: http://127.0.0.1:8080/v1
context_length: 65536
compression:
enabled: true
threshold_tokens: 32142
auxiliary:
compression:
context_length: 65536Environment:
OPENAI_API_KEY=sk-strata-••••••••Good to know:
- Hermes refuses a window under 64,000 tokens unless the provider is lmstudio with an explicit context_length: the config uses that, and auxiliary.compression.context_length 65536 for its summariser (the same floor).
- Its system prompt and 20 tools take about 12.9K tokens (40% of a 32K window): about 19K is left for the conversation.
- Its own 64K minimum floors the compaction threshold, so it compacts later than the value above (around 20K on a 32K window); it still fits 32K.
Then try: hermes chat -Q --yolo -q "your task"
provider が lmstudio になっているのがポイントです。
Hermes Agent は 64Kトークン未満のコンテキストを拒否 しますが、provider: lmstudio で context_length を明示した場合だけはその制限が外れるので、Strata はこの書き方を使っているようです。
一応、本手順通りであれば、strata側も64Kのコンテキストで起動しているため、問題にはならないかと思います。
2. 設定を書き換える
strata connect hermes --write を使うと自動で書き込んでくれるみたいです。（置き換え前のファイルはバックアップされます）。
私は中身を確認したかったので、手で ~/.hermes/config.yaml を編集しました。
model:
default: qwen3.8-flash-next-q2_0
provider: lmstudio
base_url: http://127.0.0.1:8080/v1
context_length: 65536
compression:
enabled: true
threshold_tokens: 32142
auxiliary:
compression:
context_length: 65536
API キーは ~/.hermes/.env に書きます。
LM_API_KEY=<StrataのAPIキー>
strata connect hermes コマンドでは、下記のように OPENAI_API_KEY となっていましたが、 LM_API_KEY を使うのが正しい様です。
Environment:
OPENAI_API_KEY=sk-strata-••••••••
3. 動作確認
Hermes のターミナルを起動します。
hermes
起動したら、statusコマンドで内容を見てみましょう。
/status
Model: qwen3.8-flash-next-q2_0 (lmstudio) と表示されれば正しく設定ができています。
そのまま話しかけてみます。
日本語で、自己紹介を一文でしてください。
別のターミナルで strata status を見ると、Hermes からのリクエストが記録されています。
Recent requests (finished; identities unavailable in legacy telemetry)
#1 cancel in 384 out 95 30.7 s
#2 stop in 14,119 out 65 191.1 s
#3 stop in 57 out 88 29.9 s
#4 length in 53 out 1 11.0 s
入力が 約14,000トークン のリクエストが Hermes Agent からのものです。
Hermes Agent はシステムプロンプトとツール定義だけで約13,000トークンあるため、新しい会話の1回目は 約3分 かかりました。
やはり、MoEかつ量子化したモデルでも従来のメモリに収まりきらないほどの大規模モデルを動かしているので、回答速度は遅いですね。。
まとめ
Strataを使うことで、32GBのMac miniでもQwen3.8-Flash-Nextのような大きなモデルを動かすことができました。
ポイントは次の3つです。
- SSD から読み込みながら動かす ので、メモリ以上のモデルが動く（その分、速度は落ちる）
-
ターミナル と
strata connectを使うと、Hermes Agent などの他のアプリから簡単に使える - 速度は Ollama + 中型モデルの方が上 なので、用途で使い分けるのが良さそう
正直、Hermes Agent の単純な会話で約3分かかるのは日常使いには厳しいですが、「32GBのMacで100B超えのモデルが動く」というだけでもかなりロマンがあると感じました。
本記事が、手元のMacで大きなモデルを動かしてみたい方の参考になれば幸いです。
よく使うコマンドメモ
# 起動・状態確認
strata launch
strata status
strata monitor
# モデル
strata models list
# 他アプリとの接続設定
strata connect hermes
strata connect hermes --check # 1回プロンプトとツール呼び出しを送って動作確認