1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LM Studio --parallel実測|同時8本でTTFT 43秒が0.5秒に

1
Posted at

LM Studio --parallel実測|同時8本でTTFT 43秒が0.5秒に

  • LM Studio の lms load --parallel <N> を変えると、同時リクエスト時の待ち時間と合計スループットがどう変わるかが実測値でわかる
  • 「並列にすると 1 本あたりは遅くなる」が具体的に何 % なのかがわかる(7B と 14B の 2 モデル)
  • 自分の環境で同じ表を作れるコピペで動く Python ベンチスクリプト(標準ライブラリのみ)が手に入る
  • 対象読者: LM Studio の OpenAI 互換 API にマルチエージェント(CrewAI など)やバッチ処理から同時にリクエストを投げている人

ローカル LLM に複数のエージェントから同時にリクエストを投げると、「最初の 1 本は速いのに、残りが何十秒も黙ったまま」になることがあります。
モデルが遅いのではなく、サーバー側の同時実行数(--parallel)が足りず、リクエストが行列に並んでいるだけというケースがかなりあります。

この記事は、32GB の Mac mini で --parallel を 1 / 4 / 8 に変えて、最初のトークンが返るまでの時間(TTFT)と合計スループットを測った記録です。
数値はすべて手元の 1 台・各条件 1 回の計測値です。測れていないことは「未検証」と書きます。

要点(TL;DR)

  1. --parallel は「そのモデルが同時に処理できるリクエスト数」。超えた分はエラーにならず、黙って順番待ちになる。
  2. 7B モデルに 8 本同時に投げたとき、--parallel 1 では TTFT の最大が 43.04 秒。--parallel 8 にすると 0.52 秒になった。
  3. 合計スループットは --parallel 1 の 31.28 tok/s に対し、--parallel 8 で 180.08 tok/s(約 5.8 倍)。14B でも 16.35 → 91.85 tok/s(約 5.6 倍)。
  4. 代わりに 1 本あたりの生成速度は約 7 割に落ちる(7B: 31.35 → 22.53 tok/s、14B は 11.50 tok/s)。8 倍にはならない。
  5. 手元の LM Studio は、何も指定しないと lms ps の PARALLEL 列が 4 だった。つまり「5 本目以降は待たされる」のが既定の挙動。
  6. --parallel を上げたときの実メモリ増加と、1 リクエストが使えるコンテキスト長が減るのかどうかは今回測れていない(未検証。理由は後述)。

動作環境 / 前提

項目 値
ハード Mac mini (hw.model = Mac18,5) / 統合メモリ 32 GiB
OS macOS 27.2
LM Studio デスクトップアプリ + lms CLI (CLI commit dcefd5a)
推論ランタイム llama.cpp-mac-arm64-apple-metal-advsimd@2.71.0(2026-11-09 と 11-18 に確認。計測日時点のバージョンは記録なし)
モデル qwen2.5-7b-instruct(GGUF 4.68 GB)/ qwen2.5-coder-14b-instruct(GGUF Q4_K_M 8.99 GB)
クライアント Python 3 標準ライブラリのみ(urllib + ThreadPoolExecutor)
計測日 2026-11-06(プロセス引数の確認のみ 2026-11-18)

計測時のコンテキスト長は記録していません(明示指定なし)。プロンプトは 1 文の短い質問なので、コンテキスト長が結果に効く条件ではないと考えていますが、厳密には未確認です。

1. --parallel は何を決めているのか

lms load --help の説明はこうです。

--parallel <count>   Maximum number of predictions the model can run at a given time.
                     The speed of each individual prediction may decrease with concurrency,
                     but each prediction will start faster and higher total throughput can be achieved.

要するに「同時に走らせられる推論の最大数。1 本ごとの速度は落ちるかもしれないが、開始は早くなり、合計スループットは上がる」。
この記事はこの 3 点(開始の早さ・合計スループット・1 本ごとの速度低下)を数字で確かめたものです。

8 本同時に投げたとき、サーバー側で起きていることを図にするとこうなります。

現在の設定値は lms ps の PARALLEL 列で確認できます。

lms ps
IDENTIFIER        MODEL             STATUS    SIZE        CONTEXT    PARALLEL    LOAD CONFIG    DEVICE    TTL
<モデル名>        <モデル名>        IDLE      16.24 GB    8192       4           LM Studio      Local

手元では、アプリから既定設定のままロードしたモデルが PARALLEL 4 になっていました。
また、このときの推論プロセスを ps で見ると、LM Studio はモデルごとに llama-server を起動していて、次の引数が渡っていました(パスとキーは省略)。

llama-server ... --ctx-size 8192 --batch-size 2048 --ubatch-size 512 --parallel 4
             --cache-type-k f16 --cache-type-v f16 --flash-attn on --kv-offload --kv-unified ...

lms load --parallel の値は、そのまま llama.cpp サーバーの --parallel(スロット数)に渡っていると読めます。

変更するには、ロード時に指定します。

lms load qwen2.5-7b-instruct --parallel 8 -y

2. 測り方

  • 固定の短い質問 8 本を、クライアント側で 同時 8 本(または 1 本ずつ)投げる
  • max_tokens=192、temperature=0、ストリーミング有効
  • TTFT = リクエスト送信から、最初の delta.content が届くまでの秒数
  • 出力トークン数は、最終チャンクの usage.completion_tokens を使う(stream_options.include_usage)
  • 計測前にウォームアップを 1 回投げ、初回のロード時間を除外する
  • サーバー側の --parallel を 1 / 4 / 8 に変えて、モデルをロードし直して繰り返す

全条件で 8 本とも上限の 192 トークンまで生成され、合計出力は 1,536 トークンで揃いました。条件間で「生成量が違うから速く見える」というズレはありません。

スクリプト全文です。標準ライブラリだけで動きます。

#!/usr/bin/env python3
"""LM Studio の --parallel 設定が TTFT と総スループットに与える影響を測る。

使い方:
  python3 par_bench.py <model-id> <concurrency> [label]

- 8本の固定プロンプトを concurrency 本ずつ同時に投げる
- ストリーミングで TTFT(最初のトークンまでの秒数) を実測
- 出力トークン数は最終チャンクの usage を優先し、無ければ delta 数で代用
"""
import json
import os
import sys
import time
import urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ.get("LMS_BASE", "http://127.0.0.1:1234") + "/v1/chat/completions"
MAX_TOKENS = 192

PROMPTS = [
    "Pythonのリスト内包表記を初心者向けに説明してください。",
    "TCPとUDPの違いを説明してください。",
    "Gitのrebaseとmergeの違いを説明してください。",
    "SQLのINDEXが効かないケースを説明してください。",
    "RESTとGraphQLの違いを説明してください。",
    "Dockerのイメージとコンテナの違いを説明してください。",
    "HTTPSのハンドシェイクの流れを説明してください。",
    "ハッシュテーブルの計算量を説明してください。",
]


def one(model, prompt):
    body = json.dumps({
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
        "max_tokens": MAX_TOKENS,
        "temperature": 0,
        "stream": True,
        "stream_options": {"include_usage": True},
    }).encode()
    req = urllib.request.Request(
        BASE, data=body, headers={"Content-Type": "application/json"})
    t0 = time.perf_counter()
    ttft = None
    deltas = 0
    usage_tok = None
    with urllib.request.urlopen(req, timeout=900) as r:
        for raw in r:
            line = raw.decode("utf-8", "replace").strip()
            if not line.startswith("data:"):
                continue
            payload = line[5:].strip()
            if payload == "[DONE]":
                break
            try:
                ch = json.loads(payload)
            except json.JSONDecodeError:
                continue
            if ch.get("usage"):
                usage_tok = ch["usage"].get("completion_tokens")
            for c in ch.get("choices", []):
                if c.get("delta", {}).get("content"):
                    if ttft is None:
                        ttft = time.perf_counter() - t0
                    deltas += 1
    total = time.perf_counter() - t0
    return {
        "ttft": ttft if ttft is not None else total,
        "total": total,
        "tokens": usage_tok if usage_tok else deltas,
        "usage_available": usage_tok is not None,
    }


def q(vals, p):
    vals = sorted(vals)
    return vals[min(int(len(vals) * p), len(vals) - 1)]


def main():
    model = sys.argv[1]
    conc = int(sys.argv[2])
    label = sys.argv[3] if len(sys.argv) > 3 else ""
    one(model, "ウォームアップ。1と答えてください。")  # 初回ロード分を除外
    t0 = time.perf_counter()
    with ThreadPoolExecutor(max_workers=conc) as ex:
        res = list(ex.map(lambda p: one(model, p), PROMPTS))
    wall = time.perf_counter() - t0
    tok = sum(r["tokens"] for r in res)
    ttfts = [r["ttft"] for r in res]
    lats = [r["total"] for r in res]
    print(json.dumps({
        "label": label,
        "model": model,
        "client_concurrency": conc,
        "requests": len(res),
        "wall_sec": round(wall, 2),
        "out_tokens": tok,
        "total_tok_per_sec": round(tok / wall, 2),
        "per_req_tok_per_sec_mean": round(
            sum(r["tokens"] / r["total"] for r in res) / len(res), 2),
        "ttft_min": round(min(ttfts), 2),
        "ttft_p50": round(q(ttfts, 0.5), 2),
        "ttft_max": round(max(ttfts), 2),
        "lat_p50": round(q(lats, 0.5), 2),
        "lat_max": round(max(lats), 2),
        "usage_available": all(r["usage_available"] for r in res),
    }, ensure_ascii=False))


main()

使い方です。第 1 引数はモデルの識別子(lms ps の IDENTIFIER)、第 2 引数はクライアント側の同時本数、第 3 引数は結果に付けるラベルです。

lms load qwen2.5-7b-instruct --parallel 1 -y
python3 par_bench.py qwen2.5-7b-instruct 1 parallel1_conc1
python3 par_bench.py qwen2.5-7b-instruct 8 parallel1_conc8
lms unload qwen2.5-7b-instruct

lms load qwen2.5-7b-instruct --parallel 8 -y
python3 par_bench.py qwen2.5-7b-instruct 8 parallel8_conc8
lms unload qwen2.5-7b-instruct

結果は 1 行の JSON で出ます。実際の出力例(--parallel 8・同時 8 本):

{"label": "parallel8_conc8", "model": "qwen2.5-7b-instruct", "client_concurrency": 8, "requests": 8, "wall_sec": 8.53, "out_tokens": 1536, "total_tok_per_sec": 180.08, "per_req_tok_per_sec_mean": 22.53, "ttft_min": 0.12, "ttft_p50": 0.52, "ttft_max": 0.52, "lat_p50": 8.53, "lat_max": 8.53, "usage_available": true}

API サーバーを別ホストや別ポートで動かしている場合は、環境変数 LMS_BASE(例: http://127.0.0.1:1234)で向き先を変えられます。

3. 結果:7B モデル(qwen2.5-7b-instruct)

サーバー --parallel クライアント同時数 8本完了まで 合計スループット TTFT p50 TTFT 最大 完了 最大
1 1(順番に) 48.99 秒 31.35 tok/s 0.12 秒 0.21 秒 6.21 秒
1 8 49.11 秒 31.28 tok/s 24.54 秒 43.04 秒 49.10 秒
4 8 15.32 秒 100.27 tok/s 8.00 秒 8.00 秒 15.32 秒
8 8 8.53 秒 180.08 tok/s 0.52 秒 0.52 秒 8.53 秒

(p50 は 8 本を小さい順に並べた 5 番目の値。各条件 1 回の計測)

読み取れることを 3 つ挙げます。

(1) --parallel 1 に 8 本投げても、エラーにはならず順番待ちになる。
1 行目と 2 行目を比べると、8 本完了までの時間は 48.99 秒と 49.11 秒でほぼ同じです。同時に投げても、サーバーの中では 1 本ずつ処理されています。
違うのは体感です。同時に投げた場合、最後のリクエストは 43 秒間、1 トークンも返ってきません。クライアントのタイムアウトが 30 秒なら、モデルは正常なのに「LLM が応答しない」というエラーに見えます。

(2) --parallel 4 だと、8 本は「4 本 × 2 回」に分かれる。
TTFT の最小は 0.12 秒、p50 と最大は 8.00 秒でした。前半 4 本はすぐ始まり、後半 4 本は前半が終わるまで約 8 秒待たされた、という形です。既定値が 4 の環境で 5 本以上のエージェントを同時に動かすと、この「2 回目の波」が発生します。

(3) --parallel 8 で合計スループットは約 5.8 倍。ただし 1 本あたりは約 72 %。
180.08 ÷ 31.28 ≒ 5.76 倍です。8 倍にならないのは、1 本あたりの生成速度が落ちるからです。

条件 1本あたりの生成速度 単独比
単独(parallel 1・同時 1) 31.35 tok/s 100 %
8 本同時(parallel 8) 22.53 tok/s 約 72 %

なお --parallel 4・同時 8 本の行の「1 本あたり」は、スクリプトの出力では 18.68 tok/s ですが、これは後半 4 本の待ち時間込みの平均です。待ちを除いた実際の生成速度は、1 回の波(192 トークンを約 7.7〜7.9 秒)から逆算して 24〜25 tok/s 程度と見ています(算出値であり、直接は測っていません)。

4. 結果:14B モデル(qwen2.5-coder-14b-instruct)

モデルが大きくなっても同じ傾向かを確かめました。こちらは --parallel 1 と 8 の 2 条件だけです。

サーバー --parallel クライアント同時数 8本完了まで 合計スループット 1本あたり TTFT p50 TTFT 最大
1 8 93.93 秒 16.35 tok/s —(待ち込みで 5.59) 46.92 秒 82.30 秒
8 8 16.72 秒 91.85 tok/s 11.50 tok/s 1.00 秒 1.00 秒
  • 合計スループットは 91.85 ÷ 16.35 ≒ 5.62 倍。7B(5.76 倍)とほぼ同じ伸び方でした。
  • 1 本あたりは 11.50 tok/s。--parallel 1 の合計 16.35 tok/s(= 1 本ずつ処理しているときの速度)に対して**約 70 %**です。
  • --parallel 1 のままだと、最後のリクエストは 82 秒待たされます。14B クラスを司令塔にしたマルチエージェント構成で「たまにタイムアウトする」場合、まずここを疑う価値があります。

2 モデルとも「合計は 5.6〜5.8 倍、1 本あたりは 7 割」というほぼ同じ比率になりました。ただしこれは 8 並列・短いプロンプト・192 トークン出力という 1 条件での話で、16 並列や長文プロンプトでも同じ比率になるかは未検証です。

5. 早見表:--parallel をいくつにするか

実測から引いた、手元での使い分けです(数値の裏づけがあるのは上の 2 モデル・8 並列までで、それ以外は筆者の判断です)。

使い方 --parallel の目安 理由
チャット UI で 1 人が対話するだけ 1 でよい 同時リクエストがなく、並列の利点が出ない。1 本あたりの速度が最大
エージェント 2〜4 体が同時に動く 4(手元の既定値のまま) 同時数がスロット数以内なら待ち行列は発生しない
エージェント 5 体以上・バッチで一括処理 同時に投げる本数に合わせる(今回は 8 まで確認) スロット不足だと「2 回目の波」になり、TTFT が数秒〜数十秒に跳ねる
1 本ごとの応答速度が最優先(ストリーミング表示など) 同時数を絞る 8 並列では 1 本あたりが約 7 割に落ちる
夜間バッチなど合計時間だけが大事 上げる 8 本の完了が 49.11 秒 → 8.53 秒(7B)

判断の軸は 1 つで、「クライアントが同時に投げる本数 ≦ --parallel」になっているかです。
クライアント側の同時数は、CrewAI ならエージェントやタスクの並行数、自作スクリプトなら ThreadPoolExecutor(max_workers=...) の値で決まります。サーバー側だけ上げても、クライアントが 1 本ずつ投げていれば何も変わりません(表の 1 行目)。

つまずきポイント

「LLM が応答しない」「timeout」の正体が待ち行列だった

--parallel を超えたリクエストは、HTTP エラーではなく無言の待ちになります。今回の計測では、7B で最大 43 秒、14B で最大 82 秒、最初のトークンが返りませんでした。
クライアントのタイムアウトがこれより短いと、原因がモデルにあるように見えます。切り分けは簡単で、同じリクエストを 1 本だけ投げてすぐ返るなら、行列を疑います。

1 本あたりの tok/s を「合計時間」で割ると遅く見える

スクリプトの per_req_tok_per_sec_mean は「出力トークン ÷ そのリクエストの所要時間(待ち込み)」の平均です。スロット不足の条件では、待ち時間が分母に入るため実際の生成速度より小さく出ます(--parallel 4・同時 8 本で 18.68 tok/s)。
生成速度そのものを見たいときは、同時数をスロット数以内にして測ってください。

usage が取れないと出力トークン数がずれる

ストリーミングでトークン数を正確に取るには、リクエストに "stream_options": {"include_usage": true} が必要です。スクリプトは取れなかった場合に delta の個数で代用し、結果の usage_available を false にします。false のときの tok/s は目安として扱ってください(今回の全条件は true)。

追加計測中に LM Studio が止まり、llama-server が残った(2026-11-18)

この記事を書くにあたり、メモリ使用量とコンテキスト長の追加計測をしようとしたところ、lms load が約 10 分応答せず、LM Studio のサーバーが再起動しました。
手元ではモデルファイルをネットワークドライブ(SMB)に置いており、そのドライブが応答しなくなっていたのが直接の原因と見ています(stat がタイムアウトすることを確認。LM Studio 側の内部で何が起きたかは未確認)。

このとき気づいたのが、再起動前にロードしていたモデルの llama-server プロセスが、親を失ったまま残っていたことです。lms ps は No models are currently loaded. と言うのに、メモリは約 15 GB 掴まれたままでした。

ps -axo pid,ppid,rss,etime,comm | grep llama-server

PPID が 1 の llama-server がいて、lms ps に該当するモデルがなければ、この状態です。--parallel とは直接関係ありませんが、「何もロードしていないのにメモリが空かない」ときの確認点として書いておきます。モデルファイルはローカルディスクに置くほうが安全です。

まとめ

  • --parallel は同時に処理できるリクエスト数。超えた分はエラーにならず順番待ちになる。
  • 7B・同時 8 本で、--parallel 1 → 8 にすると TTFT 最大が 43.04 秒 → 0.52 秒、合計スループットが 31.28 → 180.08 tok/s(約 5.8 倍)。
  • 14B でも 16.35 → 91.85 tok/s(約 5.6 倍)、TTFT 最大は 82.30 秒 → 1.00 秒。
  • 1 本あたりの生成速度は、8 並列で単独時の約 7 割。
  • 手元の既定値は PARALLEL 4。5 体以上のエージェントを同時に動かすなら、同時数に合わせて上げる。
  • 現在値は lms ps、変更は lms load <model> --parallel <N>。

未検証のこと(正直に)

  • --parallel を上げたときの実メモリ増加。lms load --estimate-only の見積りは --parallel を変えても変わらないことを以前確認していますが、実使用量は測れていません。
  • 1 リクエストが使えるコンテキスト長が --parallel で分割されるのかどうか。プロセス引数に --kv-unified が付いているので、スロット間で KV キャッシュの領域を共有する設定だと推測していますが、長文プロンプトを同時に投げる確認はできていません。
  • 各条件 1 回の計測で、ばらつきは見ていません。16 並列以上、長文プロンプト、MLX ランタイムも未計測です。
  • 7B モデルの量子化方式は今回確認していません(ファイルサイズ 4.68 GB のみ確認)。

次に読む / 続編

同じ Mac mini で LM Studio を運用するシリーズです。

続編では、今回測れなかった「--parallel を上げたときの実メモリ」と「コンテキスト長の扱い」を、モデルをローカルディスクに移してから測り直す予定です。役に立ったらストックしておくと、早見表をあとで見返せます。

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?