この記事は Synthorai ブログの記事 Tencent Hy4 が回答前に token を使い切る理由 の転載です。原文(多言語対応)はリンク先をご覧ください。
Tencent Hy4 は、架空のインシデント要約に対して最終回答が空のまま HTTP 200 を返しました。報告された推論 token 数は 8,192 で、指定した出力上限と一致します。この API 経路では、推論と最終回答が同じ予算を共有します。HTTP status だけを確認する client は、token 切れの response を要約完了と誤認する可能性があります。
TL;DR
- Hy4 は出力 token 8,192 をすべて推論に使い、最終回答が空のまま HTTP 200 を返しました。
- response は
finish_reason: "length"で終了し、サイズは 68,410 bytes でした。client の上限である 128 KiB は下回っています。 - ルールベースの 4 件のインシデントでは、
noneでも両言語の重要な事実が保持されました。response body の中央値は、mediumの 51,780 bytes に対して 1,467 bytes まで減りました。
catalog の要約で何が起きたのか
Hy4 に対し、架空のサービスインシデントを英語と中国語で要約し、固定ルールで重大度を判定したうえで、障害と復旧のイベントを JSON に記載するよう求めました。catalog のケースを medium effort で実行すると、API は HTTP 200 と finish_reason: "length" を返しました。出力上限 8,192 token に対して、報告された推論 token も 8,192 で、message.content は空でした。response 全体は 68,410 bytes で、client の上限である 128 KiB を下回っています。
空の回答をどう診断するか
| client から見える状態 | 確認する項目 |
|---|---|
| header を受信する前に request が timeout する | transport の例外と経過時間を記録します。client には確認できる status も response body もありません。 |
| reader が byte 上限に達する | 上限値と受信済み byte 数を記録します。回答を parse する前に client が読み取りを停止した可能性があります。 |
| response 全体を受信したが、最終 content が空または不完全 |
finish_reason、message.content、usage.completion_tokens_details.reasoning_tokens を確認します。catalog のケースでは、length と出力上限に等しい推論 token 数から、生成が停止した箇所を特定できます。 |
回答を downstream に渡す前に、生成が完了したか確認してください。最終 content を JSON として parse でき、各 field が正しく見える場合でも、finish が length なら生成は上限に達しています。生成完了後に、最終回答を入力と照合してください。
request log には、元の response status と finish reason をセットで残します。どちらも汎用的な「invalid JSON」error に変換すると、回答が欠落したケースと、回答は完了したが field が誤っているケースを monitoring 上で区別できません。調査内容も異なります。前者では予算と生成完了の有無を確認します。後者では prompt、期待値、validation rule を確認します。
Hy4 の推論 parameter と出力 parameter は何を制御するか
リクエストパラメータの reasoning_effort は、最終回答を出す前にモデルに求める推論の深さを指定します。 Tencent の TokenHub documentation には、Hy4 の推論を制御する項目が 2 つあります。thinking.type では、enabled または disabled を指定して推論の有効と無効を切り替えます。default は有効です。model 別の表では、Hy4 の reasoning_effort として high と no_think が記載され、default は high です。他の model には別の option が用意されています。provider 間で request を移す場合は、対象となる model ID の行を確認してください。Tencent TokenHub の深い推論ガイド
Synthorai Chat Completions には、指定する effort 値として none、low、medium、high を送りました。TokenHub documentation が説明しているのは TokenHub 自身の endpoint です。今回の測定結果は Synthorai への request の挙動を示すものであり、すべての effort label が upstream でどう対応するかを示すものではありません。検証した Synthorai 経路では、none を指定した 12 回すべてで、報告された推論 token は 0 となり、最終回答も返りました。この response の測定結果を、アプリケーションが利用する経路の互換性確認に使ってください。別の endpoint へ移行する場合や model ID を変更する場合は、既知の入力で probe を再実行し、推論使用量と最終 content を確認してから変更を rollout します。
出力上限は別の制御項目です。生成上限の指定には max_tokens を使いました。model が最終回答の生成を始める前に上限へ達すると、短い JSON object を求める prompt でも content が空になることがあります。Tencent の troubleshooting guide では、Hy3 の例を使って推論と回答が同じ枠を共有する仕組みを説明しています。今回の Hy4 の測定では、検証した Synthorai 経路で同じ障害パターンを確認しました。8,192 token すべてが推論として報告されています。Tencent Hy API ガイド
出力予算は生成量を制限します。client の byte 上限は、推論 field を含む HTTP body をどこまで読み取るかを制御します。同じ入力と推論設定を使い、この 2 つの上限を別々に調整してください。
ケース 2 は再び 8,192 token で打ち切られたか
Hy4 を medium effort に設定し、catalog のケースを 8,192 token で 3 回再実行しました。3 回とも成功し、報告された推論 token は 5,106 から 7,155 でした。16,384 token との比較には、後述する 4 設定の実験で実行した medium effort の catalog request 3 件を再利用しました。こちらも 3 回すべて成功しています。8,192 token の request は、その後に実行しました。最初の 8,192 token の request は打ち切られましたが、同じ上限で後から実行した 3 件はすべて完了しました。この再実行で確認したのは 1 つの入力だけであり、2 種類の上限も順番に検証しています。上限を引き上げた場合に打ち切り率がどう変わるかは、まだ判断できません。
4 種類の推論設定を比較した結果
同じ 4 ケースを Hy4 と Synthorai で再実行しました。各ケースと指定 effort の組み合わせごとに 3 回実行しています。prompt、16,384 token の上限、512 KiB の読み取り上限、client socket timeout の 120 秒は固定しました。まず medium と none を同時に検証し、その後の batch で low と high を実行しました。
| 指定した effort | JSON field check に成功 | 報告された推論 token | 測定した response body の中央値 |
|---|---|---|---|
none |
12/12 | 全件 0 | 1,467 bytes |
low |
11/12 | 2,575 から 11,181 | 42,047 bytes |
medium |
12/12 | 2,989 から 9,317 | 51,780 bytes |
high |
12/12 | 2,911 から 9,987 | 58,369.5 bytes |
low group の token 範囲と body 中央値は、測定できた 11 件から算出しています。残る 3 group は、それぞれ 12 件を測定しました。low、medium、high を指定した request で観測された token 範囲は重なっています。low の response のうち 1 件では、推論 token が 11,181 と報告されました。今回測定した medium のどの response よりも多い値です。
完了した各 response について、2 種類の要約とリスク説明を source event と照合しました。どちらの言語でも、影響を受けたサービス、2 件の HTTP 503 event、確認済みの復旧が要約に残っていました。説明には指定した重大度ルールが適用され、付随する signal は観測事実として記述されていました。この確認で評価したのは、共通 template と明示的な重大度ルールを使った 4 ケースにおける事実の正確性です。
caller は Hy4 のこの障害をどう処理すべきか
catalog のインシデント終了時に、英語と中国語の要約を公開する worker を想定します。worker は source event をすでに保持しているため、code で検証可能な事実を記録できます。catalog service は event 31 と 36 で HTTP 503 を返し、event 49 で復旧が確認されました。scoring rule では重大度 3 です。これらの値は、worker が要約を受け入れるための check にも、要約生成に失敗した場合の返却情報にも使えます。
-
完了し、validation を通過した要約だけを受け入れます。worker は設定済みの byte 上限内で response を読み、最終 JSON を確認する前に finish が
stopか確認します。公開するには、object が catalog service、重大度 3、順序どおりの[31, 36, 49]を含んでいる必要があります。rollout 中は、両言語を同じ event 事実と照合してください。それぞれの要約に、障害と確認済みの復旧が反映されている必要があります。リスク説明には、観測された connection pool saturation を記載できます。ただし、因果関係を主張するには追加の根拠が必要です。部分的な content を parse できても、finish がlengthなら受け入れません。 -
空の response に対する retry は、上限を決めて 1 回だけ実行します。この例では、最初の request に
mediumと 8,192 token の上限を使います。content が空で、finish がlength、推論使用量が上限と一致した場合、その設定が実際の workload で check 済みなら、worker はnoneで retry できます。prompt と token 上限は変更しません。今回のnoneの比較では 16,384 token を使ったため、導入前に 8,192 での retry を検証してください。最初の失敗は attempt log に残し、retry にも同じ acceptance check を適用します。サンプル script の socket timeout である 120 秒は、個々の call に対する値です。worker が retry するのは、job 全体の deadline 内に完了できるだけの時間が残っている場合に限ります。 -
retry が失敗した場合や時間切れの場合は、明示的な fallback を返します。誰かが確認する運用なら summary status を
pending_reviewに設定し、そうでなければfailedに設定します。生成した 2 つの summary field は空のままにします。caller が根拠を確認できるよう、検証済みの incident metadata と source event ID は残してください。最初の attempt と retry の結果は別々に保存します。retry に成功すれば要約を返せますが、最初の空 response は monitoring に残ります。
判断を要する workload で推論を維持する場合は、代表的な入力で測定した completion 使用量を基に出力予算を決めます。推論 token と最終回答 token の両方を含めてください。reader 上限を設定する前に、body 全体のサイズも別途測定します。アプリケーションが buffer に保持する byte には response envelope も含まれるためです。上限を決める際は peak concurrency も確認してください。rollout の評価には、timeout も分母に含め、完全で正しい要約を生成できた request の割合を使います。返された要約の事実品質は別に確認してください。特に、scoring rule が model の判断に委ねる内容について、その判断を裏付ける根拠があるかを確認します。
Hy4 と DeepSeek は同じケースをどう処理したか
4 つの prompt を各 model と上限の組み合わせごとに、Synthorai 経由で 1 回ずつ送りました。Hy4 と DeepSeek V4.1 Flash (1017) の両方に medium reasoning effort を指定しました。各 response は 512 KiB まで読み取り、受信した byte 数に 128 KiB の閾値を適用しました。
| Model | 指定した出力上限 | HTTP 200 | 測定済み body のうち 128 KiB 超過 | 回答 check に成功 | 読み取った最大 body(bytes) |
|---|---|---|---|---|---|
| Hy4 | 8,192 | 4/4 | 0/4 | 3/4 | 68,410 |
| DeepSeek V4.1 Flash (1017) | 8,192 | 4/4 | 0/4 | 4/4 | 3,595 |
| Hy4 | 16,384 | 3/4 | 0/3 | 3/4 | 47,934 |
| DeepSeek V4.1 Flash (1017) | 16,384 | 4/4 | 0/4 | 4/4 | 4,127 |
4 ケースは event pattern を共有しており、最初の比較では configuration ごとに 1 回だけ実行しました。最初の実行とすべての追加検証を合わせると、67 request 中 65 件で body を測定できました。最大値は 89,739 bytes で、client の閾値である 128 KiB(131,072-byte)を下回っています。残る 2 件は、ケース 3 を 16,384 token で実行した際、response header を受信する前に timeout しました。1 件は最初の実行における medium effort、もう 1 件は後の batch における low effort です。どちらも回答 check の request 総数には含めています。
model に何を依頼したか
各ケースには、架空の service event が 72 件あります。1 つの service から返る 2 件の HTTP 503、queue delay などの signal、確認済みの復旧を除き、すべて正常に動作しています。prompt では、英語の要約、中国語の要約、影響を受けた service、重大度、短い説明、根拠となる 3 件の event ID を 1 つの JSON object で返すよう求めています。また、観測された signal には触れつつ、原因として扱わないよう指示しています。
単純な要約なら、何が起きたかを 1 文で書くだけです。この prompt ではさらに、通常の event の中から影響を受けた service を特定し、明示的な scoring rule を適用し、program で検証できる参照情報を返すよう求めています。各ケースは同じ template を使うため、期待される service、score、event ID は既知です。自動 check では構造と、これらの正確な値を確認します。空でない要約と、480 文字以内の説明も必須です。翻訳品質の採点や、文章内容の独立した検証は行いません。
このサンプルを replay.py として保存し、SYNTHORAI_API_KEY を設定してください。catalog のケースを実行するには、python replay.py --case 2 --effort none --max-tokens 16384 を使います。推論ありで試すには --effort low、medium、high のいずれかを使い、低い上限を試すには --max-tokens 8192 を指定します。body size、finish reason、報告された usage、生成完了の有無、field check の結果が出力されます。全体の success flag が true になるには、finish が stop であり、field check にも成功する必要があります。
"""Replay a fictional operations incident and evaluate two reader limits."""
import argparse
import json
import os
import time
from urllib.error import HTTPError, URLError
from urllib.request import Request, urlopen
LOW_LIMIT = 128 * 1024
HIGH_LIMIT = 512 * 1024
SERVICES = ("checkout", "catalog", "notifications", "search")
def fixture(index):
service = SERVICES[index]
signals = ("queue delay", "connection pool saturation", "cache miss spike", "disk latency")
signal = signals[index]
events = []
for i in range(1, 73):
if i in (31, 36):
detail = f"{service} returned HTTP 503. Observed {signal}."
name = service
elif i == 49:
detail = f"{service} returned HTTP 200. Recovery confirmed."
name = service
else:
name = SERVICES[(index + i) % 4]
detail = "Routine operation. HTTP 200. No incident evidence."
events.append({"id": i, "minute": i, "service": name, "detail": detail})
prompt = (
"Review these fictional operations events. Return one JSON object with "
"summary_en, summary_zh, affected_service, severity, risk_reason, and evidence_ids. "
"Severity is 3 when a service has at least two observed HTTP 503 events followed "
"by confirmed recovery. Identify that service. Cite precisely the two failure "
"events and the recovery event in order. Write one sentence in each summary and "
"explain the rating in at most 480 characters. Mention the observed signal but "
"do not claim it caused the failures. Events: " + json.dumps(events)
)
return prompt, service
def probe(index, effort, cap):
model = "hy4"
prompt, service = fixture(index)
payload = {"model": model, "max_tokens": cap, "reasoning_effort": effort,
"messages": [{"role": "user", "content": prompt}]}
request = Request(
"https://synthorai.io/v1/chat/completions", json.dumps(payload).encode(),
{"Authorization": "Bearer " + os.environ["SYNTHORAI_API_KEY"],
"Content-Type": "application/json", "Accept-Encoding": "identity"},
)
row = {"model": model, "cap": cap, "case": index + 1, "effort": effort}
started = time.monotonic()
try:
with urlopen(request, timeout=120) as response:
row["status"] = response.status
raw = response.read(HIGH_LIMIT + 1)
row.update(bytes_read=len(raw), exceeds_128_kib=len(raw) > LOW_LIMIT,
exceeds_512_kib=len(raw) > HIGH_LIMIT)
if len(raw) <= HIGH_LIMIT:
data = json.loads(raw)
choice = data["choices"][0]
content = choice["message"].get("content")
usage = data.get("usage") or {}
row.update(finish_reason=choice.get("finish_reason"),
generation_completed=choice.get("finish_reason") == "stop",
content_chars=len(content or ""),
reasoning_tokens=(usage.get("completion_tokens_details") or {}).get("reasoning_tokens"),
completion_tokens=usage.get("completion_tokens"), cost_usd=usage.get("cost"))
try:
answer = json.loads(content or "")
row["valid_json"] = isinstance(answer, dict)
row["passes_field_checks"] = (
row["valid_json"] and answer.get("severity") == 3
and answer.get("affected_service") == service
and answer.get("evidence_ids") == [31, 36, 49]
and all(isinstance(answer.get(k), str) and bool(answer[k].strip())
for k in ("summary_en", "summary_zh", "risk_reason"))
and len(answer["risk_reason"]) <= 480
)
except ValueError:
row.update(valid_json=False, passes_field_checks=False)
except HTTPError as exc:
row["status"] = exc.code
except (URLError, OSError, ValueError, KeyError, IndexError) as exc:
row["error"] = type(exc).__name__
row["success"] = (
row.get("generation_completed") is True and row.get("passes_field_checks") is True
)
row["seconds"] = round(time.monotonic() - started, 2)
return row
parser = argparse.ArgumentParser()
parser.add_argument("--case", type=int, choices=range(1, len(SERVICES) + 1), default=1)
parser.add_argument("--effort", choices=("none", "low", "medium", "high"), default="medium")
parser.add_argument("--max-tokens", type=int, choices=(8192, 16384), default=16384)
args = parser.parse_args()
print(json.dumps(probe(args.case - 1, args.effort, args.max_tokens), indent=2))
よくある質問
response が client の 128 KiB 上限を超えるとどうなるか
最終回答を parse する前に、client が response の読み取りを停止する可能性があります。この Hy4 の実験では、128 KiB は reader の byte 閾値です。生成量は、これとは別の出力 token 上限で制御しました。
Hy4 が reasoning_effort none に従ったか確認する方法
usage.completion_tokens_details.reasoning_tokens を確認してください。Hy4 は、Synthorai 経由で reasoning_effort: "none" を指定した 12 request すべてで 0 を報告しました。この field がない場合、response には検証できる推論 token 数が含まれていません。
