0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Folkbenchのモデル劣化検知:時事プローブと公式直結ベースラインで中継の「降智」を見る

0
Posted at

この記事は Folkbench 公式ブログの日本語版を再構成した紹介です。原文(日本語):

公式の canonical 原ページ(中国語):

従来のモデルランキングは公式環境での能力上限を測り、一般的な中継モニタは HTTP 疎通・表示価格・応答時間にとどまります。運用で本当に知りたいのは、サードパーティの API 中継を通したときでも、推論の深さ、制約遵守、モデル固有の振る舞いが公式直結 API と一致し続けているかどうかです。

Folkbench はモデル整合性モニター(Integrity Monitor)に、モデル劣化検知を追加しました。以下は公式記事の要約です。記事中の模式図は「実測データではない」と明記されており、1回の応答や単独のパーセンテージだけで「モデルが差し替えられた」と断定することはできません。ここに独自の測定値は加えていません。

疎通が正常でも起きうる3つの劣化

  • サイレントなモデル差し替え:上位モデルを指定していても、混雑時や長いコンテキストで安価な小型モデルや旧スナップショットへ振られる
  • 推論予算の削減:モデル名は同じまま、Reasoning Effort が下げられたり内部思考が途中で切られたりする
  • コンテキストや出力上限の切り捨て:会話履歴の序盤が削られ、複数条件のタスクで整合が崩れる

HTTP 200 は返り、短い雑談は流暢なまま、思考が短いぶん応答が速く見えることさえあります。一方でモデルにはサンプリングの揺らぎもあり、失敗を数回見ただけでは通常のばらつきと構造的な劣化を区別できません。以前の記事「モデルは本当に『賢さが落ちた』のか?」でも整理しています。

よくある手動テストが効きにくい理由

  1. 「あなたはどのモデルか」と尋ねる。言語モデルは前段のプロキシを認識できません。システムプロンプトの指定や定型文だけで、購入したモデル名を名乗ることはできます。自己申告は身元証明になりません。
  2. 固定の有名問題を繰り返す。学習データに入っている可能性があり、同じ入力を繰り返すと静的キャッシュや、検証用だけを清浄な上流へ逃がすホワイトリストが使えます。

問題自体が事前にキャッシュされにくく、表面的な正誤だけに頼らない検査が必要です。

2軸プローブと、同じ時間窓の公式校正

  • 時事プローブ:直近の出来事と新しい条件を多段の推論課題に入れ、現実の時間に沿って更新する。静的キャッシュや検証専用経路を封じやすく、知識カットオフの古い代替モデルも露出しやすい。
  • モデル指紋プローブ:正誤だけでなく思考習慣とトークン消費を見る。プローブ一致率、入力トークン、思考トークン(Reasoning Tokens)、API が返す指紋、取得できる場合のキャッシュ状態を記録する。

中継側のスコアが下がっても、原因は中継の劣化とは限りません。公式側の微調整、一時的な変動、新しい問題セットに対する公式そのものの基礎通過率、という説明もあり得ます。そのため Folkbench は、外部中継を一切通さない独立した公式直結 API キーで、同じ時間窓に同じプローブを並行実行します。集計はサイト全体の平均ではなく、「モデル × サービスグループ」単位です。

読み方の境界は原文どおりです。サンプル数、連続した時間帯、トークン構造、検査条件とあわせて見る早期警戒シグナルであり、終局的な断定ではありません。

選定から切替まで

整合性モニターに加えて、可用性(偽 200 やストリーム途中切断、パース失敗を除外)、安定性、応答速度(TTFT と生成速度を分離)、セッション費用の4つの公開ランキングと、横並び比較があります。使い方の例は次の通りです。

  1. 4つのランキングで対象モデルとグループを絞る
  2. 整合性モニターで公式基準線と、一致率・思考トークン・モデル指紋を連続した時間帯で確認する
  3. 課金前に、契約予定グループそのものを比較する
  4. オープンソースの Folkbench Switch(Tauri + Rust、macOS .dmg / Windows .exe、Claude Code・Codex・Gemini CLI・Aider・OpenCode・Kimi CLI などに対応)に主回線と予備を入れておき、差分を確認して切り替える。Codex の公式 OAuth は第三者へ切るときに退避し、公式へ戻すときに復元できる。劣化監視とキャッシュ観測は Web 側の機能であり、クライアントに内蔵された検出ではない

原文(日本語):

サイトは登録なしで閲覧できます:

中継の「賢さが落ちた」疑いを、同じ時間窓の公式直結と比較している方は、どんな指標を見ていますか。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?