1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

HiRoute 新リリース:実際の業務に最も適したモデルを選択する

1
Posted at

本記事は、オープンソースプロジェクト「Alibaba Cloud AI Agent Handbook」に収録されています。より快適な閲覧体験をご希望の方は、以下のURLをご利用ください:https://aliyun.github.io/ai-agent-handbook/run/chapter-09.html

最近では、数週間ごとに新しいモデルが次々と登場しています。これらのモデルは、旗艦モデルに比べてコストが大幅に削減されており、一方で汎用ベンチマークスコアにおいても既にその性能に迫る水準に達しています。エポックAI(Epoch AI)が今月発表した報告書『The plunging price of thought(思考コストの急落)』によると、2023年以降、同等の能力水準を達成するためのコストは、四半期ごとに平均約47%ずつ低下しているとの推定です。今後は、十分な品質を備えながらも低価格なモデルがさらに増えていくでしょう。しかし、現実の課題は二つに絞られました:
① 自分の業務のどのステップをAIに任せるか、
② 与えられたタスクをどのエージェント(Agent)に割り当てるか。

HiRoute は、エージェント向けのオープンソース・ローカル実行型インテリジェントルーティングエンジンです。Codex、Claude Code、Qoder、Pi、OpenCode、Hermes、DeepSeek Harnessといった、既に使い慣れたエージェントをそのまま活用しつつ、HiRouteが各ステップに最適なモデルを自動的に選択します。今回のアップデートは、上記の二つの課題解決に焦点を当てています:

使用しながら新モデルを評価する:ホーム画面の「New Models(新モデル)」から試行を開始できます。信頼度(trust level)は継続的に調整可能で、自身の業務における実績に基づき、モデルパフォーマンスレポートが信頼度の引き上げ/引き下げを推奨します。変更を公開する前に、過去の記録を再実行して効果を確認できます。

System One の1ターンあたり3つの質問:前ステップのレビュー、現在ステップの評価、次ステップへの備え——この3つの独立した判断を1ターン内で行います。論文で検証されたサブセットにおいて、両方の意思決定モデルとも、エンジニアリングおよび数学シナリオにおけるモデルグループ選択精度が明確に向上しました。新たにOpenAI Decisionsが意思決定モデルとして追加され、既存のAlibaba Cloud Model Studio、OpenAI、またはOpenRouter接続もそのまま再利用可能です。

タスクを適切なエージェントに割り当てる:ルーティングプランは実行エージェントに紐付け可能です。Hermesは、モデルルーティングに加えてタスクルーティングもサポートし、OpenCodeはタスクの委任と実行エージェントとしての両方の役割を果たせます。HermesとHiRouteを組み合わせることで、DeepSeekが最近提唱した「Super Agent(スーパーエージェント)」アーキテクチャと類似したシステム構築が可能です。

Windows・macOS・Linuxの全3プラットフォームでグラフィカルインターフェース対応:Windowsデスクトップ版が初登場。Linuxユーザーは、ブラウザ上で同一のUIをアクセスできます。

その他の改善点:サブスクリプションとAPIを連携可能、APIキーごとに支出予算を設定可能、接続ごとにプロキシを個別設定可能、ローカル記録をよりコンパクトに保存可能。

01 各ステップを再評価する:複雑なタスクにも単純な作業が含まれている

一般的なアプローチとして、「コーディングには高性能モデルを、情報整理には安価なモデルを」とシナリオごとにモデルを分割することがあります。確かに異なるシナリオには異なる能力が求められますが、実際の会話では、難易度はステップごとに変化します。つまり、複雑なシナリオにも多数の単純作業が含まれており、逆に単純なシナリオでも突然困難な問題が生じることがあります。

技術選定に関する比較実験を行いました。まず6つの候補技術を調査し、公式資料を検証した後、主要なソリューションについて意思決定メモを作成します。このタスクにおいて、情報整理を安価なモデルに、重要な判断を主力モデルに割り当てたところ、主力モデルのみを使用した場合と同等の品質の判断結果が得られ、総コストは約1/12にまで削減できました。一方、安価なモデルを全ステップで使用した場合、情報整理の品質は概ね良好でしたが、3つの重要判断のうち2つで重大な誤りが発生しました。

1
図1:同一の受容基準における総タスクコスト比較

そこでHiRouteは、以下のように責任を分割します:
・シナリオが候補モデルと受容基準を決定します。
・各ステップで使用するモデルの選択は、そのステップに到達した時点で行われます。
・モデル切り替えは、ユーザーが新しいメッセージを送信したとき、またはコンテキストが圧縮・再構築されたときにのみ発生します。
・同一ターン内のツール呼び出しは常に同一モデルで実行され、切り替え後の最初のリクエストのみキャッシュがヒットしません。

詳細については、実際のケーススタディおよびモデル切り替えとキャッシュのコスト分析をご参照ください。

以下は、実際の会話のスクリーンレコーディングです。左側がDeepSeek Harness、右側がHiRouteです。ルーティングプランでは、新モデルとしてDeepSeek V4.1 Flashを、主力モデルとしてGPT-6 Astraを使用しています。ユーザーは通常通りエージェントにリクエストを送信するだけで、一切手動でのモデル切り替えは不要です。

3分間の製品紹介動画:実際の会話のスクリーンレコーディング。信頼度(trust level)の表示は説明用であり、コストはAPI相当の推定値です。

  1. テストの追加と設計上のトレードオフの議論:これら2つのターンは十分に単純ではなく、主力モデルが処理します。1回目のターンにおける21回の呼び出しはすべて同一モデルで実行され、キャッシュヒット率は約90%です。

  2. 簡潔な使い方ガイドの作成:これは十分に単純な作業であるため、新モデルに任されます。

  3. ユーザーが「このバージョンは機能概要のように読める」と指摘しました。前ステップのスコアは0.32で、問題は次の書き直しに直接関係しているため、低スコア保護機能により主力モデルが引き継ぎます。

  4. 書き直されたバージョンのスコアは0.83です。問題が解決されたため、次のステップ(データのエクスポート)は再び新モデルに戻ります。

2
図2:会話タイムライン — 各ターンで使用されたモデルとその選択理由を記録

02 新モデル:自社業務で実際に使う中で評価する

ベンチマークやランキングは初期スクリーニングには有効ですが、「私の業務で本当にうまく機能するか?」という問いには答えられません。Scale AIが昨年9月にリリースしたSWE-Bench Proが一例です。SWE-bench Verifiedで70%以上の課題を解決できるトップモデルが、SWE-Bench Proの公開課題ではわずか約23%しか解決できません。スタートアップ企業のプライベートコードベースでは、最高結果がさらに17.8%まで低下します。

課題自体がより難しくなっているため、最初の性能低下は単にモデルがそれらを「見たことがない」ことだけが原因とは言えません。ただし、公開課題とプライベート課題は同一の手法で構成されており、後者の低下はより本質的な課題を示唆しています。モデルにとって、あなたのコードベースはまさにこのような「未見のプライベートコード」なのです。

新モデルはあまりにも速いペースで登場するため、各リリースごとに専用の評価セットを構築するのは現実的ではありません。私たちのアプローチは、「実際に使う中で評価する」ことです。すなわち、まず新モデルに十分に単純なステップを割り当て、各ステップ後に結果を確認し、問題が発生した場合は主力モデルが即座に引き継ぎ、十分な実績が蓄積された段階で徐々に責任範囲を拡大していくという方法です。今回のアップデートでは、このワークフローが完全に実装されました:

ホーム画面からトライアルを開始:ホーム画面の「New Models(新モデル)」には、推奨される新モデルが表示されます。試したい新モデルと既存の主力モデルを選択し、それを自分のエージェントにマッピングします。すべての変更は公開前に一覧表示されます。エージェント内で使用されるモデル名は変更されないため、設定の変更は不要です。

継続的に調整可能な信頼度(trust level):信頼度は難易度のしきい値です。右方向に移動するほど、より多くの単純作業が新モデルに割り当てられます。あらかじめ用意された5段階(Trial/Familiarity/Trust/Hands-Off/Entrustment)に加え、任意の位置で停止できます。

主力モデルはいつでも引き継げる:新モデルのステップスコアが最低限の能力しきい値を下回り、かつその問題が今後の作業に関連している場合、低スコア保護機能により主力モデルが引き継ぎます。問題が関連しなくなった時点で、選択は再び難易度に基づいて行われます。

3
図3:新モデルの信頼度設定

「このステップはどれほどうまくいったか?」を評価する最も直接的な根拠は、ユーザーの次のメッセージにあります。「前のステップの結果を明示的に拒否する」ことは、それが不十分であったという明確な証拠です。一方、「さらなる作業を依頼する」あるいは「何も言わない」という行動は、失敗を意味しません。今回のアップデートでは、スコアリングを実際のフィードバックにより近づけるよう改良しました。すなわち、明示的な承認を認識し、部分的承認と完全承認を区別し、部分的に利用可能な進捗にも評価を付与します。

一定期間の使用後、モデルパフォーマンスレポートが各段階のスコア、新モデルが処理した作業の割合、およびコスト推定をまとめます。個別のスコアは不正確な場合があるため、信頼度の調整には十分な根拠が必要です:

信頼度の引き上げ推奨:前回の調整以降、少なくとも3つの会話から、完全なスコアが付与されたステージが30以上収集され、そのうち60%以上がスコア付きであり、かつスコア付きステージの85%以上が能力しきい値を満たしている必要があります。

信頼度の引き下げ推奨:完全なスコアが付与されたステージが少なくとも30あり、そのうち70%未満がしきい値を満たしている場合。

4
図4:各ルールの実際の値と要件が並列表示され、変更の効果を確認するために記録が再実行されます。コストはAPI相当の推定値です。

信頼度の引き上げ要件は、意図的に引き下げ要件よりも厳しく設定されています。偶発的な成功がいくつかあるだけでは、より多くの作業を委ねる正当性は得られません。一方、問題が明確になった場合には、責任を迅速に縮小すべきです。推奨はあくまで「推奨」であり、公開されるまではルーティングに反映されません。現在の信頼度を維持することも、当然の選択肢です。「エージェント」設定で日常的に使用するエージェントに対して「HiRoute Management」を有効化すると、モデルパフォーマンスレポートや信頼度調整推奨を直接読み取らせることも可能です。定期的なレビューには、エージェント自身のスケジュールタスクをご活用ください。

03 System One:1ターンあたりたった3つの質問

上記の判断は、各ターンで1回ずつ行う必要があります。最も直接的なアプローチは、タスク、履歴、ルーティングポリシーを意思決定モデルに与え、「このステップにはどのモデルを使うべきか?」と尋ねることです。私たちはこれを試しましたが、結果は安定しませんでした。モデルは、タスクの難易度、過去のパフォーマンス、問題の解決状況、ポリシーの規定内容を、一度にすべて考慮しなければならず、いずれか1つを誤判断すれば最終的な結論も誤ってしまいます。

System Oneは、この判断を3つの独立した質問に分解し、1回のリクエスト内でそれぞれを個別に回答します:

5
図5:System Oneの1ターンあたり3つの質問

前ステップ・レビュー:どれほどうまくいったか? 能力スコアを提示します。このスコアはモデルパフォーマンスレポートにも含まれます。

現在ステップ・即時評価:どれほど難しいか? 「十分に単純である」確率を提示します。十分に単純な作業のみ、経済モデルに割り当て可能です。

次ステップ・先を見据える:前ステップの問題が次ステップに持ち越されるか? 「既知だが未解決の問題が依然として適用されるか」を判断します。次ステップが成功するかどうかを予測するものではありません。

意思決定モデルは質問への回答のみを行い、しきい値の設定、モデルグループの選択、実行はすべてHiRouteが担当します。信頼度の調整は、質問そのものではなくしきい値を変更します。今回のアップデートから、3つ目の質問がデフォルト評価に組み込まれました。すなわち、前ステップが不十分であり、その問題が継続する場合、主力モデルが引き継ぎます。問題が解決されたか、もはや関連性がなくなった時点で、保護機能は解除されます。

このメカニズムは論文で文書化され、中国語および英語のデータセット、生のモデル応答、オフライン再現用ツールを公開しました。実験では、両手法が同一のタスクコンテキストおよび完全なルーティングポリシーを読み取り、1つは直接モデルグループを選択し、もう1つは3つの質問に回答して、HiRouteがその回答を統合して最終判断を行います。

6
図6:レビュー済みサブセットにおける最終的なモデルグループ選択精度

これらの結果の1点に注目すべきです:直接グループ選択を行う場合、2つの意思決定モデルは正反対の方向で誤りを犯していました。数学シナリオでは、Jev 1.14は過剰に積極的で、保護機能が必要な24件の記録のうち正解は6件のみでした。一方、OpenAI Decisionsは過剰に慎重で、保護機能を解除すべき16件の記録のうち正解は2件のみでした。3つの質問方式に切り替えた後、Jev 1.14は保護機能が必要な24件すべてで正解し、解除すべき16件でもすべて正解を維持しました。OpenAI Decisionsは、保護機能の解除で14件の正解に改善しましたが、保護機能の適用では24件から22件へと若干減少しました。

この分解によって、互いに正反対のバイアスがどちらも大幅に軽減されました。

コストとレイテンシも問題ありません。Jevの実際の課金に基づくと、1,000回の3質問判断は約0.084~0.086米ドルです。接続設定時間を除けば、実測された中央値の判断レイテンシは0.5~1秒であり、各ターンでの再評価は十分に実用的です。

なお、これらの結果は「明示されたポリシーに従って正しいモデルグループが選択されたか?」を測定したものであり、タスク完了率や実際の金銭的節約額を示すものではありません。この比較には、出力を検証後にレビューされたサブセットが使用されています。すべてのモデルおよび両手法は同一の除外リストを用いており、改善幅は意思決定モデルおよびシナリオによって異なります。OpenAIの結果は実験用の研究アダプターによるものであり、組み込みのOpenAI接続のパフォーマンスを保証するものではありません。

完全なデータ、除外リスト、および制限事項については、論文をご参照ください。

意思決定モデルの接続もより柔軟になりました:

  • OpenAI Decisionsが新たに追加されました。組み込み接続は、Alibaba Cloud Model Studio、OpenRouter Jev、TypeSafe、および互換エンドポイントもサポートします。

  • 既存のAPI接続を再利用可能:OpenAI、OpenRouter、Alibaba Cloud Model Studioのトークンプランおよびワークスペース接続は、通常のモデルとAPIキーを共有できます。TypeSafeおよびその他の互換エンドポイントでは、エンドポイントアドレスとキーを個別に入力することも可能です。

  • モデルのコンテキストウィンドウに応じて意思決定コンテキストを割り当て:既知のモデルについては公式仕様を採用、または独自の制限を設定できます。現在の入力および3つの質問は常に完全に保持され、その後に可能な限り最新の完全なステップが追加されます。

04 タスクルーティング:各タスクを適切なエージェントに割り当てる

モデルルーティングは「このステップをどのモデルが処理するか?」を決定しますが、タスクルーティングは「この作業をどの実行エージェントが処理するか?」を決定します。各ルーティングプランは、対象とする作業タイプを明示し、Codex CLI、Claude Code、Qoder CLI、Pi、DeepSeek Harness、OpenCodeなどの実行エージェントに紐付け可能です。実行中、このエージェントの各ターンは引き続きプランのモデルルーティングに従い、経済モデルグループと主力モデルグループの間で選択を行います。

今回のアップデートでは:

  • Hermesは、自身のモデル要求をHiRoute経由でルーティング可能であり、また公開済みのプランを通じたタスク委任(タスクルーティング)も有効化できます。

  • OpenCodeは、日常的に使用するエージェントとしてタスクを委任するだけでなく、実行エージェントとしても機能します。

  • 実行エージェントは、ローカルマシンに実際にインストールされている機能に基づいて可用性がチェックされ、実行失敗の理由も正確に記録されます。CLIは、委任設定で不足している要素(例:プランの使用シナリオ)を明確に指摘します。

10月31日、DeepSeek Harnessチームは長編記事「Exploring Super-agent Design: Toward More Autonomous Agent Systems(スーパーエージェント設計の探求:より自律的なエージェントシステムへ)」を公開し、研究プロトタイプ dsh-superagent-prototype をオープンソース化しました。

このアーキテクチャは2層に分けられます:永続的な「ルーター」は外部通信、グローバルな調整、タスク割り当てを担当し、自らタスクを実行する必要はありません。一方、「ワーカー」は隔離されたコンテキストで個別のタスクを実行し、結果をルーターに返却します。ルーターは結果を統合して応答します。これにより、長時間実行中のタスクにブロックされることなく、新たなメッセージに即座に対応できます。この記事は、実務上の観察から始まります:1人が同時に監視できるエージェント会話は、およそ3~5件が限界であり、人間の注意力がボトルネックとなっているのです。

HiRouteの既存機能を活用することで、Super Agent専用の別途ルーティング機構を構築することなく、同様のアーキテクチャを構築できます:

7
図7:HermesとHiRouteによるスーパーエージェントアーキテクチャ

パーソナルエージェントをルーターとして活用:HermesはHiRoute上で直接タスクルーティングを有効化できます。OpenClawなどの他のパーソナルエージェントも、ローカルでコマンドライン操作を実行できる限り、同様のコマンドを呼び出せます。

hiroute worker exec で委任:タスク、作業ディレクトリ、受容要件を hiroute worker exec に渡します。--no-wait オプションを付けると、タスクが受理された時点で即座に復帰し、ルーターは会話をすぐに再開できます。複数のタスクを並列実行可能です。

タスク完了時に自動報告:Hermesの場合、提出後にバックグラウンドプロセスでタスク終了を待機し、組み込みの notify_on_complete を有効化します。タスクが完了するとプロセスが終了し、Hermesが結果を取得して会話内でユーザーに報告します。

実行エージェントを指定:情報収集のような軽量タスクはPiに紐付けられたプランに、エンジニアリング向けコード開発はQoder CLIに紐付けられたプランに、コードレビューはCodex CLIに紐付けられたプランに割り当てます。委任時には、プランIDを直接指定するか、各プランに明記された目的に基づいてルーターが自動選択させることも可能です。

# Piに紐付けられたプランへ情報収集を委任;提出直後に即座に復帰
hiroute worker exec --plan <PLAN_ID> --cwd /work/mq-research --no-wait \
  -- "3つのメッセージキューについて公式ドキュメントとリリースノートを収集し、比較表に整理する"
# いつでも進行状況を確認可能;タスク完了後に結果を取得
hiroute worker status --run <RUN_ID>
hiroute worker result --run <RUN_ID>

ルーターは意図(intent)のみを理解し、タスクを割り当て、結果を統合します。各実行エージェントが使用するモデルのコストは、所属するプランによってターンごとに決定されます。Hermesを用いた完全なセットアップ手順については、「HermesとHiRouteでDeepSeek風スーパーエージェントを構築する」をご参照ください。

05 macOS・Windows・Linux向けグラフィカルインターフェース

macOS:macOS 15以降(Apple SiliconおよびIntel)をサポートするデスクトップアプリケーション。

Windows:デスクトップ版が初登場。x64インストーラーは現在のユーザー向けにインストールされ、コマンドラインツール、バックグラウンドサービス、WebView2ブートストラッパーを含み、Pythonや管理者権限は不要です。アプリ内からの更新では、進行中の呼び出しおよびワーカータスクが完了するのを待ってからインストールされます。

Linux:x86_64およびARM64をサポートし、現在のユーザーのディレクトリにインストールされます(sudo不要)。ブラウザでデスクトップ版と同一のインターフェースを開きます。サーバー環境ではデスクトップ環境を必要とせず、hiroute console open コマンドでログインリンクを生成します。

curl -fsSL https://hiroute.ai/install.sh | sh -s -- --console-mode loopback --console-port 5838
hiroute service start --output json
hiroute console open

06 その他の改善点

サブスクリプションとAPIを連携

CodexやClaudeのサブスクリプションを接続する際に、対応するOpenAIまたはAnthropicのAPIキーも併せて入力できます。モデルを1度選択・保存するだけで、両方のソースからモデルを一括でインポートできます。

これにより、サブスクリプションに付帯するAPIクレジットを有効活用できます:ChatGPT Pro/Business、Claude Max/Ultra/Teamなどの対象サブスクリプションは、各請求サイクルでAPIクレジットを付与されますが、未使用クレジットは次期に繰り越されません(OpenAIおよびAnthropicの公式説明をご参照ください)。

クレジットを受け取る組織のAPIキーをここに入力し、サブスクリプションモデルの詳細ページでルートを作成してください。HiRouteはAPI内に同名のモデルを自動検出し、候補として追加できます。これにより、サブスクリプションとAPIの同名モデルが1つのモデルとして統合されます:エージェントは1つのモデル名のみを使用し、HiRouteはサブスクリプションを優先して利用し、一時的に利用不可の場合は自動的にAPIへフォールバックします。

APIキーごとの支出予算設定

一括予算、カレンダー周期での補充、複数キーによる予算共有のいずれかを選択できます。HiRouteはリクエスト転送前に予算を確保し、完了後に精算します。金額はHiRouteが転送したトラフィックから推定され、プロバイダーのアカウント残高からは計算されません。クレジット管理にも有効です:クレジット額と等しい金額を月次補充予算として設定すれば、予算が尽きた時点でそのキーはスキップされます。

接続ごとのプロキシ設定

各API接続は、直接接続、バックグラウンドサービスのプロキシ環境設定の継承、または手動入力のHTTP(S)プロキシとバイパスルールのいずれかを選択できます。同じ接続を共有する意思決定モデルも、同一の設定を適用します。

よりコンパクトなローカル記録

長い会話において、完全なリクエストスナップショットやプロトコルログを繰り返し保存する必要がなくなりました。履歴表示、スコア、およびどのモデルが処理したかを確認するために必要なコンテンツのみを保持します。デフォルトではローカル記録は最大20 GBまで使用可能で、この制限は調整または無効化できますが、7日間の保持期間は維持されます。

モデル情報の個別更新

コンテキストウィンドウサイズなどの公式モデル情報、およびホーム画面の新モデル推奨は、HiRouteのモデルカタログを通じてアプリケーション更新を待たずに個別にリリースされます。

ローカル実行・オープンソース

HiRouteはお客様のコンピュータまたはサーバー上で実行され、Apache-2.0ライセンスで提供されます。

07 はじめに

モデルの接続:対応するサブスクリプションまたはAPIを追加し、経済モデルと主力モデルを選択します。

作業の分割設定:「モデル → 意思決定モデル」から意思決定サービスを接続し、信頼度を選択、プランを公開してエージェントにマッピングします。

通常通りに作業:元のエージェントをそのまま使い続け、HiRouteでモデル切り替えやモデルパフォーマンスレポートを確認します。タスク委任が必要な場合は、インテリジェントタスクルーティングのドキュメントを参照し、プランに適した実行エージェントを選択してください。

HiRouteは完璧ではなく、意思決定モデルも誤りを起こすことがあります。ぜひご自身の業務シナリオで試していただき、判断ミスの事例を教えてください。

HiRouteをダウンロード · ドキュメント · GitHub


この記事は Alibaba Cloud Blog の記事を翻訳したものです。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?