0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

GitHub Copilotの利用データを分析したら、Claude Sonnet固定はAutoの約2.4〜2.8倍消費していた

0
Posted at

GitHub Copilotでは、利用するモデルを固定する方法と、Autoモードに任せる方法があります。

高性能モデルを固定しておけば、常に良い結果が得られるようにも見えます。一方、組織全体で利用枠を共有している場合、モデルの選び方によって消費量に大きな差が出る可能性があります。

そこで、所属する開発チームの連続する2か月分の利用データを分析し、Autoモードとモデル固定時の傾向を比較しました。

各数値は公開可能な範囲に丸めています。

先に結論

  • Autoの中央値は約100〜130で、消費量は比較的安定
  • モデル固定の平均消費量はAutoの約2.4〜2.8倍
  • 固定時には約6,000〜7,000超のスパイクが発生
  • Autoでは約8割のリクエストでSonnet以外が選択
  • 固定指定されたSonnet系は、約2割のリクエストで消費量の約3分の2を占めた

高性能モデルを使うこと自体が問題なのではありません。

Autoでも必要に応じてSonnetが選択されているため、通常はAutoを利用し、明確な目的がある場合だけ高性能モデルへ切り替えるほうが、開発効率と利用枠を両立しやすいと考えています。

分析対象

対象は、GitHub Copilotの連続する2か月分の組織内利用データです。

次の項目を確認しました。

  • Autoとモデル固定の消費量
  • 平均値、中央値、最大値
  • Autoで選択されたモデル
  • モデル別の利用回数と消費量

なお、今回分析したのはモデル選択とクレジット消費量です。

生成コードの品質、タスク完了時間、修正量などは計測していないため、Autoとモデル固定の品質差までは評価していません。

Autoとモデル固定では、消費量の分布が異なった

2か月分の結果を、公開可能な範囲で丸めると次のようになります。

指定方法 中央値 平均値 最大スパイク
Auto 約100〜130 約100〜140 固定時ほどの極端な値はなし
モデル固定 約65〜100 約290〜325 約6,000〜7,000超

モデル固定は、中央値だけを見るとAutoより低くなっています。

しかし、平均値はAutoの約2.4〜2.8倍でした。

比較月 モデル固定 ÷ Autoの平均消費量
1か月目 約2.8倍
2か月目 約2.4倍

モデル固定時は、中央値付近の値は比較的小さい一方で、一部に数千単位のスパイクが含まれていました。

そのため、中央値だけを見ると消費量が小さく見えますが、少数の大きな値によって平均値は大きく押し上げられます。

今回のデータにはリクエスト内容が含まれていないため、どのような処理がスパイクを引き起こしたかまでは判断できません。

ただし、組織全体の利用枠を見るうえでは、平均値や中央値だけでなく、最大値や上位の高消費リクエストも確認する必要があると分かります。

Autoでは約8割のリクエストでSonnet以外が選ばれた

Autoモードで実際に選択されていた主なモデルは、次のとおりです。

  • GPT-5.3-Codex
  • Claude Sonnet 4.6
  • Claude Haiku 4.5
  • GPT-5.4
  • GPT-5.4 mini

2か月とも、最も多く選択されていたのはGPT-5.3-Codexでした。

Autoモード内の選択結果を、Claude Sonnet 4.6とそれ以外に分けると次のようになります。

比較月 Claude Sonnet 4.6 Sonnet以外
1か月目 約18% 約82%
2か月目 約22% 約78%

Autoでは、約8割のリクエストでSonnet以外のモデルが選択されていました。

一方で、約2割のリクエストではClaude Sonnet 4.6が選ばれています。

つまり、Autoは高性能モデルを一律に避けるのではなく、リクエストに応じてモデルを切り替える仕組みと考えられます。

ただし、この結果だけで「約8割のタスクではSonnetを使う意味がない」とまでは断定できません。

今回確認できたのは、Autoモードによる実際の選択結果として、約8割でSonnet以外が選ばれていたという事実です。

固定指定されたSonnet系に消費が集中していた

モデル別に見ると、固定指定されたClaude Sonnet系の消費量が突出していました。

指標 1か月目 2か月目
リクエスト比率 約21% 約20%
消費量比率 約64% 約67%

固定指定されたSonnet系は、リクエスト全体の約2割でした。

それにもかかわらず、消費量では約3分の2を占めていました。

言い換えると、約2割のリクエストが、全体消費の約64〜67%を占めていたことになります。

この結果から、単純な利用回数だけでなく、どのモデルを固定していたかが、組織全体の消費量に大きく影響していたことが分かります。

高性能モデルを使う場面

ここからは、今回の結果を踏まえた運用上の考えです。

普段Copilotに依頼する内容のすべてが、複雑なタスクとは限りません。

  • コード補完
  • 既存コードに沿った処理追加
  • DTOや型定義の生成
  • テストコードのひな型作成
  • 軽微な修正
  • 定型的な変換処理

こうした作業では、Autoに任せても十分な場面が多いと考えられます。

一方で、次のようなタスクでは、高性能モデルを明示的に選ぶ価値があります。

  • 新規機能やアーキテクチャの設計
  • 複雑なリファクタリング
  • 原因の特定が難しい不具合の調査
  • 複数ファイルを横断する変更
  • 複数の実装案やトレードオフの比較
  • 長いコンテキストを前提としたレビュー

重要なのは、高性能モデルを禁止することではありません。

タスクに応じて使い分けることです。

現実的な運用ルール

今回の結果から、次のような運用が現実的だと考えています。

1. 通常はAutoを使う

日常的なコーディングやバグ修正では、Autoを標準とします。

Autoでも、必要と判断されたタスクではClaude Sonnet 4.6が選択されます。

2. 高性能モデルの固定は目的がある場合に限定する

複雑な設計や不具合調査など、明確に高い推論性能が必要な場面では、SonnetやOpus、GPT-5.6系統を個別に指定します。

3. 作業後はAutoへ戻す

高性能モデルを固定したままにすると、その後のタスクでも同じモデルが使われ続けます。

そのため、固定利用後はAutoへ戻すところまで運用に含めます。

4. 平均値だけで判断しない

利用状況を見るときは、次の指標を併せて確認します。

  • 平均値
  • 中央値
  • 最大値
  • モデル別の利用回数
  • モデル別の総消費量
  • Autoと固定指定の比率

平均値が高いからといって、全員が均等に使いすぎているとは限りません。

一部の高消費リクエストや、特定モデルの固定利用が全体を押し上げている可能性があります。

今回の分析だけでは分からないこと

今回のデータだけでは、次の点までは判断できません。

  • Autoとモデル固定で生成コードの品質にどの程度差があったか
  • 高性能モデルによって開発時間がどの程度短縮されたか
  • 消費量に見合う成果が得られたか
  • 同じタスクを異なるモデルで実行した場合の差
  • 利用者がモデルを固定した理由

そのため、Autoが常に品質面でも最適とは断定できません。

ただし、組織全体の利用枠を安定させるという観点では、Autoを標準とし、必要な場面だけ高性能モデルへ切り替える運用は有効そうです。

まとめ

  • Autoの中央値は約100〜130
  • モデル固定の平均値はAutoの約2.4〜2.8倍
  • 固定時には約6,000〜7,000超のスパイクが発生
  • Autoでは約8割でSonnet以外が選択
  • 固定指定されたSonnet系は、約2割のリクエストで消費量の約64〜67%を占めた

Copilotの利用枠を安定させるには、単に利用を控えるよりも、Autoを標準にし、高性能モデルの固定を必要な場面に限定するほうが現実的です。

高性能モデルを使えることはCopilotの大きな利点です。

だからこそ、すべてのタスクで固定するのではなく、必要な場面で適切に使い分けることが、開発効率と利用枠の両立につながると考えています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?