【公式ドキュメントを読もうシリーズ】タスクに適した AI モデルの選択

シリーズ概要

https://qiita.com/yasu_programming/items/cec66f9e8d5d571e9ce3

URL

https://docs.github.com/ja/copilot/using-github-copilot/ai-models/choosing-the-right-ai-model-for-your-task

説明

GitHub Copilot は、さまざまな能力を持つ複数の AI モデルをサポートします。選ぶモデルによって、Copilot Chat とコード補完の回答の品質と関連性は影響を受けます。待機時間が少ないモデルや、特定のタスクではハルシネーションが少ない、またはパフォーマンスが高いモデルがあります。

自分のプロンプトの悪さから出力の精度が悪いんだなあと思うことと同時に、モデルが適切かどうかも考えることで、解決時間が早くなるのかもしれないので、解決できる選択肢を増やすというのは大事なアプローチなんだろうなと思った。

ざっくりとしたユースケースが公式ドキュメントに載っていた(2025年5月13日現在)

コストとパフォーマンスのバランスを取る場合は、GPT-4.1 またはまたは Claude 3.5 Sonnet を試してください。

深い推論や複雑なコーディングの課題には、o3、GPT-4.5、または Claude 3.7 Sonnet を試してください。

マルチモーダル入力とリアルタイムパフォーマンスを求める場合は、Gemini 2.0 Flash または GPT-4o を試してください。

所感

ずっとClaude 3.5 Sonnetを使ってきたが、Copilot Freeで使えるGPT-4.1も精度がいいというのをxで見たような気がするので、試してみようかなとも思っている。

ProプランだとClaude 3.7 Sonnet、Pro+プランだと現在(2025年5月13日現在)パブリックプレビュー段階ではあるが、o3を試してみたい。