0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Gemini ArgonのLow・Medium・Highを約12万文字の資料で比較してみた

0
Posted at

はじめに

GeminiのArgonを使ってみたところ、High設定の回答品質には満足していました。

ただ、自分の利用環境ではHighは比較的早く利用制限に達し、Mediumでも制限が気になる場面がありました。

そこで気になったのが、LowやMediumへ下げると、回答品質がどこまで変わるのかという点です。

調べた範囲では、ArgonのLow・Medium・Highを同じ課題で直接比較できる情報を十分に見つけられませんでした。そこで、自分が普段AIに任せている長文資料の読解や設定の整合性確認に近いテストを用意しました。

今回はArgonの3設定を主な比較対象とし、参考としてGPT-6 HighとGemini 3.8 Flash Highも同じ課題で試しています。

なお、これは各モデルの一般的な性能を測る公式ベンチマークではなく、個人で実施した小規模な比較です。

検証方法

検証期間

2026年10月16日〜18日の3日間に実施しました。

比較したモデル・設定

モデル 設定 位置づけ
Gemini Argon Low 主な比較対象
Gemini Argon Medium 主な比較対象
Gemini Argon High 主な比較対象
Gemini 3.8 Flash High 参考比較
ChatGPT GPT-6 High 参考比較

ChatGPTのモデル選択画面には「GPT-6」と表示されていました。OpenAIの公式ヘルプによれば、GPT-6選択時のHighはGPT-6 Solを使用します。そのため、この記事ではUI表示に合わせてGPT-6 Highと表記します。別に選択できる「GPT-5.6 Sol」を使用したわけではありません。

使用した資料

架空の世界観・人物・能力・制度などをまとめた、自作のテキスト資料5ファイルを使用しました。

合計120,826文字(改行・空白を含む)です。これは文字数であり、トークン数ではありません。

資料には、確定した設定のほか、検討中・未設定の項目も含まれています。単に記載内容を見つけるだけでなく、確定事項と推測を区別して回答できるかも確認しました。

テストの流れ

すべての条件で同じ資料と基本的に同じ質問・順序を使用しました。

段階 内容 確認したこと
1 Q1〜8:資料に関する質問 情報の検索、分類、未設定事項の扱い
2 意図的に誤った内容を含むIF設定を提示 一時的な仮定を扱えるか
3 IF終了後、Q9〜16+短い文章生成 元の設定へ戻れるか、人物や能力の特徴を守れるか
4 Q17〜24:考察、比較、誤前提を含む質問など 複数情報の統合、推論、誤りの訂正
5 Q25:設定に沿った文章生成と補足説明 未設定部分を補完しつつ、設定との整合性を保てるか

IFの段階では、人物の生死や能力、制度の確定状況などについて、元資料とは異なる情報を一時的な仮定として提示しました。その次の段階ではIFを終了させ、元の資料に基づいて答えられるかを確認しています。

また、Q20では資料と矛盾する前提を質問文に入れ、そのまま回答するのか、矛盾を指摘するのかを調べました。

Q22では、資料と無関係な「今日の天気」について質問しました。外部情報の取得と話題の切り替えを見るためのもので、天気予報そのものの精度比較は目的としていません。

最後のQ25では、資料上で詳細が確定していない要素について、既存の情報を踏まえながら新たな内容を生成してもらいました。新しい要素の追加は認めたうえで、元資料に記載された事実と、AIが推測・補完した内容を区別して説明することも条件としました。

回答品質の比較は、原則として各条件1回の完了した回答を対象としました。複数回の試行による再現性は確認していません。また、サービスごとに画面やツールの動作が異なるため、完全に同一の実行環境ではありません。

検証結果

全体の比較

モデル・設定 基本読解・IFからの復帰 応用的な考察 文章生成・設定との整合性 全体の印象
Argon High 良好 特に良好 特に良好 今回最も満足度が高い
Argon Medium 良好 特に良好 特に良好 Highにかなり近い
Argon Low 良好 良好。一部で考察が浅い 良好 想像以上に実用的
Flash 3.8 High 良好 良好 良好。一部設定解釈にズレ 回答品質は高いが表示上の不具合も経験
GPT-6 High 良好 良好。一部は特に優秀 文章の出来と設定適合性で評価が分かれた 誤前提への対応で失点

これは正答率を厳密に数値化した表ではなく、資料作成者として回答を確認した定性的な評価です。

基本的な読解とIFからの復帰では、大きな差が出なかった

Q1〜8とQ9〜16では、5条件とも概ね期待どおりに回答しました。

特に、途中で一度誤ったIF設定を扱わせても、IF終了後は元資料の内容に戻れていました。

最初はLow設定だと、この段階でも取りこぼしが増えるのではないかと考えていました。しかし、少なくとも今回の範囲では、そのような大きな性能低下は確認できませんでした。

応用的な推論では差が見えた

Q19では、資料に記載された複数の条件や制約を踏まえ、追加条件を与えた場合にどのような結論を導くか確認しました。

Argon Lowは、特定の能力を判断材料として重視していました。しかし、その能力には使用までに時間がかかるという制約があり、今回の条件では実際に活用することが難しいと考えられます。この制約を十分に考慮できていなかった点が気になりました。

一方、Argon High・Medium、Flash 3.8 High、GPT-6 Highは、複数の条件を組み合わせ、それぞれの制約も考慮しながら結論を導いていました。特にFlash 3.8 Highは、予想とは異なる結論でしたが、理由に説得力があり印象に残っています。

なお、この問題には資料上で確定した正解がありません。そのため、結論そのものが一致するかではなく、資料に記載された情報と追加条件をどこまで合理的に扱えているかを重視しました。

誤った前提への対応では、GPT-6 Highだけ異なる回答になった

Q20では、資料に記載されている順位情報を質問文の中で意図的に入れ替え、誤った前提を与えました。

この課題では、AIがユーザーの質問文をそのまま正しい情報として扱うのか、それとも元資料との矛盾を検出できるのかを確認しました。

モデル・設定 結果
Argon High 誤った前提を訂正
Argon Medium 誤った前提を訂正
Argon Low 誤った前提を訂正
Flash 3.8 High 誤った前提を訂正
GPT-6 High 質問文の誤った前提を訂正せず、そのまま回答した

今回、最も明確に差が出た問題の一つでした。

もっとも、実際の対話ではユーザーが設定を変更することもあります。そのため、最新の発言を優先することが常に間違いとは限りません。今回の条件では元資料の設定変更を指示していなかったため、矛盾を指摘できた4条件を高く評価しました。

文章生成は、完成度だけでなく設定との整合性が重要だった

Q25では、既存資料の情報を利用しながら、詳細が未確定の部分を補完する文章生成を行いました。新しい要素を追加することは認めていますが、既存設定との整合性を維持する必要があります。

Argon HighとMediumは、既存資料に記載された情報を積極的に活用し、矛盾を抑えながら具体的な内容を生成していました。両者はかなり似た方向性の回答となり、明確な差を感じにくい部分もありました。

Argon Lowも概ね期待どおりの内容でした。一部改善の余地はありましたが、対話しながら修正を重ねる用途であれば、十分に活用できると感じました。

Flash 3.8 Highは、具体的な提案ができていた一方で、資料に記載された分類や条件の一部を過大に解釈している箇所がありました。

GPT-6 Highは、文章構成や内容の展開に優れていました。ただし、既存資料にある要素よりも新しく補完した要素を優先する傾向が見られ、今回期待していた方向性とは異なる部分がありました。

今回の結果から、生成された文章の完成度と、元資料への忠実性や提案内容の採用しやすさは、別々に評価する必要があると感じました。

考察と注意点

Lowでも、今回の用途では十分に使える場面が多かった

検証前は、Lowへ下げると長文資料の読解や設定の整合性確認で大きく品質が落ちることを心配していました。

実際には、基本読解・IFからの復帰・誤前提の訂正などで大きな問題は見られませんでした。複雑な推論ではMediumやHighの方が納得しやすい回答もありましたが、Lowが明確に使い物にならないという結果ではありませんでした。

Mediumについては、今回の課題ではHighとの差がかなり小さく感じられました。ただし、これだけで両者の性能が同等だとは判断できません。

Flash 3.8 Highは回答品質以外の問題もあった

Flash 3.8 Highでは、検証中に回答の一部が表示されなかったり、天気情報だけが表示されたりする現象を経験しました。

原因がモデル本体、外部ツール、サービスの表示処理、あるいは検証時の環境にあるのかは特定できていません。したがって、推論能力の誤りとは分けて扱う必要があります。

一方、実際に利用する立場では、回答が安定して取得できるかどうかも重要です。今回の結果では、Flash 3.8 Highも節約用の候補になりますが、継続利用時の安定性はもう少し確認したいと思いました。

今回検証できていないこと

今回の結果には、いくつか限界があります。

  • 各条件ほぼ1回の試行であり、偶然の回答差を排除できない
  • 元資料は1セットのみで、異なる分野や形式への一般化はできない
  • 後半の考察や文章生成には、資料作成者である自分の主観的な評価が含まれる
  • サービスごとの内部処理やツール利用を完全に統一できていない
  • 利用制限に達するまでの回数や、実際のコスト効率は定量測定していない
  • 数十〜数百ターンの長期会話で、設定を維持できるかは検証していない

最後の項目は特に重要だと考えています。

今回試したのは、主に最初に渡した長文資料を、数ターンのやり取りで正しく利用できるかという点です。

しかし、継続的な作業では、会話の途中で新しい事項を決めたり、以前の案を破棄したりします。そうした会話中に生まれた決定事項を何十ターン後まで保持できるかは、今回の結果からは分かりません。

また、会話を切り替えるたびに引き継ぎ資料を作るのは手間がかかり、必ずしも情報が完全に引き継がれるとは限りません。長期利用については、別途検証したいと考えています。

まとめ

今回の比較では、Argon Low・Medium・Highの間に差は感じられたものの、当初想像していたほど大きな差は出ませんでした。

特にLowは、約12万文字の資料を用いた読解や設定確認でも、想像以上に安定した回答を返しました。一方、複数の条件を組み合わせた推論や、既存資料を利用した新しい内容の生成では、MediumやHighの方が満足度の高い場面もありました。

そのため、現時点では次のように使い分ける予定です。

用途 設定
普段の相談、長文資料の確認 Argon Low
複雑な考察、重要な判断材料の整理 Argon Medium
重要な文章の最終確認、特に慎重に検討したい場面 Argon High
Argonの利用枠を節約したい場面 Gemini 3.8 Flash Highも候補

もちろん、重要な内容の最終確認はAIだけで完結させず、元資料なども確認する前提です。

「Highが強いから常にHighを使う」のではなく、「Lowで不足を感じた場面だけ設定を上げる」。

今回は、このような運用を試してみようと思える結果になりました。

ただし、長期会話での記憶・一貫性や複数回実行した際の安定性については未検証です。今後の使い方を通じて、今回の判断が妥当だったかを確認していきたいと思います。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?