「GPT-6 Astra vs Gemini 3.8 Flash」で検索すると、ベンチマーク表の抜粋か発表の要約ばかり出てくる。どちらも実際の仕事で使った記録ではない。私は個人の技術メディアを運営していて、毎週のように定型の文書をさまざまなモデルに書かせている。その中から、地味だが選定に直結する差が出たので記録として残す。
ユースケースを限定する
比較対象は「週報の起草」に絞る。メディア運用の生データ (記事別views・検索順位・公開ペース) を渡して、500〜700字・3セクション・各セクションの箇条書き3点以内・数字は生データにあるものだけ、という制約付きで週報を書かせる。コード生成でも調査でもない。制約を守った日本語の業務文書が欲しい、という用途だ。
採点は機械で付ける。字数・セクション構成・箇条書き数・数字の幻覚 (生データにない数値を使ったか) を自動判定し、毎回同じ基準を通す。人の好みで点が動かないようにしている。この「制約遵守」は、LLMのベンチマークスコアが高いかどうかと別の軸で、提出物の体裁が命になる仕事では実際に効く。
公式ベンチマークから1つ
Google公式blog「Introducing Gemini 3.8 Flash and 3.8 Flash Cyber」によると、3.8世代のラインナップはFlashとFlash Cyberの2つで、セキュリティ特化のCyberを除けば標準モデルはFlash一本。Pro系は3.1で止まっている。つまり現時点でGemini側の現行標準モデルとOpenAI側の現行モデルを比べるなら、相手はこのFlashになる。ベンチマークの羅列はここではしない。知りたいのはベンチの点ではなく、自分のタスクで守れるかどうかだ。
実装タスクでの実測 (結論のみ)
同一の指示文と生データを渡し、週報起草で各モデル2回ずつ走らせた。Astraは630字・628字で両方とも全項目合格、所要は15秒前後。Flashは801字・766字で、構成と箇条書き・数値の正確さは合格したものの、両回とも字数上限を超えた。対照に走らせたGPT-5.6 Sol (796字・727字) も同じく超過している。このタスクでは字数制約を自力で守れたのがAstraだけだった。
もう一段掘るため、実はこの記事自体も実験場にしている。上のデータを渡して「比較記事の草案を書け」(900〜1,300字・4部構成) という指示を両モデルに投げ、書けた草案を同じ機械採点にかけた。Astraは1,296字・1,153字の2走とも全項目合格。Flashは1走目が1,155字で合格したものの、2走目は1,532字で字数超過、かつ箇条書きが1セクション8点 (上限3点) に膨らんだ。通算すると計4走ずつで、Astraが4/4完全合格、Flashは1/4。数値の捏造だけは8走すべてでゼロで、どちらも数字の信頼性に問題はない。差が出たのはあくまで「与えた制約を守れるか」だった。
コストの話も添える。今回の計測は両モデルともサブスク契約に付いてくるCLI枠内で走らせたので追加課金はない。同じAstraのタスクを従量課金のCLIで走らせた実測は1回約0.32ドルで、週報起草のような小さいタスクを従量で回すのは割に合わない。
詳細データについて
採点表・各走の出力全文・採点scriptは、運営ブログで公開している。対決の詳細データ (採点表・出力全文・採点script)に全走ぶんをそのまま置いた。本稿に結論のみ載せたのは、詳細を並べると読みにくくなるのと、生データは自分で確認できる形で残す方が信用できると考えるからだ。モデルの入れ替えを検討している人は、まず自分の週次タスク1つでも同じ仕組み (機械採点つきの同一指示) を作って2回ずつ走らせることを勧める。その結果は、どのベンチマーク表より移植しやすい。比較の仕組み自体は、以前に書いた自業務タスクでの60分比較の手順がそのまま使える。
今GPT系を使っている人へ: この用途ではAstraは制約遵守が安定しており、代替を探す理由は今のところない。
今Gemini系を使っている人へ: Flashは内容の正確さでは遜色ないので、出力後の字数チェックと再生成を1回工程に組み込めば実用域になる。
最後に正直な話をしておくと、最上位グレードのモデルに週報を書かせるのは明らかに過剰で、普段の週報はもっと安い階層のモデルで回している。この比較はオリンピック選手を区民マラソンに呼んでタイムを測ったようなもので、速いのは当然で、毎週の5kmをこの選手に任せる理由にはならない。ここまで読んで「週報ごときに最上位モデルはもったいない」と思ったなら、それがこの実験でいちばんまともな結論だ。差が出たのは性能の階層ではなく、使い分けの判断材料のほうにある。
なお、この比較・計測はJapan LaunchOpsで行っている。モデル比較の仕組みづくり・コスト管理の相談は日本語AI評価のページで受け付けている。