約1ヶ月前に以下の記事で「Lightroomの写真パラメータ変更を各モデルがどれくらい認識できるか」という確認をDSPyを使って実施してみた.
当時の結果としては
- 1位:Gemini 3 Pro(正解率40%)
- 2位:Claude Opus 4.5(正解率16.67%)
- 3位:Claude Sonnet(正解率10%)
- 同3位:GPT 5.2(正解率10%)
- 5位:Nova2 Lite(正解率6.67%)
という結果でGemini 3 Proの強さが光る結果に.
(試行回数は極めて少ない参考値ですが)
それから約1ヶ月.
Opus 4.6が出た.
ということで今回はOpus4.6で同じ評価を行ったらどうなるか,を確認した.
結果発表
Opus 4.6 11/30正解で正解率36.67%!
前回のランキングに当てはめると
- 1位:Gemini 3 Pro(正解率40%)
- 2位:Claude Opus 4.6(正解率36.67%)
- 3位:Claude Opus 4.5(正解率16.67%)
ということで,Gemini 3 Proには届かないものの写真のパラメータ認識能力は4.5->4.6で結構上がったのでは?という期待が持てそうな結果に.
また,正誤の内容を見てみると
Opus 4.5は何でもかんでもシャドウの変更で説明しようとする悪癖のようなものが感じられたが,今回は不正解になったものも回答の内容はバリエーションに富んでおり,シャドウ説明癖が抜けた(?)可能性もありそう.
まだGeminiは超えられていないし絶対的な正解率だと物足りないものの,マイナーバージョンアップでこの改善.次のOpus 5.0(?)ではどうなるんだろうか,そして対抗するGeminiはどうなるだろうか,今後が楽しみ.
なお,前回記事記載と同じく,今回の確認も試行回数n=1,対象写真バリエーション1と超限定的な確認であることには留意が必要.
