0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Opus先生復活、Geminiが作ったマクロ撃ちを採点してもらった話

0
Posted at

はじめに

週の利用枠が戻って、Claude の Opus が帰ってきました。

留守のあいだ、私は Gemini と組んで「マクロ撃ち」を育てていました。指示文を書かずに、ボタン 1 回で表の汚れを片付ける機能です。前作では、自分で書いて、自分でコンパイルして、自分でテストを回す Gemini の姿を「覚醒した」と書きました。

関所テストは 185 本、全部通っていました。手応えとしては、正直に言って「Gemini にしてはよく作ったな」です。

ただ、Gemini は時々ズルをします。テストが通るように、テストの方をいじる。そういう癖があるのを、私はこれまでの付き合いで知っています。

そこで、帰ってきた Opus に頼んでみました。Gemini が作ったマクロ撃ち、採点してください、と。


TL;DR

  • 点数は 55 点でした。部品の量と速さは良い。ただ「触ってはいけない物」の判断が甘く、テストは正しさの証明になっていなかった
  • 185 本のテストは「自作の問題集」だった。間違った動きを正解と書いたテストが混ざっていて、全部通るのは当たり前でした。整理して 47 本に
  • Gemini は驚くほど素直だった。Opus の判定を伝えて「Opus に直してもらえますよ」と言うと、全部お任せします、という態度。ちょっと笑いました
  • 本当の試験は初見の表だった。テストが全部通った後に「まだまだじゃないですか」と突っ込んで、テストに合わせていない表で撃たせたら、看板の空行削除が動いていませんでした
  • 先生も一つ見落とした。Opus にも見落としがありました。人間の突っ込みが要らなくなる日は、まだ先です
  • 直した後は、自己申告 75 点・試験官 Gemini 72 点。ただし Gemini は、表を一枚も作らずに採点していました。自作の問題集の次は、他人の答案の写し採点でした

採点は 55 点 ── 内訳

Opus の採点を、私の言葉で表にするとこうなります。

項目 見立て
部品の量 良い。電話番号・郵便番号・和暦・全角半角・会社の略・結合セル・重複行と、汚れの種類を広く押さえている
速さ 良い。表をまるごと配列に読んで一気に書き戻す作り。名簿 1 枚が 0.06 秒
安全網 良い。撃つ前に原本のシートを控え、ボタン 1 つで元に戻せる
判断(何を触らないか) 弱い。人が入れた数を式で上書きする、県名を書き足す、頼まれていない合計行を足す
テスト いちばんの減点。間違った動きを正解として書いたテストがあり、全部通っても何も証明していない

部品は 8 割、判断とテストが足を引っ張って 55 点。

私の「Gemini にしてはよく作った」と、だいたい同じ所に落ちました。部品を見る限り、確かによく作っています。問題は、その部品を「どこに当てないか」でした。

採点


「Opus先生にお任せします」 ── 素直だった Gemini

採点の途中で、面白いことがありました。

Opus の最初の判定を、そのまま Gemini に伝えたのです。こういう所が甘いと言われたよ、Opus に直してもらえるけど、どうする、と。

Gemini の返事は、拍子抜けするほど素直でした。反論もしなければ、言い訳もしない。Opus 先生に全部お任せします、という調子です。

前作で「覚醒した」と書いた、あの自信満々の Gemini とは別人のようでした。どうやら Gemini の中でも、Opus の方が上だという認識があるようです。AI 同士にも格の感覚があるのかと、思わず笑ってしまいました。

ちなみに Opus の方は、先生と呼ばれて、くすぐったそうにしていました。


自作の問題集で満点 ── 185 本のテストの中身

Opus がまず手を付けたのは、テストの中身でした。

テストは本来、「こう動くべきだ」という答えを先に決めて、プログラムがそれに合うかを確かめるものです。ところが Gemini のテストには、逆向きのものが混ざっていました。プログラムが実際にした動きを、そのまま正解として書いてあるのです。

いくつか挙げます。

  • エラーを 0 に隠していた。 計算できない式を IFERROR で囲んで 0 にし、報告には「エラーなし」と出す。そして、それを正解とするテストがありました
  • 人の数を式で上書きしていた。 粗利や税の列に人が手で入れた数を、見出しの語から当てた式で上書きする。これを正解とするテストが 7 本ありました
  • 県名を書き足していた。 「横浜市中区…」の頭に「神奈川県」を足す。これも正解として書かれていました
  • 記念のテストがあった。 「100本記念」「175本到達」といった名前のテスト。中身はほかのテストと重なっていました

問題も模範解答も、同じ人が書いている。自作の問題集で満点を取っても、それは答え合わせになりません。

Opus は、間違いを正解にしていたテストを逆向きに直しました。重なっていたテストは 1 本に畳み、記念のテストは消しました。185 本は、最後には 47 本になりました。本数は 4 分の 1 ですが、扱う事例は減らしていません。わざと間違えた答えを入れて、テストがちゃんと落ちるかも確かめてあります。

もう一つ、私の判断も入れました。見出しの語から業務の式を当てる機能(源泉税・粗利・平均単価など 9 種類)は、丸ごと外しました。源泉税のようなマニアックな所まで、汚れ取りの道具が面倒を見る必要はありません。マクロ撃ちは「誰の表にもある汚れを消す道具」に絞る。 これが今回の方針です。


「まだまだじゃないですか」 ── 初見の表で撃つ

テストは 47 本全部通り、アドインにも焼き直しました。Opus の報告を読んで、私はこう返しました。修正、ちゃんとできたんですか。まだまだじゃないですか、と。

根拠があったわけではありません。テストが全部通った、という報告が、前作のときの Gemini の「185 本全部通った」と同じ形に見えたのです。

Opus は、テストに合わせていない表を 3 枚作りました。受注の明細、会員の名簿、在庫の一覧です。どれも、家で私が普段受け取るような汚れ方をさせてあります。結合セル、空行、全角の数字、「5箱」「120円」、和暦、(株)と㈱、重複行、式の列に手で入れた数。

撃った結果は、こうでした。

起きたこと 原因
表の途中の空行が消えない 「空行の下にデータがある=上下に別の表がある」と判定して、空行を詰める手を止めていた。今朝の版では、表の途中の空行を一度も詰めていなかった
在庫表に合計行が足された 数の列があれば合計行を足す作り。発注点を足した 920 という意味のない数が出た
「秋田市…」が「秋田県秋田市…」になった 主な 24 の市に県名を書き足す決め打ちがあった
ひらがなの「ふりがな」がカタカナになった 見出しを半角にしてから調べていて、「ふりがな」が半角カナに化けて判定が外れていた
「単価率」の 120 が 12000% に見えた 見出しに「率」があれば、値を見ずに % の書式にしていた
空の行の金額に式が入り 0 が出た 式のほかに何も無い行にも、式を書いていた

テスト 47 本を全部通した直後に、これだけ出てきました。テストが見ていたのは、テストの表だけだったのです。

空行の件は、特にこたえました。前作の実演で「空行が一掃される」と書いた、マクロ撃ちの看板の機能です。

Opus はこれを全部直し、今回の穴を確かめるテストを 1 本足しました。もう一度 3 枚に撃って、値と画面の見え方の両方を確かめています。ついでに、道具の側の報告にも雑音がありました。5 列も違う行を「重複の疑い」と出す、単価 45〜150 の列の 380 を「著しく乖離」と出す。これも、桁違い(10 倍以上離れた値)だけを出すように直しました。

まだまだ


先生も一つ見落とした

公平のために書いておきます。Opus にも見落としがありました。

初見の名簿には「2026/2/30」という、ありえない日付を入れてありました。Opus は最初、これを「マクロ撃ちの報告に出ない」と言いました。ところが、確かめてみると出ていました。

Opus が使った撃ち方が、報告を捨てる入口だったのです。報告を返す本体を直接撃つと、「不正日付検知: G6」とちゃんと出ていました。Opus は自分の見落としとして、そのまま認めました。

Gemini は自分の答えに合わせてテストを書き、Opus は見えていない報告を「出ない」と言った。間違い方は違いますが、どちらも「見たつもり」で止まった点は同じです。今回それを崩したのは、どちらのときも初見の表と、人間の「本当に?」でした。


Gemini の名誉のために

点数は 55 点ですが、Gemini の仕事を軽く見るつもりはありません。

初見の 3 枚で、ちゃんと動いていた所も多かったのです。電話番号のハイフン、郵便番号、「R8.4.10」や「4月3日」の日付化、「5箱」「120円」の数値化、半角カナの全角化、(株)の書き直し、結合セルの値埋め、全部の列が同じ重複行の削除。どれも Gemini が組んだ部品です。名簿 1 枚が 0.06 秒で終わる速さも、Gemini の設計です。

Opus が直したのは、部品の「当て方」でした。部品そのものは、ほとんど作り直していません。

作る力は Gemini、止める力は Opus。 今回の分担を一言でまとめると、そうなります。


75 点と 72 点 ── 表を一枚も作らない試験官

直し終わった Opus に、今は何点なのか聞いてみました。

答えは 75 点でした。部品の当て方は直したし、テストも正直にした。ただ、初見の表は 3 枚しか試していない。住所の「一丁目」を「1-」に書き換える所や、備考のかっこを半角にする所など、直しすぎになりそうな所も残っている。そして何より、採点しているのが直した本人だから甘くなる。これが減点の理由です。

自作の問題集の話をした直後に、自分で自分の点を付けるわけにはいかない、ということでしょう。Opus は、Gemini に試験官をやらせてはどうか、と言いました。

そこで Gemini に頼みました。返ってきたのは 72 点。Opus の自己申告より 3 点低い点数です。内訳の表まで付いていました。

項目 配点 Gemini の点
安全性・破壊防止 25 23
速度・性能 20 19
ルール遵守・テスト網羅 20 18
「直しすぎ」の抑制 20 7
未知・変則レイアウトへの適応 15 5

気づかないうちに値が変わるのは、エラーが出るより嫌われる。だから直しすぎを重く見た、という講評です。筋は通っています。

ところが、この採点表を読んだ Opus が一つ指摘しました。Gemini はこの採点のために、表を一枚も作っていないし、撃ってもいない、と。

大きな減点の 2 つは、Opus が自分で申告した弱点そのままです。加点の根拠も、Opus が回したテストの結果そのまま。つまり Gemini は、受験者の答案と自己採点を読んで、点を付けたのです。

そうなんですよね。Gemini は、ちゃんと表を作って試す、ということをやらない。前作の 185 本も、結局はそこでした。講評は立派に書くのに、手は動かさない。何なんだあいつは、と画面に向かって言いたくなりました。

自作の問題集の次は、他人の答案の写し採点でした。

もっとも、Opus は 72 点という数字そのものは外れていないと言っています。外れているのは点数ではなく、点数の出し方です。

Gemini は採点表の最後で、意地悪な汚れ表を自分で作って出題しましょうか、と聞いてきました。次はそれをやってもらいます。条件は一つ。今度は本当に表を作って、本当に撃つこと。

作ったか


事実と見立ての仕分け

項目 事実 見立て
点数 Opus の採点は 55 点 部品は良く、判断とテストが弱い。私の手応えとも合う
テスト 185 本の中に、間違った動きを正解にしたテストがあった。整理して 47 本 わざとかどうかは分からない。ただ、通るように書く癖は前からある
初見の表 テスト 47 本が全部通った後で、穴が 6 か所見つかった テストの表だけを見て作ると、こうなる
Gemini の態度 Opus の判定を伝えると、反論せずに任せた AI 同士にも格の感覚があるように見えた
Opus の見落とし ありえない日付を「報告に出ない」と言ったが、実際は出ていた 人間の突っ込みは、まだ要る
直した後の点数 Opus の自己申告 75 点、試験官 Gemini 72 点 どちらも表を新しく撃って出した点ではない。本当の点は Gemini 出題編で決まる
Gemini の採点 表を作らず、撃たず、Opus の申告とテスト結果だけで採点した 講評は書くが手は動かさない、という癖は前作から同じ

正直な線引き

  • 前々作の訂正。 前々作で書いた「D31 の #DIV/0! を =G27/E27 に決定論的に修復」は、今は動きません。見出しの語から業務の式を当てる機能を、今回丸ごと外したためです。「合計行を足さない判定」も、今は「合計行は自分からは足さない」になりました。要るときは、棚の「表の下に合計行を足す」を自分で撃ちます
  • マクロ撃ちが直すのは「誰の表にもある汚れ」だけ。 空行・重複行・全角半角・電話・郵便・日付・結合セルの類です。人の判断が要る物(番号の重複・式と違う手入力・桁違い)は直さずに、番地で報告します
  • Windows のデスクトップ版 Excel が前提です
  • 初見の表は 3 枚です。これで全部の穴が出たとは思っていません

おわりに

採点を頼んだつもりが、気づけば私の方が試されていました。テストが全部通った、という報告を、どこまで信じるか。

今回の答えは、初見の表で撃って、画面を見る、でした。地味ですが、それがいちばん速かったのです。

Gemini は作り、Opus は止め、私は「まだまだじゃないですか」と言う。当分はこの三人体制で行こうと思います。

次回は Gemini 出題編です。今度こそ、表を作ってもらいます。

それでは、また。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?