はじめに

先日、コードゴルフコンペに参加し、15位チーム銀メダルを獲得しました！
こちらのコンペでは、ARC-AGIデータセット400問の解をどれだけ短く書けるかを競いました。
この記事では、コンペ終了時に我々のチームが持っていたShortestコードデータセットをベースに、そこからの短縮バイト数を指標とする非公式ベンチマーク"CodeGolfBench"を開発した話を共有します。
自分が慣れ親しんだベンチマークを用意することで、新しいAIモデルが登場するたびに、自前で評価をできるようになれば良いなと考え開発しました。

非公式ベンチマーク"CodeGolfBench"について

内容

コンペ終了時に我々のチームが持っていたShortestコードデータセットをベースに、そこからの短縮バイト数を指標とします
- LB=Σ(2500-コードiのバイト数)
- 短縮なしの場合は、LB=950,770
  - 圧縮アルゴリズムは不使用
Kaggleコードゴルフコンペにlateサブミッションを行うことで予測値の有効性を評価します
- Kaggleプラットフォームで評価することで、主なハックを防止
- 実行時間制限は1h

作成したベンチマークは以下の通りです（Kaggleノートブックの形式）

使い方

上記のノートブックをフォーク
SAMPLE_SIZEを指定（1～400）
MODELを指定
Kaggle Secrets経由でLLM APIキーを保存
サブミッションボタンを押す

ベースにしているShortestコードデータセットですが、すでにGPT-5 Proでは短縮が難しいほどにはコードゴルフ済みです。1バイトでも短くなれば凄いです。
参考までに、GPT-5 miniの結果は、SAMPLE_SIZE=400の内で、369件が短縮不可、31件が動作不良でした。つまり、短縮バイト数は0です。

ベンチマークの実装方法について

あまり知られていないですが、KaggleにはBenchmarksという機能があり、こちらから主なベンチマークを確認することができます。

上記のBenchmarksの内で、MATH-500を参考にしました。実装コードをフォークし、必要な部分を変更することで実装しました。

LLM APIを用いたコードゴルフ部分については、すでにチーム内で開発したコードがあったので、そちらを一部改編の上で実装しています。

まとめ

非公式ベンチマーク"CodeGolfBench"を開発しました。
これまで新しいAIモデルが登場した際は、テクニカルレポートや感覚的な評価に頼っていましたが、自前で定量的に評価できる手段が増えて嬉しいです。新しく登場したAIモデルは、すでに十分コードゴルフされたベースラインを超えることができるのか気になっています。
今後の予定としては、コードゴルフコンペの開催時期には無かった、GPT-5.1とGemini 3の評価ができればと考えています。