はじめに
この記事は競技プログラミングなんでも Advent Calendar 2024の16日目の記事です。
OpenAI o1 ranks in the 89th percentile on competitive programming questions (Codeforces),
OpenAI o1 は、競技プログラミング問題 (Codeforces) で 89 パーセンタイルにランクインし、
と冒頭に記載されており、記事の中では、GPT-4oでは人間の参加者の下位１１％だったものが、上位７％に入る性能に、この短期間でなったことが示されています。
普通の人間ではもはや敵わない。
Finally, we simulated competitive programming contests hosted by Codeforces to demonstrate this model’s coding skill. Our evaluations closely matched competition rules and allowed for 10 submissions. GPT-4o achieved an Elo rating3 of 808, which is in the 11th percentile of human competitors. This model far exceeded both GPT-4o and o1—it achieved an Elo rating of 1807, performing better than 93% of competitors.
最後に、Codeforces が主催する競技プログラミング コンテストをシミュレートして、このモデルのコーディング スキルを実証しました。私たちの評価はコンテストのルールとほぼ一致しており、10 件の応募が可能でした。 GPT-4o は、Elo レーティング 3 808 を達成しました。これは、人間の競合他社の 11 パーセンタイルに含まれます。このモデルは GPT-4o と o1 の両方をはるかに上回り、Elo 評価 1807 を達成し、競合他社の 93% よりも優れたパフォーマンスを示しました。
そうすると、競技プログラミングのレギュレーションも、AIの使用を禁止して人間の頭だけでの勝負とするのか、なんでも使って良い無差別級の勝負とするのか、コンテストの運営主体が規定することになると思います。
そこで、現状どうなっているのか調べてみようと思いました。
参考：
各競技プログラミングの関連規定
AtCoder
- AtCoder Beginner Contest（ABC）と AtCoder Regular Contest (Div. 2) （ARC Div. 2）のコンテスト中では原則使用禁止。
- AtCoder Grand Contest, AtCoder Regular Contest (Div. 1), AtCoder Heuristic Contestなどは、このルールの対象外。過去問練習には適用されない。
参考：旧版
Codeforces
(↑コメント欄も興味深かった）
- コンテストの参加にのみ適用
- 問題文の翻訳とコード補完ツール (例: Copilot)の使用のみ許可
- 二人の参加者のコードが一致し、一致したコードが競技ラウンド前にインターネット上に公開されていない場合、これは不正行為の証拠とみなされる
終わりに
明確な定義を発見できないコンテストが多く、調査が十分でないかもしれません。
ご存知の方はコメントいただけますと嬉しいです。