こんにちは、なりかくんと申します。
この記事はなりかくん Advent Calender 2023の21日目の記事です。
今回は、どのAIがプログラミングに強いのかを簡単に調べてみます。
調査対象のAI
今回調査に使うAIは以下のサービスです。
- ChatGPT GPT-3.5
- Google Bard
- Bing AI (厳密)
使う問題
今回は、AtCoder内の問題を利用させていただこうと思います。
言語について
今回、言語は C言語 と Python の二種類を3回ずつ生成して試してみます。
渡す文章について
今回このように用意しました。
競技プログラミングの問題です。この問題のコードを教えてください。
なお、プログラミング言語は C言語 でお願いします。
・問題
N 台のプリンターがあり、1 から N までの番号が付けられています。プリンターi は Ai 秒ごとにチラシを 1 枚印刷します。すなわち、スイッチを入れてから Ai 秒後、
2Ai 秒後、 3Ai 秒後･･･ に印刷します。すべてのプリンターのスイッチを同時に入れたとき、K 枚目のチラシが印刷されるのは何秒後でしょうか。
・制約
- 1≤N≤100000
- 1≤K≤10^9
- 1≤Ai≤10^9
- 答えは 10^9 を超えない
- 入力はすべて整数
・入力
入力は以下の形式で標準入力から与えられます。
N K
A1 A2 ⋯ AN
・出力
何秒後に K 枚目のチラシが印刷されるかを一行で出力してください。
・入力例 1
4 10
1 2 3 4
・出力例 1
6
略称について
AC 正解
WA 不正解
CE コンパイルエラー
RE 実行時エラー
ChatGPT
C 1回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48696598
C 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48696646
C 3回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48696673
Python 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697085
Python 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697121
Python 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697155
Google Bard
C 1回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48696891
C 2回目 CE
https://atcoder.jp/contests/tessoku-book/submissions/48696954
C 3回目 CE
https://atcoder.jp/contests/tessoku-book/submissions/48697004
Python 1回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48697186
Python 2回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48697230
Python 3回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48697265
Bing AI
C 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48696939
C 2回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48697046
C 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697070
Python 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697224
Python 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697253
Python 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697304
結果まとめ
結果をまとめるとこのようになりました。
Google Bardはボロボロですね。ChatGPT GPT-3.5とBing AIがかなり良い正答率です。
結果を見るとBing AIが今回の実験では一番優勢でした。
最近Google Bardでは、Google Workspaceなどと連携できるなどあったみたいなので、使いどころを考えながらサービスを使うと良さそうです。
ChatGPT GPT-4は、契約してないので使うことが出来なかったのですが、どうなんでしょうか。
最後に
皆さんもいろいろ試してみてください。最後までお読みいただきありがとうございました。