調査対象のAI

今回調査に使うAIは以下のサービスです。

ChatGPT GPT-3.5
Google Bard
Bing AI (厳密)

使う問題

今回は、AtCoder内の問題を利用させていただこうと思います。

言語について

今回、言語は C言語と Python の二種類を3回ずつ生成して試してみます。

渡す文章について

今回このように用意しました。

競技プログラミングの問題です。この問題のコードを教えてください。
なお、プログラミング言語は C言語 でお願いします。

・問題
N 台のプリンターがあり、1 から N までの番号が付けられています。プリンターi は Ai 秒ごとにチラシを 1 枚印刷します。すなわち、スイッチを入れてから Ai 秒後、
2Ai 秒後、 3Ai 秒後･･･ に印刷します。すべてのプリンターのスイッチを同時に入れたとき、K 枚目のチラシが印刷されるのは何秒後でしょうか。

・制約
- 1≤N≤100000
- 1≤K≤10^9
- 1≤Ai≤10^9
- 答えは 10^9 を超えない
- 入力はすべて整数

・入力
入力は以下の形式で標準入力から与えられます。

N　K
A1 A2 ⋯ AN

・出力
何秒後に K 枚目のチラシが印刷されるかを一行で出力してください。

・入力例 1
4 10
1 2 3 4

・出力例 1
6

略称について

AC 正解
WA 不正解
CE コンパイルエラー
RE 実行時エラー

ChatGPT

C 1回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48696598
C 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48696646
C 3回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48696673

Python 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697085
Python 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697121
Python 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697155

Google Bard

C 1回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48696891
C 2回目 CE
https://atcoder.jp/contests/tessoku-book/submissions/48696954
C 3回目 CE
https://atcoder.jp/contests/tessoku-book/submissions/48697004

Python 1回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48697186
Python 2回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48697230
Python 3回目 RE
https://atcoder.jp/contests/tessoku-book/submissions/48697265

Bing AI

C 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48696939
C 2回目 WA
https://atcoder.jp/contests/tessoku-book/submissions/48697046
C 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697070

Python 1回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697224
Python 2回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697253
Python 3回目 AC
https://atcoder.jp/contests/tessoku-book/submissions/48697304

結果まとめ

結果をまとめるとこのようになりました。
Google Bardはボロボロですね。ChatGPT GPT-3.5とBing AIがかなり良い正答率です。

結果を見るとBing AIが今回の実験では一番優勢でした。
最近Google Bardでは、Google Workspaceなどと連携できるなどあったみたいなので、使いどころを考えながらサービスを使うと良さそうです。

ChatGPT GPT-4は、契約してないので使うことが出来なかったのですが、どうなんでしょうか。

最後に

皆さんもいろいろ試してみてください。最後までお読みいただきありがとうございました。