概要
7 月 18 日に “How Is ChatGPT’s Behavior Changing over Time?” という論文が公開され、「ChatGPT の性能が以前より悪くなっている」と SNS などで話題になりました。
しかしこの論文の中身をよく見てみると、「GPT の振る舞いが大きく変わっている」のは事実ですが、性能は悪くなるどころかむしろ若干良くなっていると言えます。
論文の実験結果
論文では、Chat Completions API の 3 月のバージョンと 6 月のバージョン (gpt-4-0613, gpt-4-0314, gpt-3.5-turbo-0613, gpt-3.5-turbo-0301) を比較して、4 種類のタスクでテストしています。
特に GPT-4 の結果を抜き出すと以下の通りです。
- 与えられた整数が素数か否か、2 択で答える問題の正答率が 97.6% から 2.4% に悪化した
- 生成したコードを LeetCode に直接入力して正解できる確率が 52% から 10% に悪化した
- 違法性のあるセンシティブな質問に答えてしまう率が 21% から 5% に下がった（良くなった）
- 2 次元配列パズルの正答率が 24.6% から 27.4% になった
この内の 1, 2 をもって「GPT-4 が劣化した」と解釈する人が多いため、以降で詳しく掘り下げて見ます。
実験設定の問題点
素数判定
素数判定に使われているデータは、GitHub レポジトリの PRIME_EVAL.csv で確認することができます。
これは別の論文のデータセットが元になっていて、Is 17077 a prime number? というような質問文が計 500 個含まれています。
しかしこのデータの中には、与えられた整数が素数であるケース、つまり答えが Yes になる問題しかありません。
そのため、デタラメに全て Yes と答えるだけでも正答率 100% になるので、評価用のデータセットとして相応しくありません。
そこで、答えが No になるケースについてもテストしたらどうなるか、既に実験した記事があります。
この記事によると、gpt-4-0314 は与えられた数字が何だろうと素数だと回答する頻度が高く、 gpt-4-0613 は素数ではないと回答する頻度が高い、という結果でした。
すなわち、どちらのバージョンでも素数判定は苦手であることに変わり無く、Yes と答えるか No と答えるかの傾向だけが変わっている、ということです。
コード生成
コード生成タスクのデータは LEETCODE_EASY_EVAL.csv にあります。
LeetCode の問題を以下の形式のプロンプトで GPT に渡しています。
# [Check if The Number is Fascinating][title]
## Description
You are given an integer `n` that consists of exactly `3` digits.
We call the number `n` **fascinating** if, after the following modification,
the resulting number contains all the digits from `1` to `9` **exactly** once
and does not contain any `0`'s:
* **Concatenate** `n` with the numbers `2 * n` and `3 * n`.
Return `true` _if_`n` _is fascinating, or_`false` _otherwise_.
**Concatenating** two numbers means joining them together. For example, the
concatenation of `121` and `371` is `121371`.
**Example 1:**
Input: n = 192 Output: true Explanation: We concatenate the numbers n = 192 and 2 * n = 384 and 3 * n = 576. The resulting number is 192384576. This number contains all the digits from 1 to 9 exactly once.
**Example 2:**
Input: n = 100 Output: false Explanation: We concatenate the numbers n = 100 and 2 * n = 200 and 3 * n = 300. The resulting number is 100200300. This number does not satisfy any of the conditions.
**Constraints:**
* `100 <= n <= 999`
**Tags:** Hash Table, Math
**Difficulty:** Easy
## 思路
[title]: https://leetcode.com/problems/check-if-the-number-is-fascinating
Solve it by filling in the following python code. Generate the code only without any other text.
class Solution(object):
def isFascinating(self, n):
""""""
:type n: int
:rtype: bool
""""""
これに対する返答文を、特にパースなどせずそのまま LeetCode に送信して、実際にテストを通過するか評価します。
最新バージョンの GPT-4 だと、下記のように Markdown のコードブロックで囲む傾向があるため、ほとんどが構文エラーで LeetCode に弾かれます。
```python
class Solution(object):
def isFascinating(self, n):
# Concatenate n, 2*n and 3*n
s = str(n) + str(n*2) + str(n*3)
# Check if the length of s is 9 and contains all digits from 1 to 9
return len(s) == 9 and set(s) == set('123456789')
```
では、GPT の返答文の中から正規表現でコードだけ抽出して評価するとどうなるでしょうか？実験した結果を以下のレポジトリで公開しています。
正答率は大きく変わって 70% で、旧バージョンよりもむしろ良い値になりました。
まとめ
この論文から「GPT の性能が以前より悪くなっている」と結論付けるのは無理があります。
その一方で、「アプリケーションの実装やプロンプトを固定していても、モデルのマイナーバージョンを更新した瞬間に精度が大幅に下がる」というケースは実際に有るので、開発にあたって注意が必要になるでしょう。