概要

「2021年4月1日の1日前の午後10時」を「2021-03-31 22:00:00」にする、みたいな時間表現の解析をLLMで試してみました。
今回のテストケースでは、gpt-4o-miniは高精度だが少し不安定（19問中16問正解）、gpt-4oは全問正解、という感じでした。

背景

文中の時間表現を文脈を考慮して正規化したいです。例えば「2021年4月1日の1日前の午後10時」を「2021-03-31 22:00:00」にする、みたいなことです。応用先としては、対話形式でのスケジュール設定などがあります。

これまでルールベースでやる方法を試してきましたがエッジケースを考えるとルールの実装が大変です。

そこで、今更ですが、LLMでどのくらいできるのか試してみました。
試みとしては、ちゃんと調べていませんが、ありふれた課題設定なので、たくさんやられていると思いますが、少し探した中では見つからなかったので、自分で試したほうが早いと思い、やってみました。

テストデータと評価システム実装

過去の取り組みで指標にしていた以下のテストデータをLLMで解析します。

query	expected	reference
次の水曜日の同じ時間	2024-11-06T11:00:00	2024-10-30T11:00:00（水曜日）
再来週の水曜日の同じ時間	2024-11-13T11:00:00	2024-10-30T11:00:00（水曜日）
次の次の水曜日の同じ時間	2024-11-13T11:00:00	2024-10-30T11:00:00（水曜日）
今週の水曜日の同じ時間	2024-10-30T11:00:00	2024-10-30T11:00:00（水曜日）
今週の火曜日の同じ時間	2024-10-29T11:00:00	2024-10-30T11:00:00（水曜日）
次の月曜日の同じ時間	2024-11-04T11:00:00	2024-10-30T11:00:00（水曜日）
次の金曜日の同じ時間	2024-11-01T11:00:00	2024-10-30T11:00:00（水曜日）
次の次の月曜日の同じ時間	2024-11-11T11:00:00	2024-10-30T11:00:00（水曜日）
次の日曜日の同じ時間	2024-11-03T11:00:00	2024-10-30T11:00:00（水曜日）
再来週の日曜日の同じ時間	2024-11-17T11:00:00	2024-10-30T11:00:00（水曜日）
明日の7時	2024-12-25T07:00:00	2024-12-24T15:15:15（火曜日）
明日の午後7時	2024-12-25T19:00:00	2024-12-24T15:15:15（火曜日）
朝9時	2024-12-25T09:00:00	2024-12-24T15:15:15（火曜日）
夕方6時	2024-12-24T18:00:00	2024-12-24T15:15:15（火曜日）
1ヶ月後の同じ時間	2025-01-24T15:15:15	2024-12-24T15:15:15（火曜日）
1年3ヶ月後の同じ時間	2026-03-24T15:15:15	2024-12-24T15:15:15（火曜日）
26日の7時	2024-12-26T07:00:00	2024-12-24T15:15:15（火曜日）
20分後	2024-12-24T15:35:15	2024-12-24T15:15:15（火曜日）
50分後	2024-12-24T16:05:15	2024-12-24T15:15:15（火曜日）

タスクとしては、referenceを現在時刻として、queryが示す時刻をISO8601拡張形式で出力します。これをexpectedを比較します。
LLMへのプロンプトは以下のとおりです。Chain of Thoughtさせたほうが性能が上がると期待されるので、そのように指示をしています。systemとuserメッセージをopenai api形式でリストにしてLLMに渡しています。modelはgpt-4oまたはgpt-4o-miniです。

/system
与えられた文章が示す日時をiso8601拡張形式（YYYY-MM-DDTHH:MM:SS）で出力してください。現在時刻は{{ reference }}とします。週の始まりは月曜日とします。候補が複数ある場合は最も近い未来の日時としてください。ステップバイステップで考えてください。

/user
{{ query }}

上記のプロンプトで得られた出力をgpt-4o-miniで構造化してdatetimeを取得し、expectedと完全一致で比較しています。
difyのワークフローで上記処理を実行し、バッチで結果を得ました。

結果

正答率はgpt-4oが19/19（全問正解）、gpt-4o-miniが16/19でした。
gpt-4o-miniが間違えた3問を以下に示します。

今週の火曜日の同じ時間

基準日時: 2024-10-30T11:00:00（水曜日）
正解: 2024/10/29 11:00:00
gpt-4o-mini回答: 2024/11/05 11:00:00

gpt-4o-miniのthought:

現在の日時は2024-10-30T11:00:00です。

1. **現在の曜日を確認**: 2024-10-30は水曜日です。
2. **今週の火曜日を特定**: 今週の火曜日は2024-10-29T11:00:00です。
3. **火曜日の日時を確認**: 今週の火曜日の日時は一度過ぎているため、次の火曜日を考えます。
4. **次の火曜日を計算**: 次の火曜日は2024-11-05T11:00:00です。
5. **最も近い未来の日時を確定**: 次の火曜日の日時が必要なため、2024-11-05T11:00:00になります。

したがって、今週の火曜日の同じ時間は次のようになります：

**2024-11-05T11:00:00**
gpt-4o-miniのthoughts

考察

基準日時が水曜日なので「今週の火曜日」は前日なのですが、翌週の火曜日を出力しています。「候補が複数ある場合は最も近い未来の日時としてください。」という指示の「候補が複数ある場合は」という条件を読み落としてしまったようです。

ちなみにgpt-4oだと以下のように正解しています。賢いですね。

現在の日付は2024年10月30日（水曜日）です。「今週の火曜日の同じ時間」とは、今週の火曜日に相当する日付と時刻を求めることになります。

1. まず、現在の日付2024年10月30日（水曜日）から週の始まりを確認すると、週の始まりは月曜日です。

2. 今週の月曜日の日付を求めます。2024年10月30日（水曜日）から2日前が月曜日です。したがって、今週の月曜日は2024年10月28日です。

3. 次に、今週の火曜日を求めます。今週の月曜日2024年10月28日から1日後が火曜日です。したがって、今週の火曜日は2024年10月29日です。

4. 現在の時刻は11:00:00ですので、同じ時刻の火曜日の日付と時刻は2024年10月29日T11:00:00です。

したがって、今週の火曜日の同じ時間は2024-10-29T11:00:00です。

再来週の日曜日の同じ時間

基準日時: 2024-10-30T11:00:00（水曜日）
正解: 2024/11/17T11:00:00
gpt-4o-mini回答: 2024/11/12T11:00:00

gpt-4o-miniのthoughts:

現在の日時は2024年10月30日（水曜日）11:00:00です。この時点から再来週の日曜日の同じ時間を計算します。以下のステップで進めます。

1. **現在の日付を確認**: 2024年10月30日（水曜日）です。
2. **再来週の日曜日を特定**: 現在の日付から2週間後の日曜日を求めます。
  - 現在の日付から1週間後は2024年11月6日（水曜日）。
  - 1週間後の日曜日は2024年11月5日（前の週の土曜日から数えて日曜日）。
  - さらに1週間後、すなわち再来週の日曜日は2024年11月12日（日曜日）です。
3. **同じ時間を設定**: 現在の時間は11:00:00なので、再来週の日曜日の11:00:00を設定します。

以上の計算から、再来週の日曜日の同じ時間は以下のようになります。

2024年11月12日（日曜日）の11:00:00。

したがって、ISO 8601拡張形式での出力は次の通りです。

**2024-11-12T11:00:00**

考察

現在の日付の1週間後は「11/6」とわかっているのに、その1週間後の日曜日は「11/5」と謎の計算をしており、ミスに繋がっています。

gpt-4oは以下の通り正解しています。先に今週の日曜日を求めてから2週間足しています。賢いです。

現在時刻は2024年10月30日（水曜日）です。再来週の日曜日を求めるために、次のステップで計算を行います。

1. **現在の週を確認**:
   - 現在は2024年10月30日水曜日です。

2. **今週の日曜日を求める**:
   - 2024年10月30日（水）は週の3日目（週の始まりは月曜日）です。
   - 今週の日曜日は、2024年11月3日です。

3. **再来週の日曜日を求める**:
   - 今週の日曜日（2024年11月3日）からさらに1週間後が来週の日曜日、つまり2024年11月10日です。
   - さらにもう1週間後が再来週の日曜日、つまり2024年11月17日です。

4. **時間を同じに保つ**:
   - 現在時刻は2024年10月30日11:00:00ですので、再来週の日曜日の同じ時間は2024年11月17日11:00:00になります。

したがって、再来週の日曜日の同じ時間は、2024-11-17T11:00:00です。

1年3ヶ月後の同じ時間

基準日時: 2024-12-24T15:15:15（火曜日）
正解: 2026/03/24T15:15:15
gpt-4o-mini回答: 2025/03/24T15:15:15

gpt-4o-miniのthoughts:

現在時刻は2024年12月24日15時15分15秒です。この日時から1年3ヶ月後の同じ時間を計算します。

1. 現在の年は2024年です。
  - 1年後: 2025年
2. 現在の月は12月です。
  - 3ヶ月後: 12月 + 3ヶ月 = 3月（翌年）
3. 現在の時間は15時15分15秒です。

したがって、1年3ヶ月後の日時は以下のように計算されます。

- 年: 2024 + 1 = 2025
- 月: 12 + 3 = 3（翌年の3月）
- 日: 24日（そのまま）
- 時間: 15時15分15秒（そのまま）

これをISO 8601形式で表すと、以下のようになります。

**出力**: 2025-03-24T15:15:15

考察

基準日が12月なので、1年3ヶ月後は西暦が繰り上がって合計+2になるのですが、繰り上げを忘れて+1の2025年としており不正解です。
コーディングで求めさせたら正解できた可能性もあります。

gpt-4oの場合は以下の通り正解しています。きちんと3ヶ月足すと翌年になることを考慮できています。

現在時刻は2024-12-24T15:15:15です。ここから1年3ヶ月後の同じ時刻を計算します。

1. 1年後：2024年に1年を足すと2025年になります。
   - 2024-12-24T15:15:15 + 1年 = 2025-12-24T15:15:15

2. 3ヶ月後：2025年12月から3ヶ月を足します。
   - 12月に3ヶ月を足すと、翌年の3月になります。
   - したがって、2025年12月から3ヶ月後は2026年3月です。

したがって、1年3ヶ月後の同じ時間は2026年3月24日15:15:15です。

答えは2026-03-24T15:15:15です。

おわりに

LLMで自然言語の時間表現の正規化を試してみました。
全体的に精度が高くLLMさすがでした。
速度、コスト面で、入力フォーマットがある程度制限されている状態ならルールベースを使う旨味はまだまだあると思いますが、広範なフォーマットに柔軟に対応しようと思うと、LLMでいいじゃん、かもしれません。
今回のテストケースが簡単すぎる可能性もあり、思いついていませんが、コーパスなど眺めるとひょっとしたらLLMで太刀打ちできないようなケースもあるかもしれません。