困りごと
AIエージェントに請求書や予定を作らせると、日本固有の決まりで間違えることがあります。
- 平成31年5月1日(存在しない日付)を西暦に直してしまう
- 2026年9月22日(国民の休日)を平日として数える
- 法人番号やインボイス登録番号の桁・チェックデジットを確かめずに通す
和暦については論文でも、大きなモデルが計算や知識でつまずくと報告されています(arXiv:2509.04432)。
作ったもの
JP Format Bench(MIT)。6分野125問です。
| 分野 | 問数 |
|---|---|
| 西暦→和暦(元号の境目を全部含む) | 25 |
| 和暦→西暦(存在しない日付を含む) | 25 |
| 祝日(2025〜2026年、振替休日・国民の休日を含む) | 25 |
| N営業日後 | 20 |
| 法人番号のチェックデジット | 20 |
| 全角半角(NFKC) | 10 |
答えは人もAIも書いていません。jpfb/rules.py のコード(標準ライブラリだけ)で計算し、祝日は内閣府の公表一覧とテストで照合しています。
使い方
python -m jpfb.prompt data/jp_format_bench_v1.jsonl --lang ja > prompt.txt
# AIの返答を answers.jsonl に保存
python -m jpfb.score data/jp_format_bench_v1.jsonl answers.jsonl
結果について
各AIの点数はまだ載せていません。自分で測った数字だけを、日付とモデル名つきで載せます。
AIに正しく扱わせるには
推測させずに、決まったルールの道具を渡すのが確実です。日本語の会社名・電話・住所・和暦を整える MCP サーバー nexus-ja-data(MIT)も公開しています。