要件
ユーザーが入力した住所と、基幹システムが保持している16,000件の住所マスタから一致する住所を特定する。
住所の例
| 利用者入力 | マスター住所1 | マスター住所2 |
|---|---|---|
| 桜町123ー5サンライズAー101 | 桜町１２３−５ | サンライズ Ａ棟１０１ |
| 花山町45ー3スカイヒルズB202 | 花山町４５−３ | スカイヒルズ Ｂ２０２ |
| 虹ヶ丘2ー7-12パークサイドレジデンス3-204 | 虹ヶ丘二丁目７−１２ | パークサイドレジデンスⅢ−２０４ |
| 青空町456ー1シティビルメゾンII202 | 青空町４５６−１ | シティビルメゾン Ⅱ−２０２ |
| 若葉町1234ー56グランドヒルズ101号室 | 若葉町１２３４−５６ | グランドヒルズ １０１号室 |
| 湖山台3丁目890番地ファミールヴィラD202 | 湖山台三丁目８９０ | ファミールヴィラ Ｄ２０２ |
難しい点
人間が読めばわかりますが、プログラミング単体で正規化しマッチングさせるのは困難でした。
- 表記揺れの処理
- 全角・半角や漢数字と算用数字の混在
- 「１丁目」や「一丁目」など
- 曖昧な建物名・号室表記
- 地名のスペースの有無
- 番地や丁目の位置の違い
ベクトル検索とリランカーで検証
- マスタ住所を intfloat/multilingual-e5-large を使ってエンベディングし、ユーザーが入力した住所を使って、ベクトル検索エンジンで類似検索を行い、候補リストを50件取得。
- リランカーとして、hotchpotch/japanese-reranker-cross-encoder-large-v1 を使って50件のデータから最も類似度の高い1件を抽出
- 一致したかを確認
結果
| 申請合計数 | 住所一致 | 住所不一致 | 住所一致率 |
|---|---|---|---|
| 509件 | 428件 | 81件 | 84.08% |
惜しい点
かなり高い一致率だったが、部屋番号を間違えて引っ張ってくる例が散見された。
| ユーザー入力 | 正しいマスター住所 | 検索結果（誤った部屋番号） |
|---|---|---|
| 桜町123ー5サンライズAー101 | 桜町１２３−５ サンライズＡ棟１０１ | 桜町１２３−５ サンライズＡ棟１０２ |
| 花山町45ー3スカイヒルズB202 | 花山町４５−３ スカイヒルズＢ２０２ | 花山町４５−３ スカイヒルズＢ２０１ |
| 虹ヶ丘2ー7-12パークサイドレジデンス3-204 | 虹ヶ丘二丁目７−１２ パークサイドレジデンスⅢ−２０４ | 虹ヶ丘二丁目７−１２ パークサイドレジデンスⅢ−２０３ |
| 青空町456ー1シティビルメゾンII202 | 青空町４５６−１ シティビルメゾンⅡ−２０２ | 青空町４５６−１ シティビルメゾンⅡ−２０１ |
| 湖山台3丁目890番地ファミールヴィラD202 | 湖山台三丁目８９０ ファミールヴィラＤ２０２ | 湖山台三丁目８９０ ファミールヴィラＤ２０１ |
ベクトル検索とLLMの組み合わせで検証
次に、リランカーは使用せずにベクトル検索エンジンから取得した候補50件をLLMに渡して、LLMに最も一致している住所を選択させる形で検証した。
結果
gpt4o-mini
| 申請合計数 | 住所一致 | 住所不一致 | 住所一致率 |
|---|---|---|---|
| 509件 | 449件 | 60件 | 88.24% |
gpt4o
| 申請合計数 | 住所一致 | 住所不一致 | 住所一致率 |
|---|---|---|---|
| 509件 | 480件 | 29件 | 94.30% |
結論
住所マッチングにおいては、リランカーよりもgpt4oの方が精度が高かったが当然コストが高くなるため、運用においてはどの程度の一致率で是とするかは要検討。