要件

ユーザーが入力した住所と、基幹システムが保持している16,000件の住所マスタから一致する住所を特定する。

住所の例

人間が読めばわかりますが、プログラミング単体で正規化しマッチングさせるのは困難でした。

マスタ住所を intfloat/multilingual-e5-large を使ってエンベディングし、ユーザーが入力した住所を使って、ベクトル検索エンジンで類似検索を行い、候補リストを50件取得。
リランカーとして、hotchpotch/japanese-reranker-cross-encoder-large-v1 を使って50件のデータから最も類似度の高い1件を抽出
一致したかを確認

申請合計数	住所一致	住所不一致	住所一致率
509件	428件	81件	84.08%

かなり高い一致率だったが、部屋番号を間違えて引っ張ってくる例が散見された。

次に、リランカーは使用せずにベクトル検索エンジンから取得した候補50件をLLMに渡して、LLMに最も一致している住所を選択させる形で検証した。

申請合計数	住所一致	住所不一致	住所一致率
509件	449件	60件	88.24%

申請合計数	住所一致	住所不一致	住所一致率
509件	480件	29件	94.30%

住所マッチングにおいては、リランカーよりもgpt4oの方が精度が高かったが当然コストが高くなるため、運用においてはどの程度の一致率で是とするかは要検討。