はじめに
前回、番地等が1文字（数字）違っているだけだとダメということが分かったので、Fine Tuningでなんとなならないかと考えてみました。
参考
こちらを参考にしています。
ざっくりと説明
これからやろうとしていることは、以下のような流れになります。
- 事前学習モデルを持ってくるよ
- 最後にpooling層を追加するよ（ここが再学習結果になる）
- Triplet Lossで再学習するよ
コード
実際のコードはこちらになります。
from sentence_transformers import SentenceTransformer, SentencesDataset, InputExample, losses, models
from torch.utils.data import DataLoader
# 事前学習モデルの取得
bert = models.Transformer('sonoisa/sentence-bert-base-ja-mean-tokens-v2')
# pooling層の追加
pooling = models.Pooling(bert.get_word_embedding_dimension())
model = SentenceTransformer(modules=[bert, pooling])
# 学習データの読み込み
# ★★★ 実際は、ここで学習データをdatasets_df（PandasのDataFrame）に読み込みます ★★★
train_dataset = SentencesDataset([InputExample(texts=[row["anchor"], row["positive"], row["negative"]]) for index,row in datasets_df.iterrows()], model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=8)
# Triplet Lossの設定
train_loss = losses.TripletLoss(model=model)
# 学習
model.fit(
train_objectives=[(train_dataloader, train_loss)],
epochs=5,
evaluation_steps=1,
warmup_steps=1,
output_path="./sbert",
)
「datasets_df」に学習データを入れておく予定です。
なお、事前に「sentence-transformers]をインストールしています。
（conda-forgeの方だとうまく動きませんでしたので、pipでインストールしました）
学習データの準備
Triplet Lossで学習するので、３種類の文章の組み合わせを用意します。
- anchor：サンプルとなる文章
- positive：サンプルに近い文章（今回は、同じ番地で表現が違う住所）
- negative：サンプルと遠い文章（今回は、違う番地で表現が同じ住所）
こんなイメージです。
- anchor：東京都港区海岸一丁目２番３号
- positive：東京都港区海岸1-2-3
- negative：東京都港区海岸一丁目１番３号
参考データ
デジタル庁レジストリマスタにある町字マスターをサンプルとします。
でもよく考えたら、町字までは変更が無いので、そこから先だけ学習すればいいような気がします。
ということで、もしうまくいかなかったら町字まで含めることにして、今回は丁目以降だけで学習させていきます。
作成したデータ
結局、「一丁目1番1号」～「十九丁目19番19号」で学習してみることにしました。
（力技でデータを作成しています ^^;）
import numpy as np
import pandas as pd
# '一丁目'みたいに変換
def get_choume(c):
num10 = ["", "", "二", "三", "四", "五", "六", "七", "八", "九"]
num1 = ["", "一", "二", "三", "四", "五", "六", "七", "八", "九"]
juu = ""
if (c//10 >= 1):
juu = "十"
return num10[c//10] + juu + num1[c%10] + "丁目"
# データ作成
list_anchor = []
list_positive = []
list_negative = []
for c in range(1,20):
for b in range(1,20):
for g in range(1,20):
print(str(c) + "-" + str(b) + "-" + str(g))
# 間違い
for inv in range(1,20):
# 丁目違い
if inv != c:
# 一丁目1番1号
list_anchor.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(get_choume(inv) + str(b) + "番" + str(g) + "号")
# 1丁目1番1号
list_anchor.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(str(inv) + "丁目" + str(b) + "番" + str(g) + "号")
# 1-1-1
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_negative.append(str(inv) + "-" + str(b) + "-" + str(g))
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_negative.append(str(inv) + "-" + str(b) + "-" + str(g))
# 番違い
if inv != b:
# 一丁目1番1号
list_anchor.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(get_choume(c) + str(inv) + "番" + str(g) + "号")
# 1丁目1番1号
list_anchor.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(str(c) + "丁目" + str(inv) + "番" + str(g) + "号")
# 1-1-1
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_negative.append(str(c) + "-" + str(inv) + "-" + str(g))
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_negative.append(str(c) + "-" + str(inv) + "-" + str(g))
# 号違い
if inv != g:
# 一丁目1番1号
list_anchor.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(get_choume(c) + str(b) + "番" + str(inv) + "号")
# 1丁目1番1号
list_anchor.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_positive.append(str(c) + "-" + str(b) + "-" + str(g))
list_negative.append(str(c) + "丁目" + str(b) + "番" + str(inv) + "号")
# 1-1-1
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(get_choume(c) + str(b) + "番" + str(g) + "号")
list_negative.append(str(c) + "-" + str(b) + "-" + str(inv))
list_anchor.append(str(c) + "-" + str(b) + "-" + str(g))
list_positive.append(str(c) + "丁目" + str(b) + "番" + str(g) + "号")
list_negative.append(str(c) + "-" + str(b) + "-" + str(inv))
# DataFrameにまとめる
out_data = pd.DataFrame(
data={'anchor': list_anchor, 'positive': list_positive, 'negative': list_negative},
columns=['anchor', 'positive', 'negative']
)
# ファイルに保存
out_data.to_csv("./output.csv")
1,481,544行のデータが出来上がりました。
※余談ですが、DataFrameにデータを追加するときは、いったんリストを作ってからDataFrameに変換すると速いです。
（1行ずつconcatすると、遅すぎて死ねます）
学習
作成したデータを読みこんで学習させます。
import pandas as pd
datasets_df = pd.read_csv('./output.csv')
こんな感じで学習が進んでいきます。
学習が終わると、以下のようなファイルが出来上がります。
試してみる
前回のデータで試してみました。
# モデルのロードはこんな感じ（ディレクトリを指定）
from sentence_transformers import SentenceTransformer, SentencesDataset, InputExample, losses, models
model = SentenceTransformer('./sbert')
| 東京都港区海岸一丁目２番３号 | ||
|---|---|---|
| 1 | 東京都港区海岸一丁目2番3号 | 0.00000000e+00 |
| 2 | 東京都港区海岸一丁目二番三号 | 5.66171522e-03 |
| 3 | 東京都港区海岸1丁目2番3号 | 7.61460262e-05 |
| 4 | 東京都港区海岸１丁目２番３号 | 7.61460262e-05 |
| 5 | 東京都港区海岸1-2-3 | 3.07086443e-04 |
| 6 | 東京都港区海岸１－２－３ | 3.07086443e-04 |
| 7 | 東京都港区海岸一丁目１番３号 | 1.18531936e-01 |
| 8 | 東京都港区海岸一丁目1番3号 | 1.18531936e-01 |
| 9 | 東京都港区海岸一丁目一番三号 | 1.12835902e-01 |
| 10 | 東京都港区海岸1丁目1番3号 | 1.19411865e-01 |
| 11 | 東京都港区海岸１丁目１番３号 | 1.19411865e-01 |
| 12 | 東京都港区海岸1-1-3 | 1.19002293e-01 |
| 13 | 東京都港区海岸１－１－３ | 1.19002293e-01 |
| 14 | 東京都港区海岸一丁目１番１号 | 2.32376073e-01 |
| 15 | 東京都港区海岸一丁目1番1号 | 2.32376073e-01 |
| 16 | 東京都港区海岸一丁目一番一号 | 2.32260587e-01 |
| 17 | 東京都港区海岸1丁目1番1号 | 2.32439074e-01 |
| 18 | 東京都港区海岸１丁目１番１号 | 2.32439074e-01 |
| 19 | 東京都港区海岸1-1-1 | 2.32677260e-01 |
| 20 | 東京都港区海岸１－１－１ | 2.32677260e-01 |
うまくいったようです。
まとめ
とりあえず、全国のデータを読み込まなくてもなんとかいけそうです。
ただ、今は1～19ですので、せめて99まで学習させてたいところです。
（1～19で50時間以上学習に時間がかかっているので、その4倍というと200時間ですか．．．）