アドベントカレンダー20日目です。
最近、Wordnetなどの階層構造データを扱うことがあるので、poincare embeddingにちょっと興味が湧いて試してみました。
poincare embeddingは、双曲空間を凸方向に射影したものなので、木構造データの表現に適したembeddingというのが私の中の雑な理解です。
詳細は他サイトに譲ります。
環境
ubuntu 20.04.5 LTS
python 3.9.6
使用データ
サイトなかほどのXLSXファイルをダウンロードし、作業者１シートをtsv形式にしたものを用いました。
前準備
gensim、ploylyともに古いバージョンでないと可視化のところでうまくいきません。
gensimインストール
pip install gensim==3.7.3
可視化用ライブラリインストール
pip install plotly==2.7.0
モデル作成
さっくりできます。
from gensim.models.poincare import PoincareModel, PoincareRelations
from gensim.test.utils import datapath
relations = PoincareRelations(file_path=datapath('/emotion1.tsv'))
model = PoincareModel(train_data=relations, size=2)
model.train(epochs=50)
可視化
ある意味ここが一番のはまりポイント。google colabとかだと、他にも呪文がいるとか。
import gensim.viz.poincare
import ployly.offline
plotly.offline.init_notebook_mode(connected=False)
prefecutre_map = gensim.viz.poincare.poincare_2d_visualization(model=model,
tree=relations,
figure_title="可視化",
num_nodes=10,
show_node_labels=model.kv.vocab.keys())
plotly.offline.iplot(prefecutre_map)
結果
丸いですね。期待通り。ごちゃっとしていますが、実際の画面ではカーソルおいたところの文字が紫枠で浮かんでくれます。
いくつか機能を紹介します。
類似度の高い言葉を引っ張ってくることができます。
"嬉しい"と近いもの２個を引っ張ってきます。
model.kv.most_similar("嬉しい",topn=2)
出力：[('良かった', 0.010566568678917252), ('歓心', 0.011028224138605661)]
"悲しい"と近いもの２個を引っ張ってきます。
model.kv.most_similar("悲しい",topn=2)
出力：[('悲哀', 0.023677410109664343), ('悲嘆', 0.02400493515592728)]
階層を反映させた形で、近いものを引っ張てくることもできます。
"嬉しい"の下位階層の最も近いもの
model.kv.closest_child("嬉しい")
出力：'嬉しがる'
"嬉しい"の上位階層の最も近いもの
model.kv.closest_parent("嬉しい")
出力：'良かった'
結果の妥当性としては、ちょっとよくわからないですね。使ったデータにもよる気がします。表記ゆれ対応とかにも使えるかもしれません。
gensimでの実装自体は結構古いですが、最近はDeepLearningでこのpoincare embeddingを実装した話が新しくでてきているようなので、またブームが来るのかもしれません。
参考
https://qiita.com/wwacky/items/3c33fa0add05c601f555
https://radimrehurek.com/gensim/models/poincare.html