pythonとWord2Vecで連想語辞書を作成した際の作業記録を残します。コーパスにはWikipediaのDumpを利用させて頂いています。
前提
- OSはAmazonLinux2、形態素解析エンジンのMeCabがインストール済であること。
- ※ MeCabのインストールについては前回または他の方のインストール記事を参考にして下さい。
作業手順
pythonとpip、依存するライブラリのインストール
$ sudo yum install -y python3
$ echo 'alias python=python3.7' >> ~/.bashrc
$ source ~/.bashrc
それぞれバージョンを表示させられればOK。
$ python --version
Python 3.7.10
$ pip3 --version
pip 20.2.2 from /usr/lib/python3.7/site-packages/pip (python 3.7)
ライブラリをインストール。
pip3 install mecab-python3 wikiextractor gensim
コーパスとしてwikipediaのDumpを取得
※ 詳細はWikipedia:データベースダウンロード参照。
wget https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
取得したデータからModelを生成
wikipediaのDumpはタグなどが含まれておりそのまま自然言語処理に利用するのは難しい。そこでWikiExtractorでクリーニングする。
python -m wikiextractor.WikiExtractor ./jawiki-latest-pages-articles.xml.bz2 --processes 16 -o result/ -b 50m
クリーニングしたテキストデータがresult/以下にwiki_NNの名で生成される。
├── AA
│ ├── wiki_00
│ ├── wiki_01
│ ├── wiki_02
│ ├── wiki_03
(省略)
│ ├── wiki_64
│ └── wiki_65
そこで今度はこれらファイル群にクリーニング・単語分割・正規化・ストップワードの除去をそれぞれかけていく。今回はpythonスクリプトを利用した。
python convert.py
convert.pyの内容は下記の通り。
convert.py
import re
import os
import MeCab
from multiprocessing import Pool
mecab = MeCab.Tagger ("-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ -F\"%f[6] \" -U\"%m \" -E\"\n\"")
def convert(filename: str):
if os.path.exists(filename) == False:
return
isTitleNext = False
with open(filename, mode='rt', encoding='utf-8') as reader:
with open(filename + '.result', mode='w') as writer:
for line in reader:
# クリーニング
if '</doc>' in line:
continue
if '<doc id=' in line:
isTitleNext = True
continue
if isTitleNext == True:
isTitleNext = False
continue
if len(re.sub('[0-9a-zA-Z ]*', '', line)) == 0:
continue
# 単語分割と正規化（※ MeCabを呼ぶときのオプション部分が正規化)
parsedLine = mecab.parse (line)
# ストップワードの除去
parsedLine = parsedLine.strip()
parsedLine = parsedLine.strip(".")
parsedLine = re.sub('[。、,.]', '', parsedLine)
parsedLine = re.sub(' +', ' ', parsedLine)
if (len(parsedLine.split(" ")) <= 2) or (" " in line == False):
continue
writer.write(parsedLine)
filePaths = []
for current, dummy, files in os.walk("./result/"):
for file in files:
filePaths.append(current + "/" + file)
cpuCount = 16
p = Pool(cpuCount)
p.map(convert, filePaths)
p.close()
処理後のテキストデータが[元ファイル名].resultの名でできる。
│ ├── AA
│ │ ├── wiki_00
│ │ ├── wiki_00.result
│ │ ├── wiki_01
│ │ ├── wiki_01.result
(省略)
│ │ ├── wiki_64
│ │ ├── wiki_64.result
│ │ ├── wiki_65
│ │ └── wiki_65.result
そこで結果を統合して１テキストファイルにまとめ、pythonスクリプトを利用してモデルを生成する。
find ./result/ -name *.result | xargs cat >> ./result/all.txt
python createmodel.py
createmodel.pyの内容は下記の通り。
createmodel.py
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
sentences = word2vec.Text8Corpus('./result/all.txt')
model = word2vec.Word2Vec(sentences, vector_size=200, min_count=20, window=15, workers=14)
model.wv.save_word2vec_format("./wikiall.vec.pt", binary=True)
wikiall.vec.pt という名のファイルが生成される。後はこれをKeyedVectorsのmost_similar()から利用すれば連想語辞書となるため、スクリプト等から呼び出せばよい。
$ python usemodel.py たま駅長
[('貴志駅', 0.7633522748947144), ('和歌山電鐵', 0.6615394949913025), ('名誉駅長', 0.6613053679466248), ('駅長', 0.6518781185150146), ('芦ノ牧温泉駅', 0.5756949782371521), ('マスコットキャラクター', 0.5370191931724548), ('イメージキャラクター', 0.5328614115715027), ('貴志川線', 0.523949921131134), ('わさお', 0.5135292410850525), ('一日駅長', 0.5096750259399414)]
"たま駅長"の語からちゃんと'貴志駅'、'和歌山電鐵'、'名誉駅長'などの語が導き出せている。
※たま駅長は和歌山電鐵貴志駅の名誉永久駅長。
尚usemodel.pyの内容は下記の通り。
usemodel.py
import sys
from gensim.models import KeyedVectors
wv = KeyedVectors.load_word2vec_format('./wikiall.vec.pt', binary=True)
results = wv.most_similar(positive=[sys.argv[1]], topn=10)
print(results)
以上。