今回のmecabへのユーザー辞書登録手順概要
●Excelを使いutf-8のcsv（辞書ファイル）を用意
●Macのターミナルを起動
●「mecab-dict-index」を使いユーザー辞書としてコンパイル
●nanoエディタを使ってユーザー辞書のパスを通す
●「-D」オプションを使い適用辞書を確認
●「-F」オプションを使い「左文脈 ID」 「右文脈 ID」「コスト」を確認
●「--mime」オプションを使い文字コードを確認
●改行コード「\r」（CR）を\n「」（LF）に変換
（Rは独学なので用語の使い方が適正でないかもしれません。ご容赦ください）
固有名詞を認識させたい
AAA活動休止前最後のドームツアー公演が先日札幌（2021/12/25）で幕を閉じました。
ツイートを取得し、形態素解析をかけてみようと思いましたが、途中で「ユーザー辞書」の登録に時間を割きました。
今回はその話について記載します。
これまでと同様の手順で、「R」と「RMeCab」をまず使ったのですが、処理途中に固有名詞が「姓」「名」（特に名）が、それぞれ分断されることが気になりました。
（使ったのはデフォルトの辞書）
3573 と 助詞 格助詞 1087
3574 する 動詞 自立 1127
3575 この 連体詞 * 1128
3576 実 名詞 固有名詞 1142
3577 郎 名詞 一般 1147
3578 彩子 名詞 固有名詞 1151
3579 真司 名詞 固有名詞 1154
とか
3584 ライブ 名詞 一般 1263
3585 末 名詞 接尾 1268
3586 與 名詞 固有名詞 1342
3587 年 名詞 接尾 1343
3588 日 名詞 接尾 1399
3589 西島 名詞 固有名詞 1494
3590 」 記号 括弧閉 1509
3591 太 名詞 固有名詞 1516
3592 「 記号 括弧開 1562
です。
そこで、「RMeCab」で使用している形態素解析エンジン「mecab」の「ユーザー辞書」に固有名詞を登録をすることにしました。
なお、ユーザー辞書登録今回初めてです。
csvファイルをExcelで用意
まず、辞書として登録する用語をcsvファイルで作ります。
手順としては、
- Excelでcsvファイル作成
- csvを複製してテキストエディットで読み込む
- テキストエディットのメニューから複製
- 文字コードを「utf-8」を指定して保存
と、「utf-8形式のcsv」を作成します。
csv作成後は、辞書にコンパイルします。
- ターミナルを起動
- ユーザー辞書にコンパイル
- mecabcの設定ファイルにユーザ辞書のパスを指定
（手順は後述）
今回準備したcsvファイルの内容です。
上述の通りテキストエディットで保存する際に「utf-8」を指定します。
ターミナルで辞書をコンパイル
Macのターミナルを起動します。
今回は作成したcsvを以下ディテクトリに配置します。
mv useraaa2.csv /usr/local/lib/mecab/dic/ipadic/
「mecab-dict-index」を使い、ユーザー辞書としてコンパイルします。
作成したユーザー辞書名は「aaa．ｄｉｃ」です。
/usr/local/Cellar/mecab/0.996/libexec/mecab/mecab-dict-index \
-d /usr/local/lib/mecab/dic/ipadic \
-u aaa.dic \
-f utf-8 \
-t utf-8 useraaa2.csv
reading useraaa2.csv ... 11
emitting double-array: 100% |###########################################|
done!
「done!」となれば無事コンパイルできたことになります。
オプションパラメータはこう読み解けます。
- -d : 辞書が配置されているディレクトリを指定し、
- -u : 生成したいユーザー辞書の名称も指定し、
- -f : その文字コードを指定、
- -t : そしてユーザー辞書の元となるcsv名称と文字コードを指定
ターミナルで動作するエディタ「nano」を使い、「mecab」の設定にユーザー辞書のパスを通します。
nano /usr/local/etc/mecabrc
辞書が機能しない原因を調べる
動作を確認するために、「-u」オプションでユーザー辞書の指定をします。
（指定すれば優先的にそのユーザー辞書を適用するようです）
しかし、変わらず名前が分割して認識されるなど、うまくいきません。
mecab -u /usr/local/lib/mecab/dic/ipadic/aaa.dic
與 名詞,固有名詞,人名,姓,*,*,與,アタエ,アタエ
真司 名詞,固有名詞,人名,名,*,*,真司,シンジ,シンジ
郎 名詞,一般,*,*,*,*,郎,ロウ,ロー
「-D」オプションを使い、辞書が適用されているか調べてみます。
mecab -D
filename: /usr/local/lib/mecab/dic/ipadic/sys.dic
version: 102
charset: utf8
type: 0
size: 392126
left size: 1316
right size: 1316
filename: /usr/local/lib/mecab/dic/ipadic/aaa.dic
version: 102
charset: utf-8
type: 1
size: 11
left size: 1316
right size: 1316
「aaa.dic」は適用されています。
「-F」オプションを使い「左文脈 ID」 と「右文脈 ID」、「コスト」を調べます。
この数値を参考に、ユーザー辞書のチューニングを行います。
今回はそこまでノウハウが蓄積されてないので、他のサイトを参考に「空」「空」「1000」としてました。
「真司郎,,,1000・・・」という感じです。
echo "與真司郎" | mecab -F"%m,%phl,%phr,%c\n"
與,1290,1290,7623
真司,1291,1291,8040
郎,1285,1285,6722
コストは小さいほど, 出現しやすくなります。
ユーザー辞書に登録した値は「1000」なので、上記の値「7623」「8040」などより小いので、意図通り適用されるかと考えましたが、そうなりません。
「-N3」オプションで解析パターンを3つ出すことも試しましたが、いずれも名前が分割された状態でした。
echo "真司郎" | mecab -F"%m,%c,%pc\n" -N3
真,7716,7432
司郎,8557,13570
EOS
真,8583,8299
司郎,8557,13570
EOS
真司,8040,7844
郎,6722,14751
EOS
catコマンドで改行コードをLFに変換
ユーザー辞書の元データcsvの文字コードは「utf-8」になっています。
file --mime uuseraaa2.csv
user.csv: text/plain; charset=utf-8
となると、疑わしいのは、「改行コード」です。
調べたところ、古いMac（今回使用したのは１０年以上前のMacBook Pro）の改行コードは「CR」。
一方、辞書に使うCSVの改行コードは予め「LF」または「CR+LF」にしておく必要があるそうです。
改行コードを確認します。
「\r」は「CR」です。
od -c useraaa2.csv
シ ** ** ジ ** ** マ ** ** \r 宇 ** ** 野
改行コード「\r」（CR）を\n「」（LF）に変換します。
cat useraaa2.csv | tr '\r' '\n' > useraaa2LF.csv
「useraaa2LF.csv」という名称にして複製していますが、下記実行の後で「useraaa2.csv」に戻しています。
catコマンドで以下のように表示されれば、改行コードが正しく変換されています。
cat useraaa2.csv
西島,,,1000, 名詞, 固有名詞, 人名, 姓,*,*,にしじま,ニシジマ,ニシジマ
宇野,,,1000, 名詞, 固有名詞, 人名, 姓,*,*,うの,ウノ,ウノ
日高,,,1000, 名詞, 固有名詞, 人名, 姓,*,*,ひだか,ヒダカ,ヒダカ
與,,,1000, 名詞, 固有名詞, 人名, 姓,*,*,あたえ,アタエ,アタエ
末吉,,,1000, 名詞, 固有名詞, 人名, 姓,*,*,すえよし,スエヨシ,スエヨシ
隆弘,,,1000, 名詞, 固有名詞, 人名, 名,*,*,たかひろ,タカヒロ,タカヒロ
実彩子,,,1000, 名詞, 固有名詞, 人名, 名,*,*,みさこ,ミサコ,ミサコ
光啓,,,1000, 名詞, 固有名詞, 人名, 名,*,*,みつひろ,ミツヒロ,ミツヒロ
真司郎,,,1000, 名詞, 固有名詞, 人名, 名,*,*,しんじろう,シンジロウ,シンジロウ
秀太,,,1000, 名詞, 固有名詞, 人名, 名,*,*,しゅうた,シュウタ,シュウタ
ようやく意図通り動作
再度コンパイルします。
/usr/local/Cellar/mecab/0.996/libexec/mecab/mecab-dict-index \
-d /usr/local/lib/mecab/dic/ipadic \
-u aaa.dic \
-f utf-8 \
-t utf-8 useraaa2.csv
reading useraaa2.csv ... 11
emitting double-array: 100% |###########################################|
done!
ユーザー辞書が正しく動作する再度試します。
「-u」オプションを使いユーザー辞書を指定しなくても、コストを小さくしているからか、適用されています。
mecab
與真司郎
與 名詞, 固有名詞, 人名, 姓,*,*,あたえ,アタエ,アタエ
真司郎 名詞, 固有名詞, 人名, 名,*,*,しんじろう,シンジロウ,シンジロウ
echo "真司郎" | mecab -F"%m,%c,%pc\n" -N3
真司郎,1000,804
EOS
真,7716,7432
司郎,8557,13570
EOS
真,8583,8299
司郎,8557,13570
EOS
これでユーザー辞書が機能するようになりました。
了