RubyでMeCabを使う方法と新語辞書NEologd対応

Mecabってなに？

文章を品詞単位で切ってくれる形態素解析エンジン。↓こんなかんじ

$ mecab
明日は明日の風が吹く
明日  名詞,副詞可能,*,*,*,*,明日,アシタ,アシタ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
明日  名詞,副詞可能,*,*,*,*,明日,アシタ,アシタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
風 名詞,一般,*,*,*,*,風,カゼ,カゼ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
吹く  動詞,自立,*,*,五段・カ行イ音便,基本形,吹く,フク,フク
EOS

MeCabと辞書のインストールはこちらから。。。

nattoをインストール

MeCabをRubyプログラム内で使えるようにするバインディングが、natto。

まずはインストール。

gem install natto

下のようなプログラムを書くだけでOK。

# -*- coding: utf-8 -*-

require 'natto'

txt = '明日は明日の風が吹く'

natto = Natto::MeCab.new
natto.parse(txt) do |n|
  puts "#{n.surface}: #{n.feature}"
end

実行してみると、、、

$ ruby natto_test.rb
明日: 名詞,副詞可能,*,*,*,*,明日,アシタ,アシタ
は: 助詞,係助詞,*,*,*,*,は,ハ,ワ
明日: 名詞,副詞可能,*,*,*,*,明日,アシタ,アシタ
の: 助詞,連体化,*,*,*,*,の,ノ,ノ
風: 名詞,一般,*,*,*,*,風,カゼ,カゼ
が: 助詞,格助詞,一般,*,*,*,が,ガ,ガ
吹く: 動詞,自立,*,*,五段・カ行イ音便,基本形,吹く,フク,フク
: BOS/EOS,*,*,*,*,*,*,*,*

無事出来ました！

mecab-ipadic-NEologdとは？

mecabで形態素解析をする場合に用いる辞書です。デフォルトで使われるipadicだとうまく品詞分割できない場合があります。。（↓こんな感じにドラゴンボールもアラレちゃんも分けてしまう。。。）

$ mecab
ドラゴンボールとアラレちゃん
ドラゴン    名詞,一般,*,*,*,*,ドラゴン,ドラゴン,ドラゴン
ボール   名詞,一般,*,*,*,*,ボール,ボール,ボール
と 助詞,並立助詞,*,*,*,*,と,ト,ト
アラレ   名詞,固有名詞,一般,*,*,*,*
ちゃん   名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
EOS

これをNEologd辞書を使うと、、、

$ mecab -u /usr/local/lib/mecab/dic/mecab-ipadic-neologd/seed/mecab-user-dict-seed.20170216.dic
ドラゴンボールとアラレちゃん
ドラゴンボール   名詞,固有名詞,一般,*,*,*,DRAGON BALL,ドラゴンボール,ドラゴンボール
と 助詞,並立助詞,*,*,*,*,と,ト,ト
アラレちゃん  名詞,固有名詞,一般,*,*,*,アラレちゃん,アラレチャン,アラレチャン
EOS

ちゃんと「ドラゴンボール」と「アラレちゃん」に分けてくれます！

使い方

• 1.まずはダウンロード

  $ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
  

• 2.次に、辞書ファイルを解凍

  $ xz -dkv mecab-ipadic-neologd/seed/mecab-user-dict-seed.20170216.csv.xz
  

• 3.csvをmecab用の.dic形式に変換

  $ /usr/local/libexec/mecab/mecab-dict-index -d /usr/local/lib/mecab/dic/ipadic -u mecab-user-dict-seed.20170216.dic -f utf-8 -t utf-8 mecab-user-dict-seed.20170216.csv
  

• 4.実行

  • mecabコマンドの後に-uでdicのパスを指定する場合

  $ mecab -u /usr/local/lib/mecab/dic/mecab-ipadic-neologd/seed/mecab-user-dict-seed.20170216.dic
  

  • mecabの設定ファイルを変更しておく場合 /usr/local/etc/mecabrcに以下を追記

  userdic = /usr/local/lib/mecab/dic/mecab-ipadic-neologd/seed/mecab-user-dict-seed.20170216.dic
  

お世話になったサイト

rubyのmecabバインディングnattoを使う
MaCabのユーザー辞書にmecab-ipadic-NEologdを手動で追加する