やりたいこと

形態素解析にMeCabを使う
- http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html
新語辞書を使う
- https://github.com/neologd/mecab-ipadic-neologd/
Pythonスクリプト内で他のモジュールと組み合わせて使う

環境

OSX 10.10.5
Conda 3.19.0
Python 2.7.11
MeCab 0.996

Python 2.7

Condaを使う。

$ conda create -n py27con python=2.7 anaconda
$ conda info -e
$ source ~/.pyenv/versions/miniconda3-3.16.0/envs/py27con/bin/activate py27con

mecab-ipadic

あとでmecab-ipadic-neologdを使うのでUTF-8で入れる

$ cd ~/path/to/mecab-ipadic-2.7.0-20070801/
$ make clean
$ ./configure --with-charset=utf8
$ make
$ make install

mecab-ipadic-neologd

$ cd ~/path/to/mecab-ipadic-neologd/
$ bin/install-mecab-ipadic-neologd

mecab-python

MeCabのPythonバインディング

$ pip install https://mecab.googlecode.com/files/mecab-python-0.996.tar.gz

動作確認

test.py

# -*- coding: utf-8 -*-
import MeCab
m = MeCab.Tagger(' -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')

text = '''
『アイドルマスター シンデレラガールズ』（THE IDOLM@STER CINDERELLA GIRLS）は、バンダイナムコエンターテインメント（旧バンダイナムコゲームス）とCygamesが開発・運営する『THE IDOLM@STER』の世界観をモチーフとする携帯端末専用のソーシャルゲーム。
'''
print(m.parse(text))

文章はWikipediaより。

$ python test.py
『 記号,括弧開,*,*,*,*,『,『,『
アイドルマスター シンデレラガールズ    名詞,固有名詞,一般,*,*,*,アイドルマスターシンデレラガールズ,アイドルマスターシンデレラガールズ,アイドルマスターシンデレラガールズ
』 記号,括弧閉,*,*,*,*,』,』,』
（ 記号,括弧開,*,*,*,*,（,（,（
THE IDOLM@STER CINDERELLA GIRLS 名詞,固有名詞,一般,*,*,*,THE IDOLM@STER CINDERELLA GIRLS,アイドルマスターシンデレラガールズ,アイドルマスターシンデレラガールズ
） 記号,括弧閉,*,*,*,*,）,）,）
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
、 記号,読点,*,*,*,*,、,、,、
バンダイナムコエンターテインメント 名詞,固有名詞,一般,*,*,*,バンダイナムコエンターテインメント,バンダイナムコエンターテインメント,バンダイナムコエンターテインメント
（ 記号,括弧開,*,*,*,*,（,（,（
旧 接頭詞,名詞接続,*,*,*,*,旧,キュウ,キュー
バンダイナムコゲームス   名詞,固有名詞,一般,*,*,*,BANDAI NAMCO Games,バンダイナムコゲームス,バンダイナムコゲームス
） 記号,括弧閉,*,*,*,*,）,）,）
と 助詞,並立助詞,*,*,*,*,と,ト,ト
Cygames 名詞,固有名詞,一般,*,*,*,Cygames,サイゲームス,サイゲームス
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
開発  名詞,サ変接続,*,*,*,*,開発,カイハツ,カイハツ
・ 記号,一般,*,*,*,*,・,・,・
運営  名詞,サ変接続,*,*,*,*,運営,ウンエイ,ウンエイ
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
『 記号,括弧開,*,*,*,*,『,『,『
THE IDOLM@STER  名詞,固有名詞,一般,*,*,*,THE IDOLM@STER,アイドルマスター,アイドルマスター
』 記号,括弧閉,*,*,*,*,』,』,』
の 助詞,連体化,*,*,*,*,の,ノ,ノ
世界観   名詞,固有名詞,一般,*,*,*,世界観,セカイカン,セカイカン
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
モチーフ    名詞,一般,*,*,*,*,モチーフ,モチーフ,モチーフ
と 助詞,格助詞,一般,*,*,*,と,ト,ト
する  動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
携帯端末    名詞,固有名詞,一般,*,*,*,携帯端末,ケイタイタンマツ,ケイタイタンマツ
専用  名詞,サ変接続,*,*,*,*,専用,センヨウ,センヨー
の 助詞,連体化,*,*,*,*,の,ノ,ノ
ソーシャルゲーム    名詞,固有名詞,一般,*,*,*,ソーシャルゲーム,ソーシャルゲーム,ソーシャルゲーム
。 記号,句点,*,*,*,*,。,。,。
EOS

ちなみに、-d /usr/local/lib/mecab/dic/mecab-ipadic-neologdを抜かして違いを見ると、新語辞書がいい感じに仕事してくれているのがよくわかる（主に固有名詞）。

保留したところ

頻発問題のリスト:

出力が化ける
- ちゃんとUTF-8の辞書を使えばいいだけかも
Conda PythonとSystem Pythonの何らかの差異・コンフリクト
- 例：pythonをsource activateする際にシェルが落ちる
  - これは、activateのパスをちゃんと指定すればよい
入手したPythonバインディングのセットアップスクリプトやサンプルスクリプトをPython 3.5に対応させる作業
バインディング自体をSWIGで3.5対応させる作業
それでもなおUnicode関連のエラーが出る

できれば3.5でやりたかったけどいろいろハマって脱出できなかったのでとりあえず2.7でやった。

Pythonからmecab-ipadic-neologdを使う