Anaconda上にjanomeとgensimを使った自然言語処理環境構築

NLPの環境を作りました。備忘録です。
MecabでなくてJanomeを使っているのは環境構築が簡単だからです。本格的に使うのならMecabの方がいい
でしょう。

実行環境

• Windows10 Pro 64bit
• Anaconda 4.4.7
• Python 3.6
• Janome
• gensim

環境構築

Anaconda Navigatorを起動して仮想環境を作ります。

ターミナル起動

pip install janome

pip install gensim

pip install scikit-learn

使ってみた

Janomeで形態素解析

Jupyter notebookで実行しています。

from janome.tokenizer import Tokenizer
# 簡単な使用方法
t = Tokenizer()
for token in t.tokenize(u'すもももももももものうち'):
    print(token)

scikit-learnでtf-idfやgensimでword2vecもしていますが、時間があったら追記します。