自然言語処理
NLP
gensim
Anaconda
janome

Anaconda上にjanomeとgensimを使った自然言語処理環境構築

NLPの環境を作りました。備忘録です。
MecabでなくてJanomeを使っているのは環境構築が簡単だからです。本格的に使うのならMecabの方がいい
でしょう。

実行環境

  • Windows10 Pro 64bit
  • Anaconda 4.4.7
  • Python 3.6
  • Janome
  • gensim

環境構築

Anaconda Navigatorを起動して仮想環境を作ります。
10.CreateEnv01.JPG
10.CreateEnv02.JPG

ターミナル起動
20.InstallPackages01.JPG

pip install janome

20.InstallPackages02.JPG

pip install gensim

20.InstallPackages03.JPG

pip install scikit-learn

20.InstallPackages04.JPG

使ってみた

Janomeで形態素解析

Jupyter notebookで実行しています。

from janome.tokenizer import Tokenizer
# 簡単な使用方法
t = Tokenizer()
for token in t.tokenize(u'すもももももももものうち'):
    print(token)

30.Janome01.JPG

scikit-learnでtf-idfやgensimでword2vecもしていますが、時間があったら追記します。