pythonのjanomeライブラリとは
辞書内包の形態素解析器で日本語を分解してくれる！
janome公式ドキュメント
早速簡単に使ってみよう
環境
$ python3 -V
Python 3.7.3
仮想環境構築
$ mkdir janome-sample
$ cd janome-sample
$ python3 -m venv venv
$ source ./venv/bin/activate
wordcloudインストール
$ pip install janome
janomeを実行
$ python3
Python 3.7.3 (default, Mar 6 2020, 22:34:30)
[Clang 11.0.3 (clang-1103.0.32.29)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer()
>>> for token in t.tokenize(u'曲が終るとゴーシュはもうみんなの方などは見もせずちょうどその猫のようにすばやくセロをもっ て楽屋へ遁げ込みました'):
... print(token)
...
曲 名詞,一般,*,*,*,*,曲,キョク,キョク
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
終る 動詞,自立,*,*,五段・ラ行,基本形,終る,オワル,オワル
と 助詞,接続助詞,*,*,*,*,と,ト,ト
ゴーシュ 名詞,一般,*,*,*,*,ゴーシュ,*,*
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
もう 副詞,一般,*,*,*,*,もう,モウ,モー
みんな 名詞,代名詞,一般,*,*,*,みんな,ミンナ,ミンナ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
方 名詞,非自立,一般,*,*,*,方,ホウ,ホー
など 助詞,副助詞,*,*,*,*,など,ナド,ナド
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
見 動詞,自立,*,*,一段,連用形,見る,ミ,ミ
も 助詞,係助詞,*,*,*,*,も,モ,モ
せ 動詞,自立,*,*,サ変・スル,未然ヌ接続,する,セ,セ
ず 助動詞,*,*,*,特殊・ヌ,連用ニ接続,ぬ,ズ,ズ
ちょうど 副詞,一般,*,*,*,*,ちょうど,チョウド,チョード
その 連体詞,*,*,*,*,*,その,ソノ,ソノ
猫 名詞,一般,*,*,*,*,猫,ネコ,ネコ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
よう 名詞,非自立,助動詞語幹,*,*,*,よう,ヨウ,ヨー
に 助詞,副詞化,*,*,*,*,に,ニ,ニ
すばやく 形容詞,自立,*,*,形容詞・アウオ段,連用テ接続,すばやい,スバヤク,スバヤク
セロ 名詞,一般,*,*,*,*,セロ,セロ,セロ
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
もっ 動詞,自立,*,*,五段・タ行,連用タ接続,もつ,モッ,モッ
て 助詞,接続助詞,*,*,*,*,て,テ,テ
楽屋 名詞,一般,*,*,*,*,楽屋,ガクヤ,ガクヤ
へ 助詞,格助詞,一般,*,*,*,へ,ヘ,エ
遁 名詞,一般,*,*,*,*,遁,*,*
げ 名詞,接尾,一般,*,*,*,げ,ゲ,ゲ
込み 動詞,自立,*,*,五段・マ行,連用形,込む,コミ,コミ
まし 助動詞,*,*,*,特殊・マス,連用形,ます,マシ,マシ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
>>>
よかったよかった