SudachiPyはワークス徳島人工知能NLP研究所が開発している形態素解析器SudachiのPython版です。
バージョン0.6.0からは実装をCythonからRustに変更し、以前のバージョンより20倍ほど実行速度が速くなっています。

導入

最初はPythonの仮想環境を作ります。

python -m venv supy-test

bashやzshを使う場合は環境を有効にするために以下のようにします。

source supy-test/bin/activate

Windows上のPowershellの場合はPowershell版の有効化スクリプトを使います。

.\supy-test\Scripts\Activate.ps1

ARMのMac (Apple Silicon) の場合は追加のステップが必要です。

ARMのMacの場合はバイナリーのパッケージはまだ存在していないので、ビルドのためにRustのToolchainとPythonのパッケージも必要になります。
pip install setuptools_rust

インストール

準備が終わったら、SudachiPyをインストールします。

pip install sudachipy sudachidict_core

sudachidict_core の代わりに、sudachidict_small, sudachidict_fullもインストールできます。

試してみる

使い方は二通りあります。

まずは、コマンドラインツールsudachipyから起動確認をします。

$ echo "吾輩は猫である" | sudachipy
吾輩    代名詞,*,*,*,*,*        我が輩
は      助詞,係助詞,*,*,*,*     は
猫      名詞,普通名詞,一般,*,*,*        猫
で      助動詞,*,*,*,助動詞-ダ,連用形-一般      だ
ある    動詞,非自立可能,*,*,五段-ラ行,終止形-一般       有る
EOS

ライブラリとしての使い方

コマンドラインでの利用は簡単な試用にはいいですが、醍醐味があるのはライブラリとしての使い方です。

基本的な使い方は以下の3つのステップです：

>>> dict = sudachipy.Dictionary() # まずは辞書を作る
>>> tokenizer = dict.create() # 辞書から分割器を作る
>>> tokenizer.tokenize("吾輩は猫である") # 分割自体を行う
<MorphemeList[
  <Morpheme(吾輩, 0:2, (0, 350242))>,
  <Morpheme(は, 2:3, (0, 122101))>,
  <Morpheme(猫, 3:4, (0, 571106))>,
  <Morpheme(で, 4:5, (0, 101816))>,
  <Morpheme(ある, 5:7, (0, 12492))>,
]>

sudachipy.Dictionary(dict="full") では sudachidict_full を使えます。sudachidict_smallの場合はsudachipy.Dictionary(dict="small")を使ってください。

分かち書きの出力：

>>> morphemes = tokenizer.tokenize("吾輩は猫である")
>>> print(*[m.surface() for m in morphemes])
吾輩 は 猫 で ある

今後、SudachiPyは解析中にGILを使わないようにする予定です。スレッドごとに別のTokenizerのインスタンスを使うようにしてください。

コンポーネントの説明

Dictionaryは辞書データを持つ部品です。辞書データはimmutableなので、基本的に複数のDictionaryを作る必要がなく、スレッド間の共有もできます。

Tokenizerは解析中に可変な状態をもつコンポーネントです。中身は可変なので、スレッド間の共有は不可能です。

MorphemeListは解析の結果で、形態素列を表す型です。追加の状態を持つ必要がありPythonのListではなく独自実装ですが、Listと同じように使えます。

Morphemeは形態素です。様々な情報を持っています。大事なのは以下のものです。

begin() \ end()：入力の文字列にたいして形態素の始まりと終わりの文字（正確に言えばUnicodeのCodepoint）のオフセット
surface()：形態素の見出し、入力の文字列中の文字列
part_of_speech()：UniDic体系の品詞
dictionary_form()：活用可能な形態素の辞書形
normalized_form()：正規化情報、例）あんまり→余り
reading_form()：形態素の読み

分割の単位

Sudachiは複数の単位に分割できます。

C：固有表現レベル（既定値）
B：人間に自然なレベル
A：Unidicの短単位に相当するレベル

分割のレベルの指定の仕方は3通りあります。

すべての解析を1つのレベルで行う

この場合はTokenizerを作る際にDictionary.create()にmodeの引数として渡します。

>>> tokenizer = dict.create(mode=sudachipy.SplitMode.C) # 既定値はC
>>> tokenizer.tokenize("関西国際空港")
<MorphemeList[
  <Morpheme(関西国際空港, 0:6, (0, 1564531))>,
]>
>>> tokenizer = dict.create(mode=sudachipy.SplitMode.A)
>>> tokenizer.tokenize("関西国際空港")
<MorphemeList[
  <Morpheme(関西, 0:2, (0, 735344))>,
  <Morpheme(国際, 2:4, (0, 365535))>,
  <Morpheme(空港, 4:6, (0, 602797))>,
]>

この使い方は一番おすすめです。

解析ごとにレベルを変える

この場合はTokenizer.tokenize()にmodeの引数として渡します。

>>> tokenizer.tokenize("関西国際空港", mode=sudachipy.SplitMode.C)
<MorphemeList[
  <Morpheme(関西国際空港, 0:6, (0, 1564531))>,
]>
>>> tokenizer.tokenize("関西国際空港", mode=sudachipy.SplitMode.B)
<MorphemeList[
  <Morpheme(関西, 0:2, (0, 735344))>,
  <Morpheme(国際, 2:4, (0, 365535))>,
  <Morpheme(空港, 4:6, (0, 602797))>,
]>
>>> tokenizer.tokenize("関西国際空港", mode=sudachipy.SplitMode.A)
<MorphemeList[
  <Morpheme(関西, 0:2, (0, 735344))>,
  <Morpheme(国際, 2:4, (0, 365535))>,
  <Morpheme(空港, 4:6, (0, 602797))>,
]>

解析ごとに一時的にレベルが変更されるので、Tokenizerのデフォルトの分割モードは変更されません。

同時に複数のレベルを使いたい場合

この場合はMorpheme.split()を使います。

>>> tokenizer = dict.create(mode=sudachipy.SplitMode.C)
>>> morphemes = tokenizer.tokenize("関西国際空港")
>>> morphemes
<MorphemeList[
  <Morpheme(関西国際空港, 0:6, (0, 1564531))>,
]>
>>> morphemes[0].split(sudachipy.SplitMode.A)
<MorphemeList[
  <Morpheme(関西, 0:2, (0, 735344))>,
  <Morpheme(国際, 2:4, (0, 365535))>,
  <Morpheme(空港, 4:6, (0, 602797))>,
]>

良いSudachi Lifeを。

SudachiPyを使ってみる

導入