はじめに

最近 Python で自然言語処理を扱うことになり、現在勉強中です。

自然言語処理では、「この文章はどれだけ似ているか？」という判定が求められる場面があります。特に日本語では語順や助詞の影響が強いため、うまく処理するためにはちょっとした工夫が必要です。

この記事では、MinHashとMeCabを組み合わせて、日本語の類似度を比較する方法を紹介します。

類似度ですが、今回は「意味」より「形式的な一致」に着目します。

MinHash とは？

MinHashは、大量の文書やテキストを比較する際に、「どれだけ重なっているか（Jaccard類似度）」を計算できるアルゴリズムです。以下のように集合 $A,\ B$ の共通部分の要素数を和集合の要素数で割ります。

$$
J(A,\ B) = \displaystyle \frac{|A\cap B|}{|A\cup B|}
$$

すべての語を比較する代わりに、代表的なハッシュ値を使って効率化します。

本記事では以下のライブラリを使用します。

日本語に対応させるための工夫

MinHashでは n-gram と呼ばれる文章を n 文字の長さに分割する手法を使用し、分割した文字列をハッシュオブジェクトに変換します。しかし、この方法は助詞や語順に弱いため MeCab での分かち書きを使用することにしました。類似度を計算するうえで句読点はノイズとなると考え、MeCab での分かち書き結果から除去しました。

MeCab インストール方法

pip install mecab-python3

MeCab での分かち書き

import MeCab
import ipadic

mecab = MeCab.Tagger(ipadic.MECAB_ARGS)

def tokenize(text: str) -> List[str]:
    """MeCabで分かち書きし、記号を除外した単語リストを返す"""
    node = mecab.parseToNode(text)
    tokens = []
    while node:
        surface = node.surface
        feature = node.feature.split(',')
        if surface and feature[0] != '記号':  # 品詞が「記号」でないものだけを使う
            tokens.append(surface)
        node = node.next
    return tokens

Jaccard類似度を計算する

datasketch インストール方法

pip install datasketch

以下のように分かち書き結果を MinHash オブジェクトに変換し、類似度を計算します。

from datasketch import MinHash

def minhash_signature(tokens: List, num_perm: int=128) -> MinHash:
    """トークン（文字列）の配列をMinHashオブジェクトに変換"""
    m = MinHash(num_perm=num_perm)
    for token in tokens:
        m.update(token.encode('utf-8'))
    return m

# ハッシュオブジェクトを生成
sig_1 = minhash_signature(tokens_1)
sig_2 = minhash_signature(tokens_2)

# Jaccord類似度を計算
similarity = sig_1.jaccard(sig_2)
print(f'類似度: {similarity:.6f}')

結果

検証1

同じ文章を比較します。

比較する文章

# 入力テキスト
text_1 = '朝起きてコーヒーを淹れ、窓を開けると、涼しい風が部屋に入り込んできた。鳥のさえずりが心地よく響いていた。'
text_2 = '朝起きてコーヒーを淹れ、窓を開けると、涼しい風が部屋に入り込んできた。鳥のさえずりが心地よく響いていた。'

結果

類似度: 1.000000
処理時間: 0.026646秒

検証2

少し文章を変えてみます。

比較する文章

# 入力テキスト
text_1 = '朝起きてコーヒーを淹れ、窓を開けると、涼しい風が部屋に入り込んできた。鳥のさえずりが心地よく響いていた。'
text_2 = '朝起きてミルクを温め、窓を開けると、涼しい風が部屋に入り込んできた。鳥たちのさえずりが心地よく響いていた。'

結果

類似度: 0.804688
処理時間: 0.032637秒

検証3

最後にまったく異なる文章を比較します。

比較する文章

# 入力テキスト
text_1 = '朝起きてコーヒーを淹れ、窓を開けると、涼しい風が部屋に入り込んできた。鳥のさえずりが心地よく響いていた。'
text_2 = 'ビルの谷間をすり抜けるクラクションと人のざわめき。人波が流れ、都会の喧騒が絶え間なく続いていた。'

結果

類似度: 0.156250
処理時間: 0.035281秒

気になったこと

最初の実行では、1/100秒台、2回目以降の実行では 1/1000 秒台となるのはなぜか

検証に用いたコード

from datasketch import MinHash
import time
import MeCab
import ipadic
from typing import List

start = time.perf_counter()

mecab = MeCab.Tagger(ipadic.MECAB_ARGS)

def tokenize(text: str) -> List[str]:
    """MeCabで分かち書きし、記号を除外した単語リストを返す"""
    node = mecab.parseToNode(text)
    tokens = []
    while node:
        surface = node.surface
        feature = node.feature.split(',')
        if surface and feature[0] != '記号':  # 品詞が「記号」でないものだけを使う
            tokens.append(surface)
        node = node.next
    return tokens

def minhash_signature(tokens: List, num_perm: int=128) -> MinHash:
    """トークン（文字列）の配列をMinHashオブジェクトに変換"""
    m = MinHash(num_perm=num_perm)
    for token in tokens:
        m.update(token.encode('utf-8'))
    return m

# 入力テキスト
text_1 = '朝起きてコーヒーを淹れ、窓を開けると、涼しい風が部屋に入り込んできた。鳥のさえずりが心地よく響いていた。'
text_2 = '朝起きてミルクを温め、窓を開けると、涼しい風が部屋に入り込んできた。鳥たちのさえずりが心地よく響いていた。'

# 分かち書き（単語リスト）
tokens_1 = tokenize(text_1)
tokens_2 = tokenize(text_2)

print(f'tokens_1: {tokens_1}')
print(f'tokens_2: {tokens_2}')

# ハッシュオブジェクトを生成
sig_1 = minhash_signature(tokens_1)
sig_2 = minhash_signature(tokens_2)

# Jaccard類似度を計算
similarity = sig_1.jaccard(sig_2)
print(f'類似度: {similarity:.6f}')

end = time.perf_counter()
print(f'処理時間: {end - start:.6f}秒')

参考