Janomeで日本語の詩的テキストを形態素解析する方法
日本語の自然言語処理では、形態素解析が非常に重要です。特に詩的な表現や歌詞など、文法が崩れていたり、口語的だったりする文章では、一般的な処理系ではうまく解析できない場合があります。
この記事では、Pythonの日本語形態素解析ライブラリ「Janome」を使って、詩的な日本語フレーズをトークンに分解し、各要素の詳細情報を出力する方法をご紹介します。
使用するライブラリ：Janome
Janomeは日本語形態素解析の軽量ライブラリで、以下のような特徴があります：
- Pure Pythonで動作（C依存なし）
- MeCabなどの事前インストール不要
- 自作辞書追加なども可能
まずはインストールから始めましょう。
!pip install janome
解析する日本語フレーズ
今回対象とするのは、以下の詩的な日本語の一文です：
アンプ蹴ったらギャンギャンないた15ワットの小さな世界が アンプを蹴りとばしたんだ
andymori andyとrock という曲のフレーズです。
Pythonコードの解説
# janome_token_analysis.py
# -*- coding: utf-8 -*-
# Program: janome_token_analysis.py
# Purpose: Analyze Japanese poetic phrase using Janome Tokenizer
# 目的：Janomeを用いて日本語詩的表現の形態素解析を行う
from janome.tokenizer import Tokenizer
# Tokenizerのインスタンスを生成 / Create a Tokenizer instance
tokenizer = Tokenizer()
# 対象テキストの定義 / Define input text
text = "アンプ蹴ったらギャンギャンないた15ワットの小さな世界が アンプを蹴りとばしたんだ"
# トークン化実行 / Tokenize the text
tokens = tokenizer.tokenize(text)
# 各トークンの詳細情報を出力 / Print details of each token
for token in tokens:
print(token) # 全情報の出力 / Full token information
print("読み (Reading):", token.reading) # ヨミガナ / Pronunciation
print("原形 (Base form):", token.base_form) # 原形 / Base form
print("品詞情報 (Part of Speech):", token.part_of_speech) # 品詞情報 / Part of speech
print("品詞リスト (POS List):", token.part_of_speech.split(',')) # リスト形式に変換 / POS as list
print("品詞カテゴリ (POS Category):", token.part_of_speech.split(',')[0]) # 主品詞 / Main POS
print("-----") # 区切り線 / Separator
実行結果
