第1章: Polyglotとは
Polyglotは、Pythonで自然言語処理を行うための強力なライブラリです。多言語に対応し、様々な言語処理タスクを簡単に実行できます。
第2章: Polyglotのインストール
まず、Polyglotをインストールしましょう。以下のコマンドを使用します。
pip install polyglot
依存ライブラリもインストールする必要があります。
pip install pyicu pycld2 morfessor
第3章: 言語検出
Polyglotを使って、テキストの言語を自動的に検出できます。
from polyglot.detect import Detector
text = "こんにちは、世界！Hello, world!"
detector = Detector(text)
print(detector.language.name)
このコードは、テキストに含まれる主要な言語を検出します。
第4章: トークン化
テキストをトークン（単語や文字）に分割する機能を見てみましょう。
from polyglot.text import Text
text = Text("吾輩は猫である。名前はまだ無い。")
print([word for word in text.words])
この例では、日本語のテキストを単語に分割しています。
第5章: 品詞タグ付け
Polyglotは品詞タグ付けもサポートしています。
from polyglot.text import Text
text = Text("I love programming in Python.", language="en")
print([(word.string, word.pos) for word in text.words])
英語のテキストに対して品詞タグを付けています。
第6章: 固有表現抽出
テキストから固有表現（人名、地名、組織名など）を抽出できます。
from polyglot.text import Text
text = Text("バラク・オバマはアメリカ合衆国の第44代大統領です。")
for entity in text.entities:
print(entity)
このコードは日本語のテキストから固有表現を抽出します。
第7章: 感情分析
Polyglotを使って、テキストの感情を分析することができます。
from polyglot.text import Text
text = Text("私はPythonが大好きです！", language="ja")
print(text.polarity)
このコードはテキストのポジティブ/ネガティブの度合いを数値で表します。
第8章: 多言語対応
Polyglotの強みは多言語対応です。以下は複数の言語でのトークン化の例です。
from polyglot.text import Text
texts = [
Text("Hello, how are you?", language="en"),
Text("Bonjour, comment allez-vous?", language="fr"),
Text("こんにちは、お元気ですか？", language="ja")
]
for text in texts:
print(f"Language: {text.language.name}")
print([word for word in text.words])
print()
第9章: 翻訳
Polyglotには簡単な翻訳機能も備わっています。
from polyglot.translate import Translator
translator = Translator()
text = "Hello, world!"
translated = translator.translate(text, target_language="ja")
print(translated)
この例では英語から日本語への翻訳を行っています。
第10章: 形態素解析
日本語の形態素解析も可能です。
from polyglot.text import Text
text = Text("私は昨日公園に行きました。", language="ja")
print([(word.string, word.pos) for word in text.words])
このコードは日本語のテキストを形態素に分解し、品詞情報を付与します。
第11章: 文字種の判定
Polyglotを使って文字種を判定することができます。
from polyglot.text import Text
text = Text("Hello こんにちは 123")
for char in text.unicodes:
print(f"{char}: {char.script}")
この例では、テキスト中の各文字がどの文字体系に属するかを判定しています。
第12章: 言語モデルの利用
Polyglotには簡単な言語モデル機能があります。
from polyglot.text import Text
text = Text("The cat is sitting on the", language="en")
print(text.word_probabilities[-1])
この例では、文の最後の単語の確率分布を表示します。
第13章: 文字のエンコーディング変換
Polyglotを使って文字のエンコーディングを変換できます。
from polyglot.text import Text
text = Text("こんにちは", language="ja")
print(text.encode("utf-8"))
print(text.encode("shift-jis"))
このコードは日本語のテキストを異なるエンコーディングに変換します。
第14章: 複数言語の混在テキストの処理
Polyglotは複数の言語が混在するテキストも処理できます。
from polyglot.text import Text
text = Text("Hello こんにちは Bonjour")
for word in text.words:
print(f"{word}: {word.language}")
この例では、混在するテキストの各単語の言語を判定しています。
第15章: カスタムモデルの利用
Polyglotでは、カスタムモデルを利用することもできます。
from polyglot.text import Text
from polyglot.downloader import downloader
downloader.download("embeddings2.ja")
text = Text("私はPythonが好きです", language="ja")
print(text.embeddings)
この例では、日本語の単語埋め込みモデルをダウンロードし、テキストの埋め込み表現を取得しています。
以上が、Polyglotの主要な機能と使用方法の概要です。Polyglotを使うことで、多言語対応の自然言語処理タスクを簡単に実行できます。日本語を含む様々な言語のテキスト処理に役立つツールとして、ぜひ活用してみてください。