Transformerモデルは、自然言語処理(NLP)のさまざまなタスクで優れたパフォーマンスを発揮しています。この記事では、Hugging Faceのtransformersライブラリを使用して、Text Classification（テキスト分類）、NER（固有表現抽出）、Question Answering（質問応答）、Summarization（要約）、Translation（翻訳）、**Generation（生成）**の各タスクを実際に実行する方法を紹介します。

1. インストールとセットアップ

まずは、Hugging Faceのtransformersライブラリをインストールします。

pip install transformers

さらに、データの表示に便利なpandasライブラリも使用します。

pip install pandas

次に、Pythonで必要なライブラリをインポートします。

from transformers import pipeline
import pandas as pd

2. Text Classification（テキスト分類）

テキスト分類は、テキストがどのカテゴリに属するかを予測します。以下のコードでは、テキストに対して感情分析を行っています。

classifier = pipeline("text-classification")

text = """Dear Amazon, last week I ordered an Optimus Prime action figure 
from your online store in Germany. Unfortunately, when I opened the package, 
I discovered to my horror that I had been sent an action figure of Megatron 
instead! As a lifelong enemy of the Decepticons, I hope you can understand my 
dilemma. To resolve the issue, I demand an exchange of Megatron for the 
Optimus Prime figure I ordered. Enclosed are copies of my records concerning 
this purchase. I expect to hear from you soon. Sincerely, Bumblebee."""

outputs = classifier(text)
print(pd.DataFrame(outputs))

結果：
このコードは、テキストがポジティブかネガティブかの感情を分類します。Hugging Faceの事前学習モデルが使用され、予測結果が出力されます。

3. NER（固有表現抽出）

NERは、テキストから人物名や組織名、地名などの固有名詞を抽出するタスクです。

ner_tagger = pipeline("ner", aggregation_strategy="simple")
outputs = ner_tagger(text)
print(pd.DataFrame(outputs))

結果：
固有名詞（例: Amazon, Bumblebeeなど）が抽出され、どの部分が固有表現かを確認できます。

4. Question Answering（質問応答）

質問応答は、与えられたテキストの中から、質問に対する答えを見つけ出すタスクです。

reader = pipeline("question-answering")
question = "What is the problem?"
outputs = reader(question=question, context=text)
print(pd.DataFrame([outputs]))

結果：
「What is the problem?」という質問に対して、テキスト内から適切な回答を抽出します。

5. Summarization（要約）

要約タスクは、長いテキストを簡潔にまとめるタスクです。

summarizer = pipeline("summarization")
outputs = summarizer(text, max_length=56, clean_up_tokenization_spaces=True)
print(outputs[0]['summary_text'])

結果：
入力されたテキストが短く要約され、簡潔な形で出力されます。

6. Translation（翻訳）

翻訳は、テキストを他の言語に翻訳するタスクです。この例では英語からドイツ語への翻訳を行います。

translator = pipeline("translation_en_to_de", model="Helsinki-NLP/opus-mt-en-de")
outputs = translator(text, clean_up_tokenization_spaces=True, min_length=100)
print(outputs[0]['translation_text'])

結果：
テキストがドイツ語に翻訳され、翻訳結果が表示されます。

7. Generation（生成）

テキスト生成は、与えられた文に基づいて続きのテキストを生成します。

from transformers import set_seed
set_seed(42)

generator = pipeline("text-generation")
response = "Dear Bumblebee, I am sorry to hear that your order was mixed up."
prompt = text + "\n\nCustomer service response:\n" + response
outputs = generator(prompt, max_length=500)
print(outputs[0]['generated_text'])

結果：
入力した文脈を元に、自然な文章の続きを生成します。ここでは、Bumblebeeのクレームに対するカスタマーサービスの返答を生成しています。

これらのコードを通じて、Transformerモデルを使った基本的なNLPタスクの流れを確認しました。Hugging Faceのpipeline機能は非常に使いやすく、複雑なモデルを簡単に実行することができます。

参考文献