LoginSignup
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@555hamano(Akr)

AIエンジニアへの道 - 19日目：LLMを活用したチャットボット開発！実践的なプログラミング

Last updated at Posted at 2025-07-23

19日目：LLMを活用したチャットボット開発！実践的なプログラミング

皆さん、こんにちは！AI学習ロードマップ19日目を迎えました。昨日はHugging Face Transformersライブラリを使って、LLM（大規模言語モデル）の基本的な使い方と感情分析の推論を試しましたね。LLMがどのようにしてテキストを理解し、分類するのか、その片鱗を掴めたことと思います。

今日は、LLMの最もエキサイティングな応用の一つである「チャットボット開発」に挑戦します。ChatGPTに代表されるような対話型AIは、私たちの日常に浸透しつつあります。Hugging Face Transformersライブラリを使って、シンプルなチャットボットを実装し、LLMがどのように対話を行うのか、その実践的な側面をプログラミングを通じて体験しましょう。

本日は、チャットボットの基本的な仕組み、LLMを用いた対話生成のプロセス、そしてPythonでの具体的な実装例を詳しく解説していきます。

19日目：LLMを活用したチャットボット開発!実践的なプログラミング - visual selection.png

1. チャットボットの基本的な仕組み

チャットボットは、人間とのテキストベースの会話をシミュレートするプログラムです。その仕組みは、大きく分けて以下の2つのタイプがあります。

  1. ルールベース型チャットボット:
    • あらかじめ定義されたキーワードやフレーズ、ルールに基づいて応答を生成します。
    • 複雑な会話や未知の質問には対応できませんが、特定用途（FAQなど）では効率的です。
  2. AIベース型チャットボット（対話型AI）:
    • 機械学習やディープラーニングを活用し、ユーザーの意図を理解し、文脈に応じた自然な応答を生成します。
    • LLMを活用したチャットボットは、このAIベース型に分類されます。

LLMを活用したチャットボットは、もはやルールに縛られず、大量の学習データから得た知識と生成能力を基に、より柔軟で人間らしい対話を実現します。

2. LLMを用いた対話生成のプロセス

LLMがチャットボットとして機能する際、内部では以下のようなプロセスが実行されます。

  1. ユーザー入力の受け取り: ユーザーがチャットボットにテキストメッセージを送信します。
  2. プロンプトの構築: LLMに与える入力（プロンプト）を作成します。単にユーザーの入力だけでなく、過去の会話履歴や、ボットの「役割」や「振る舞い」を指示するシステムプロンプトなども含めます。
  3. LLMによる応答生成: 構築されたプロンプトがLLMに入力され、LLMは過去の学習に基づいて次に最もらしい単語を予測し、テキストを生成します。この生成プロセスは、Transformerのデコーダー部分が担っています。
  4. 応答の整形と表示: 生成されたテキストをユーザーにとって読みやすい形に整形し、チャットインターフェースに表示します。
  5. 会話履歴の更新: 次の会話のために、現在のユーザー入力とボットの応答を会話履歴に追加します。これにより、ボットは会話の文脈を維持できます。

このプロセスにおいて、特に重要なのが「プロンプトエンジニアリング」と呼ばれる技術です。LLMは与えられたプロンプトに強く依存するため、いかに効果的なプロンプトを作成するかが、ボットの応答品質を左右します。

3. 実践！Hugging Face Transformersでのチャットボット実装

ここでは、Hugging Face Transformersライブラリを使って、非常にシンプルなチャットボットを実装してみましょう。具体的には、GPT系のモデル（ここではmicrosoft/DialoGPT-mediumという対話に特化したGPTモデル）を使用します。

3.1. 必要なライブラリのインストール

# Transformersライブラリと、モデルを効率的に扱うためのライブラリをインストール
# 初回のみ実行してください
!pip install transformers torch accelerate

3.2. シンプルなチャットボットのコード

このコードは、ユーザーからの入力を受け取り、それをモデルに渡して応答を生成し、表示するという一連の流れをループで実行します。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 1. モデルとトークナイザーのロード
# 対話生成に特化したGPT系モデル (DialoGPT) を使用
# 'microsoft/DialoGPT-medium' は中規模のモデルで、手軽に試すのに適しています。
# より大規模なモデル (e.g., gpt2-large, gpt2-xl) もありますが、リソースを消費します。
model_name = "microsoft/DialoGPT-medium"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

print(f"--- モデル '{model_name}' をロードしました ---")
print("チャットボットを開始します。終了するには 'exit' と入力してください。\n")

chat_history_ids = None # 会話履歴を保持するための変数

while True:
    # 2. ユーザーからの入力を受け取る
    user_input = input("あなた: ")

    if user_input.lower() == 'exit':
        print("チャットボットを終了します。")
        break

    # 3. ユーザー入力をトークン化し、会話履歴に追加
    # モデルの最大入力長 (max_length) を超えないように注意
    # 'append_special_tokens=True' は、会話の区切りを示す特殊トークンを追加します
    new_input_ids = tokenizer.encode(user_input + tokenizer.eos_token, return_tensors='pt')
    # eos_token (End Of Sentence token) は、文章の終わりを示す特殊トークン

    # 過去の会話履歴がある場合、新しい入力を結合
    if chat_history_ids is None:
        bot_input_ids = new_input_ids
    else:
        # 過去の履歴と新しい入力を結合
        # torch.cat でテンソルを結合
        bot_input_ids = torch.cat([chat_history_ids, new_input_ids], dim=-1)

    # 4. LLMによる応答生成
    # モデルの `generate` メソッドを使用
    # max_length: 生成する応答の最大トークン数 (長すぎると無限に生成される可能性)
    # pad_token_id: パディングトークンのID
    # no_repeat_ngram_size: 同じngram (単語の並び) が繰り返されないようにする (自然な応答のため)
    # do_sample: 生成時にランダム性を持たせる (Trueにするとより多様な応答)
    # top_k, top_p, temperature: 生成のランダム性を制御するパラメータ
    #   top_k: 確率の高い上位K個のトークンからサンプリング
    #   top_p: 累積確率がPになるまでのトークンからサンプリング (多様性と一貫性のバランス)
    #   temperature: 温度が高いほどランダム性が増す (創造的だが、不正確になることも)
    chat_history_ids = model.generate(
        bot_input_ids,
        max_length=1000,  # 会話全体の最大長 (履歴含む)
        pad_token_id=tokenizer.eos_token_id,
        no_repeat_ngram_size=3, # 3-gramの繰り返しを避ける
        do_sample=True, # ランダムサンプリングを有効化
        top_k=50,       # 確率の高い上位50個の単語から選択
        top_p=0.95,     # 累積確率が95%になるまで選択
        temperature=0.7 # 生成のランダム性を制御 (0.7は比較的安定した応答)
    )

    # 5. 生成された応答をデコードし、表示
    # 履歴の中から、ユーザー入力後のモデルの新しい応答部分のみを抽出
    # chat_history_ids[0, bot_input_ids.shape[-1]:] は、過去の入力部分を除いた新しい生成部分
    response = tokenizer.decode(chat_history_ids[:, bot_input_ids.shape[-1]:][0], skip_special_tokens=True)
    print(f"ボット: {response}")

3.3. コードの解説とポイント

  • AutoModelForCausalLM: これは、因果的言語モデル（Causal Language Model）をロードするためのクラスです。GPTモデルのように、過去の単語に基づいて次の単語を生成するモデルを指します。
  • tokenizer.encode(user_input + tokenizer.eos_token, return_tensors='pt'):
    • ユーザー入力をモデルが理解できる数値IDのリストに変換します。
    • tokenizer.eos_token（End Of Sentence token）を追加することで、モデルに「ここでユーザーの発話が終わった」ことを伝えます。これは対話モデルにとって重要です。
    • return_tensors='pt'は、PyTorchのテンソルとして結果を返すように指示します。
  • torch.cat([chat_history_ids, new_input_ids], dim=-1):
    • 以前の会話履歴のテンソルと、新しいユーザー入力のテンソルを結合します。これにより、モデルは会話全体の文脈を理解しながら応答を生成できます。これが「文脈を考慮した対話」の鍵です。
  • model.generate(...):
    • LLMを使ってテキストを生成するメソッドです。
    • max_length: 生成されるテキストの最大長を指定します。無限に生成されないように制限が必要です。
    • pad_token_id: パディングトークンのIDを指定します。これは、モデルが内部で固定長にデータを揃える際に使われます。
    • no_repeat_ngram_size: 生成されるテキストで特定のN-gram（単語の連続）が繰り返されるのを防ぎ、より自然な応答にするためのパラメータです。
    • do_sample、top_k、top_p、temperature: これらは、LLMの応答の「多様性」と「一貫性」を制御するための重要なパラメータです。
      • do_sample=Trueにすると、モデルは最も確率の高い単語を選ぶだけでなく、確率分布に基づいてランダムに単語を選びます。
      • temperatureが高いほど、モデルはよりランダムで創造的な応答を生成する傾向がありますが、一貫性が損なわれる可能性もあります。
      • top_kやtop_pは、サンプリング時に考慮する単語の候補を絞り込むことで、生成品質を安定させつつ多様性を保つ役割を果たします。
  • tokenizer.decode(...):
    • モデルが生成した数値IDのリストを、人間が読めるテキストに変換します。
    • skip_special_tokens=Trueは、[PAD]や[EOS]のような特殊トークンをデコード結果から除外します。

4. チャットボット開発の課題と今後のステップ

このシンプルなチャットボットは、会話の文脈をある程度保持し、自然な応答を生成できますが、実際のチャットボット開発にはさらなる課題と工夫が必要です。

  • 応答の制御: LLMは「事実に基づかない情報」（ハルシネーション）を生成したり、意図しない不適切な応答をしたりする可能性があります。これを防ぐための安全対策やフィルターが必要です。
  • 特定ドメインの知識: 汎用LLMは一般的な知識は豊富ですが、特定の専門分野（例：医療、法律、企業のFAQ）に関する知識は持ちません。これに対応するためには、RAG (Retrieval-Augmented Generation) と呼ばれる外部知識ベースと連携する技術や、より高度なファインチューニングが必要です。
  • ユーザー体験 (UX) の向上: 長い応答の管理、中断と再開、感情の理解と対応、多言語対応など、ユーザーがより快適に利用できるためのUXデザインが重要です。
  • コストとレイテンシ: 大規模なLLMは推論に時間がかかり、計算コストも高くなる傾向があります。これを最適化する技術も重要です。

このコードはあくまで基本的な仕組みを理解するためのものですが、Hugging FaceのAPIやエコシステムを活用すれば、より複雑で堅牢なチャットボットシステムを構築することが可能です。

5. まとめと次へのステップ

本日は、AI学習ロードマップの19日目として、LLMを活用したチャットボット開発の第一歩を踏み出しました。

  • チャットボットの基本的な仕組みと、LLMが対話生成において果たす役割を理解しました。
  • プロンプト構築と会話履歴の管理が、文脈を考慮した自然な対話を実現する上で重要であることを学びました。
  • Hugging Face TransformersライブラリのAutoModelForCausalLMとAutoTokenizer、そしてmodel.generate()メソッドを使って、対話型AIのシンプルなプログラミングを実践しました。
  • LLMによる応答生成の制御（do_sample, temperature, top_k, top_pなど）が、生成されるテキストの品質に影響を与えることを確認しました。

この経験は、LLMがどのようにして対話的なアプリケーションを動かしているのか、その実践的な理解を深めるのに役立ったはずです。ぜひ、コードのパラメータを変更したり、様々な質問を投げかけたりして、モデルの振る舞いを観察してみてください。

明日は、機械学習モデルの性能をさらに引き出すための「ハイパーパラメータチューニング」について学びます。今日のチャットボットで試したtemperatureのようなパラメータも、ハイパーパラメータの一種です。最適なモデルを構築するために不可欠な技術ですので、楽しみにしてください！

それでは、また明日！

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?