1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@DaokFrontier

PC操作を自動化！AIエージェントをLangChainで構築する手順

1
Posted at

多くのエンジニアが「AIエージェントによるPC操作自動化」に期待を寄せつつも、具体的な実装でつまずきがちなポイントがあります。特にLangChainのような高速で進化するフレームワークでは、古い情報に惑わされ、最新のベストプラクティスを見失いがちです。

この記事では、LangChain v1.0を用いたAIエージェントによるPC操作自動化の最新手順と、実務で役立つ設計上のベストプラクティスを解説します。これを読めば、あなたの開発作業を効率化するAIエージェントを構築し、ひいては非技術者の業務自動化にも応用できる具体的なノウハウが得られます。

LangChain v1.0におけるAIエージェント構築の基礎知識

このセクションでは、LangChain v1.0におけるAIエージェント関連の主要な概念と、その進化について解説します。最新のLangChainでは、エージェント構築がより洗練され、強力になっています。

LangChainは、LLM（大規模言語モデル）を活用したアプリケーション開発のためのオープンソースフレームワークであり、特にエージェント機能が強化されています。2023年10月に正式リリースされたLangChain v1.0では、エージェント構築のAPIが大幅に改善されました。従来のinitialize_agent()は非推奨となり、create_react_agent()やcreate_tool_calling_agent()などのエージェントファクトリ関数が推奨されています。本記事では、より汎用的なcreate_agent()（LangGraphベース）に焦点を当てます。

LangChain v1.0の主要コンポーネント

  • create_agent(): LLM、ツール、システムプロンプトを渡すだけでエージェントを構築できる、シンプルで統一されたAPIです。LangGraph runtime上に実装されており、実行状態の管理、チェックポイント、並列実行、エラー時のリトライがフレームワーク側で提供されます。これにより、複雑なエージェントの制御フローも簡単に定義できます。
  • LangGraph: LangChainと統合可能な状態遷移型ワークフロー構築ライブラリです。グラフベースでエージェント間の制御フローを定義でき、ループ、分岐、再帰的な処理を扱う高度なマルチエージェント構成が可能です。LangChain v1.0では、create_agent()の内部でLangGraphが利用されています。
  • LangSmith: LangChainアプリケーションの開発、テスト、運用を支援する統合プラットフォームです。エージェントの思考、ツール呼び出し、LLMの入出力を時系列で追跡できる可視化機能や、本番トレースをテストケース化して品質を自動評価する機能を提供します。AIエージェントのデバッグには不可欠なツールです。
  • Tools: エージェントが外部と連携するためのモジュールで、検索エンジン、計算ツール、APIなどが該当します。LangChainは多くの組み込みツールを提供しており、BaseToolクラスを継承して独自のカスタムツールを作成することで、より柔軟なPC操作自動化が可能になります。
  • Retrieval (RAG): 社内文書、データベース、Web検索結果など外部データをLLMに渡すための一連の機能群です。RAG (Retrieval-Augmented Generation) の実装でよく使われ、AIエージェントの回答精度向上に寄与します。

LangChain v1.0でのAIエージェント実装例

このセクションでは、LangChain v1.0を用いて実際にAIエージェントを構築する最小限のコードを示します。PC操作自動化の基盤となるカスタムツールの定義方法も合わせて解説します。

まず、必要なライブラリをインストールします。

pip install langchain langchain-openai langchain-core

次に、Pythonコードでエージェントを構築します。

from datetime import datetime
from zoneinfo import ZoneInfo
from langchain.agents import create_agent # LangGraphベースのエージェントファクトリ
from langchain_core.tools import tool # @toolデコレータはlangchain_coreからインポート
from langchain_openai import ChatOpenAI # または ChatAnthropic など、使用するLLMプロバイダーに応じて変更
from langchain_core.messages import HumanMessage # メッセージ形式のインポート
import os

# 環境変数にAPIキーを設定（例: OPENAI_API_KEY）
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

# カスタムツールの定義例
# PC操作を自動化するツールも同様に@toolデコレータで定義します。
@tool
def get_current_time(timezone: str) -> dict: # 戻り値の型ヒントをdictに変更
    """指定されたタイムゾーンの現在時刻を取得する際に使用します。
    引数:
        timezone (str): タイムゾーン文字列 (例: 'Asia/Tokyo', 'America/New_York')
    戻り値:
        dict: 現在時刻を含む辞書。エラー時はエラーメッセージを含む。
    """
    try:
        now = datetime.now(ZoneInfo(timezone))
        return {"time": now.strftime("%Y-%m-%d %H:%M:%S %Z%z")}
    except Exception as e:
        # 存在しないタイムゾーンが指定された場合のハンドリング
        return {"error": f"指定されたタイムゾーン '{timezone}' は無効です。有効なタイムゾーンを指定してください。例: 'Asia/Tokyo'"}

# LLMの初期化
# gpt-4o-miniはコスト効率が高く、エージェントの思考プロセスに十分な性能を持っています。
llm = ChatOpenAI(model="gpt-4o-mini", temperature=0) # または "anthropic:claude-sonnet-4-5" など

# AIエージェントの構築
# create_agentはLangGraphベースのエージェントを構築します。
# 実行にはLangChain Expression Language (LCEL) のinvokeメソッドを使用します。
agent_runnable = create_agent(
    llm=llm, # modelではなくllmを使用
    tools=[get_current_time], # 定義したツールをリストで渡す
    system_message="あなたは優秀なAIアシスタントです。ユーザーの質問に正確に答えてください。ツールを適切に利用して情報を取得し、最終的な回答をしてください。", # system_promptではなくsystem_messageを使用
)

# エージェントの実行例1: 正しいタイムゾーン
print("--- 実行例1: 正しいタイムゾーン ---")
result = agent_runnable.invoke(
    {"messages": [HumanMessage(content="現在の東京の時刻を教えてください。")]}
)
print(result["messages"][-1].content) # 最後のメッセージがエージェントの最終出力

# エージェントの実行例2: 存在しないタイムゾーン
print("\n--- 実行例2: 存在しないタイムゾーン ---")
result_error = agent_runnable.invoke(
    {"messages": [HumanMessage(content="現在の存在しないタイムゾーンの時刻を教えてください。")]}
)
print(result_error["messages"][-1].content)

# エージェントの実行例3: ツールを使わない質問
print("\n--- 実行例3: ツールを使わない質問 ---")
result_no_tool = agent_runnable.invoke(
    {"messages": [HumanMessage(content="今日の天気は？")]}
)
print(result_no_tool["messages"][-1].content)

PC操作自動化への応用

上記のget_current_timeツールの代わりに、SeleniumやPlaywrightなどのブラウザ自動化ライブラリをラップしたカスタムツールを作成することで、PC操作の自動化を実現できます。例えば、以下のようなツールを定義します。

# PC操作自動化のためのカスタムツールのイメージ（実装は省略）
from langchain_core.tools import tool
# from selenium import webdriver # または playwright

@tool
def open_browser_and_navigate(url: str) -> str:
    """指定されたURLをWebブラウザで開きます。"""
    # WebDriverを初期化し、URLを開く処理
    # 例: driver = webdriver.Chrome(); driver.get(url)
    return f"ブラウザで {url} を開きました。"

@tool
def fill_form_field(selector: str, value: str) -> str:
    """指定されたセレクタのフォームフィールドに値を入力します。"""
    # Webページ上の要素を特定し、値を入力する処理
    return f"セレクタ '{selector}' に '{value}' を入力しました。"

@tool
def click_button(selector: str) -> str:
    """指定されたセレクタのボタンをクリックします。"""
    # Webページ上の要素を特定し、クリックする処理
    return f"セレクタ '{selector}' のボタンをクリックしました。"

# これらのツールをagent_runnableにtools=[..., open_browser_and_navigate, fill_form_field, ...]のように渡すことで、
# AIエージェントがこれらのツールを使ってPC操作を自動化できるようになります。

このように、具体的なPC操作を関数として定義し、@toolデコレータでラップすることで、AIエージェントがそれらの操作を自律的に判断・実行できるようになります。

AIエージェント実装で直面する課題と解決策

このセクションでは、AIエージェントによるPC操作自動化を実装する際によく直面するエラーや課題、そしてその具体的な回避策を解説します。これらのポイントを押さえることで、安定したエージェントを構築できます。

1. API接続エラー（レート制限の429エラー）とトークン制限エラー

AIエージェントは自律的に動作するため、手動操作時よりも大量のAPIリクエストを送信し、レート制限やトークン制限に抵触しやすくなります。

  • 回避策:
    • 指数バックオフによるリトライ処理: 多くのLLMクライアントライブラリ（例: openai）には組み込みのリトライ機能があります。これらを活用し、エラー発生時に自動で再試行する仕組みを導入します。
    • トークン使用量の管理: 会話履歴の要約や、タスクに応じてより安価なLLMモデル（例: gpt-4o-mini）を使用することで、トークン使用量を削減します。
    • キャッシュの活用: LangChainのLLMCacheなどを有効にして、LLMの応答をキャッシュすることで、不要なAPI呼び出しを減らします。
    • バッチ処理: LLMプロバイダーがサポートしている場合、複数のリクエストをまとめて処理するバッチAPIを利用することで、効率を向上させます。

2. 無限ループ

エージェントがタスク完了の判断を誤り、同じような思考やツール実行を繰り返してしまうことがあります。これはPC操作自動化において、無駄な操作を繰り返す原因となります。

  • 回避策:
    • LangGraphによる制御: LangGraphでエージェントを構築する場合、グラフのノード遷移に条件分岐を設け、特定の状態でのループを検知・回避するロジックを組み込みます。
    • 明確な終了条件のプロンプト: プロンプトに「タスクが完了したら必ず'TASK_COMPLETED'と出力してください」のような明確な終了条件を記述し、エージェントにタスク完了の判断基準を与えます。
    • 実行履歴の監視: 実行済みタスクやツール呼び出しの履歴を記録し、同じタスクの繰り返しを検知して自動停止する仕組みを導入します。
    • 最大イテレーション/実行時間の制限: max_iterationsやmax_execution_timeのようなパラメータをエージェントの実行環境に設定し、強制的に停止させるガードレールを設けます（create_agentの直接の引数ではないが、LangGraphのノード設計で実装可能）。

3. ハルシネーション（幻覚）

LLMが事実に基づかない情報を生成してしまう現象で、AIエージェントが誤った情報に基づいてPC操作を実行するリスクがあります。

  • 回避策:
    • RAG (Retrieval-Augmented Generation) の活用: 社内文書やWeb検索結果など、正確な情報源をAIに提供します。これにより、LLMは外部の信頼できる情報に基づいて応答を生成し、ハルシネーションのリスクを低減します。
    • Temperatureパラメータの調整: Temperatureパラメータを0.0〜0.3に下げることで、LLMの創造性を抑え、より事実に基づいた出力を促します。
    • ガードレールによる出力検証: エージェントの出力やツール呼び出しの引数を検証するロジックを導入し、不適切な情報や事実と異なる情報を検出・修正します。
    • 構造化プロンプト: プロンプト内でツール使用ルールを明確にし、LLMがツールを適切に利用して情報を取得するように誘導します。

4. LangChainのToolやWrapperが英語圏に特化している

LangChainが提供するプロンプトやラッパーが英語以外を意識していないことが多く、特に検索系のツールがUSのサイトを引っ張ってくることがあります。これにより、トークン数の消費が増えたり、必要な情報が得られにくくなったりします。

  • 回避策:
    • カスタムツールの作成: BaseToolクラスを継承して、独自のカスタムツールを作成します。例えば、BingSearchAPIWrapperのmktやsetLangのような地域・言語指定パラメータを自分で実装し、日本語検索に特化させます。
    • プロンプトでの明示的な指示: プロンプト内で「日本語で情報を検索してください」「日本の情報を優先してください」のように、明示的に日本語での情報検索や処理を指示します。
    • 日本語特化APIの活用: 日本語に特化した外部APIやライブラリをカスタムツールとしてラップし、エージェントに提供します。

AIエージェントの設計上のトレードオフとベストプラクティス

このセクションでは、AIエージェントを実用的に導入するための設計思想と、考慮すべきトレードオフ、そしてそれらを乗り越えるためのベストプラクティスを解説します。

自律性と信頼性のトレードオフ

AIエージェントの自律性を高めると、予期せぬ動作やエラーが発生する可能性が高まり、結果として信頼性が低下する可能性があります。

  • ベストプラクティス:
    • ドメイン特化: 「何でもできる万能なエージェント」を目指すのではなく、特定の業務ドメインに特化させ、自律的なエージェントに任せる範囲を限定します。例えば、特定のWebサイトのデータ収集に特化させるなどです。
    • 固定ワークフローの活用: 定型的な業務には、あえて自由度を下げた固定的なワークフロー（LangGraphなどで構築）を適用し、非決定的な動作を避けます。
    • Human-in-the-loop: 人間が介在する仕組みを導入し、重要な判断や最終確認を人間が行うようにします。例えば、PC操作の実行前にユーザーに確認を求めるステップを設けるなどです。

コストとレイテンシーの最適化

高性能なLLMや複雑なAIエージェントは、高いコストと長い応答時間につながります。これは実務導入において大きな課題となります。

  • ベストプラクティス:
    • LLMモデルの選択: タスクの複雑さに応じて、適切なLLMモデルを選択します。例えば、簡単な情報抽出にはコストの低い小型モデル（gpt-4o-mini）、複雑な推論や多段階のPC操作には高性能モデル（gpt-4o）を使用します。
    • キャッシュの活用: LangChainのLLMCacheなどを利用してLLMの応答をキャッシュし、繰り返し発生するリクエストのコストとレイテンシーを削減します。
    • ストリーミング出力: 可能であればストリーミング出力を有効にし、ユーザー体験を向上させます。
    • LLMOpsツールの活用: LangSmithなどのLLMOpsツールを活用し、トークン使用量や実行時間をモニタリングすることで、ボトルネックを特定し最適化を図ります。

モジュール性と再利用性

効率的な開発と長期的な保守のためには、エージェントのモジュール性と再利用性が重要です。

  • ベストプラクティス:
    • モジュールベースのアプローチ: LangChainのモジュールベースのアプローチを活用し、LLMプロバイダーだけを差し替えるといった柔軟な対応を可能にします。
    • 再利用可能なコンポーネント: カスタムツール、プロンプトテンプレート、LangGraphのノードなど、再利用性の高いコンポーネントを設計し、異なるエージェントやプロジェクト間での共有を促進します。
    • パッケージ分割: LangChain v1.0のパッケージ分割により、必要な機能だけを選択してインストールすることで、依存関係をシンプルに保ちます。

観測可能性とデバッグ

AIエージェントの動作は非決定的な部分が多く、問題発生時のデバッグが困難になりがちです。

  • ベストプラクティス:
    • LangSmithの活用: LangSmithを活用し、エージェントの思考プロセス、ツール呼び出し、LLMの入出力を詳細に可視化します。これにより、エージェントがなぜその判断に至ったのかを追跡しやすくなります。
    • Callbacks機能: LangChainのCallbacks機能を利用して、アプリケーションのログ記録やモニタリングを効率的に行います。これにより、エージェントの実行中に特定のイベントをフックして情報を取得できます。
    • Content Blocks: LangChain v1.0のContent Blocks（langchain_core.messagesの拡張）により、テキスト、画像、ツール呼び出し、推論ステップを統一的に扱えるため、デバッグが容易になります。エージェントの内部状態をより詳細に把握できます。

まとめ

本記事では、LangChain v1.0を用いたAIエージェントによるPC操作自動化の具体的な実装手順と、開発における重要な考慮事項を解説しました。

  • LangChain v1.0の進化: create_agent()やLangGraphの活用により、より堅牢で柔軟なAIエージェントの構築が可能になりました。
  • カスタムツールの重要性: @toolデコレータを活用し、SeleniumやPlaywrightなどのライブラリをラップすることで、PC操作をAIエージェントに組み込めます。
  • 課題解決: APIエラー、無限ループ、ハルシネーション、日本語対応といった実務上の課題に対する具体的な回避策を提示しました。
  • 設計上のベストプラクティス: 自律性と信頼性のバランス、コスト最適化、モジュール性、観測可能性といった観点から、実用的なAIエージェントを構築するための設計指針を示しました。

AIエージェントによるPC操作自動化は、開発作業の効率化だけでなく、非技術者の業務自動化にも大きな可能性を秘めています。ぜひこの記事を参考に、あなたの業務にAIエージェントを導入してみてください。さらなる詳細や最新情報は、LangChainの公式ドキュメントをご確認ください。

1
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?