LangChainを使いＡＩエージェント(Webサーチ)をELYZA-japanese-Llama-2-7bで構築の仕方

ＡＩエージェントとは？

ワークフローを設計し、利用可能なツールを活用すること、またユーザーに代わってタスクを自動的に実行できるシステムの事。

例えばAIエージェントがウェブサーチを使い、その結果を生成AI（ChatGPT等）に与える事でユーザーが欲しい情報を届ける事が出来る。
そのAIエージェントのライブラリーの１つがLangChain。

ＡＩエージェント（LangChain）が使える生成AI
LangChainがサポートしている生成AIは

OpenAI
Ollama
Anthropic
Google AI
https://python.langchain.com/docs/integrations/llms/

もちろん、HuggingFaceもサポートしてます。
なので、今回はELYZA-japanese-Llama-2-7bを使用したＡＩエージェントの作成をしたいと思います。
（ELYZA-japanese-Llama-2-7bならファインチューンもしやすい為）

必要なライブラリー

langchain-community langchain-huggingface langchain duckduckgo-search

duckduckgo-searchはウェブサーチ用

インポートするライブラリーは下記の通り

from langchain_community.tools import DuckDuckGoSearchResults
from langchain_community.utilities import DuckDuckGoSearchAPIWrapper
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

DuckDuckGoSearchAPIWrapperはサーチ場所を日本にする為（ディフォルトはUSエリア）

wrapper = DuckDuckGoSearchAPIWrapper(region="jp-jp")

これによりサーチエリアが日本に変更。

HuggingFaceからモデルとトークナイザーを読み込み、パイプラインに入れる
量子化はあってもなくてもOK

現在、LangChainを使う場合パイプラインのタスクはtext-generationのみサポートしてます。

hf_auth = HF_TOKENS  # ここにHuggingFaceのトークンを入れる
model_id = 'elyza/ELYZA-japanese-Llama-2-7b-instruct'

# 量子化
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,  # 4bitのQuantizationの有効化
    bnb_4bit_quant_type="nf4",  # 4bitのQuantizationのタイプ (fp4 or nf4)
    bnb_4bit_compute_dtype=torch.float16,  # 4bitのQuantizationのdtype (float16 or bfloat16)
    bnb_4bit_use_double_quant=False,  # 4bitのDouble-Quantizationの有効化
)

model_config = transformers.AutoConfig.from_pretrained(
    model_id,
    token=hf_auth
)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    config=model_config,
    quantization_config=quantization_config,
    device_map='auto',
    token=hf_auth,
    weights_only=True,
)

# Tokenizerの準備
tokenizer = AutoTokenizer.from_pretrained(
    model_id,  # モデル名
    use_fast=False,  # Fastトークナイザーの有効化
    add_eos_token=True,  # データへのEOSの追加を指示
    trust_remote_code=True,
    token=hf_auth,
)

pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer
            )

パイプラインをLangChainに組み込み

hf_llm = HuggingFacePipeline(pipeline=pipe)

検索エンジン用のファンクションの作成

def search_web(query: str) -> str:
    wrapper = DuckDuckGoSearchAPIWrapper(region="jp-jp", time="d", max_results=2)
    engine = DuckDuckGoSearchResults(api_wrapper=wrapper, backend="news")
    return engine.invoke(f"{query}")

確認方法

print(search_web(”トヨタについて”))

プロンプトの作成
検索結果とはsearch_webの結果の事
"[INST]", "[/INST]"がなくても大丈夫です（むしろ、ない方が良いかも）

prompt_template = ChatPromptTemplate([
    ("system", "あなたはAIアシスタントです。必要に応じて、検索結果を使用します。"),
    ("user", "{question}")
])

AIエージェント（チェインの作成）

chain = ({"question": lambda x: x["question"], "検索結果": lambda x: search_web(x["question"])} # <----search_webを使用
         | prompt_template
         | hf_llm
         | StrOutputParser()
         )

LangChainでチェインの作り方は　|　で分割します。
また、オーダーが違うとエラーが出るのでオーダーに気をつけてください。
オーダーは　ウェブ検索　ー＞　プロンプト　ー＞　LLM　ー＞　結果

昔のやり方では（こちらではエラーがでます。）

from langchain.chains import LLMChain
from langchain_core.tools import Tool

tool = Tool(
        name="検索結果",  # Name of the tool
        func=search_web,  # Function that the tool will execute
        # Description of the tool
        description="Webサーチ",
    )
chain = =LLMChain(llm=hf_llm, prompt=prompt_template, tools=[tool])

質問の作成

question = "トヨタとは？"
print(chain.invoke({"question": question}))

>>> 
System: あなたはAIアシスタントです。必要に応じて、検索結果を使用します。
Human: トヨタとは？
トヨタ自動車株式会社の略称である。トヨタ自動車株式会社は、日本を代表する自動車メーカーであり、世界最大手の自動車製造企業の一つである。愛知県を中心に生産、販売を行っている。また、関連会社を含めたトヨタグループは世界最大の自動車販売台数を誇っている。

- トヨタ自動車株式会社
- トヨタ
- トヨタ自動車
- トヨタグループ
- トヨタの歴史
- トヨタの車種
- トヨタの役員
- 関連会社
- トヨタ自動車の工場
- トヨタ自動車の沿革

ちなみにウェブサーチをなくして、ELYZA-japanese-Llama-2-7に聞いたら変な回答が帰ってきました。