はじめに
こんにちは、慶應義塾大学理工学部機械工学科3年の金賢佑です！
私は東大発AIベンチャーの株式会社2WINSの元でインターンをしています！
これからの記事では自分がインターンを通して最強のAIエンジニアを目指していきます！
第六回はOutputParserの基礎を記録しました！
OutputParserとは？
OutputParserとはLangChainのコンポーネントの一つ！
言語モデルの出力を特定の形に変換してくれる！
いろんな種類があって、たとえば
StructuredOutputParserは出力をJSON形式にしてくれる！
CommaSeparatedListOutputParserはリストに変換してくれる！
PydanticOutputParserは型のついたデータにしてくれる！
今回はPydanticOutputParserを使ってみるよ！
PydanticOutputParserを使ってみよう
以下では急にPydanticライブラリが出てくるから先に説明しておくよ！
Pydanticって？
PydanticはPythonでデータの型を決めて扱うためのライブラリ📦！
例えばPydanticライブラリの中のBaseModelというクラスを使ってみるよ！
from pydantic import BaseModel
class Recipe(BaseModel): # ← BaseModel を継承！
ingredients: list[str]
steps: list[str]
だから以下のようにルール通りにデータを渡すとちゃんとうまくいきますね！
data = {
"ingredients": ["たまねぎ", "にんじん"],
"steps": ["切る", "炒める"]
}
recipe = Recipe(**data)
print(recipe.ingredients) # → ['たまねぎ', 'にんじん']
print(recipe.steps) # → ['切る', '炒める']
だけどルールと違う以下のような場合もエラーになる！
Recipe(
ingredients="たまねぎ", 'にんじん'
steps=["切る", 1000]
)
まずはRecipeクラスを作成しよう！
from pydantic import BaseModel, Field
class Recipe(BaseModel):
ingredients: list[str] = Field(description='ingredients of the dish')
steps: list[str] = Field(description='steps to make the dish')
class Recipe(BaseModel):はRecipeという名前のクラスを定義してるよ！
ingredients: list[str]はingredientsには「文字列のリスト」しか加えられないことを意味している！
Fieldで説明を付け加えている。
次はこのコードを追加してください！
from langchain_core.output_parsers import PydanticOutputParser
output_parsers = PydanticOutputParser(pydantic_object=Recipe)
format_instructions = output_parsers.get_format_instructions()
print(format_instructions)
PydanticOutputParserは出力をRecipe型に変換するよって定義している感じ！
get_format_instructions()はLLMに「さっき定義したRecipe型で答えてね〜」と指定している感じ！
だから、print(format_instruction)での出力は「正しい出力」と「間違った出力」の例を出している！
The output should be formatted as a JSON instance that conforms to the JSON schema below.
As an example, for the schema {"properties": {"foo": {"title": "Foo", "description": "a list of strings", "type": "array", "items": {"type": "string"}}}, "required": ["foo"]}
the object {"foo": ["bar", "baz"]} is a well-formatted instance of the schema. The object {"properties": {"foo": ["bar", "baz"]}} is not well-formatted.
ではこのformat_instructionsを使ってChatPromptTemplateを作成します。
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate(
[
(
'system',
'ユーザーが入力した料理のレシピを教えてください。\n\n'
'{format_instructions}',
),
('human', '{dish}'),
]
)
prompt_with_format_instructions = prompt.partial(
format_instructions=format_instructions
)
systemにformat_instructionsで答えてね、と伝えてる！
'human', '{dish}'でユーザーが聞きたい料理名を入力できる
format_instructionsの部分にはいつも同じものが入るはず！いちいち形式を指定するのは面倒くさいからprompt.partialで固定しちゃう！
ちなみに復習するとこれが入っているよ
format_instructions = output_parsers.get_format_instructions()
では次！
prompt_value = prompt_with_format_instructions.invoke({'dish':'カレー'})
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model='gpt-4o', temperature=0)
ai_message = model.invoke(prompt_value)
GPT-4oを使ってプロンプトを送信した！
今回でいうと「カレーのレシピを指定したJSON形式で答えて〜」ってお願いしている！
recipe = output_parsers.invoke(ai_message)
print(type(recipe))
print(recipe)
最終的に返ってきたテキストをRecipeオブジェクトに変換しました！
#出力結果
<class '__main__.Recipe'>
ingredients=['鶏肉 300g', '玉ねぎ 2個', 'にんじん 1本', 'じゃがいも 2個', 'カレールー 1箱', '水 600ml', 'サラダ油 大さじ1', '塩 少々', 'こしょう 少々'] steps=['鶏肉、玉ねぎ、にんじん、じゃがいもを一口大に切る。', '鍋にサラダ油を熱し、鶏肉を炒める。', '鶏肉の色が変わったら、玉ねぎ、にんじん、じゃがいもを加えて炒める。', '全体に油が回ったら、水を加えて煮立たせる。', 'アクを取り除き、弱火で野菜が柔らかくなるまで煮る。', '火を止めてカレールーを加え、溶かす。', '再び弱火で煮込み、塩とこしょうで味を調える。', 'お好みのとろみになるまで煮込んで完成。']
これでPythonでデータとして扱うことができます！
format_instructionsがないとどうなるのか
なんだかPydanticOutputParserで「Recipe型で返してね」って定義しているのにformat_instructionでもまた、「Recipe型で返してね〜」って指示を出してるの、なんだか気持ち悪くありませんか？
そこで試しにformat_instructionsを消してみました。
実行例は以下の通りです。
from pydantic import BaseModel, Field
class Recipe(BaseModel):
ingredients: list[str] = Field(description='ingredients of the dish')
steps: list[str] = Field(description='steps to make the dish')
from langchain_core.output_parsers import PydanticOutputParser
output_parsers = PydanticOutputParser(pydantic_object=Recipe)
# format_instructions = output_parsers.get_format_instructions()
# print(format_instructions) <- 消しました
from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages(
[
(
'system',
'ユーザーが入力した料理のレシピを教えてください。' # \n\n''{format_instructions}', <- も消しています
),
('human', '{dish}'),
]
)
# prompt_with_format_instructions = prompt.partial(
# format_instructions=format_instructions
# ) <- もちろん消す
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model='gpt-4o', temperature=0)
prompt_value = prompt.invoke({'dish': 'カレー'})
ai_message = model.invoke(prompt_value)
recipe = output_parsers.parse(ai_message.content)
print(recipe)
実行結果は何やらエラーが起きています。LangSmithで詳細を確認してみましょう。
左が前回まで、右が今回です。
まず一枚目のシステムプロンプトについてですが、右だと、ただLLMに質問を投げかけているだけですね。
一方左はこういう型で返してねーとちゃんと伝えています。
二枚目の返答についても、ぱっと見二つとも返せているように見えますが、左とは違って右はただ文章を生成しているだけになっていますね。
（筆者はここで、また頭がこんがらがったので一応メモ程度に記しておきます。左の方、もう"ingredients"と"steps"にまとまっていてこれ以上何をパースするんだっけ？ってなりましたが、この"ingredients"はまだ文字列ですよね。だからこの後レシピ型にパースすることでしっかりingredientsと言うリストに入るんですね。）
これらのことからOutputParserは形の定義そのものであり、format_instructionsで指示をして初めて正常に動くことがわかりました！
いろいろ複雑ですね。。。
おさらい
from pydantic import BaseModel, Field
class Recipe(BaseModel):
ingredients: list[str] = Field(description="ingredients of the dish")
steps: list[str] = Field(description="steps to make the dish")
レシピの型を定義した！
from langchain_core.output_parsers import PydanticOutputParser
output_parsers = PydanticOutputParser(pydantic_object=Recipe)
出力をこの型にしてくれるParserを作成！
format_instructions = output_parsers.get_format_instructions()
LLMにこの形式で返答して！と指示書を作る！
prompt = ChatPromptTemplate([
('system', 'レシピを出力してください。\n\n{format_instructions}'),
('human', '{dish}')
])
prompt_with_format_instructions = prompt.partial(format_instructions=format_instructions)
プロンプトテンプレートを作成！
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model='gpt-4o', temperature=0)
prompt_value = prompt_with_format_instructions.invoke({'dish': 'カレー'})
ai_message = model.invoke(prompt_value)
LLMに質問を投げる！
recipe = output_parsers.parse(ai_message.content)
print(recipe)
最後に返ってきたテキストをRecipe型に変換しておしまい！
まとめ
今回はLangChainコンポーネントの一つのOutputparserを使ってみました！
お疲れ様でした！