はじめに
LLMの精度向上するためのプロンプトテクニックとして、参考資料[1]や視聴してきたUdemy講座ではCoT（Chain of Thought）が紹介されており、普段の業務から利用してきた。しかしながらLLMからのレスポンス精度に満足いっていなかったので、改めてプロンプトテクニックについて調査したところ、SCoT(Strategic Chain of Thought)という手法がCoTよりも精度が高いと言われており、今回検証した結果を備忘録としてまとめる。
SCoTとCoTの違い
詳細な内容は参考資料[2][3]に任せ、簡易的なイメージを記載していく。
CoTとは、リクエストに対してレスポンスするまでを各ステップごとに分けて考えさせる手法で、プロンプト上では「ステップバイステップで検討して 回答してください。」と表現されている。この際、プロンプトに記載されている情報や解決したい課題によって、誤ったステップによる誤答を引き起こしてしまう。
SCoTとは、CoTをベースとしてLLMに何が重要/不要か、もしくはどういったステップで検討していくか戦略をプロンプトに明記していく手法である。
検証
各プロンプトをGPT4oにリクエストすることで、回答にどのような違いがあるか確認した。
「ペンが入っている箱の数はいくつですか？」という問いに対して、プロンプトには関係ないノートやボールが入った箱の情報が含まれている。
CoT
【問題】
ある倉庫には、赤い箱、青い箱、黄色い箱、緑の箱があります。
赤い箱にはペンが入っています。
青い箱にはノートが入っています。
黄色い箱にはペンが入っています。
緑の箱にはボールが入っています。
「ペンが入っている箱の数はいくつですか？」
ステップバイステップで検討して回答してください。
はい、ステップバイステップで検討していきます。
ステップ1：各箱と中身を整理する
赤い箱 → ペン
青い箱 → ノート
黄色い箱 → ペン
緑の箱 → ボール
ステップ2：ペンが入っている箱を確認する
赤い箱 → ペン → ✅
青い箱 → ノート → ❌
黄色い箱 → ペン → ✅
緑の箱 → ボール → ❌
ステップ3：ペンが入っている箱の数を数える
赤い箱 → ペン → 1箱
黄色い箱 → ペン → 1箱
合計 2箱 です。
最終回答
ペンが入っている箱の数は「2つ」です。
SCoT
今回は戦略として、不要な情報（ペン以外の情報）は無視するよう指定した。
【問題】
ある倉庫には、赤い箱、青い箱、黄色い箱、緑の箱があります。
赤い箱にはペンが入っています。
青い箱にはノートが入っています。
黄色い箱にはペンが入っています。
緑の箱にはボールが入っています。
「ペンが入っている箱の数はいくつですか？」
ステップバイステップで検討してください。ただしペンの入った箱だけに注目し、それ以外は無視してください
了解しました。
ステップバイステップで、ペンの入った箱の数を検討します。
【ステップ1】ペンが入っているかを確認する
倉庫には4つの箱があり、それぞれ次の中身です：
赤い箱 → ペン
青い箱 → ノート
黄色い箱 → ペン
緑の箱 → ボール
ペンが入っている箱はどれか確認します。
【ステップ2】ペンの入った箱をリストアップする
ペンが入っている箱は次の通りです：
赤い箱
黄色い箱
【ステップ3】ペンの入った箱の数を数える
リストアップした結果、2個ありました。
【結論】
▶ ペンが入っている箱の数は、2個です。
考察
今回２つの手法でLLMにリクエストしたところ、最終的な回答は一致したうえに、ステップ数にも２つの手法に変わりなかった。この要因として、以下の２点が考えられる。
①そもそも問題がシンプルすぎたため、SCoTにしなくてもLLM側で何が重要な情報か判断しやすかった。
②GPT4oが優秀なため、ある程度の無駄な思考を自動でカットできてしまう。
所感
今回の検証では思うようにCoTとSCoTの精度差異を確認することができなかった。しかしながわ参考資料[2]にあるように、GPT4ominiなどのSLMにおける効果は高い可能性があることに加え、事前に戦略を伝えることで安定した回答に期待ができる。そのため、GPT4oなどの高精度が期待されているモデルではSCoTを利用する必要はないと断言するには早く、複雑なリクエストに対する安定した回答を求める場合には一度試してみる意義があるだろう。
参考資料
[1]西見公宏、吉田真吾、大嶋勇樹共著、『LangChainとLangGraphによるRAG・AIエージェント[実践]入門』、技術評論社、2024年11月
[2]Naoki Matsumoto, 『【最先端プロンプトエンジニアリング】LLM推論精度を爆上げするStrategic Chain-of-Thought とは？【CoTを超えろ】』, https://zenn.dev/chips0711/articles/d32bf746a6948e
[3]田中侑李, 『戦略的知識を統合する新たなプロンプト手法、SCoT(Strategic Chain-of-Thought)が登場！』, https://ai-scholar.tech/articles/chain-of-thought/SCoT
[4]テックファームブログ, 『小規模言語モデル（SLM）とは？LLMとの違いやメリットを解説』,https://www.techfirm.co.jp/blog/slm