今回も上記のリンクからまとめています。正しい情報詳細な情報は上記を訪れてください。
より高度なPrompting technique
人気のあるPrompting technique
1.Chain-of-thought Prompting(CoT)
中間的な推論ステップを介して、複雑な推論能力を可能にする。few-shot pronptingと組み合わせてより良い結果を得ることができる。
2.Zero-shot CoT prompting
元のプロンプトに「ステップバイステップで考えてみましょう」という文言を追加する。
3.Self-Consistency
連想思考プロンプティングで使用される単純な貪欲複合化を置き換えることを目的にしている」。few-shot CoTを通じて、複数の多様な推論パスをサンプリングし、生成物を使用して最も整合的な回答を選択する。これにより、常識的推論を必要とするタスクにおけるCoTプロンプティングのパフォーマンスが向上する。
4.知識生成Prompting
最初に幾つかの「知識」を生成する。（得たい回答とは全然別の知識）次に知識を統合して予測を得る。
5.自動プロンプトエンジニア（APE）
自動指示生成と選択のためのフレームワークである自動プロンプトエンジニア。
最初は、タスクのための指示候補を生成する推論モデルとして、大規模言語モデルを使用する。指示はターゲットモデルを使用して実行され計算された評価スコアに基づいて最適な指示が選択される。プロンプトを自動的に最適化するアイデアが、論文に含まれている。
AutoPrompt - 勾配誘導型の検索に基づいて、多様なタスクのためのプロンプトを自動的に作成するアプローチを提案します。
Prefix Tuning - NLGタスクのためのトレーニング可能な連続プレフィックスを前置する、ファインチューニングの軽量な代替案です。
Prompt Tuning - 逆伝播を通じてソフトプロンプトを学習するメカニズムを提案します。
6.Active-Prompt
異なるタスク固有の例のプロンプト(人間によるCoT推論で注釈付けされたもの)に適応するための新しいプロンプトアプローチ。
7.方向性刺激プロンプティング
望ましい要約を生成するためにLLMをより適切に誘導するための新しいプロンプティング技術。調整可能なポリシーLMは、刺激/ヒントを生成するためにトレーニングされる。RLの使用がLLMの最適化により多く見られる。
8.ReAct
推論トレースの生成により、モデルはアクション計画を誘導、追跡、更新し、例外を処理することができる。アクションステップにより、知識ベースや環境などの外部ソースとのインターフェースや情報収集が可能になる。ReActフレームワークは、LLMが外部ツールと対話して追加情報を取得し、より信頼性の高い事実に基づく回答を生成することができる。
9.マルチモーダルCoTプロンプティング
従来のCoTは言語モダリティに焦点を当てているが、マルチモーダルCoTは、テキストとビジョンを2段階のフレームワークに組み込んでいる。最初のステップは、マルチモーダル情報に基づく理由生成です。これに続いて、情報量の多い生成された理由を活用した回答推論が行われる。マルチモーダルCoTモデル（1B）は、ScienceQAベンチマークでGPT-3.5を上回る性能を発揮している。