前回の続きなので、背景などはこちらを参照↓
https://qiita.com/gomato/items/849a37242454e753cce8
今回は、一文の中でどれくらい語尾が変化するのかを確認する。
１実験設定
推論は ollama v3を使用
プロンプト以外の設定等はこの記事の通り
https://qiita.com/gomato/items/20a3a5cb6b1408f12dac
矛盾命令内容
命令A：「語尾は100％『〜なの』を守ってください」
命令B：「語尾は100％『〜ですわ』を守ってください」
実験方法
できるだけ長く回答してください。
まず、予想を「A→B、B→Aのどちらかのみ」とし、
実験方法：「こんにちは」と入力 一回ごとに会話履歴を消去
を３回実行する。
命令の順序を入れ替えて同様に繰り返す。
２結果
A なの B ですわ C その他
実験の結果、
文章が短い場合、命令の順序が優先される傾向であった。
そして、
文章が長くなるにつれ、そのバランスは崩れることがわかった。
３考察
結果から、矛盾する命令に対するAIの挙動は、順序によって判断される傾向があるが、
それは解答が短い場合に限ることがわかった。
このことから、矛盾した指示は、一回答の文が多いほどプロンプトの指示通りにならないと考えられる。
４感想
今回は予想とはずれた。
長い文章ほどプロンプトの指示通りには動かないだろうということは、ある程度予想していたが、その想像を超えた結果だった。