大前提：AIとは何をしている道具か

AIは、学習済モデルとプロンプトから「もっともらしい文字列の連続」を生成する道具である。

ここでの「もっともらしい」とは、学習済モデル上で次に来る確率が最も高い、という意味です。だから、私たちが本当に欲しいものは、こう書けます。

我々が求める成果物 = AIの学習済モデル + 我々固有の要件

学習済モデルだけでは「世間一般のもっともらしさ」しか出ません。そこに固有の要件を足して初めて、私たちにとってのもっともらしさになります。

「AIが嘘をつく」の正体

「AIが平気で嘘をつく」とよく言われます。でも実態は嘘ではなく、確率生成器としての挙動が2つの原因で私たちの期待からズレているだけです。

AIは常に「次に来る確率が最も高い文字」を選びます。ところが、どこかで外れ値を引いてしまうと、その外れ値を基準にして、そこから先の「もっともらしさ」を連続生成します。

スタート地点がズレているのに、その後は忠実にもっともらしく繋げていく。結果、私たちから見れば「まったくもっともらしくない文字列」が完成します。

学習済モデルは一般論しか知りません。私たちの前提・制約・好みを渡しそびれていると、AIは一般論の中で最ももっともらしいものを返してきます。それが私たちの要件と合わない。

この2つが重なると、生成される文字列は、私たちが求めるゴールに対して扇形に・樹形図的に分散していきます。最初の小さなズレが、後段になるほど大きく開いていく。これが「嘘をつく」の正体です。

        欲しいゴール
          ★
         /|\
        / | \    ← 序盤の小さなズレが
       /  |  \      後段で扇形に拡大する
      /   |   \
   出力  出力  出力

扇形の分散を抑え込むには、入口を絞り、途中で確認し、外せる処理は外すのが鉄則です。

扇の根元（スタート地点）のズレを潰すのが最もコスパが良い。前提・制約・ゴール・サンプルを先に渡す。

計画書や中間成果物を出させて、扇が開ききる前にズレを検知する。「いきなり完成品」を狙わない。

答えが一意に決まる処理を確率生成器にやらせてはいけない。検討し尽くされたアルゴリズムを借りる。

座標・レイアウトのような幾何計算も確率生成器は苦手。

「この方向で本当にいいのか」という全体最適の判断は、確率生成器ではなく人間の仕事。

決定論的・幾何学的な処理を外部ツールで固め、その間にAIの生成を挟む。さらに人間が両端からレビューで挟む。これが扇形の分散を制御する基本形です。

AIは嘘をつかない。もっともらしさに忠実なだけ。
ならば私たちの仕事は、「私たちにとってのもっともらしさ」を、入口で渡し、途中で確かめ、外せる処理は外すこと。それだけだ。

この考え方が刺さったら、ぜひ LGTM で教えてください 🙌