0. INDEX
- 概要
- 冴えないAIの育てかた
- あとがき
1. 概要
どうも。弊社のバカ野郎担当です。
ちょいちょい生成AIを弄っては、挫折しつつ、また触るような事をしています。
今回は、漫画のように生成AIの質問の仕方をミスると、1を聞いたら、256くらいの回答が返って来てしまい
「結局、俺は何を聞きたかったんだっけ？」
となって、私がブチ切れたりフリーズした事をただただ書きなぐっていく ポエム です。
クソの役にも立たない記事な事にご留意ください。それでも良ければどうぞ笑ってやって下さい。
ちなみに今回利用したAIは以下の通りだけど、まだまだ似たり寄ったりな印象なので、この記事ではモデルの違いを意識しなくても良いと思います。
- Microsoft Copilot
- Claude
-
Grok1 - Azure OpenAI GPT-4o
2. 冴えないAIの育てかた2
2.1. 話を聞いている様で聞いていない。知ったかぶりをする
- まずはCopilotさん
-
「分からない」とは言ってくれない ので、知ったかぶりになる
- 分からないと答えるにも許可が必要らしい
-
正確性に関する指示 を追加すると緩和する。以下は例
- 不明な点がある場合、分からないと答える事
- 情報が不足している場合は、ユーザーにヒアリングを行う事
2.2. 会話を忘れる。勘違いする
～（中略）～
～（中略）～
- 次は、Claude Sonnetくん
- 話題を切り出してから、しばらく会話のやり取りをすると、 徐々に当初の質問を忘れていってしまう
- これはある程度しょうがなくて、基本的に回避不能
- 1問1スレを徹底して、なるべく少ない応答数でスレッドを切り上げる（運用でカバー）
- 実は連続した会話が出来ているように見えるのは、毎回会話ログも送っている為です。その為、生成AIを組み込んだアプリであれば、以下のような手も使えます
- 忘れて欲しくない内容をシステムプロンプトとして、常に会話ログの最後に入れる
- 重要ではない会話ログは除外したり、要約させて数量を節約する…等
- チキンモード3でいいなら、3応答以前は捨ててしまうというのも手。直近の会話しかないので会話が繋がりやすい。すぐ忘れるけど。でも最後は常にシステムプロンプトを追加すれば、まだマシかもしれない
2.3. 聞いていない事まで回答してくる①
- これは、社内用GPTシステムに組み込んだ GPT-4o くん
- スクショでは、 可能かどうか しか聞いていないのに、ソースコードまで書いてしまってます
- まあ、Vue3とか言語名を入れたら書いてくるんだろうなという予感はしてたけど…。
- GPTsはどうにも余計なお世話をしたがる傾向が顕著な気がします。肌感覚なのであてにはなりませんが
- 回避策としては、 ソースはいらない と具体的に書く事。「可能かどうかのみを知りたい」程度の指示では彼のおせっかいを止めることは出来ませんでした
2.4. 聞いていない事まで回答してくる②
- 再び、Claude くん
- 彼にはアーティファクト機能がある為、ガンガン使ってくるのでちょっと鬱陶しい
- SVG画像なんかも作ってくるし、一言喋る度に追加更新してくることもあり、やっぱり鬱陶しい
- GPTsよりはマイルドであるものの、抑制する為には、やはり具体的に指示しないとダメなようだ
3. あとがき
今回はネタのボリューム不足ですね。すみません。
何か気が付いたら追記するかもしれません。
もし生成AIでブチ切れたエピソードなどがあったら是非教えてください。再現出来たら可能な範囲で回避策を考えてみて、記事に追加してみます。