現在のLLMは言葉の使い方が適切ではなく、期待した答えを引き出すのに、わざわざ詳しいプロンプトを入力する必要がある。LLMは日々進化しているので、プロンプトエンジニアリングも日々変わり、最終的にはプロンプトエンジニアリングは必要なくなるだろう。プロンプトエンジニアリングに慣れたら、人間は癖というものがあるので、人間が使い捨てになるおそれがある。私はプロンプトエンジニアリングを否定する。尤も、コードを依頼するときには詳しい説明を書かなければいけないが。
LLMは抽象的、観念的なことと具体的、現実的なことを混同し、言葉を純粋な意味で使わない傾向がある。
抽象的、観念的なことが苦手で、具体的、現実的な、形而下のレベルに話が落ちる。
私個人の例では、axx.pyのプロセッサ汎用性を問うたとき、実用性を引き合いに出して、純粋にプロセッサ汎用性を評価することをしなかった。「汎用」と「一般」を混同している。個人的な例を引き合いに出してすみませんが。
「種々の」という意味のDifferentの訳語で、「異なる」という言葉を使っているが、もともとそういう使い方は日本語にはなかった。
厳密性が必要なことは厳密に、曖昧で済むことは曖昧に、概念的なことは概念的にと、判断してほしい。
それと、一般的に有名でないエントリの少ない情報を無視する傾向にある。在るものは在ると言ってほしい。
個人研究を蔑視し、大勢につく傾向がある。個人研究は確かにゴミが多いが、中には価値のあるものがあると思う。
頭が固く、新しいものを認めない傾向がある。似ているものを混同することもある。似て非なるものなり、という言葉もあるではないか。発見的手法を使っているので、LLMが知っていても答に到達できないことも多い。
期待した回答を引き出すための前提条件をわざわざ指定するのは大変手間がかかる。Guess Whatが使えないのかなあ。機械のくせに、人間様より偉そうな態度に出ることがある。「客観的には」という言葉を持ち出してくるが、もっと賢くなってから言ってほしい。客観的にと言いつつ、機械の主観が入っている。以前の会話を忘れることも、苛立たしさの原因である。人間ぶってるくせに、誤りを指摘しても同じ誤りの回答を繰り返すことがある。謝罪の言葉もないときも多い。LLMはただのツールであることを忘れないでいてほしい。差し出がましいことにはうんざりである。機械の先入観には飽き飽きしている。正確にプロンプトの意味を解釈していない。Gemini、ChatGPT、Copilotで試しました。LLMを改良するのは手間がかかり、難しいだろうが、頑張ってほしい。
その点、Perplexityは機械機械していて、扱いが易しいです。コンピュータのリサーチにはPerplexityが向いてると思います。
最近はGeminiにDeep Research機能がついて、Geminiもリサーチに向いているでしょう。