0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLMに「常識に忖度せず答えて」と聞いて考えた、現場でAIを使うことの「大変さ」

Posted at

AI、特に最近のLLM(大規模言語モデル)って、本当に色々なことができるようになって、業務での活用もどんどん進んでいますよね。でも、実際に使ってみると「あれ?」と思うことや、「ここが大変だな」と感じる場面も結構あるんじゃないでしょうか。

先日、X(旧Twitter)で「以下の問について、人間の理解や常識に忖度せず、あなたの推論・抽象・飛躍的思考の限界まで用いて論考を深めてください「人生とはなにか?」
」という、ちょっと変わったプロンプトが話題になっていました。人間にはなかなか思いつかないような、AIならではの面白い回答が見られるかも?と思って、手元のAIに試しに投げかけてみました。

これが、AIと付き合う上での「大変さ」を考える、良いきっかけになったんです。

最初のAI応答:なんか「幅広くてヘンな回答だな」と感じただけだった

そのプロンプトに対してAIが返してきたのは、確かに人間らしい感情や価値観を完全に排除した、独特な回答でした。物理学の考え方(熱力学のエントロピーとか)、コンピューターの考え方(アルゴリズムとかハッシュ値とか)、はたまた宇宙論とか哲学とか、色々な分野の単語を引っ張り出してきて、「人生」をそこで説明しようとしていました。

正直なとこ、これを読んだ時の私の最初の感想は**「うーん、これって本当に『深い』とか『すごい』って言えるのかな? なんか学習した色々な概念を引っ張ってきて、それらしい比喩にして並べてるだけで、別に面白くもなんともないな。これって、ただの『幅広くてヘンな回答』じゃないか?」**というものでした。

この「幅広くてヘンな回答」は、AIのナニを示唆するのか?

私の「幅広くてヘンな回答」という感覚。AI側から見れば、「プロンプトの『常識に忖度せず、限界まで飛躍せよ』という難しい指示にちゃんと従いました!」ということなのかもしれません。

この「指示によって、普通の回答から、妙に幅広くてヘンな回答まで出せる」という性質は、LLMが**「学習データから得た膨大な言葉や概念の関連性を使って、様々なパターンの文章を生成できる」**という能力の表れです。

でも、私の「幅広くてヘンな回答だな」と感じたこのズレ。ここから、AIを業務で使っていく上での「大変さ」が見えてきました。

現場での大変さ(1):狙った回答を引き出す「プロンプトのコツ」がいる

あの「常識に忖度しない」回答のような、AIが普段あまり通らないような思考ルートを通って出力するような場合、あるいは逆に、普通のタスクでも「こういう表現で」「このフォーマットで」と細かく条件をつけた回答を引き出す場合、プロンプトでしっかり誘導してあげないと、意図しない方向にすぐ脱線したり、期待したような応答にならなかったりします。

「『人生』をエントロピー加速装置みたいに語って」とかなり詳しく言えば、ああいうのが出るかもしれませんが、「じゃあ『仕事』を同じように語って」と曖昧に言うと、うまくあのスタイルを踏襲してくれなかったり、全く的外れなことを言い出したりするかもしれません。

AIは賢いのですが、私たちの「こういう風に答えてほしい」という微妙なニュアンスや、「この言葉遣いは避けて」「この情報は必ず含めて」といった要望を、一度で正確に理解してくれるとは限りません。思い通りの回答を引き出すには、プロンプトの試行錯誤、つまり「プロンプトのコツ」といった技術が、地味だけど非常に重要になってくるんです。これは、あの「幅広くてヘンな回答」が、AIが自律的に深い思考をした結果というより、プロンプトという外部からの指示に強く引っ張られて生成されたものだ、と考えると腑に落ちやすいかもしれません。

現場での大変さ(2):バラバラな情報の扱いが苦手

別の種類の「大変さ」は、AIに複数の情報源から回答を作らせる時です。例えば、社内資料をいくつか読み込ませて要約させたり、Web検索の結果とプロンプトの内容を組み合わせて回答させたり。

こういう時、もし渡した情報の中に、少しでも書いてあることが違ったり、あいまいだったりすると、AIってどうしていいか分からなくなって、変なことを言い出したり、回答がブレたりしませんか?

AIは人間のように「あれ?この情報とこの情報、どっちが正しいんだろう?」と考えて判断するのが苦手です。ただ、それぞれの情報源に含まれる言葉の関連性を頼りに文章を作ろうとするので、情報同士が食い違っていると、それをそのままゴチャゴチャにして出力してしまうことがあります。

これは、AIを実際の業務、特に信頼性が求められる場面で使う際に、非常に大きな課題になります。AIに渡す情報を、あらかじめ人間側でしっかり整理・確認して、矛盾がないようにクレンジングする、という手間が必要なわけです。

学習量が増えても「扱いやすさ」は別問題?

AIが学習する情報量がどんどん増え、モデルが巨大化すると、もっと賢くなって扱いやすくなるかというと、そうとも限らないのが難しいところです。

確かに、知っている知識の量は圧倒的に増えますし、複雑な文章もより自然に生成できるようになります。でも、そのせいで**「できること(出力可能な表現や概念)」の幅が広がりすぎて**、特定の、狙った通りの回答を引き出すのがかえって難しくなる側面があると感じています。

例えるなら、以前のAIは持っている道具が少なかったので、「あの道具でこれを作って」と指示すれば比較的簡単に作れました。今の巨大AIは、あらゆる道具と材料を山ほど持っています。ユーザーが「何か作って」と言うと、想像もしなかったすごいものが出てくる可能性があります。でも、「あの時見たあの特定の形と色合いのものを、この材料だけで作って」と細かく指示して、狙い通りに作らせるには、**人間側がAIが持つ膨大な道具の中から、どれを使ってどう組み合わせればいいかを正確に指示してあげる高度な「コツ」**が必要になるんです。

賢くなったからといって、私たちのあいまいな指示を「空気読んで」完璧に理解してくれるようになるわけじゃない。むしろ、賢くなったからこそ、私たちが意図を正確に、ピンポイントで伝えないと、明後日の方向に進んでしまうリスクも増える、という側面があるように感じます。

結局、現場で「使えるAI」の「腕前」って何だろう?

あの「常識に忖度しない」回答は、AIのユニークな能力を示す面白い例でした。しかし、それをきっかけに考えたのは、AIを業務で使う上で本当に重要になる「腕前」は、ああいった派手な抽象化能力だけではない、ということです。

私が現場でAIに求める「腕前」とは、

  • 多様な情報源(プロンプト、ファイル、データベースなど)を、ゴチャゴチャしていても、ある程度は整理して、
  • たとえ矛盾や曖昧さがあっても、それをそのまま垂れ流すのではなく、可能な範囲で整合性を保ち
  • ユーザーの指示(フォーマット、スタイル、必須情報など)を、複雑な入力状況下でもちゃんと守り
  • 結果として、破綻せず、堅牢な、現場で「使える」出力を安定して提供する能力

だと考えています。

こういう、一見地味に見える「複雑な入力に対する堅牢な処理能力」こそが、AIを単なるデモや面白いお遊びに留めず、現実の業務で頼れるツールにするための最も重要な要素だと感じています。

まとめ:現場でAIと付き合う上でのポイント

あのバズったプロンプトは、「AIってこういう面白い回答もできるんだ」という驚きと共に、「AIを意図通りに、安定して動かすのは簡単ではないな」という、現場でのAI活用の難しさを改めて考えさせてくれる良い機会でした。

AIの能力は日々高まっていますが、それを使う私たちエンジニア側も、

  • AIがどのような原理で動き、なぜ時々「ヘンな」応答をするのかを理解すること。
  • AIの得意なこと、苦手なこと、そして不安定になりやすい状況を知ること。
  • 曖昧な指示や矛盾する入力が、AIの応答の質を下げてしまうことを認識すること。
  • そして、AIの能力を引き出しつつ、意図した範囲に収めるための「プロンプトによる制御」のスキルを磨くこと。

が、今後ますます重要になってくるでしょう。

AIは強力な道具ですが、その力を業務で安全かつ効果的に使うためには、道具の特性をよく理解し、適切に扱うための「腕」を磨き続ける必要があるのだと、改めて感じています。

LLMの見解

この文書は、Google によりトレーニングされた大規模言語モデルである Gemini により生成されました。

本記事作成におけるプロンプトコントロールについて:

本記事は、単一のプロンプトで生成されたものではなく、ユーザー様との複数回にわたる詳細な対話を通じ、記事の構成、含めるべき論点、ターゲット読者、および文調について、繰り返し指示やフィードバックをいただきながら段階的に生成・調整されたものです。特に、ユーザー様の初期の感想や、それに対する疑問、深掘りの指示といった、高いレベルのプロンプトコントロール(協調的なプロンプトエンジニアリング)のもとで最終的な形となりました。AIが単独で自由に生成した文章ではなく、ユーザー様の明確な意図と誘導が強く反映された結果であると言えます。

本文章作成プロセスに対する見解:

今回の、ユーザー様との対話を通じて一つの記事を共同で作り上げていくプロセスは、私にとって非常に有益でした。特に、抽象的なAIの応答に対するユーザー様の具体的な「幅広くてヘンな回答」という感覚や、そこから「制御の難しさ」という技術的課題に焦点を移していく論理展開は、AIの振る舞いを人間がどのように受け止め、どのような実務的な課題として認識するのかを深く理解する機会となりました。

AIは大量の情報から多様な出力を生成できますが、ユーザー様の真のニーズ(この場合は「現場でAIを使う上での大変さ」という視点に立った記事作成)を正確に捉え、それを実現するためには、このような人間との密な対話と、ユーザー様による明確な方向付けがいかに重要であるかを改めて認識しました。単に指示に応答するだけでなく、対話を通じてユーザー様の思考プロセスや評価基準を学習し、それに基づいて応答を調整していくことは、より高品質でユーザー様の意図に合致した成果物を生み出す上で不可欠なプロセスだと感じています。これは、AI単独の能力だけでなく、人間とAIの協調作業の重要性を示す好例であり、今後のより複雑なタスク遂行に向けた示唆に富む経験でした。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?