はじめに
AI元年から一年が経った。それでも僕たちはまだここにいる。多くのモデルが登場した。GPT-4o,Gemini 1.5 proなどなど...。それでも僕たちはまだこの場所から動けていない。そう...いまだに僕たちはchatGPTかGithub Copilotしか使ってない！！その事実に気づいたとき僕は愕然したが、すぐさまこう思った。
僕たちはそろそろchatGPTを超えたLLMの使い方を模索しなければならない
この記事は私が社内の生成AIハッカソンに参加し、そして優勝した際に、感じたLLMを用いたプロダクト開発の勘所をまとめた記事です。勘所というと曖昧ですね。具体的にはLLMの特徴と、そしてLLMでどんなものを作るのが適しているのかを語りました。
chatGPTを超えた使い方を提供することは現時点では私には不可能ですが、この記事を読んだあなたが思いつき、そして開発をしていく一助になれれば幸いです。その時はこの記事を参考にしたと大々的に伝えてください。そうすると僕の転職先の候補が増えます。転職する気は今のところないですが。
ことの始まり
ことの始まりはいつだって唐突です。名探偵コナンの始まりだって、何か爆発するところからスタートしますし、ゾンビランドサガの始まり方はあまりにも唐突すぎました。いいですか？何かが始まる時はいつだって突然なんです。例にもれず私が社内のLLMハッカソンに参加するのも突然のことでした。
同期: LLMハッカソンでたいなぁ
私: でよや
同期: オッケー
くらいの唐突さでLLMハッカソンに参加することになりました。え...お前のせいじゃね？うるさいうるさい！半分くらい冗談のつもりだったんじゃ！ともあれこんなテンポ感で決まったのを先月のことのように覚えています。その話が2024年の5月の終わりくらいだったと記憶しています。そこから一ヶ月間発表までの道のりでLLMの特徴は一体どんなもので、そしてどういうものを作ると良いのかをそれこそ脳みそが取れるくらい考えました。その道筋を共有します。
LLMの特徴
まずはLLMの特徴を脳みそをフル回転して、PSPのソフトを起動している時のあの音がなるくらい考えましょう。
LLMのメリット
何はともあれメリットから考えていきましょう。LLMのメリットはなんでしょう？言語理解能力でしょうか？あるいは要約能力でしょうか？それとも...彼女の機嫌を取る方法を教えてくれる能力でしょうか？
正直彼女の機嫌を取る方法を教えてくれるならLLMのその他の能力なんていらないという人も多そうですが、私はこう考えました。
人間らしい文章を生成できる点
私はこれがLLMが持つユニークなメリットであると考えました。ああああ...皆さんの声が聞こえてきます。おいお前LLMの理解能力とかはメリットじゃないのか？などなど多くのLLMの持つメリットを挙げた皆さんの怨嗟の声が聞こえてきます。非常にうるさいです...。
少々お待ちください。ちょっと待って...おま...うるせぇ！！
後で話すから！デメリットと一緒に話すから一旦黙ってて！
LLMのデメリット
取り乱しました...それでは参りましょう。お次はLLMのデメリットです。これは結構明確ですね。LLMは嘘をつきますし、不確実ですね。俗に言うハルシネーションです。細かい説明は細かいところがわからないので省きますが、まあ要するに嘘をつくと思っていてください。
そしてこれが重要なデメリットですが、その嘘の責任をLLMは取ってくれません。たとえLLMのいうことを聞いて、彼女の機嫌を損ねたとしてもLLMは責任をとってくれません。これは一つ重要なデメリットだと思います。嘘をつくことはさして問題じゃないのです。それを指摘する機構と、問題が発覚した時に責任が取れないのが問題なのです。
1+1が3になる計算機があったとしましょう。1+1が3になることは大した問題じゃないのです。計算機自体が誤っていることを認識して、ミスしたことを報告してくれれば良いのですから。1+1が3になって、そのままだったらどうでしょう。我々は脳内で1+1ができるので間違っているなと思うから良いでしょう。じゃあ139879*123479の答えが間違ってたら？
我々はその間違いに気づけるでしょうか？
おそらくは無理でしょう。まああなたが暗算得意ニキ、ネキだった場合はさておきですが、多くの一般の方がその間違いに気づくことは不可能でしょう。じゃあその責任は誰が負うでしょうか？計算機ですか？違いますね。その開発者です。それがただの故障でない場合、確かなアルゴリズムに沿って計算されているわけですから、そのアルゴリズムの誤りは開発者が取るべきでしょう。
じゃあLLMは？
LLMの嘘の責任を開発者は取ることができるでしょうか？おそらく無理だと思っています。LLMはブラックボックス。開発者が開発したのは主にそのLLMのアーキテクチャです。その後実際に推測する段階でどのように生成したかを知ることはできないはずです。（こういう理解でいますが、違ったら教えてください）
そんな開発者が責任を取れるでしょうか？今まだ議論の段階でしょうが、私の意見としては責任を取るのはちょっと微妙なように思います。
したがってLLMには二つ大きなデメリットがありますが、それは一つに集約します。
嘘の責任をとってくれない
これに尽きるでしょう。
さっき棚にあげた問題
え？なに？さっき棚にあげたトピックは？って？オッケーそれも話しましょう。確かにLLMのメリットは多いです。自然言語処理能力や理解能力のようなもの、要約能力のようなもの多くの能力あるいはメリットのようなものがあると思います。けれどこれらの能力は嘘をつくことがあると言ったら、全てメリットにならないような気がするのです。
理解能力...まぁこれは嘘をつくとかじゃないですが、ミスって理解することままありますよね？要約能力...これも嘘をつかれたら結構大変です。ただ要約能力に関しては、データを入れて要約してもらう流れなので、精度は高そうな気がします。ですが嘘をつかれているかもしれないという心配は拭えません。他にも色々あると思いますが、嘘をつかれる可能性があるというだけで、そのメリットは全て微妙なものになるのです。
なぜならばその生成物のすべてを人間が確認しなければならないのですから。もちろん減らせる労力はあるでしょうが、全部ではありません。だからメリットとしては全力で推せないような気がしているのです。
しかし人間らしい文章を生成することだけは嘘をつかれたところでなんの問題もないのです。だって人間"らしい"文章を生成しているだけですから。
じゃあ何を作るべきか
僕は...というよりは僕たちのチームは、以上の特徴からLLMはコミュニケーションの問題の解決に適していると考えました。人間らしい文章の生成はコミュニケーションにもってこいです。無機質な文章では会話をする気にはなりませんよね？責任をとってくれない問題もコミュニケーションなら問題がない。なぜならそもそもコミュニケーションにおける嘘は可愛らしい程度のものであれば、それはユーモアと呼ばれます。
デメリットを薄めて、メリットを余すことなく受けて取れると考えたため、LLMはコミュニケーションの問題に適していると思います。chatGPTがchatなのも一つ示唆的なような気がしています。ただの邪推ですが。
実際に我々がLLMハッカソンで作ったものとしては、リモートワーク環境下のコミュニケーションの問題の解決に主眼を置いて、社内で使用しているチャットツールなどで何か趣味の話題とかを出すと、それを趣味している人をナレッジベースを用いて、検索し、メンションをつけて、コミュニケーションが促進されるようにトピックや質問を投げかけてくれるものを作りました。
まとめ
chatGPTがすごいのはその汎用性です。マルチモーダル化し、画像にも動画にも対応して、本当の意味での人工知能に近しいものがあると思っています。ですが、やっぱり嘘をつくのです。不確実なのです。chatGPTに聞いても、その話が本当か裏付けをとらなければなりません。なのでやっぱりchatGPTですらまだ助手なのです。教授にはなれない。
Github Copilotがすごいのは、その生産性の向上力です。似たようなものをいくつも書く手間を省いてくれますし、複雑なことをしなければ、びっくりするくらい正確に書きたいものを書いてくれます。ですが全く新しいことを書こうとすると、全然いうことを聞いてくれなかったりしますし、ちょっと新しめの言語を使うとポンコツさんになったりします。なのでやっぱり副操縦士なのです。操縦士にはなれない。
その奥底にあるのはやっぱり嘘をつき、その責任をとってくれないというデメリットがあります。このデメリットをchatGPTもGithub Copilotもまだ克服することができておらず、そしていまだにそのデメリットを克服した製品がないように思います。ですが、そのデメリットを克服することよりも精度を上げることにみんな躍起になっているように思います。
限界はあると思っています。もちろんもっと精度は上がるでしょう。アーキテクチャの洗練、学習機会スペックの上昇、多くの要因があると思いますが、その精度は上がるでしょう。ですがおそらく嘘をつくことそのものをなくすことはできないと思っています。できて、嘘をつく回数が減らせるくらいでしょう。
だからこそ僕たちがそろそろchatGPTを超えなければなりません。AI元年からはや一年。そのデメリットを克服したLLMプロダクトが出ていない状況というのはいささか不自然です。そろそろ何かブレイクスルーが起きてもおかしくない時期だと思っています。
そのブレイクスルーを起こすのは私かもしれませんし、あなたかもしれません。ですが誰であれ、おそらくは先ほど語った嘘の責任の問題をうまく乗り越えなければその未来はないと思っています。
この記事を読んだあなたなら、それを超えることができる。そしてその一助となれる。そう信じて執筆しております。願わくば素晴らしいLLMプロダクトを作らんことを。それを見るのが私の望みで、そして人類の望みだとそう思っています。