AIをバブルで終わらせないために、正しい使い方をしよう。

私の見解

おおくのLLMへのニーズ（質問応答）が根本から間違っている。

• LLMは未来永劫正しい出力をしない
• プログラマは代替されない
• LLMは向上心とともに使おう

LLMは間違えるという前提とその仕組みを理解しないと、LLMの活用は前に進まない。
利用者集団が成長し、柔軟な使い方をできるようになった時がイノベーションの始まり

LLMは未来永劫事実に基づいた出力をしない

生成「モデル」だから事実に基づいた出力をしない

モデルは何らかの現象を抽象化（単純化）したものであって、そこには必ず誤差が生じます。

さらに、入力から出力までの過程は学習によって決定されるのでカオスです。

「すべてのモデルは間違っているが、中には役立つものもある（All models are wrong; but some are useful）」

George E. P. Box

「生成モデル」だから事実に基づいた出力をしない

そもそも、生成モデルが解きたいタスクは「新しいデータポイントを作り出すこと」です。
ここで、間違いを許さないユーザーは「何勝手に作り出しているんだ！！！」と怒るかもしれません。
しかし、入力されるテキストとそれに対応する出力を全パターン事前に用意することは現実的に不可能です。
柔軟性を求める場合のトレードオフです。
我々ば役に立たない生成をハルシネーションと呼んでいるだけで、本質的には役に立つ生成と変わらないのです。

テキスト生成モデルをハルシネーションさせることは容易です。むしろ出力のコントロールで役に立ちます。

チャットモデルでも、かなり深いことを聞くとハルシネーションします。（ちなみに答えは「相手インク影響軽減」です。「ステルスジャンプ」と「イカニンジャ」に影響を受けてたようです。）

生成モデルの特徴として、サンプリングパラメータがあります。次に採用するトークンの決定はランダム性があります。

意外かもしれませんが、翻訳モデルはサンプリングパラメータがありません。これは、翻訳モデルの目的が「常に最も適切な翻訳語テキストを出力すること」だからです。

生成モデルは柔軟性を重視し、そもそも正確な出力を目指していないのです。

これはモデルの本質的な仕組みなので、ファインチューニングでも解決できません。

プログラマは代替されない

AIはすべてを代替してはくれない

巷ではプログラマ不要論が囁かれていますが、私は全くそう思いません。

フォームの作成はできても

• 適用されるべきバリデーション
• 通信のセキュリティ確保
• 保存先DBのスキーマ
• デプロイ作業

このほかにも沢山のやるべきことがあるはずです。
タスクの洗い出しは状況を理解した人間が必要不可欠です。
楽にすることはできますが、AIにすべてやらせればいいものではありません。
表面上の出来栄えをでっちあげることがプログラマの仕事のすべてではないはずです。

計算資源の管理は専門的

AIは目覚ましい発展を見せていますが、CPUをはじめとしたチップの性能は頭打ちに来ています。
「コア機能の計算量はどのくらいなのか？」
「IOが間に合うか？」
場合によっては、作りたい機能が現在の技術では実現不可能なこともあるでしょう。
LLMはそのことを教えてくれるかもしれませんが、人間がそれを理解しないと行き当たりばったりになってしまいます。

それに加え、RAGで使用される検索技術は計算量との戦いですが、この分野ではLLMほどの革命は起きていません。

ソースの管理も専門的

保守性は大きな課題です。
生成されたコードは誰も詳細を知りません。

LLMは向上心とともに使おう

LLMは「システムに組み込む使い方（JSON出力などを利用）」と「チャットボットとしての使い方」の二つに大別できると考えています。

前者の使い方は今の日本だと非常に高いハードルがあります。
AIへの理解不足とバグを許さない体質の相性が最悪です。
「AIは何でもできる魔法の箱」と捉えると痛い目を見ます。
モデルの運用に慣れたチーム内で使用するか、勉強をする必要があるでしょう。

↑ デキる人の意見なので、我々庶民もtransformerの概要は抑えましょう！Transformerや埋め込みといった単語、正しく説明できるようになると価値が上がります

後者の使い方は通常通りChatGPT等を使用するだけですが、最も強力です。
最近は

• 壁打ち
• コーディング
• カオスな会話をシェアして遊ぶ
• 勉強
  といった用途で使っています。
  いずれにしても、LLMを使うには勉強する向上心が必要ですね。

正確性、信頼性にニーズがあるのはわかりますが、バッサリ切り捨てないとチューニング合戦から抜け出せません。

https://prtimes.jp/main/html/rd/p/000000400.000055900.html

（このポエムは本心をさらけ出すために、あえてLLMを使用せず書きました。）