はじめに
Generative AI(生成AI)という言葉は、ここ数年で急速に一般化しました。
その定義について、野村総合研究所(NRI)は次のように説明しています。
生成AI(または生成系AI)とは、「Generative AI:ジェネレーティブAI」とも呼ばれ、さまざまなコンテンツを生成できるAIのことです。従来のAIが決められた行為の自動化を目的としていたのに対し、生成AIはデータのパターンや関係を学習し、新しいコンテンツを生成することを目的としています。
OpenAI社が火付け役となった ChatGPT は、「チャット形式の自然言語インターフェース」を通じて、ユーザの問いに対し様々な情報を生成・提示するサービスです。
本記事では、生成AIの現在地と生成AIによる情報取得についての変化を振り返り
ユーザの探索行動には今後どのような変化が起きるのか
について、整理してみたいと思います。
生成AIについて
生成AIの中核技術は、Large Language Model(LLM:大規模言語モデル)です。
これは「大量のテキストデータを学習した巨大なニューラルネットワークモデル」を指します。
生成AIの特徴を、研究動向も踏まえて整理すると、主に以下の点が挙げられます。
スケーリング則
LLMの性能向上を語る上で欠かせないのが「スケーリング則」です。
端的に言えば、
大量のデータ・大量の計算資源・多数のパラメータを投入するほど、モデル性能は滑らかに向上する
という経験則です。
この関係は、次のようなべき乗則(power law)として定式化されます。
L(N, D, C) \approx A N^{-\alpha} + B D^{-\beta} + \epsilon
- L:学習損失(例:クロスエントロピー)
- N:モデルパラメータ数
- D:学習データ量(トークン数)
- C:計算量(FLOPs)
- α, β:小さな正の定数(経験的に 0.05〜0.1 程度)
代表的な論文として以下があります。
その後の研究では、「計算量(Compute)を固定した場合、モデルサイズとデータ量を適切な比率で同時に増やすことが最適である」という結論に収束しました。
このとき、最適条件下では損失は概ね次の形で減少します。
L(C) \propto C^{-\alpha}
計算量を10倍にしても、損失改善は10%前後にとどまる、というのが現在の理解です。
現在主流となっているLLM開発は、この Compute-optimal scaling の考え方に強く影響されています。
データの質と分布の問題
LLMの学習データとして、まず想起されるのはインターネット上のテキストデータです。
しかし、インターネット上のデータには次のような課題があります。
- 高品質なデータは有限である
- 特定の話題・言語・文体に偏りがある
- 見かけ上データ量を増やしても、実質的な情報量が増えない
いわゆる「インターネットデータの枯渇」問題です。
このため、単純にデータ量を増やすだけではなく、
- 高品質データの選別
- 合成データの活用
- 分布を意識したデータ設計
といった工夫が重要になっています。
LLMを用いた推論について
LLMの基本動作は「次トークン予測」です。
P(x_{t+1} \mid x_1, x_2, \dots, x_t)
この仕組み自体は、厳密な意味での論理推論を目的として設計されたものではありません。
それでも一定の推論性能が得られている理由として、例えば次のような点が挙げられます。
- 学習データ中に推論例が含まれている
- モデル内部に擬似的な計算回路が形成される
- 表層的なパターン模倣でも loss が低下する
一方で、以下のような本質的な課題も残ります。
- どの推論ステップで誤りが生じたか分からない
- 少ない loss でも複雑な推論結果には大きな影響を与える
- 未知・新規の複合的規則に弱い
- 長い推論過程の一貫性が保証されない
このため、「推論能力の改善」は現在も活発な研究テーマとなっています。
代表的なアプローチの一つが Chain-of-Thought(CoT) です。
これは推論過程を明示的に生成させる手法で、概念的には次のように表せます。
answer = model.generate(prompt)
reasoning = model.generate(prompt + " Let's think step by step.")
answer = model.generate(prompt + reasoning)
モデル構造を変えず、出力トークンの構造を変えるだけで推論精度が向上する点が特徴です。考え方としてはユーザレベルでのプロンプトエンジニアリングにもつながっている話です。
また、
- RAG(Retrieval-Augmented Generation)
- 外部ツールやAPIを組み合わせた Tool-Augmented Generation
といった手法では、モデル内部にすべてを記憶させるのではなく、
外部情報を条件として生成を行います。
P(y \mid x) \rightarrow P(y \mid x, R(x))
ここで (R(x)) は外部検索やツールによって得られた情報です。
query = user_input
docs = retriever.search(query)
context = concat(docs)
answer = model.generate(
prompt=query,
context=context
)
さらに研究領域では、強化学習や高次の報酬設計による最適化も進められています。
\max_\theta \; \mathbb{E}_{x \sim D} \left[ R\big(f_\theta(x)\big) \right]
AI時代の Optimization について
ゼロクリック検索の加速
検索エンジンが、Webサイトへの遷移なしにユーザの疑問を解決してしまう現象は
ゼロクリック検索と呼ばれています。
生成AIの普及により、この傾向はさらに加速しています。
これはユーザ体験としては便利ですが、情報発信者やメディアにとってはトラフィック減少という課題をもたらします。
一方で、生成AIの進化には依然として高品質な一次情報が不可欠であり、情報提供者の役割が消えるわけではありません。
法的な問題も絡んでくる領域ではありますが、「情報をどうやって消費してもらったら自社の利益だと捉えるのか」を考え直す必要がありそうです。
情報システムへの変化
企業内の情報システムについても、大きな変化が予想されます。
従来は、
- 人間が操作することを前提としたUI/UX
- 学習コストを下げる設計
- SaaSやクラウドを中心とした利用形態
が主流でした。
しかしAI時代には、AI Agent が直接システムを利用するケースが増えると考えられます。
- 人間向けUI/UXをAIが操作する
- AI専用のインターフェースを設計する
特に企業内システムでは、UI/UXの比重が下がり、データレイヤーやAPI設計の重要性が高まる可能性があります。
以下、参照
Search Engine Optimization への影響
これまでのSEOは、「特定キーワードで検索上位に表示されること」が主目的でした。
しかし今後、AI Agent がユーザの意思決定を代行するようになると、
- AIが参照しやすい情報構造
- 機械可読性の高いデータ提供
- APIやメタデータの整備
といった AI向けの最適化 が重要になる可能性があります。
例えば秘書型AI Agentが担う業務としては、
- スケジュール管理
- 施設・サービス予約
- 移動手段の手配
- 物品購入
- FAQ対応
などが考えられ、従来の「人間向けWebページ」を構えておくだけでこれらのタスクをAIが正確に実行できるかについては疑問です。商業的には、特定の企業がこれらに最適化した場合には最適化していない企業と比較して優位に立つことも考えられます。
この辺り考え方はSearch Engine時代とも似ていると思いますが未知の領域ではあるので、ブレイクスルーが生じる可能性もゼロではありません。
おわりに
生成AIの進化は、単なる技術トレンドにとどまらず、
情報の作られ方・探され方・使われ方そのものを変えつつあります。
スケーリング則による性能向上は今後も続く一方で、
- データの質と分布
- 損失と推論能力の乖離
- AI・人間・情報システムの役割分担
といった課題も、より明確になってきました。
これからの時代に重要なのは、
「人に読まれるための最適化」から「AIに使われるための最適化」へ
ということかと思っております。