この記事の内容には誤りがあります。
正しい知識は 2025年衝撃のLLMの最新研究 をご覧ください。
MCPがどうとか言われ始めて不安になったオッサンが、生成AI界隈をオッサン視点で解説します。
（注）誤釈や主観がおおいに含まれていますがご勘弁を。
ASCIIさん出版の ＡＩ白書 ２０２５ 生成ＡＩエディション を読んだ感想を要約したものです。
キーワードの親子関係
大規模言語モデル(LLMs)は スケーリング則 でモデルの性能が向上すること、 創発現象 が見られたことで開発が加熱した。
生成AIについて学ぶ際、以下の親子関係を意識して知識を吸収していくことになる。
スケーリング則
スケーリング則はモデルのサイズを大きくすればするほど性能が向上する傾向のこと。
創発現象
創発現象はパラメータ数を上げていくと小さいモデルでは見られなかったタスクを突然解けるようになる現象を指す。
※賛否両論あるが、2025年5月時点ではLLMsの創発性は研究者でも解明できていない。（という立場の意見が多い）
大規模言語モデル(LLMs)に関わるキーワードの親子関係
| 分類 | 意味や機能 | 説明 |
|---|---|---|
| 人工知能（AI） | 推論エンジン をイメージして使われる 言葉 | 昔はPrologのような論理推論(事実=学生は人 → 規則=大学に通うなら学生 → 質問=大学に通うのは人？＞Yes)がイメージされていた。現在は Transformer などデータ駆動型のパターン学習をした モデル をイメージして使われる |
| 機械学習（ML） | データからパターン学習・予測 | 「教師あり学習」「教師なし学習」「強化学習」 の文脈にあたる。過去の価格データを学習させて、未来の価格 予測を出力 させるイメージ。Python や Google Colab などを用いてモデルを作成する例がある |
| ディープラーニング（DL） | ニューラルネットワークによる機械学習 | 多層ニューラルネットワークを用いた機械学習の一手法（MLの発展）、機械が自ら特徴を抽出すること、MLを多層結合して学習能力を高めた点が違い。Transformerはディープラーニングのアーキテクチャ(※誤釈) で GPTのベース になった。PyTorchで開発 する例がある。 |
| 生成AI（Generative AI） | テキスト・画像・音声・コードなどのコンテンツを生成するLLMs | GPT, Gemini, Llama, Claude などの 言語モデル と Stable Diffusion などの画像生成をする 拡散モデル の2種に大別される。(ロボット動作生成などで用いられるVisionモデルなどはニュースの露出が少ないので割愛) |
※Transformerについて
Transformerは2017年12月の論文 “Attention is all you need” で提案された。
とても暴力的な説明をすると... ディープラーニングのアーキテクチャ。
人の会話みたいに、前と後ろの言葉のつながりを見て次の言葉を予想（重み付け）する。
この予測を「全部の言葉をいっぺんに見て」次の言葉を推論できるように学習する。
結果、どの言葉が大事か を考えて次の言葉を返答するモデルができる。
詳しくは 別の人が書いた記事 をご覧ください。
（アプリエンジニアが気になる）LLMの特性
アプリエンジニアは学習済モデル(LM)とアプリを検索拡張生成（RAG：Retrieval Augmented Generation）やMCP（Model Context Protocol）を用いて接続してビジネス課題を解決できるか悩むケースがある。
脆弱性（トキシティ／ハルシネーション／攻撃）をどのように解決するかも併せて回答を求められる。
LMの学習手法を理解することで、課題がアプリ／LMどちらの関心領域か判断する助けになる。
LM（Transformer）の学習手法
| 学習手法 | 何をするのか | 何ができるか |
|---|---|---|
| 事前学習 | ゼロからテキストデータを学習させる(Common Crawlなどで公開されているデータセットを用いられる) | 基礎モデル(LM)が出来上がる。特定のタスクや分野に特化した小規模な言語モデルをSLM（Small Language Model）と呼ぶ。 |
| 教師付きファインチューニング(SFT) | 人間が作成した正解応答や指示に対応するペアデータを用いて、モデルに対して望ましい応答パターンを学習させる | 基礎モデルをチューニングできる。SLMを求めるシーンでは避けられない工程 |
| アライメント(RLHF) | 人間の価値判断に基づくチューニング。RLHF（Reinforcement Learning from Human Feedback）は強化学習アルゴリズムを用いて報酬モデル(RM)を再学習させる。PPOやGRPOと言ったアルゴリズムを用いてチューニングする。例 | アライメント済のモデルができる。自然言語による対話を求めない特定領域に特化したSLMの場合はこの工程を省略することもある |
| 追加学習 | 日本語など特定の知識を追加で学習させる。 | ELYZAのように（オープンモデルの）Llamaを日本語で追加学習して新たなモデルとして発表する例がある |
モデルを性能改善(サイズ縮小やレイテンシ向上)する手法
| 手法 | 内容 |
|---|---|
| 量子化 | 計算を行う数値の精度を落としてメモリ使用量・計算量を削減して高速化する。例えばビット表現を縮小させる |
| 枝刈り | モデルの重みパラメータを取捨選択する |
| 蒸留 | サイズの小さいモデルでも大きいモデルと似たような各層の発火状況になるように調整する |
ハルシネーションと攻撃の種類
| 名前 | 説明 |
|---|---|
| ハルシネーション(幻覚)の種類 | |
| 事実性幻覚（Factuality Hallucination） | LLMが事実とは異なる情報を含むコンテンツを生成すること |
| 忠実性幻覚（Faithfulness Hallucination） | 生成されたコンテンツがユーザーの指示や入力によって提供された文脈から乖離すること |
| 社会的バイアス | 偏った言語分布を使用すると、異なる文化の表現が不均衡になる。 |
| ハルシネーションの原因 | |
| データに起因する幻覚 | 学習に用いたデータの質や統計的バイアスに基づく幻覚 |
| 学習に起因する幻覚 | 実際にモデルを利用する際、LLM自身が生成した結果を再帰的に入力することになるため学習した結果とズレが発生する（暴露バイアスとも呼ぶ） |
| 推論に起因する幻覚 | LLMは文章の生成過程で次の単語を予測するときに、文脈と生成途中の文の両方を考慮して予測を行うため、長い応答分を生成する場合、近くの単語を優先し文脈への注意を著しく欠落させてしまう |
| LMの攻撃手法 | |
| プロンプトインジェクション | 開発者が事前に設定したプロンプト内の指示をユーザーの入力で上書きする攻撃プロセス。PAIR（Prompt Automatic Iterative Refinement）など攻撃用LLMを用いる手法もある。 |
| データポイズニング | モデルの学習データに悪意のある特定のデータを含めることによって、学習後モデルの脆弱性をつくり出す攻撃手法。個人情報（PII）を含む小さなデータセットでLLMをファインチューニングすることで、モデルが元の学習データに埋め込まれたPIIをより多く開示することにつながることがわかっている。 |
脆弱性の対策手法
「モデル自身を訓練する手法」と「モデルの入力文および出力文をフィルタリングする手法」がある。
| 名前 | 概要 |
|---|---|
| NVIDIA NeMo-Guardrails | モデルの入力文および出力文をフィルタリングする。Pythonパッケージ |
| Google Perspective | 有害コメント（トキシティ）を検出する。毒性確率を0～1の範囲の連続値で出力するAPI |
| Microsoft Presidio | センシティブな文字列を検出・マスクするPythonパッケージ |
主要プレイヤー
スケーリング則 でモデルの性能が向上するためLLMsは資金力のあるビックテックが有利な市場。
そのため、アプリと接続するモデルは ビックテックのLLMs or 特定領域に特化したSLM が選びやすい。
日本は知名度が低く、プレイヤーも少ない傾向なので GENIAC のようなプロジェクトで発見することができる。
| メーカー | 製品 |
|---|---|
| OpenAI | GPTはクローズドモデル |
| Meta | Llamaはオープンモデル |
| Gemmaはオープンモデル、Geminiはクローズモデル | |
| Anthropic | Claudeはクローズドモデル |
| DeepSeek | DeepSeekはオープンモデル |
| Microsoft | Phiはオープンモデル、SLMに分類される |
| サイバーエージェント | CALMはオープンモデル ※独自モデル、日本では珍しい |
| ELYZA | ELYZAはオープンモデル ※Llamaに日本語データセットで追加学習 |
AI開発に影響する法律
2025年5月時点でAI関連の法律は新たに施行されていないが、注視すると良いドキュメントは以下。
説明はChatGPTに生成させたもののため、正しくは元サイトを必ず参照すること。
文化庁の資料『AIと著作権に関する考え方について』（令和6年3月15日）
LMトレーニングデータが著作権侵害に該当する条件は？
著作権法第30条の4により、思想や感情の享受を目的としない利用は原則として許諾不要ですが、著作権者の利益を不当に害する場合（例：有料データベースの無断利用）は侵害に該当します。
生成AIの出力が著作物として保護される条件は？
AI出力が人間の創作的関与を伴う場合（生成結果に人間が加筆したり、生成結果を見ながら繰り返しプロンプトを入力し直していた場合）、著作物として保護される可能性がありますが、AIが自動生成しただけの出力は著作物性が認められません。
内閣官房「AI時代の知的財産権検討会 中間とりまとめ」（2024年5月28日）
学習モデルに知的財産権が発生する条件は？
学習モデル自体には著作権は認められませんが、特許法上の「発明」に該当する場合、特許権が発生する可能性があります。