はじめに

この記事は、AI（特に大規模言語モデル, LLM）の能力を効果的に引き出すための「プロンプト入力ノウハウ」に関する社内勉強会を兼ねています。

勉強会の目的

この勉強会（および記事）の目的は以下の2点です。

LLMがどのようにテキストを学習し生成しているか、その 特徴（条件付き確率） について感覚を掴む。
明日から使える具体的なプロンプトのノウハウ（書き方やテクニック）を習得し、業務や学習に活かす。

Agenda

AIの歴史とLLMの登場
LLMの成り立ちと「Attention」（なぜLLMは高性能なのか？）
LLMが行う「学習」とは？
LLMの得意・不得意（内挿と外挿）
LLMの力を引き出すプロンプトノウハウ
- 基本原則
- 構造化の技術 (Markdown, Gherkin法)
- 高度な技術 (Few-shot, Chain of Thought)
まとめ

1. AIの歴史とLLMの登場

AIの研究は長い歴史があります。

初期のAI研究: 人間の論理的思考（推論、探索）を模倣しようとしました。
停滞期（AIの冬）: 計算能力の限界や、知識をどう表現するかの難しさから停滞しました。
機械学習の登場: 2000年代後半、特に深層学習（ディープラーニング）が転機をもたらします。
深層学習の発展: 大量のデータと計算資源により、画像認識や音声認識で人間を超える性能を発揮しました。
現代のLLM: そして現在、膨大なテキストデータで学習し、自然な言語を操るLLMが登場しました。

2. LLMの成り立ちと「Attention」

現代のLLMがこれほど高性能である背景には、「Transformer（トランスフォーマー） モデルの登場が欠かせません。

元々、AIによる翻訳技術（機械翻訳）では、入力された文章（例：日本語）を順番に処理し、別の文章（例：英語）に順番に出力する「RNN」や「LSTM」という技術が主流でした。しかし、文章が長くなると、文脈を維持するのが難しいという課題がありました。

そこで登場したのが 「Attention（アテンション）」 機構です。

Attention（アテンション）とは？
日本語の「注意」の名の通り、翻訳（あるいは文章生成）を行う際に、入力された文章の「どの部分に注目すべきか」 を動的に学習する仕組みです。

例えば、「私は昨日、友人と美味しいピザを食べた」という文を翻訳する際、「食べた（eat）」という単語は、「私」と「ピザ」に強く関連していることをAIが理解するのに役立ちます。

この「Attention」機構だけを使って機械翻訳の仕組み全体を作ってしまったのが、2017年に発表された**「Transformer」**モデルです（論文のタイトルは「Attention Is All You Need（アテンションさえあればいい）」でした）。

Transformerは、文章を並列処理できる（＝学習が速い）という特徴も持っており、これがLLMの「大規模」化を可能にしました。現在のLLM（GPTやGeminiなど）のほぼ全てが、このTransformerを基盤技術としています。

3. LLMが行う「学習」とは？

私たちが「学習」と聞くと「理解」を想像しますが、AIの学習は少し異なります。

AIの学習 = パターン認識

AIの学習とは、大量のデータ（例：猫の画像）の中から特定のパターンや規則性（例：耳の形、ひげ、目の配置）を見つけ出すプロセスです。

AIは「猫とは何か」を哲学的に理解しているのではなく、「猫を構成する特徴のパターン」を統計的に把握しているに過ぎません。

LLMの学習プロセス

LLMは主に2段階で学習します。

事前学習 (Pre-training)
- インターネット上の膨大なテキストデータ（書籍、記事、Webサイトなど）を読み込ませます。
- 「次の単語を予測する」 タスク（穴埋め問題）を延々と繰り返します。
- これにより、単語間の関係性、文法、そして世界の（統計的な）知識を獲得します。
ファインチューニング (Fine-tuning)
- 特定のタスク（質問応答、要約、翻訳など）に特化した高品質なデータセットで追加学習します。
- 人間のフィードバック（RLHFなど）を使い、「より人間に役立つ」「より安全な」回答ができるように調整されます。

LLMの正体 = 条件付き確率モデル

スライド9でも触れましたが、LLMの核となる仕組みは 「条件付き確率」 です。

「今日の天気は」

という文脈（条件）が与えられたとき、LLMは学習データに基づき、次に続く単語の確率を計算します。

晴れ (40%)
雨 (30%)
曇り (25%)
ピザ (0.001%)

LLMは「創造」しているのではなく、「学習データに基づいて、最も確率の高い（あるいは、ある程度ランダム性を持たせて選んだ）単語を次々と選択している」 確率モデルなのです。

4. LLMの得意・不得意（内挿と外挿）

この「確率モデル」という特性が、LLMの得意・不得意を決定づけます。

🟢 内挿（Interpolation） - 得意

学習データ（既知）の範囲内のパターンを補完・組み合わせることです。

「リンゴは赤い」「イチゴは？」→「赤い」
学習した文法や知識を組み合わせて、自然な文章やコードを生成する。
要約、翻訳、文体変換。

LLMは、学習した膨大な知識の「間を埋める」のが非常に得意です。

🔴 外挿（Extrapolation） - 苦手

学習データ（未知）の範囲外の領域を推測・創造することです。

学習データに全く存在しない、架空の生物の生態系を詳細に記述する。
既存の物理法則を覆す、全く新しい科学理論を提唱する。
（学習時点以降の）最新のニュースや出来事について答える。

LLMは統計モデルであるため、データにないものは「知らない」し、論理的に「推論」してゼロから創り出すのは苦手です。プロンプトを設計する際は、この「内挿」の得意な特性を活かすことを意識しましょう。

5. LLMの力を引き出すプロンプトノウハウ

LLMの特性を理解した上で、具体的なプロンプト技術を見ていきましょう。

基本原則

まずは基本となる5つの原則です。

明確な指示: 曖昧さを避け、具体的かつ簡潔にタスクを明示します。（例：「この記事について教えて」→「この記事を300字で要約して」）
役割設定: AIに特定の役割を与えると、出力の視点やトーンが安定します。（例：「あなたは経験豊富なマーケティング担当者です」）
文脈の提供: タスクの背景情報や前提条件を渡すことで、AIの理解度が上がります。
出力形式の指定: 期待する形式（箇条書き、JSON、Markdownなど）を明確に指定します。
制約条件の明示: 文字数、使用する語彙、含める/含めない情報を伝えます。

AIに使用する入力プロンプトノウハウ