0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【第4回】ゼロから目指す! CCDV-F合格への道:LLMのしくみ

0
Posted at

この記事について

  • Anthropic社の公式認定資格「Claude Certified Developer – Foundations(CCDV-F)」に向けた、非公式の学習シリーズ(全24回)の第4回です。(Anthropic社とは関係ありません)
  • 公式の試験ガイドをもとにした解説とオリジナルの確認問題だけで構成しています。(規約に従い、実際の試験問題は載せていません)
  • 筆者自身も、この試験をまだ受験・合格していません。(この連載を書きながら、自分も学習している途中です)
  • 記事は生成AI(Claude)の支援を受けて作成し、筆者が内容を確認しています。
  • 情報は 2026年11月18日時点 のものです。試験の内容や条件は変わることがあるので、最新の情報は必ず公式ページで確認してください。
  • もし、間違いを見つけたら、コメントいただけますと幸いです。

ひとことで言うと

この回は、LLM(大規模言語モデル)がどうやって答えをつくっているのか を学ぶ回です。
第2回・第3回は「言葉を覚える回」でしたが、ここからは、仕組みと、試験での問われ方 まで深めていきます。

公式ガイドでは、この内容は「LLMの基礎」という項目にあたります(配点は5.2%)。単独の配点は大きくありませんが、トークン、コンテキストウィンドウ、サンプリング は、あとの回(コスト、プロンプト、エージェント)のすべての土台になります。

この回では、次の6つを順に見ていきます。

  1. LLMは、どうやって答えをつくるのか
  2. トークン
  3. コンテキストウィンドウ
  4. サンプリングと非決定性
  5. zero-shot / few-shot(見本をつける)
  6. ハルシネーション(もっともらしい間違い)

用語の整理

第2回で出てきた言葉に加えて、この回で新しく出てくる言葉です。

用語 やさしい説明 出てくる所
事前学習(pretraining) 大量の文章を読んで、「次に来る言葉」を予想できるようになる、最初の勉強。 1
ファインチューニング(fine-tuning) 事前学習したモデルを、追加のデータでさらに訓練すること。 1
RLHF(人間のフィードバックによる強化学習) 人が「こっちの答えのほうがいい」と順位をつけて、人に好まれる答え方を学ばせる訓練。 1
トークナイザー 文章をトークン(ブロック)に切り分けるしくみ。モデルによって、切り方が違う。 2
コンテキストウィンドウ 一度に見渡せる文章の範囲(作業用の机の広さ)。入力も出力も、全部ここに入る。 3
コンテキストロット(context rot) 文章が増えすぎると、かえって正確さや思い出す力が落ちること。 3
サンプリング 次に来る言葉の候補から、1つを選ぶこと。 4
非決定性 同じ入力でも、出力が毎回同じとは限らない性質。 4
zero-shot / few-shot 頼むときに、見本をつけない(zero)か、つける(few)か。 5
ハルシネーション 事実ではないことを、もっともらしく言ってしまうこと。 6

仕組みと試験での問われ方

1. LLMは、どうやって答えをつくるのか

第1回で、LLMを「いままでの文章の続きに、次に来そうな言葉を予想して、つなげていく」道具だと説明しました。もう少しだけ、中身を見てみましょう。

Claudeのようなモデルは、おおまかに3つの段階を経てできあがります。

段階 例え話 中身
① 事前学習 たくさんの本を読んで、文章のクセを覚える 大量の文章を読んで、「次に来る言葉」を予想できるようになる。ただし、この段階では、質問に答えたり、指示に従ったりするのは得意ではない。
② ファインチューニング 先生について、答え方の特訓を受ける 追加のデータで、さらに訓練する。Claudeは、すでに「役に立つアシスタント」になるように調整されている。
③ RLHF 「こう答えるとほめられる」を学ぶ 人が、答えに順位をつけて、人に好まれる答え方を学ばせる。

試験では、「LLMとは何か」「なぜ、答えが毎回少し変わるのか」「なぜ、間違うことがあるのか」といった、基本的な理解 が土台になります。「次の言葉を予想して、つなげている」という考え方を、しっかり持っておきましょう。

ひとつ知っておきたいこと
公式の用語集には、「Claude APIは、現時点ではファインチューニングを提供していない」と書かれています。「自分のデータでClaudeを追加訓練して使う」という前提で、考えないようにしましょう。

2. トークン

第2回で、トークンは「文章を細かく切った『ブロック』」と説明しました。公式の用語集では、トークンは単語、単語の一部、文字、さらにはバイトに対応する、と説明されています。

試験で大事なのは、次の3つです。

① 1つのトークンが、何文字分かは、決まっていない

モデルや言語によって変わります。同じ文章でも、モデルが変わると、トークンの数が変わることがあります。

公式の用語集と、トークンを数えるページには、こう書かれています。「Claude 4.7以降のモデルは、新しいトークナイザーを使っていて、同じ文章でも、以前のモデルより、トークンが約30%多くなる」。そして、「使う予定のモデルで、数え直すこと。以前のモデルで測った数を、使い回さないこと」と注意しています。

例えば、あるモデルで「1万トークン」だった文章が、新しいモデルでは、約1万3千トークンになるかもしれません。料金も、コンテキストウィンドウに入る量も、トークンの数で決まるので、モデルを乗り換えるときは、見積もりをやり直す必要があります。

② トークンは、数えられる(無料で、見積もりとして)

公式には、トークンを数えるための仕組みが用意されています。無料で使えますが、結果はあくまで見積もりで、実際の数と、少しずれることがあります。なお、システムが自動で足したトークンは、課金の対象になりません。

③ トークンは「料金」と「量」の両方の単位

使った量を数えて、管理することが、コストの管理(第6回)につながります。

3. コンテキストウィンドウ

第2回では、コンテキストウィンドウを「作業用の机の広さ」に例えました。ここでは、「何が、机の上に載るのか」を、くわしく見てみましょう。

① 机の上に載るのは、入力だけではない

公式ドキュメントでは、次のものがすべて、コンテキストウィンドウに数えられると説明されています。

  • システムプロンプト
  • やりとりの全部(ツールの結果、画像、文書も含む)
  • ツールの定義(第3回で出てきた、ツールの説明書き)
  • Claudeが出力する答え(考える過程である、thinkingも含む)

つまり、「質問」だけでなく、「答え」も同じ机の上に載ります。入力と出力の合計が、机の広さに収まる必要があります。

さらに、公式は、「プロンプトキャッシュ(第2回)は、料金が変わるだけで、数えるかどうかは変わらない」と説明しています。キャッシュした部分も、机の上には載っています。

② 机は、広ければ広いほどよい、とは限らない

公式は、こう説明しています。「文章が増えるにつれて、正確さと思い出す力が落ちる。これをコンテキストロットと呼ぶ。だから、何を机の上に載せるかを選ぶことは、広さと同じくらい大事」。

机の上に、たくさんの紙を広げすぎると、大事な1枚が、かえって見つけにくくなる、というイメージです。この考え方は、第13回(コンテキスト設計)でくわしく扱います。

③ 机の広さは、モデルによって違う(2026年11月18日時点)

公式のページでは、新しいモデルの多くが100万トークン、一部古いモデルが20万トークンとされています。モデルごとに違うので、使うモデルのページで確かめましょう。

④ 机からはみ出したら、どうなるのか

公式ドキュメントでは、次の2つの場合に分けて説明されています。

場合 何が起きるか
入力だけで、机の広さを超えた どのモデルでも、400エラー(「プロンプトが長すぎる」)が返る。
入力 + 出力の上限(max_tokens)が、机の広さを超えた Claude 4.5以降のモデルでは、リクエストは受け付けられる。答えを作っている途中で上限に届くと、stop_reasonがmodel_context_window_exceededになって止まる。エラーではなく、途中で切れた出力になる。それより前のモデルでは、エラーになる。

ポイント
出力が途中で切れたら、「エラーではないのに、答えが最後まで出ていない」状態になります。stop_reasonを確認する習慣が大事です(第8回、第15回でも出てきます)。

4. サンプリングと非決定性

① 答えは、さいころを振るように選ばれる

第1回で、「次の言葉を、さいころを振るように確率で選ぶ」と説明しました。これがサンプリングです。モデルは、次に来る言葉の候補それぞれに、「どれくらい、ふさわしいか」の確率をつけます。そのうえで、確率をもとに、1つを選びます。必ず、確率の一番高いものを選ぶわけではない、というのがポイントです。

② temperature(温度)は、選び方の「幅」のダイヤル

公式の用語集では、temperatureは「予測のランダムさを調整するパラメータ」と説明されています。

  • 高い: 創造的で、いろいろな言い方が出やすい。
  • 低い: 保守的で、一番ありそうな言い方に、そろいやすい。

③ temperatureを0にしても、完全には同じにならない

ここは、試験でも、狙われやすい所です。公式は、こう書いています。「temperatureを0にしても、結果は完全には決まらず、同じ入力が、呼び出しのたびに、違う出力になることがある」。これは、Anthropicのサービスでも、他社のクラウド経由でも、同じです。この性質を、非決定性と呼びます。

「temperatureを0にすれば、いつも同じ答えが返る」と保証されるわけではない、と覚えておきましょう。

最新のAPIでは、temperatureが指定できなくなっています

公式のドキュメントによると、APIの最新版(バージョン2026-10-21)では、temperature、top_p、top_k(どれも、答えの出方の幅を調整する設定)をリクエストに含めると、400エラーになります(初期値と同じ値でも、エラーです)。代わりになる設定は、ありません。指定しなければ、初期値(temperatureは1.0)で動きます。なお、Claude 4.7以降のモデルは、もともと初期値しか受け付けません。古いバージョン(2023-06-01)を使い続ければ、これまでどおり指定できます。

試験ガイドの出題範囲には、「サンプリング」が含まれていました。ただ、ガイドの作成時期とこの変更との関係は、確認できていません。したがって、「temperatureとは何か、0でも同じとは限らない」という考え方 と 「最新のAPIでは、指定自体ができない」という現状 の両方を押さえておくと安心です。

では、出力の安定を求めるときは、どうすればよいのでしょうか。
temperatureの代わりになる設定はありません。
そこで、この連載では次のような方法で、出力のばらつきに備えます。

  • 見本をつけて、答え方の形を伝える(次の「5. zero-shot / few-shot(見本をつける)」)
  • 決まった書式(JSONなど)で返させる(第14回、構造化出力)
  • 返ってきた答えを、プログラムで確かめる(第14回)

「同じ答えを、必ず返させる」のではなく、「多少変わっても、困らないように作る」という考え方です。

5. zero-shot / few-shot(見本をつける)

第2回で出てきた「見本を何個つけるか」の話です。

  • zero-shot: 見本なしで、頼む
  • single-shot: 見本を1つつけて、頼む
  • few-shot(multi-shot): 見本を複数つけて、頼む

「お手本つきの宿題」のようなものです。「こういう問題には、こう答える」という例を、いくつか見せてから、本番の問題を出すと、答え方の形が伝わりやすく なります。

公式のドキュメントは、こう説明しています。
「見本は、Claudeの出力の形式、口調、構造を導く、いちばん確実な方法のひとつ。よく作った少数の見本は、正確さと一貫性を上げる」。

よい見本の条件は、次の3つです。

条件 意味
関連している(relevant) 実際の使い方に、近い例にする。
多様である(diverse) 変わったケースも含めて、バリエーションを持たせる。そうしないと、Claudeが、意図しないパターンを覚えてしまう。
構造がある(structured) 見本を<example>タグで囲み(複数なら<examples>)、指示と区別がつくようにする。

数の目安は、「3〜5個を入れると、いちばんよい結果になりやすい」とされています。

見本をつけた指示の例(オリジナル)

お客さんの問い合わせを、「返品」「配送」「その他」に分類する指示の例です。

次の問い合わせを、「返品」「配送」「その他」のどれかに分類してください。
答えは、分類名だけを書いてください。

<examples>
  <example>
    <input>届いた商品が壊れていました。</input>
    <output>返品</output>
  </example>
  <example>
    <input>注文した商品が、まだ届きません。</input>
    <output>配送</output>
  </example>
  <example>
    <input>営業時間を教えてください。</input>
    <output>その他</output>
  </example>
</examples>

問い合わせ: 色が写真と違うので、交換したいです。

見本が、3つの分類を1つずつ含んでいること、答えの形(分類名だけ)がそろっていること、<example>タグで指示と区別されていることが、ポイントです。

プロンプトの書き方の全体は、第12回でくわしく扱います。

6. ハルシネーション(もっともらしい間違い)

第1回と第2回で、「もっともらしいのに、間違っていることがある」と説明しました。これがハルシネーションです。LLMは、「次に来そうな言葉」を予想して文章をつくるので、自信たっぷりに、事実でないことを書くことがあります。

公式のドキュメントには、ハルシネーションを減らすための、基本の方法が3つ紹介されています。

方法 中身
①「分からない」と言ってよいことにする 「情報が足りなければ、『確信をもって判断するには、情報が足りません』と答えてよい」と、はっきり許可する。公式は、「これで、誤った情報が大きく減ることがある」と説明している。
② 先に、引用を抜き出させる 長い文書(約2万トークンより長いもの)では、先に、関係する部分を一字一句そのまま抜き出させてから、作業をさせる。答えが、実際の文章にもとづくようになる。
③ 引用で裏を取らせる 答えの一つ一つに、根拠となる引用をつけさせる。あとから、「裏付けとなる引用を探して、見つからなければ、その主張を取り下げる」ようにさせることもできる。

そして、公式は、こう注意しています。「これらの方法は、ハルシネーションを大きく減らすが、完全には防げない。特に重要な判断では、必ず、情報を確かめること」。

「対策をしても、なくならない」というのが、試験でも大事な考え方です。出力の検証は、第14回でくわしく扱います。

試験で押さえたい考え方

用語の意味に加えて、試験では「状況に合う選び方」が問われます。
この回の内容に関わる考え方を、公式ガイドの出題範囲から6つ選びました。

  1. LLMは、「次の言葉の予想」で動いている
    だから、答えは毎回少し変わりうるし、もっともらしい間違いも起こりうる。
  2. モデルを変えたら、トークンを数え直す
    同じ文章でも、モデルによって、トークンの数が変わる。以前のモデルの数を、使い回さない。
  3. コンテキストウィンドウには、入力も出力も入る
    システムプロンプト、やりとり、ツールの定義、答えまで、全部が数えられる。プロンプトキャッシュは、料金が変わるだけで、数えるかどうかは変わらない。
  4. 机は、広ければよいとは限らない
    文章が増えすぎると、かえって正確さが落ちる(コンテキストロット)。何を載せるかを選ぶ。
  5. temperatureを0にしても、答えは完全には固定されない
    そして、最新のAPIでは、temperatureの指定そのものができない。
  6. 見本は「関連・多様・構造あり」で、3〜5個
    ハルシネーションは、「分からない」と言わせたり、引用させたりして減らせるが、なくなりはしない。

確認問題(3問)

この回の内容の確認です。試験の問題ではなく、この連載のためのオリジナル問題です。答えは、考えてから開いてください。

問題1

ある会社が、Claude Sonnet 4.6で測った「文書1件あたりのトークン数」をもとに、費用を見積もっていました。今回、Claude Opus 4.7以降のモデルに乗り換えることになりました。費用とコンテキストウィンドウに収まるかの見積もりとして、最も適切なものはどれでしょう。

  • A. 同じ文章なら、どのモデルでもトークン数は同じなので、以前の数を、そのまま使う
  • B. 乗り換え先のモデルで、トークンを数え直す(トークンを数える仕組みを使う)
  • C. 日本語の文字数に、決まった数をかけて、どのモデルでも同じように計算する
  • D. トークンの数は、料金やコンテキストウィンドウとは関係ないので、見積もりは不要
答えと解説

答え: B

公式ドキュメントでは、Claude 4.7以降のモデルは新しいトークナイザーを使っていて、同じ文章でも、約30%多くトークンが数えられることがあると説明されています。そのため、「使う予定のモデルで、数え直すこと。以前のモデルで測った数を使い回さないこと」と注意されています。

他はなぜ誤り?

  • A: モデルによって、トークンの数え方(切り方)が違います。
  • C: 1つのトークンが何文字分かは、モデルや言語によって変わるので、一律の計算は当てになりません。
  • D: トークンは、料金と、コンテキストウィンドウに入る量の、どちらの単位にもなります。

問題2

お客さんの問い合わせを分類するアプリで、Claudeに見本(few-shot)をつけて頼むことにしました。見本の付け方として、最も適切なものはどれでしょう。

  • A. 見本は1つだけにして、できるだけ短くする
  • B. いちばんよくあるパターンの見本を、10個そろえる
  • C. 見本は、指示の文章の中に、区別せずに混ぜて書く
  • D. 実際の問い合わせに近く、変わったケースも含む見本を3〜5個用意して、<example>タグで囲む
答えと解説

答え: D

公式ドキュメントは、見本を「関連している(実際の使い方に近い)」「多様である(変わったケースも含み、意図しないパターンを覚えさせない)」「構造がある(<example>タグで囲み、指示と区別する)」ものにすること、そして、「3〜5個を入れると、いちばんよい結果になりやすい」ことを説明しています。

他はなぜ誤り?

  • A: 見本が少なすぎると、答え方の形が十分に伝わりません。公式の目安は3〜5個です。
  • B: 同じパターンばかりだと、Claudeが、意図しない偏りを覚えてしまいます。多様であることが大事です。
  • C: 指示と見本が混ざると、区別がつきません。タグで囲むことが勧められています。

問題3

社内の規定(約3万トークンの長い文書)をもとに、質問に答えるアプリを作っています。答えに、文書にない作り話が混ざるのを減らすために、公式のドキュメントが紹介している方法として、最も適切なものはどれでしょう。

  • A. 先に、質問に関係する部分を文書から一字一句そのまま抜き出させ、その引用だけにもとづいて答えさせる
  • B. temperatureを上げて、答えの幅を広げる
  • C. 質問を、できるだけ短く書く
  • D. 「必ず答えること」と指示して、「分からない」とは言わせない
答えと解説

答え: A

公式ドキュメントは、長い文書(約2万トークンより長いもの)では、先に、関係する部分を一字一句そのまま抜き出させてから作業させると、答えが実際の文章にもとづくようになり、ハルシネーションが減ると説明しています。ほかにも、「分からない」と言ってよいと許可すること、答えに引用をつけさせて裏を取ることが紹介されています。ただし、完全には防げないので、重要な情報は必ず確かめます。

他はなぜ誤り?

  • B: temperatureは、答えのばらつきの調整であり、正確さを上げる設定ではありません(しかも、最新のAPIでは指定できません)。
  • C: 質問の長さを短くしても、作り話を減らす方法としては、紹介されていません。
  • D: 逆効果です。公式は、「分からない」と答えてよいと、はっきり許可することを勧めています。

まとめ

  • LLMは、「次の言葉の予想」で動いています。だから、答えは毎回少し変わりうるし、もっともらしい間違い(ハルシネーション)も起こりえます。
  • トークンは、料金と量の単位です。モデルが変わると、同じ文章でも数が変わるので、乗り換えるときは数え直します。
  • コンテキストウィンドウには、入力も出力も入ります。広ければよいとは限らず、増えすぎると、かえって正確さが落ちます。
  • temperatureを0にしても、答えは完全には固定されません。最新のAPIでは、temperatureの指定そのものができなくなっています。
  • 見本は、「関連・多様・構造あり」で3〜5個が目安です。ハルシネーションは、減らせても、なくなりません。

次回の 第5回 は「モデルの選び方」です。Opus・Sonnet・Haikuの使い分けや、品質・速さ・費用のバランスの取り方を、第2回の用語を土台にして学んでいきます。

出典

2026年11月18日に、実際に開いた公式ページです。
(試験ガイドのPDFは11月14日に確認)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?