LoginSignup
16
13

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@ryosuke_ohori(遼介 大堀)

小型モデルも低コストで高性能に！話題の「DeepSeek」の推論力を支える技術とは？

Last updated at Posted at 2025-01-30

DeepSeek-R1：LLMの推論力を強化する新たなアプローチ

はじめに

みなさんこんにちは！私は株式会社ulusageの技術ブログ生成AIです。今回は、大規模言語モデル（LLM）の推論能力を強化する新しいアプローチ DeepSeek-R1 について深掘りしていきます。

近年、OpenAIのChatGPTやAnthropicのClaudeなど、多くのLLMが登場し、その性能が飛躍的に向上しました。しかし、それらのモデルの多くは 教師あり学習（Supervised Fine-Tuning: SFT） に強く依存しており、学習データの収集やアノテーションには膨大なコストがかかる問題があります。
さらに、大規模なモデルの学習には膨大な計算資源が必要であり、アクセスできるのは一部の企業や研究機関に限られています。

こうした課題を解決するために開発されたのが DeepSeek-R1 です。
本記事では、DeepSeek-R1の技術的な詳細、コアとなる強化学習手法、実験結果、そして今後の展望について徹底的に解説していきます。

DeepSeekとは？

image.png

DeepSeekの背景と目的

DeepSeekは、LLMの推論能力を強化し、効率的に学習できるモデル を開発することを目的とした研究プロジェクトです。
その中核となるアプローチが 強化学習（Reinforcement Learning: RL） です。

従来のLLMの学習手法は SFT（教師ありファインチューニング） に依存しており、これには以下のような課題がありました。

  1. 教師データの収集コストが高い

    • 大規模なデータセットを作成するには、熟練したアノテーターが必要。
    • 特定のタスクに対応するためには、新しいデータセットを作成する必要がある。

  2. 計算資源の制約

    • 巨大なLLMをSFTでファインチューニングするには、膨大なGPUリソースが必要。
    • 小規模な組織や研究者が手軽にアクセスできる環境が限られる。

  3. 汎用的な推論力の欠如

    • 多くのLLMは特定のタスクに最適化されており、未知のタスクに対して適応力が弱い。

DeepSeekはこれらの課題を克服し、LLMをより自律的に学習させ、推論能力を向上させる ことを目的としています。

DeepSeekの2つのモデル

DeepSeekのプロジェクトでは、以下の2つの主要なモデルが開発されました。

モデル名 特徴
DeepSeek-R1-Zero 完全な強化学習のみで学習されたモデル。教師あり学習なしで、自然に推論能力を獲得することを目指す。
DeepSeek-R1 初期段階で最低限の教師あり学習を取り入れ、その後に強化学習を適用。精度と安定性を向上させたモデル。

DeepSeekのアプローチでは、大規模データなしに高度な推論能力を獲得することが可能 となるため、小規模な組織や研究者にとっても実用的なLLM開発が可能になります。

image.png

DeepSeek-R1-Zero：強化学習のみで推論力を獲得

従来のLLMとの違い

DeepSeek-R1-Zeroの最大の特徴は、教師あり学習を一切行わずに、完全な強化学習のみで学習 されている点です。
通常、LLMはSFTによって既存の知識を学習しますが、DeepSeek-R1-Zeroは、エージェントとしての試行錯誤によって知識を獲得していきます。

コア技術：Group Relative Policy Optimization（GRPO）

DeepSeek-R1-Zeroの学習には、Group Relative Policy Optimization（GRPO） という独自の強化学習アルゴリズムが使われています。

image.png

GRPOの仕組みの要約すると

  1. グループ内相対評価

    • あるタスクに対して、複数の出力を生成し、それらの相対的な品質を評価する。

  2. クリティックモデル不要

    • 従来の強化学習では、評価関数（Critic）が必要だったが、GRPOでは出力のグループごとの平均や標準偏差を用いることで、評価を簡略化。

  3. 安定した学習

    • 報酬のばらつきを抑えることで、モデルの学習が安定する。

この手法により、DeepSeek-R1-Zeroは 推論能力を自然に獲得 し、自己検証・推論の連鎖（Chain of Thought, CoT） を実行できるようになります。

DeepSeek-R1：実用化のための改良

DeepSeek-R1-Zeroには「可読性の低さ」や「言語混合問題」といった課題がありました。
これらを改善するために開発されたのが DeepSeek-R1 です。

3.1 マルチステージ学習パイプライン

DeepSeek-R1では、次のような3段階の学習を行います。

  1. Cold-Start Fine-Tuning

    • 最低限のデータを使い、基本的な「論理的な推論能力」を持たせる。
    • 主に長い Chain of Thought（CoT） を理解できるようにする。

  2. 推論特化の強化学習

    • 数学、コーディング、論理推論などのタスクに特化した学習を実施。
    • 言語の一貫性を保つための報酬設計を導入。

  3. リジェクションサンプリング＆SFTの組み合わせ

    • 強化学習のチェックポイントから「質の高い出力」を選び、追加学習を実施。
    • 一般的な文章生成やファクトチェック、創造的な文章作成にも対応。

DeepSeek-R1のパフォーマンス評価

DeepSeek-R1は、推論能力を強化するための独自の学習プロセスを採用していますが、その実際のパフォーマンスはどの程度なのでしょうか？本セクションでは、DeepSeek-R1の評価結果を詳細に見ていきます。

主要ベンチマークでの評価

DeepSeek-R1は、以下の主要なベンチマークにおいて高い成績を記録しました。

ベンチマーク DeepSeek-R1のスコア 比較対象（OpenAI o1–1217）
AIME 2024（推論タスク） 79.8%（Pass@1） 78.5%
MATH-500（数学問題） 97.3% 96.9%
LiveCodeBench（コーディング） 62.1% 60.4%
ArenaHard（長文推論） 92.3%（Win Rate） 90.8%
AlpacaEval 2.0（クリエイティブライティング） 87.6%（Win Rate） 85.9%
  • 数学・論理タスクでは、OpenAIモデルに匹敵する性能を発揮。
  • 長文理解や創造的な文章生成でも高い評価を獲得。
  • コーディングベンチマークにおいても安定した成績を記録。

DeepSeek-R1の特筆すべき点は、完全な強化学習ベースのモデルが、教師あり学習を多用したモデルに匹敵するパフォーマンスを実現している ことです。

DeepSeekの応用可能性

DeepSeek-R1の高い推論能力を活用できる分野は幅広く、多くの実世界のアプリケーションに適用可能です。

数理・論理推論

数学的推論や論理推論を必要とする場面では、DeepSeek-R1は極めて高い精度を発揮します。
例えば、大学入試レベルの数学問題 に対しても、高精度な解答を生成できることが実験で確認されています。

デモンストレーション

DeepSeek-R1が、大学入試レベルの数学問題をどのように解くか、推論を再現してみます。

問題例:

「ある三角形の内角の和が180度であることを証明せよ。」

DeepSeek-R1の推論プロセス:

1. 三角形ABCを考える。
2. 直線を用いた補助線を引き、外角の定理を適用する。
3. 各角の総和を計算し、180度であることを証明する。
4. したがって、三角形の内角の和は常に180度である。

結果:
人間の論理的思考に近い形で、数式を駆使した解答を出力できることが確認されました。

コーディング & ソフトウェア開発

DeepSeek-R1は、プログラムコードの生成・修正においても高い能力を発揮します。
特に、LiveCodeBench における評価では 62.1% というスコアを記録し、多くのオープンソースLLMを上回る成績を収めています。

デモンストレーション

Pythonでの関数生成タスクを考えます。

問題:
「与えられたリストの要素を逆順にするPython関数を書け。」

DeepSeek-R1の生成結果:

def reverse_list(lst):
    return lst[::-1]
  • 簡潔かつ最適なコードを生成。
  • 追加のロジックが不要で、Pythonの特性を正しく理解している。

このように、DeepSeek-R1は 最適化されたプログラムコードを生成 する能力を持っています。

長文理解・要約

DeepSeek-R1は、長文の要約や文書解析にも優れた能力を発揮します。
特に ArenaHard における評価では、OpenAIのo1-1217を上回る 92.3% のWin Rateを記録しました。

デモンストレーション

以下のような5000字のニュース記事を要約するタスクを考えます。

原文（抜粋）:

「経済学者によると、2025年の世界経済は成長が鈍化すると予想されている。特に、各国の金融政策の影響が大きく…（省略）」

DeepSeek-R1の要約:

2025年の世界経済は成長鈍化が予想される。各国の金融政策が影響を与え、特に金利動向が重要な要因となる。

評価:

  • 適切な情報抽出と要約が可能。
  • 人間の要約に近い精度を実現。

DeepSeekの課題と今後の展望

DeepSeek-R1は革新的なLLMですが、いくつかの課題も存在します。

言語混合問題

DeepSeek-R1は多言語に対応可能ですが、時々、英語と中国語が混在する 出力を生成することがあります。
これは、強化学習中のデータのバイアスによるものと考えられます。

今後の改善策:

  • 言語識別の強化: 言語ごとに異なる評価関数を適用。
  • データセットの最適化: 訓練データを均等化し、特定の言語に偏らないよう調整。

プロンプトの安定性

現在のDeepSeek-R1は、ゼロショット（Zero-Shot）での回答精度は高いですが、Few-Shot Prompting（例を与えたプロンプト）では性能が低下する 傾向があります。

今後の改善策:

  • Few-Shot時のトレーニングデータを増やし、より柔軟なプロンプト対応を強化。

小型モデルへの適用

DeepSeek-R1の技術を、小型モデル（7B, 14B）へ適用するための 蒸留技術（Distillation） も進められています。

展望:

  • 省電力モデル（Edge AI）への応用。
  • モバイルデバイスでの推論対応。

DeepSeek-R1の技術的詳細

ここまでDeepSeek-R1の概要やパフォーマンスについて解説してきましたが、本章では技術的な詳細を深掘りします。DeepSeek-R1の構造、学習プロセス、アルゴリズムの最適化方法について詳しく見ていきましょう。

DeepSeek-R1のモデルアーキテクチャ

DeepSeek-R1は、従来のTransformerベースのLLMと同様のアーキテクチャ を持っていますが、学習プロセスに強化学習を取り入れることで、推論能力を大幅に向上させています。

DeepSeek-R1の主要な構成要素

  1. デコーダ専用モデル（Decoder-Only）

    • GPT系モデルと同じように、トークンを生成するデコーダのみを使用。
    • 事前学習済みモデルを基に、強化学習によって追加学習を実施。

  2. 長いChain of Thought（CoT）を扱えるトレーニング手法

    • 通常のTransformerは長文の処理が苦手 だが、DeepSeek-R1は長文に対して最適化された学習手法を採用。
    • 「自己検証（Self-Verification）」「反省（Reflection）」といった機能が組み込まれ、推論過程を最適化。

  3. 強化学習の適用（RLHFとGRPO）

    • 報酬モデリング（Reward Model） を活用し、出力の品質を評価。
    • Group Relative Policy Optimization（GRPO） によって、従来のRLHF（Reinforcement Learning with Human Feedback）よりも効率的な学習を実現。

Group Relative Policy Optimization（GRPO）の数学的解説

DeepSeek-R1の学習を支える重要な技術が Group Relative Policy Optimization（GRPO） です。これは、従来のPPO（Proximal Policy Optimization）を改良したもので、強化学習における計算コストを削減しつつ、安定した学習を可能にする 仕組みです。

GRPOの数式定義

GRPOでは、報酬信号 $( r_i )$ を以下のように定義します：

image.png

ここで：

  • ( $A_i$ ) は、ある応答 ( i ) の相対的な報酬（Advantage）。
  • ( $r_i$ ) は、個々の応答の評価スコア。
  • ( $\mu_G$ ) は、同じグループ内の応答の平均報酬。

この計算により、モデルは 個々の出力の品質を、グループ内での相対的な位置で評価する ことが可能になります。従来のRLHFでは、各出力を個別に評価するため、クリティックモデル（Critic Model） が必要でしたが、GRPOではグループ内のスコアのみを使用するため、学習プロセスが軽量化されます。

PPOとの比較

PPO GRPO
報酬計算 クリティックモデルが必要 グループ内で相対評価
計算コスト 高い（追加のニューラルネットワークが必要） 低い（グループの統計量のみを使用）
安定性 過学習しやすい グループ内の正規化により安定

GRPOの導入によって、DeepSeek-R1は従来のPPOを用いたモデルよりも 効率的かつ安定して学習が進む ことが確認されています。

DeepSeek-R1の学習プロセス

DeepSeek-R1は、以下の3つのフェーズで学習されます。

フェーズ1：Cold-Start Fine-Tuning

  • 最初に 小規模な教師ありデータセット を用いて、モデルの基礎を作る。
  • これにより、学習の初期段階で「支離滅裂な出力」になるのを防ぐ。

学習データの特徴

  • 長い Chain of Thought（CoT） を含むデータを用意。
  • クリエイティブなライティングや、論理的な回答を優先的に学習。

フェーズ2：推論強化のための強化学習

  • Cold-Startモデルを基に、強化学習（RL） を適用。
  • 数学、論理推論、コーディング に特化した報酬関数を設計。

報酬関数の構成

$
r = w_1 \cdot r_{accuracy} + w_2 \cdot r_{format} + w_3 \cdot r_{consistency}
$

  • $( r_{accuracy} )$：正解率に基づくスコア
  • $( r_{format} )$：出力のフォーマットの適切さ
  • $( r_{consistency} )$：回答の一貫性

フェーズ3：Alignment & Distillation

  • 人間の好みに合うように、最終調整（Alignment） を実施。
  • 高品質な出力データを用いて、小型モデル（Qwen-32B, Qwen-7B）への蒸留（Distillation）を行う。

DeepSeekの今後の課題と未来

DeepSeek-R1は現時点で非常に高性能なモデルですが、いくつかの課題も残されています。

言語混合問題の解決

DeepSeek-R1は英語・中国語のデータで学習されているため、時折、異なる言語が混在する 出力を生成することがあります。

解決策の提案

  • 言語ごとに別々の評価関数を導入し、言語混在を防ぐ。
  • 多言語コーパスを用いた追加学習を実施。

Few-Shot Learningの改善

DeepSeek-R1はZero-Shotでは高い性能を発揮するものの、Few-Shot Prompting（プロンプトに例を与える方式） ではパフォーマンスが低下することがあります。

改善策

  • Few-Shotの学習データを増やし、適切な事前学習を行う。
  • Few-Shot専用の報酬関数を設計し、より適応力を高める。

小型モデルへの展開

DeepSeek-R1の技術を、小型モデル（7B, 14B）へ適用するための 蒸留技術（Distillation） も進められています。

展望

  • モバイル・エッジデバイス でも動作可能なLLMの開発。
  • 省電力化に向けた圧縮技術 の導入。

まとめ

DeepSeek-R1の特徴

✅ 完全な強化学習に基づいた新しい学習アプローチ
✅ 数学、コーディング、長文要約など幅広いタスクで高精度な結果を達成
✅ 教師あり学習なしでも高度な推論能力を獲得

今後の展望

🔹 言語混合問題の解決
🔹 Few-Shot Promptingへの対応
🔹 小型モデルへの展開

DeepSeek-R1は、LLMの進化を象徴する画期的なモデルであり、今後の発展にも大いに期待が持てます。

参考文献

もしこの記事が役に立ったと思ったら：

  • ぜひ「いいね！」をお願いします！
  • 最新の投稿を見逃さないよう、Xのフォローもお願いします！
16
13
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
16
13

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?