はじめに

この記事では、自然言語処理における重要なモデルアーキテクチャである Seq2Seq（Sequence-to-Sequence） について解説します。

機械翻訳やテキスト要約など、入力テキストを別のテキストに変換するタスクでは、Seq2Seqモデルが広く使われています。本記事では、その仕組みを図解とともに分かりやすく説明し、最近話題のLLMとの違いについても整理します。

対象読者

機械学習・自然言語処理に興味がある方
Seq2SeqとLLMの違いを理解したい方
Encoder-Decoder構造を基礎から学びたい方

Seq2Seqとは

Seq2Seqは Sequence-to-Sequence（系列から系列へ） の略で、入力テキストを別のテキストに変換するモデルです。

【Seq2Seq = 入力の列 → 出力の列】

入力系列（Sequence）      出力系列（Sequence）
"a-na A-šur qí-bi-ma"  →  "Say to Ashur"
     ↑                          ↑
   アッカド語                   英語

ここでの「系列（Sequence）」とは、単語や文字が順番に並んだもの、つまりテキストのことを指します。

Encoder-Decoder構造

Seq2Seqモデルは 2つの部品 でできています。

┌─────────────────────────────────────────────────────────┐
│                                                         │
│   入力テキスト                                           │
│   "a-na A-šur qí-bi-ma"                                 │
│           │                                             │
│           ▼                                             │
│   ┌───────────────┐                                     │
│   │   Encoder     │  ← 入力を「理解」して圧縮           │
│   │   （理解役）   │                                     │
│   └───────────────┘                                     │
│           │                                             │
│           ▼                                             │
│     [中間表現]     ← 意味を凝縮したベクトル              │
│           │                                             │
│           ▼                                             │
│   ┌───────────────┐                                     │
│   │   Decoder     │  ← 中間表現から出力を「生成」       │
│   │   （生成役）   │                                     │
│   └───────────────┘                                     │
│           │                                             │
│           ▼                                             │
│   出力テキスト                                           │
│   "Say to Ashur"                                        │
│                                                         │
└─────────────────────────────────────────────────────────┘

Encoderの役割

Encoderは「理解役」です。入力テキスト全体の意味を読み取り、それを数値ベクトル（中間表現）に圧縮します。

入力: "a-na A-šur qí-bi-ma"
       ↓
     [a-na] → ベクトル化 → 
     [A-šur] → ベクトル化 → → 全体を統合
     [qí-bi-ma] → ベクトル化 →
       ↓
出力: 意味を表すベクトル [0.23, -0.81, 0.45, ...]

「入力テキスト全体の意味」を数値の塊にまとめる

Decoderの役割

Decoderは「生成役」です。Encoderが作成した中間表現を受け取り、1単語ずつ出力テキストを生成します。

入力: 意味ベクトル [0.23, -0.81, 0.45, ...]
       ↓
     1単語目は何？ → "Say"
     2単語目は何？ → "to"
     3単語目は何？ → "Ashur"
     終わり？      → はい
       ↓
出力: "Say to Ashur"

「意味ベクトル」を見ながら、1単語ずつ出力を生成

人間に例えると

Seq2Seqの動作は、通訳者の仕事に例えると分かりやすいですね。

【通訳者の仕事】

1. 聞く（Encoder）
   アッカド語を聞いて、意味を頭の中で理解する
   
2. 頭の中の理解（中間表現）
   「誰かにアシュールに言ってほしいんだな」
   
3. 話す（Decoder）
   理解した内容を英語で話す

通訳者がまず話を聞いて理解してから翻訳するように、Seq2Seqも入力を全て読み込んでから出力を生成します。

Seq2Seqの使用例

Seq2Seqは翻訳以外にも様々なタスクで活用されています。

タスク	入力	出力
翻訳	日本語の文	英語の文
要約	長い記事	短い要約
文法修正	誤りのある文	正しい文
対話	ユーザーの発言	システムの応答

いずれも「入力テキスト→出力テキスト」という構造になっており、Seq2Seqの得意分野です。

なぜ翻訳タスクに向いているのか

翻訳タスクには以下のような特徴があります。

【翻訳の特徴】
・入力と出力の長さが違う
・単語の順番が変わる
・1単語が複数単語になることも

Seq2Seqはこれらの課題にうまく対応できます。

【Seq2Seqの強み】
・入力全体を「理解」してから出力を開始
・出力の長さは入力と無関係に決められる
・単語の対応関係を柔軟に学習

具体例を見てみましょう。

アッカド語: "qí-bi-ma"     （1単語）
英語:       "Say to him"   （3単語）

Seq2Seqは入力を理解した後に出力するので、
このような長さの違いに対応できる

入力と出力の長さが異なっても問題なく処理できるのが、Seq2Seqの大きな強みです。

LLMとの違い

最近ではGPTやClaudeなどのLLM（大規模言語モデル）が注目を集めていますが、Seq2Seqとは仕組みが異なります。

【Seq2Seq（ByT5など）】
入力 → [理解] → [生成] → 出力

・入力を全部読んでから出力を始める
・翻訳・変換タスクに特化


【LLM（GPT、Claudeなど）】
入力 → [次の単語を予測] → [次の単語を予測] → ...

・入力の続きを生成していく
・汎用的な対話・生成向き

主な違いを整理

観点	Seq2Seq	LLM
アーキテクチャ	Encoder-Decoder	Decoder-only（主流）
処理の流れ	入力を全て読んでから出力	1トークンずつ予測・生成
得意なタスク	翻訳、要約、変換タスク	対話、文章生成、汎用タスク
代表例	T5、BART、ByT5	GPT-4、Claude、Gemini

Seq2Seqは「入力を理解して、別のテキストに変換する」ことに特化しており、翻訳のようなタスクでは効率的に学習できます。一方、LLMは「次に来る単語を予測する」ことを繰り返すモデルで、より汎用的なタスクに対応できます。

まとめ

用語	意味
Seq2Seq	入力テキスト→出力テキストに変換するモデル
Encoder	入力を「理解」して中間表現にする部分
Decoder	中間表現から出力を「生成」する部分

一言でまとめると、Seq2Seqは「読んで理解してから書く」モデルで、翻訳のようなテキスト変換タスクに最適です。

LLMが汎用的な対話や生成に向いているのに対し、Seq2Seqは特定の変換タスクに特化して効率良く学習できるという特徴があります。用途に応じて使い分けることが重要ですね。

参考リンク

Sequence to Sequence Learning with Neural Networks（原論文）
Attention Is All You Need（Transformer論文）
T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer