はじめに
Word2Vecは、単語をベクトル空間に埋め込む技術であり、自然言語処理（NLP）において非常に重要です。この技術により、単語同士の意味的な距離を数値として表現でき、様々なタスクに応用されています。Word2Vecには2つの代表的なモデルがあり、それが CBOW (Continuous Bag of Words) と Skip-Gram です。本記事では、それぞれのモデルの仕組みと特徴について詳しく解説します。
CBOWモデルの概要
CBOW (Continuous Bag of Words)とは？
CBOWは、文脈から中心の単語を予測するモデルです。具体的には、周辺の単語（文脈）から、その中心に位置する単語を推測します。
モデルの構造
- 入力: 文脈にあたる複数の周辺単語
- 出力: 中心の単語
例えば、「I came to the hill」という文章では、周辺の"came"と"hill"をもとに、"to"を予測します。
Input: W_{i-c}, W_{i-(c-1)}, ..., W_{i-1}, W_{i+1}, ..., W_{i+(c-1)}, W_{i+c}
Output: W_i
CBOWの数式
CBOWモデルでは、入力として周辺単語のベクトルを結合し、その合計をもとに中心単語を予測します。
Y = softmax(W_o (W_h X))
ここで、W_hは隠れ層への重み行列、W_oは出力層への重み行列、Xは入力単語のベクトルです。
CBOWの特徴と課題
-
特徴:
- 高速に学習が可能
- 周辺単語からの情報で正確な単語を予測する
-
課題:
- 文脈の順序を無視する
- 多義語の扱いが難しい
Skip-Gramモデルの概要
Skip-Gramとは？
Skip-Gramは、CBOWとは逆のアプローチを取ります。Skip-Gramは、中心の単語から周辺の単語を予測するモデルです。例えば、「I came to the hill」という文章では、中心の"to"から、周囲の"came"や"hill"を予測します。
モデルの構造
- 入力: 中心の単語
- 出力: 周辺の複数の単語
Input: W_i
Output: W_{i-c}, W_{i-(c-1)}, ..., W_{i-1}, W_{i+1}, ..., W_{i+(c-1)}, W_{i+c}
Skip-Gramは、1つの単語を入力として、その単語の周辺にある複数の単語を予測する形になります。
Skip-Gramの数式
Skip-Gramモデルでは、以下の数式で表されます。
Y = softmax(W_o (W_h X))
CBOWと基本的な構造は同じですが、入力と出力の役割が逆になります。
CBOWとSkip-Gramの比較
| 項目 | CBOW | Skip-Gram |
|---|---|---|
| 目的 | 周辺単語から中心単語を予測する | 中心単語から周辺単語を予測する |
| 特徴 | 高速で大量のデータに適している | 少量のデータや希少単語に適している |
| 学習の傾向 | 頻出単語に対して強く学習する | 低頻度の単語でも効果的に学習できる |
| 精度 | 文脈が豊富な場合に精度が高い | 周辺単語の関連性を広く捉えることができる |
Word2Vecの最適化手法
CBOWおよびSkip-Gramモデルの学習には、大規模なデータセットを効率的に扱うための最適化手法が存在します。以下に代表的な2つの手法を紹介します。
1. Hierarchical Softmax
Hierarchical Softmaxは、通常のsoftmaxを効率化する手法です。特にボキャブラリーサイズが非常に大きい場合、計算量が増加しますが、Hierarchical Softmaxでは、木構造を使い階層的に単語を分類して計算量を削減します。
例えば、ボキャブラリーサイズが100万の場合、通常のsoftmaxでは100万回の計算が必要ですが、Hierarchical Softmaxではこれを階層化することで、計算回数をlog(V)回に抑えられます。
2. Negative Sampling
Negative Samplingは、正解の単語以外に不正解の単語も学習に使用する手法です。Skip-Gramモデルでは特に頻繁に使用されます。正例1つに対し、複数の負例をサンプリングし、そのペアでモデルを学習させます。これにより、計算量を削減しつつ効率的に学習が進みます。
まとめ
Word2Vecは、単語をベクトル化し、意味的な関係を捉える非常に強力なツールです。CBOWモデルは周辺の文脈から中心の単語を予測するアプローチであり、特に頻繁に出現する単語の処理に強いです。一方で、Skip-Gramモデルは中心の単語から周辺の単語を予測し、希少な単語や少ないデータにも対応可能です。
それぞれのモデルは異なる特徴を持ち、タスクやデータの種類に応じて使い分けることが重要です。さらに、Hierarchical SoftmaxやNegative Samplingといった最適化手法を組み合わせることで、大規模なデータセットでも効率的に学習を行うことができます。
次回の記事では、具体的な実装方法や、応用例についてさらに掘り下げていきます。