はじめに

Word2Vecは、単語をベクトル空間に埋め込む技術であり、自然言語処理（NLP）において非常に重要です。この技術により、単語同士の意味的な距離を数値として表現でき、様々なタスクに応用されています。Word2Vecには2つの代表的なモデルがあり、それが CBOW (Continuous Bag of Words) と Skip-Gram です。本記事では、それぞれのモデルの仕組みと特徴について詳しく解説します。

CBOWモデルの概要

CBOW (Continuous Bag of Words)とは？

CBOWは、文脈から中心の単語を予測するモデルです。具体的には、周辺の単語（文脈）から、その中心に位置する単語を推測します。

モデルの構造

入力: 文脈にあたる複数の周辺単語
出力: 中心の単語

例えば、「I came to the hill」という文章では、周辺の"came"と"hill"をもとに、"to"を予測します。

Input: W_{i-c}, W_{i-(c-1)}, ..., W_{i-1}, W_{i+1}, ..., W_{i+(c-1)}, W_{i+c}
Output: W_i

CBOWの数式

CBOWモデルでは、入力として周辺単語のベクトルを結合し、その合計をもとに中心単語を予測します。

Y = softmax(W_o (W_h X))

ここで、W_hは隠れ層への重み行列、W_oは出力層への重み行列、Xは入力単語のベクトルです。

CBOWの特徴と課題

特徴:
- 高速に学習が可能
- 周辺単語からの情報で正確な単語を予測する
課題:
- 文脈の順序を無視する
- 多義語の扱いが難しい

Skip-Gramモデルの概要

Skip-Gramとは？

Skip-Gramは、CBOWとは逆のアプローチを取ります。Skip-Gramは、中心の単語から周辺の単語を予測するモデルです。例えば、「I came to the hill」という文章では、中心の"to"から、周囲の"came"や"hill"を予測します。

モデルの構造

入力: 中心の単語
出力: 周辺の複数の単語

Input: W_i
Output: W_{i-c}, W_{i-(c-1)}, ..., W_{i-1}, W_{i+1}, ..., W_{i+(c-1)}, W_{i+c}

Skip-Gramは、1つの単語を入力として、その単語の周辺にある複数の単語を予測する形になります。

Skip-Gramの数式

Skip-Gramモデルでは、以下の数式で表されます。

Y = softmax(W_o (W_h X))

CBOWと基本的な構造は同じですが、入力と出力の役割が逆になります。

CBOWとSkip-Gramの比較

項目	CBOW	Skip-Gram
目的	周辺単語から中心単語を予測する	中心単語から周辺単語を予測する
特徴	高速で大量のデータに適している	少量のデータや希少単語に適している
学習の傾向	頻出単語に対して強く学習する	低頻度の単語でも効果的に学習できる
精度	文脈が豊富な場合に精度が高い	周辺単語の関連性を広く捉えることができる

Word2Vecの最適化手法

CBOWおよびSkip-Gramモデルの学習には、大規模なデータセットを効率的に扱うための最適化手法が存在します。以下に代表的な2つの手法を紹介します。

1. Hierarchical Softmax

Hierarchical Softmaxは、通常のsoftmaxを効率化する手法です。特にボキャブラリーサイズが非常に大きい場合、計算量が増加しますが、Hierarchical Softmaxでは、木構造を使い階層的に単語を分類して計算量を削減します。

例えば、ボキャブラリーサイズが100万の場合、通常のsoftmaxでは100万回の計算が必要ですが、Hierarchical Softmaxではこれを階層化することで、計算回数をlog(V)回に抑えられます。

2. Negative Sampling

Negative Samplingは、正解の単語以外に不正解の単語も学習に使用する手法です。Skip-Gramモデルでは特に頻繁に使用されます。正例1つに対し、複数の負例をサンプリングし、そのペアでモデルを学習させます。これにより、計算量を削減しつつ効率的に学習が進みます。

まとめ

Word2Vecは、単語をベクトル化し、意味的な関係を捉える非常に強力なツールです。CBOWモデルは周辺の文脈から中心の単語を予測するアプローチであり、特に頻繁に出現する単語の処理に強いです。一方で、Skip-Gramモデルは中心の単語から周辺の単語を予測し、希少な単語や少ないデータにも対応可能です。

それぞれのモデルは異なる特徴を持ち、タスクやデータの種類に応じて使い分けることが重要です。さらに、Hierarchical SoftmaxやNegative Samplingといった最適化手法を組み合わせることで、大規模なデータセットでも効率的に学習を行うことができます。

次回の記事では、具体的な実装方法や、応用例についてさらに掘り下げていきます。

参考文献