概要

トークナイズ編の２回目となります。今回はWord Pieceについて自分なりにまとめてみました。トークナイズの考え方ですが、手法と初期分割の方法に分けて整理してみました。

アルゴリズム（手法）
- BPE (Byte Pair Encoding): 隣接するトークンx,yの頻度freq(x,y)を最大化するトークンをくっつけていく（１回目）
- WordPiece: 隣接するトークンx,yのPMI(x,y)を最大化するトークンをくっつけていく（２回目）
- Unigram: 最初に語彙集合を決めて文章尤度を最大化する語彙を残し、影響度の少ない語彙を削除していく（３回目）
初期分割方法（前処理）
- Metaspace：Unicode文字単位で分割。空白を特殊記号"_"に変換する。
- ByteLevel：文字をUTF-8のバイト単位で分割。256種類の数値ですべて表現できる。
- Whitespace：空白で分割。

アルゴリズムと初期分割の方法で組み合わせられるようですが、組み合わせ方にも相性があるようです。２回目はWord Pieceの手法。その前に、トークンという言葉使いについてです。この記事では、トークンという言葉使いについてです。この記事では、単語や一文字（「あ，い，0，1，A，B」など）、語彙をトークンと読んでいます。トークンを集めた集合を語彙集合$V$とします。$V$の要素を組み合わせて文が作成される感じですね¹。

背景
これまでのテキスト分類(第20回〜第24回)では日本語文字列を形態素に分割してID化する方法を使ってきました。この方法では、新しい文字列に対して<unk>を割り当ててしまうため、「全く使えない状態」になってしまいます。

大規模言語モデルで利用されるタイプのIDの割り当て方を調べてみました。

演習用のファイル

データのファイル
- 日本語：tiny_cc100_ja.csv
- 日本語わかち書き：tiny_cc100_ja_wakati.csv
コード: sample_26.ipynb

1. Word Pieceの考え方

Word Piece の考え方は、「結合度でペアをまとめていく方式」と考えれば良さそうです。次の2つを繰り返す形でどんどんペアを作成していきます。

隣接する文字の最大結合度で隣接するトークンをマージ
マージしたもの含めて、最大結合度で隣接するトークンをマージ

文章が１文字ずつに別れているような状況で考えます。トークンuの文章中に登場する頻度をfreq(u)、隣接するトークン(u, v)が登場する頻度をfreq(u, v)とします。トークンuとトークンvの結合度を測るスコアs(u, v)を次のように定義します。

$$
s(u, v) = \frac{\text{freq}(u, v)}{\text{freq}(u)\text{freq}(v)}
$$

s(u, v)を最大にするトークンのペア(u,v)をマージして、指定した語彙数までマージし続けるのがword pieceの基本的なアイディアとなります。

word pieceですが、トークンの情報量と関係があるようです。$N$を文章のトークン総数とします。

$p(u) = \text{freq}(u)/N$: 文章でのトークンuが登場する確率
$p(v) = \text{freq}(v)/N$: 文章でのトークンvが登場する確率
$p(u, v) = \text{freq}(u, v)/(N-1)$: 隣接トークンペアの中で(u,v)ペアが登場する確率。Nトークンからなる文章中の隣接ペアの総数は(N−1)個だから、分母は(N−1)だぞ〜²

トークンの出現確率を使ってs(u,v)を少しだけ変形してみます。

 \begin{align*}
s(u, v)
& =  \frac{\text{freq}(u, v)}{\text{freq}(u)\text{freq}(v)} \\
& = \frac{(N-1) p(u, v)}{N p(u)\cdot Np(v)} \\
& = \frac{N-1}{N^2}\frac{ p(u, v)}{p(u)p(v)} \\
& = \frac{N-1}{N^2} \exp(PMI(u,v) \ln 2)
\end{align*}

最後に登場するPMI(u,v)ですが、
$$
PMI(u,v) = \log_2\frac{ p(u, v)}{p(u)p(v)}
$$
と定義されるもので pointwise mutual information (自己相互情報量)と呼ばれているようです³⁴。意味合いとしては、(u,v)の共起の強さという感じなのでしょうか？無理やりあてはめて最後の形にしています

重要なのは最大になるペアの部分

\arg\max_{u,v} s(u,v) = 
\arg\max_{u,v}\frac{\text{freq}(u, v)}{\text{freq}(u)\text{freq}(v)}
= \arg\max_{u,v} PMI(u,v)

という関係になっています。word pieceは単語間の共起を最大にしているものをマージする方式と解釈できそうです。

例

「a b a b a b x y」という文字列を例に考えてみます。初期分割は、一文字ずつとします。トークンの出現頻度と隣接するペアで捉えた場合の出現頻度を数えます。語彙集合は$V=\{a, b, x, y\}$で語彙数が４個です。語彙数が２個になるまでword pieceの手法でマージしてみたいと思います。

1. 「a b a b a b x y」

文字	a	b	x	y	ab	ba	bx	xy
頻度 freq()	3	3	1	1	3	2	1	1

表１：文字列に登場する頻度

表1の頻度を利用して、
$$
s(u,v)= \frac{\text{freq}(u, v)}{\text{freq}(u)\text{freq}(v)}
$$
を計算します。

隣接ペア	ab	ba	bx	xy
s(u,v)	3/9	2/9	1/3	1/1

表２：s(u,v)の値

s(x,y)の値が一番大きいので、(x,y)の文字をマージします。語彙集合は$V=\{a, b, xy\}$で語彙数が３個です。新しい文字列は、「a b a b a b [xy]」となります。[xy]でひとまとめと思ってください

2. 「a b a b a b [xy]」
マージされた文字列でのトークンの出現頻度と隣接するペアで捉えた場合の出現頻度を数えます。

文字	a	b	[xy]	ab	ba	b[xy]
頻度 freq()	3	3	1	3	2	1

表３：文字列に登場する頻度

表３の頻度を利用して、
$$
s(u,v)= \frac{\text{freq}(u, v)}{\text{freq}(u)\text{freq}(v)}
$$
を計算します。

隣接ペア	ab	ba	b[xy]
s(u,v)	3/9	2/9	1/3

表４：s(u,v)の値

s(a,b) = s(b, xy)の値が一番大きいので、(a,b) もしくは (b,xy)の文字をマージします。(a, b)の文字をマージすると、文字列は「[ab] [ab] [ab] [xy]」となります。
ちなみに、両方同時にマージしようとすると、「a b xy」の文字の並びの部分、困ってしまいますね。

語彙集合は$V=\{ab, xy\}$で語彙数が２個です。指定した語彙数までこの手順を繰り返していきます。

3. 「[ab] [ab] [ab] [xy]」

語彙数が２個になりました。ここで終了！となります。最終的な語彙集合は$V={ab, xy}$なのですが、これは雰囲気。実際は、$V=\{a, b, x, y, ab, xy\}$のように、１文字トークンも残しておかないと、「a b a b a b x y」以外の文字列では全く使えん！という事態になってしまいます😱

2. 実装

word pieceによるトークナイザーを作成してみます。BPEでは少し気合い入れて多言語でした今回は小さなサイズの日本語コーパスを扱います。

学習に利用するデータはcc100データセットの日本語（ja）のほんの一部、2万行の日本語です。CSVファイルにしてみました。空白に意味があるっぽいので、わかち書き版も準備してみました。

2.1 BertPreTokenizer使ってみた

初期分割の部分ですが、BertPreTokenizerというのがあるので、これを使ってみました。空白や句読点でも分割するっぽいです。Metaspaceでも空白を置き換えて分割するタイプなので似たような結果になりそうです😆
初期分割の方法もTokenizersライブラリのドキュメントを見ると多種多様であることがわかります

word piece + BertPreTokenizer

import random
import pandas as pd
from tokenizers import Tokenizer, models, trainers, pre_tokenizers

# (1) 変更点　BPE → WordPiece
# tokenizer = Tokenizer(models.BPE(unk_token="<unk>"))
tokenizer = Tokenizer(models.WordPiece(unk_token="<unk>"))

#(2) 初期分割の方法
# Bertタイプというのがあるので使ってみた。空白のみ置き換えの場合はmetaspace
# utf8（0〜255）の数値を使い場合は、bytelevelで対応します。
#tokenizer.pre_tokenizer = pre_tokenizers.Metaspace(replacement="▁")
tokenizer.pre_tokenizer = pre_tokenizers.BertPreTokenizer()
#tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=True)


# (3) 変更点　BpeTrainer → WordPieceTrainer
trainer = trainers.WordPieceTrainer(
    vocab_size=15_000,    # ここで語彙数を指定
    special_tokens=["<pad>", "<bos>", "<eos>", "<unk>", "<mask>"],
    min_frequency=2
)

# (4) csvファイルから直接学
paths = ["./data/tiny_cc100_ja.csv"]         # キーにtextがあるテキストファイル
# paths = ["./data/tiny_cc100_ja_wakati.csv"]  # 分かち書きしてみた

# (5) ランダムにしなくてもいいけど、面倒なので前回の多言語仕様をそのまま使ってしまった
def mixed_iterator(paths):
    texts = []
    for p in paths:
        # text列だけ読み込む
        df = pd.read_csv(p)
        texts.extend(df["text"].tolist())   
    # 一気にシャッフル（数百万件程度までならこの方法でOKなはず）
    random.shuffle(texts)  
    for t in texts:
        yield t

# (6) 学習
tokenizer.train_from_iterator(mixed_iterator(paths), trainer=trainer)

# (7) トークナイザーを保存　語彙集合
tokenizer.save("./tiny_word_piece_tokenizer.json")

説明メモ

(1) WordPieceを指定する部分。
(2) 前処理の分割方法を指定する部分。だいたい次の表の感じ。

pre_tokenizer	何で分割するか
Whitespace	空白
BertPreTokenizer	空白 + 句読点
Metaspace	空白（空白自体を▁に変換して保持）
ByteLevel	UTF-8バイト列に変換

(3) 学習時の設定
(4) キーにtextがあるCSVファイルにしてみました。それに伴い(5)の関数もread_csvに変更しました。
(5) pathsにある複数のファイルを読み込んでランダムに出力させたい。今回はファイル一つだけど。分かち書きも用意してみた。分かち書きを利用すると、マージが形態素までに制限されるぞ〜。
(6) マージする部分
(7) 保存されてたjsonファイルが語彙集合$V$に相当します。

2.2 確認

特殊トークンや語彙数の確認をしてみます。

# 保存したトークナイザーで確認する時
#from tokenizers import Tokenizer
#tokenizer = Tokenizer.from_file("./tiny_word_piece_tokenizer.json")

print("特殊トークンID:")
print(f"<pad>: {tokenizer.token_to_id('<pad>')}")
print(f"<bos>: {tokenizer.token_to_id('<bos>')}")
print(f"<eos>: {tokenizer.token_to_id('<eos>')}")
print(f"<unk>: {tokenizer.token_to_id('<unk>')}")
print(f"<mask>: {tokenizer.token_to_id('<mask>')}")
print(f"size: {tokenizer.get_vocab_size()}")

# 特殊トークンID:
# <pad>: 0
# <bos>: 1
# <eos>: 2
# <unk>: 3
# <mask>: 4
# size: 15000

コーパスが小さいので心配しましたが、なんとか15,000語彙になっています。

続いて実際のトークナイズです。絵文字🍀を追加した文章でも試してみました。

確認

# 保存したトークナイザーで確認する時
#from tokenizers import Tokenizer
#tokenizer = Tokenizer.from_file("./tiny_word_piece_tokenizer.json")

text_list = [
    "これは日本語のテストです",
    "これは日本語のテストです🍀",
    "これは日本語のテストです 🍀",
    "你好",
]

for text in text_list:
    encoded = tokenizer.encode(text)
    print(f"文章: {text}")
    print("トークン:", encoded.tokens)
    print("ID:", encoded.ids)
    print(f"デコード: {tokenizer.decode(encoded.ids)}\n")

分かち書きしていないタイプのデータで学習したトークナイザーを利用しています。出力結果を貼り付けてみました。分かち書きデータで学習している場合、空白分割の効果で、「これは」の部分は「これ」「は」までしかマージされないようになります。「日本語」も他の形態素の影響で「日本」「語」に分割されたりします。

出力結果

文章: これは日本語のテストです
トークン: ['これは', '##日本語', '##の', '##テスト', '##です']
ID: [5847, 8193, 2825, 10089, 5414]
デコード: これは ##日本語 ##の ##テスト ##です

文章: これは日本語のテストです🍀
トークン: ['<unk>']
ID: [3]
デコード: 

文章: これは日本語のテストです 🍀
トークン: ['これは', '##日本語', '##の', '##テスト', '##です', '<unk>']
ID: [5847, 8193, 2825, 10089, 5414, 3]
デコード: これは ##日本語 ##の ##テスト ##です

文章: 你好
トークン: ['<unk>']
ID: [3]
デコード:

中国語は学習していないので<unk>になるのは予想通り
文章「これは日本語のテストです🍀」のトークンが ['<unk>']のみ！
絵文字の前に空白を入れた、「これは日本語のテストです 🍀」を使うと、
['これは', '##日本語', '##の', '##テスト', '##です', '<unk>']のようになります。うまく分割されているっぽい。

「これは日本語のテストです」は空白や句読点が無いので、文全体を対象に分割されます。先頭から順番に、最長一致で順番に区切っていく形になります。

語彙集合 V
これは	単語の先頭に使える
##日本語	単語の途中なので##マーク
##の	単語の途中
##テスト	単語の途中
##です	単語の途中

こんな感じに、分割されて...最終的に、

['これは', '##日本語', '##の', '##テスト', '##です']

となります。

「これは日本語のテストです🍀」も空白や句読点が無いので、文全体を対象に分割が行われます。順調に分割されていくのですが、最後の「🍀」部分でVの中にトークンが見つからず<unk>となります。

語彙集合 V
これは	単語の先頭に使える
##日本語	単語の途中なので##マーク
##の	単語の途中
##テスト	単語の途中
##です	単語の途中
<unk>	🍀はVに存在しなかった

最後だけ<unk>にして

['これは', '##日本語', '##の', '##テスト', '##です', '<unk>']

とすれば良さそうなのですが、word pieceの仕様かな？

WordPieceのunk化ルール

分割が途中まで成功しいても途中で失敗すると、分割対象全体が<unk>

これだと、「これは日本語のテストです🍀」と「你好」が<unk>で等しく評価されてしまいます

ちなみに、🍀マークの前に空白がある「これは日本語のテストです 🍀」では、「これは日本語のテストです」と「🍀」に区切られたあと、分割になるので...

['これは', '##日本語', '##の', '##テスト', '##です', '<unk>']

となります。

word piece使う場合は、大きめのコーパスや前処理が重要なのかもしれない🤔

PMIに関して参考になるサイト

相互情報量
- PMIについて簡単な解説があります。
自然言語処理における自己相互情報量 (Pointwise Mutual Information, PMI)
- PMI以外にも使い方や他の指標についても解説されています。
スタンフォード大学の講義テキスト
- appendixのJにPPMIとして記載があります。詳しい〜。

次回

Unigram Language Modelによるトークナイズの予定です。

目次ページ

注

「アルファベットがわかればシェークスピアの作品が書けるのか〜」とか聞いたことある。流石に語彙集合だけでは文章はつくれないかっ ↩
実際Nの数が非常に大きいので、N-1もNも対して変わらないのですが ↩
参考にしたテキスト「ゼロから作るDeep Learning ②」に従って対数の底を2としました。 ↩
PMIを検索したら "Post Merger Integration" という経営っぽい用語の略語としても定着しているみたい ↩