はじめに
最近、LLMやRAGの勉強をしている中で、ふと「LLMってどんな感じにプロンプトの言葉を分解して理解しているんだろう?」と気になりました。
調べてみると、「LLMが文章を生成するときの言葉の切り方」と、「RAGで関連文書を検索するときの言葉の切り方」では、まったく別のルールが使われていることがわかりました。
「LLMの切り方をそのまま検索に流用しちゃダメなの?」と疑問に思ったので、今回は備忘も兼ねて、2つの「切り方の違い」と、それが検索スコア(BM25)にどう影響するのかをPythonで実験してまとめてみました!
1. LLMはどうやってプロンプトを分解しているのか?
LLMの内部は行列計算でできているため、私たちが入力した文字列をそのまま扱うことはできません。
そこで、テキストを一定のルールで小さな単位(トークン)に分割し、数値(ID)に変換してから計算しています。
この処理をトークナイズ(Tokenization)と呼びます。
効率重視のサブワード分割(BPE)
今のLLM(GPTシリーズ、Claude、Llamaなど)では、単語単位でも1文字単位でもない「サブワード分割」という手法が主流で、特に BPE(Byte Pair Encoding) というアルゴリズムがよく使われるようです。
これは、「データの中でよく一緒に出てくる文字のペアをくっつけていく」という手法で、人間にとっての単語の切れ目とは関係なく、「統計的に効率が良い文字列の塊」で機械的に分割されます。
以下はざっくりとしたイメージです。(わかりやすく単語毎に切っています)
結果は最初の文章(10トークン)が、たったの6トークンに圧縮されました!
新しくできたID「8」は、LLMにとって「I have a」という1つの塊(概念)として認識されます。
テスト文言:I have a pen. I have a pineapple.
↓
① 各単語をIDに変換(この時点では合計10トークン)
1 2 3 4 5 1 2 3 6 5
(1:I, 2:have, 3:a, 4:pen, 5:., 6:pineapple)
↓
② 隣り合っているIDの組み合わせの中で多いパターンを検索
「1 2(I have)」という並びが2回出てくるので、これをくっつけて新しいID「7」を生成!
↓
③ 1回目の圧縮
7 3 4 5 7 3 6 5
(※「1 2」だった部分が「7」に置き換わりました)
↓
④ さらに多いパターンを検索して繰り返す
今度は「7 3(I have a)」という並びが2回出てくるので、これを新しいID「8」として生成!
↓
⑤ 2回目の圧縮(6トークンまで圧縮できた!)
8 4 5 8 6 5
LLMは、こうして分割したトークンをベクトルに変換し、内部で内積(ドット積)やコサイン類似度を使って意味の近さや文脈を計算しています。
ちなみに、日本語は英語に比べて多くのトークンを消費すると思います。
これは、「① 各単語をIDに変換」する際、テキストがまずUTF-8のバイト列に変換されるのですが、半角英数字が1バイトで表されるのに対し、日本語の多くは3バイトで構成されるため、その分トークン数も増える傾向にあることがわかります。
# 各文字をUTF-8のバイト列に変換
A:[65]
あ:[227, 129, 130]
自然言語の行列計算のイメージは過去記事でしているので、もしよかったら見てみてください!
↓
2. なぜRAG(検索)には別の「切り方」が必要なの?
LLMでせっかくテキストを分割(トークナイズ)してくれるなら、「RAGのキーワード検索を実装するときも、このBPEのトークンをそのまま流用できれば実装が楽なのに…」と思いませんか?
結論から言うと、BPEで分割されたトークンをそのまま検索に使うと、検索の精度が大きく落ちてしまうケースがあります。
BPEが「データの圧縮効率」を優先しているため、私たちが検索で使う「意味のある単語」の切れ目とズレてしまうからです。
検索の世界では、辞書と文法に基づいて意味のある単語を切り出す「形態素解析」(MeCabやJanomeなど)を使うのが一般的なようです。
実際にPythonで、LLM用(tiktoken)と検索用(Janomeの形態素解析)で分割結果がどう違うのか試してみました!
以下リポジトリにソースコードを記載してあるので、任意の環境で試してみてください!
↓
# 実行結果:
# >>> 【元の文章】 RAGの精度を高めるには形態素解析が重要です。
# >>> 【LLM用 (BPE)】 ['R', 'AG', 'の', '精', '度', 'を', '高', 'め', 'る', 'には', '形', '態', '素', '解析', 'が', '重要', 'です', '。']
# >>> 【検索用 (形態素解析)】 ['RAG', 'の', '精度', 'を', '高める', 'に', 'は', '形態素', '解析', 'が', '重要', 'です', '。']
「形態素解析」という単語に注目すると、BPEだと ['形', '態', '素', '解析'] のように、「形・態・素」の部分が1文字ずつバラバラに切れてしまっています。(「解析」や「重要」はよく使われるため1トークンになっています!)
対して、形態素解析だと ['形態素', '解析'] のように単語毎に区切ることができています。
ここからわかることは、このまま「形態素解析」でテキスト検索してしまうと、BPEの場合は「形状」「態度」「素材」みたいな無関係な文書までヒットしてしまいそうですよね。
このように「切り方の違い」を変えるだけでヒットしやすい傾向が変わるのです!
(もちろん、読み込ませるコンテキスト量も関係してきますが)
3. 「切り方の違い」で検索スコアはどう変わる?
では、この「切り方の違い」が実際の検索スコアにどう影響するのか、キーワード検索の定番アルゴリズムである BM25(Best Matching 25) を使って実験してみましょう!
BM25は、ざっくり言うと「珍しい単語が一致するほどスコアが高くなる」「ただし、文書が長すぎるとスコアを調整する」という賢い計算式です。
わかりやすい記事があったのでご参考までに!(感謝です!)
↓
今回は、それぞれの「切り方」の強みと弱みがわかる3つのパターンで検索してみます。
# >>> === 検索クエリ: 「形態素解析」 ===
# >>> BPE分割 : ['形', '態', '素', '解析']
# >>> 形態素分割 : ['形態素', '解析']
# >>> [文書1] BPE: 5.7524 | 形態素: 3.5291 | RAGの検索精度を上げるには形態素解析が有効です。
# >>> [文書2] BPE: 2.2391 | 形態素: 0.0000 | 新しい素材の形状を分析し、問題を解決する態度が重要だ。
# >>> === 検索クエリ: 「LlamaIndex」 ===
# >>> BPE分割 : ['L', 'lama', 'Index']
# >>> 形態素分割 : ['LlamaIndex']
# >>> [文書3] BPE: 3.6152 | 形態素: 1.8264 | 最新フレームワークのLlamaIndexを導入して構築した。
# >>> [文書4] BPE: 3.3586 | 形態素: 0.0000 | 旧来のIndex構造を見直し、Llamaモデルと連携させた。
#
# >>> === 検索クエリ: 「Llama Index」 ===
# >>> BPE分割 : ['L', 'lama', ' Index']
# >>> 形態素分割 : ['Llama', ' ', 'Index']
# >>> [文書3] BPE: 2.4102 | 形態素: 0.0000 | 最新フレームワークのLlamaIndexを導入して構築した。
# >>> [文書4] BPE: 2.2391 | 形態素: 3.4135 | 旧来のIndex構造を見直し、Llamaモデルと連携させた。
一般名詞の検索(形態素解析)
- BPEの弱点
- 「形・態・素」がバラバラになったせいで、無関係なノイズ(素材や形状など)が部分一致してしまい、比較的高いスコアがついてしまいました。
- 形態素解析の強み
- 単語単位で綺麗に一致判定されたため、文書2のノイズスコアはきっちり 0.0000 になりました。
新語・未知語の検索(LlamaIndex)
- BPEの強み
- ['L', 'lama', 'Index'] のようにパーツ単位(サブワード)で分解されるため、未知語でも柔軟に対応できました。
- 形態素解析の弱点
- 辞書にない英単語の連結なので、そのまま ['LlamaIndex'] という1つの塊として扱われます。その結果、文書4のように ['Llama', 'Index'] のように分割されているケースでは 0.0000 になってしまいました。
表記揺れの検索(Llama Index)
- BPEの強み
- スペースが入って ['L', 'lama', ' Index'] となっても、L や lama が部分一致するため、目的の文書3を 2.4102 というスコアでしっかり拾うことができています!
- 形態素解析の弱点
- クエリにスペースを入れた瞬間、['Llama', ' ', 'Index'] に分割されてしまいます。その結果、スペースなしの「LlamaIndex」(文書3)が完全にヒットしなくなりました(スコア0.0000)。逆に、単語がバラバラに含まれるノイズ文書4に高いスコアをつけてしまっています。
以上のことから「BPEは柔軟に検索ヒットするし、だったらRAGでも使ったらいいんじゃない?」と思いましたよね?
一見すると「ヒット漏れがなくて良さそう」に思えますが、実際の検索システム(特にRAG)においてこれは大きなデメリットを引き起こします。
1. 検索精度の低下(ノイズの増大)
何でもヒットするということは、目的の情報に対する検索精度が極めて低い状態を意味します。
RAGは「検索結果をLLMに読ませて回答を作らせる」仕組みなので、ここで無関係なゴミデータ(ノイズ)をLLMに渡してしまうと、LLMが混乱して嘘(ハルシネーション)をつく大きな原因になってしまいます。
いわゆる、Garbage In, Garbage Out(ゴミを入れたらゴミが出てくる)です!
2. 計算速度の悪化とインデックスの肥大化
検索エンジン(BM25など)の裏側では、「どの単語がどの文書に含まれているか」の目次データ(転置インデックス)を保持しています。( 3. 「切り方の違い」で検索スコアはどう変わる?BM25で実験してみた!の内容です。)
BPEのように「形」「態」といった1文字単位のありふれたトークンに分割されてしまうと、そのトークンはデータベース内のほぼすべての文書に登場することになってしまいます。
結果として、検索クエリが投げられるたびにシステムが膨大な文書データを読み込んでスコア計算をしなければならず、検索スピードが劇的に遅くなり、メモリなどのサーバリソースも無駄に消費してしまいます。
以上のことから、LLMとRAGではそれぞれ「言葉の切り方」としてBPEと形態素解析を使い分ける必要があるのです!
まとめ
今回はLLMとRAGそれぞれで使われている「言葉の切り方(トークナイズ)」の違いと使い分けについて解説してみました!
データ分析の世界では「全体工数の70~80%を前処理が占める」と言われますが、RAGにおいてもAIに渡す情報の精査は非常に重要です。今回実験したように、入り口の「言葉の切り方」ひとつで検索結果が大きく変わり、システム全体の精度を左右してしまいます。
だからこそ、それぞれのトークナイズ手法の得手不得手をしっかり理解し、目的に応じて使い分けることが大切だと改めて実感できてよかったです!
本記事はゼロから作るDeep Learning 6を学習する中での備忘録も兼ねています。
この本は理論にしっかりフォーカスしながら、コードもセットで学べるのでとにかく楽しい!
本当にオススメの一冊なので、気になった方はぜひ手に取ってみてください〜!
さいごに
最後まで読んでくださり、ありがとうございました!
もし記事が参考になったら、「いいね」と「ストック」をしてもらえるとすごく励みになります!
また、内容に誤りや気になる点があれば、遠慮なくご指摘していただけると嬉しいです!
他にもいろいろな記事を投稿しているので、もしよかったら見てみてください!
参考記事・文献
今回の記事を書くにあたって、以下の資料を参考にさせていただきました。
先人たちの知見に感謝です!