Qwen3.8-Flash-NextでN-gram Embeddingという項目があった。
2026/08/31現在、これに対する解説は多くなく、正体も良く分からないが、これが何なのか考えたメモを残す。
以下には、事実ではない自分の推測も多く含まれている。
vocabサイズ
以下のようにngramのvocabサイズは20Mという記述がある。
一方、qwen3.8の一般的なvocab_sizeは250k程度である。
N-gramのvocabサイズは通常のvocab_sizeの80倍を持つ。
パラメータ的にはN-gramが51.2Bという記述があった。
20M×16×160=51.2Bという式も見た。16がどこから来ているのかは不明だが。
どうして普通のvocab_sizeをこれ以上大きくできないのか?
一般にvocab_sizeを大きくすればするほど変換token長が短くなるというメリットがある。
しかしながら、gpt4が100k、gpt4oが200kと増えたのを最後にここ2年くらいの大体のLLMは128k~256k程度でvocabサイズはそれ以降増えなかった。
これについてかつての自分は以下のように考察した。
一方で、vocabサイズを増やせば性能が上がるという単純な話でもないらしい。
例えば同じ分類問題でもCIFAR-10よりCIFAR-100やImageNet1000の精度が低いように、分類問題においては分類クラス数が大きくなるほどその問題は難しくなる。どうもvocabサイズが増えるとこれと同じことが起こるらしい。
つまり出力におけるsoftmax的予測の制約上はこれ以上vocabを大きく上げるのは困難である。何故なら巨大なvocabは出力の予測問題そのものを難しくする。
しかし、入力に使用するvocabにはその制約がないので増やすことは可能である。
出力のvocabを増やさずに入力のvocabを増やしたいというのがN-gramの自分の理解である。
N-gramのtoken index
N-gramはbi-gram(二単語)あるいはtri-gram(三単語)ずつ処理するらしい。
例えばbi-gramのtoken1_indexとtoken2_indexがあるとする。
十分大きな適当な係数a,bがあるとしてランダムなtoken_indexの足し算に20Mで割った余りは一様に現れる。これをN-gramのindexとする。
bi_gram_index = (token1_index * a + token2_index * b) % 20000000
上記のhash式はQwenの実装ではなく、N-gram Embeddingを説明するための仮想例である。まあ、正しい計算式は良く分からないが2個のtoken indexの値から0~20000000を作った時、特定のtoken組み合わせはN-gram Embeddingのどこかに残る。
JIS漢字は1万程度、unicodeの登録文字15万程度。日本語の広辞苑は24万単語。オックスフォード英語辞典60万単語。
一方、現行のvocabは250k=25万なのですべての文字や単語を1token化はされていない。多言語LLMであるので一言語あたりに割かれる単語のvocabも辞書に収録された単語に比べ少ない。
従ってマイナーな漢字やマイナーなunicode文字やマイナーな英単語は3tokenや2tokenに分けて保存されていると思われる。
しかし、 20M(2000万!)なら全ての漢字やvocab収録から漏れた英単語などもN-gramのtokenとして持てるだろう。もっとも、学習可能なくらいには出現頻度が高くないといけないが。
N-gram indexが被ってしまったら?
例えば日本語の「信長」とフランス語のピーマンの「poivron vert」が被ってしまったら信長がピーマンを育てたというハルシネーションが発生するのではないかという懸念。
実際の重複はどんなもなのか想像もつかないのでN-gram embedingがスカスカなのかあるいは頻繁にtoken組み合わせの衝突の発生するミチミチなのかは分からない。
2000万というのを考えると結構スカスカであると思うのだけれど。
誕生日のパラドックスを思い起こせばN-gram embedingで単語の衝突を一つも起こさない確率は非常に低く、割合的にスカスカであってもほぼ必ず何らかの衝突を起こしているだろう。
もしhash関数が単純な積を含む方式だったら?
参考までに(3m,3m+1,3m+2)と(3n,3n+1,3n+2)の二個の数を掛けた数を3で割った時のあまりを考えよう。
これは5/9であまり0、2/9であまり1、2/9であまり2となる。
適当な二変数の掛け算は55.5%で3の倍数になる。
N-gram embeddingのtoken分布が一様になるためには2個のtoken_indexの掛け算は相応しくないように思った。
逆算は出来ない
ある2tokenのN-gram indexは計算で求めることは出来る。
しかし、特定のN-gram indexから、これがどのような2tokenの単語かというのは逆変換することは出来ない。候補は複数あり(多くは意味のないtokenの組み合わせだろうが)どれかを同定することは出来ない。
256kの2token組み合わせならば$2^{36}=64B$あり、これを$20M$で割ればひとつのN-gram indexあたり約3000の組み合わせ候補がある。
バベルの図書館
N-gram Embeddingは全てのtoken組み合わせを意味もあるかもわからず20Mに圧縮し収録している。
この意味ではN-gram Embeddingの重みは実はほとんどがゴミで、ごく一部の重みのみ意味のあるように見えるかもしれない。(何故ならスカスカでなければ頻繁に別単語のN-gram index衝突が発生する為)
このように多くが意味のない羅列の中に、僅かに意味のある羅列が埋もれているのにバベルの図書館(あるいは無限猿定理)を思い浮かべた。
これは従来のvocabがBPE(Byte-Pair Encoding)で厳選した単語を収録しているのと対照的である。
bit演算
token indexが256kとすればこれは「0,1」の18bit長のbit配列として計算できる。このbit配列を×16しようとすれば4bit左シフトする必要がある。仮に×18するときは4bit左シフトと1bit左シフトの和である。
この様な左右のbitシフトをCNNで考えればbit配列をpad=3して(1,0,1,0,0,0,0)の畳み込みフィルタを掛ければ×18の演算をしたことと等価である。
とはいえint64計算すれば桁は十分足りるので特にbit演算する意味はない。
イデア論、百聞は一見に如かず
例えばある人間がある料理を食べた時の心に思い浮かぶ味覚を①とする。
次にこの味覚を言葉で説明した文章を②とする。
次にその文章②を読んで、料理を食べてない人間に思い描く味覚を③とする。
①と③は全然同一ではない。また、出力の②を学習するのも①を理解しなければ困難である。
例えば経済について書かれた文章があったとして、それで経済の実態を理解したといえるだろうか。あるいは痛覚のない人に痛みを説明して理解されるだろうか。
しかし、これに対する解決策は簡単である。料理を食べればいい。例え味覚のクオリアが他人と異なっていてもその人にとって「ああ、こういう味ね」と理解できる。
イデア(本質)を理解するのに自然言語なんてものを仲介するのはまどろっこしいという事である。人間もすべての概念を言語だけで理解しているわけではない。五感を経た方が理解が簡単になることもあろう。
N-gramはあるindexが何という単語かを逆算することが出来ないと述べたが、これがLLMにとっての触覚や痛覚として働かないかという事である。例えばLLMが経済の話が出た時に、右足の小指の先がピリピリ痛むとする。するといずれ「経済」という本質とは右足の小指の先が痛むことだと身をもって理解するかもしれない。
(これが正しいかどうかはおいといて言語以外の五感で物事の本質を理解し得る(無論それは厳密には錯覚でしかないものの)。一度、本質を心で理解すれ(した気になれ)ば、それを説明する文章を作るのはそれほど難しくあるまい)
論文から
内容は読んでません。N-gramの表だけ確認しました。
N-gramの入力層
論文を見るとN-gramの入力層はいろいろやっている。
ベンチマークによって最適な挿入層は違うように見える。
結果としては2層目に入れるのが良いが、ベンチマークによっては+25層に入れるのも良いらしい。
N-gramとMoE
この図は良く分からない。
MoEのExpert数を削減して同パラメータのN-gramを持つという事なのか?
いずれにしても改善効果ははっきりしない。
中国語には特に効く
現在はN-gramはvocabの80×であろう。多くの漢字は2~3tokenに分割されているのが珍しくなく、現在のvocabで問題がある。中国語ベンチには特に改善があるように見える。
(じゃあ日本語も…)
数学はやや苦手
個人的には小さな20×でも十分に効果があるように思う。
STEMの数学については何故か20×くらいが一番いい。一方の中国語ベンチは増やせば増やすだけいい。
これはN-gramの2tokenの数字表現に何か問題があるのかもしれない。
例えばvocabに"2000"が登録されている場合の20002と21002の分割位置の違い(2000 + 2と210 + 02)とか。
あるいは数字のtoken_indexが連番であるからN-gramのindexに何か偏りが生じたりするのかもしれない。vocabのtoken_indexをシャッフルしてからN-gramを学習すれば改善するだろうか?
あるいは数字token同士の組み合わせには専用の小型のN-gramを用意するとか。



