#ChatGPTのような生成AIは、人間と同じ手順で文章を読んでいるわけではありません。文字列をトークンという塊に分け、その次に来そうな塊を予測しています。よく出る綴りを先にまとめておくので、扱う列は短くなり、このやり方は長く主流でした。
その「先にまとめる」ことが、学習の最後まで得なのか。2026年9月11日、ワシントン大学とMeta FAIRの研究者らは、この前提を学習曲線の先まで追った論文を公開しました。題名は Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models です（arXiv:2609.12303）。
対象は、およそ10億パラメータのモデルを最大1兆バイトまで学習させたときの伸び方です。言葉を理解しなくてよくなったのか、スマホの電力が下がったのか、という問いには答えていません。動くのは、区切り方と学び方を変えたときの、性能の天井の予測です。
小さなモデルをどの機械で動かすかは、熱が冷めても残るのは「配置設計」です——AIバブルのあとにIT技術者が見るスモールAIと、「27BモデルをiPhoneへ」。PrismMLの発表はAIインフラを変えるのかに譲ります。ここでは、動かす前の「文字をどの粒で学習するか」だけを見ます。切れ目、実験の条件、伸び方、まだ測っていない現場、の順です。
生成AIは、単語ではなくもっと細かい粒で読んでいる
たとえば、次の文です。
「今日は学校で数学を勉強しました。」
人間は、学校や数学といったまとまりを自然に拾います。多くの生成AIは、そこに辞書を当てます。よく出る部分文字列をトークンとして登録しておき、文章をその番号の列に変える。BPE（Byte Pair Encoding）と呼ばれる系統の手法です。辞書はモデルごとに違うので、同じ文でも切れ目は揃いません。
コンピューターが文字を保存する単位は、さらに細かいです。UTF-8では、英数字の多くが1バイト、ひらがな・カタカナ・多くの漢字が3バイトになります。上の文は、文字としては16、バイトとしては48です。Python 3なら、追加ライブラリなしで確かめられます。
# Python 3。標準ライブラリのみ。
text = "今日は学校で数学を勉強しました。"
encoded = text.encode("utf-8")
print(encoded.hex(" "))
print(f"文字数: {len(text)} バイト数: {len(encoded)}")
実行すると、バイト列は e4 bb 8a e6 97 a5 e3 81 af ... と続きます。冒頭の「今日は」だけで9バイトです。トークン方式は、この列を辞書の都合でまとめ、短くしてから学習します。バイト方式は、意味のありそうな塊を先に作らず、この列そのものを学習の単位にします。
短くできることには、計算上の理由があります。Transformerは列が長くなるほど重くなります。本を一文字ずつ辿るより、単語のまとまりで進めた方が速い。トークン方式の後ろには、人間の読書に似た動機があります。
似ているのは、そこまでです。トークンの境界は、人間の単語境界と一致しません。珍しい専門用語、新しい固有名詞、辞書の学習データに少なかった言語は、細かく割られやすい。英語では一つのトークンに収まる概念が、日本語では何個にも割れることもあります。辞書を改良して不公平を減らす、という対処の手前に、論文の問いがあります。そもそも、区切りを先に渡す必要があるのか。
論文が比べたのは、粒の大きさと、学び方の両方
その問いに対して、論文はトークンとバイトを並べただけでは終わっていません。学び方も同時に変えています。
学び方は二つです。一つは、正解の次の語だけを教える通常の学習です。もう一つは 知識蒸留で、すでに強いモデルを先生にし、次の語の確信度ごと生徒に真似させます。たとえば「明日の天気は、おそらく……」のあとで、先生が「晴れが有力、雨もあり得る、机はほとんどあり得ない」と出した分布を、生徒が受け取る、というイメージです。
ここで単位がずれます。先生はトークンで考え、生徒はバイトで考える。分布をそのまま渡すと、先生が持っていた確信度が途中で落ちます。研究チームは、先生の一度の推論からバイト側の分布を作る方法を二つ用意しました。
近似の Marginalize-It は、すでに出たバイトに合うトークンだけを見て、次のバイトの確率を正規化します。その先に続き得たトークンの確率は、途中で捨てられます。正確な End-Of-Token は、トークンの終わりを示す記号を足し、捨てられた確率をそこへ受けます。論文の例では、この記号がおよそ4.5バイトに1回入り、同じ量の文章に対する計算は近似手法より約30.94%増えます。増えた計算が、あとで天井を押し上げる側に働いた、というのが著者たちの整理です。
区切り方は、トークン、バイト、バイトに終端記号を足したもの、の三つです。学び方二つと掛け合わせて、生徒は六通りになります。先生は Llama 3-8B、学習データはLlama 2の学習混合で、規模は最大1兆バイトです。評価は八つの課題で、選択式の質問（ARC-Easy、ARC-Challenge、HellaSwag、PIQA）、生成（MBPP、Natural Questions）、英独・独英の翻訳（Flores）です。
モデルの大きさも、名前ほど揃ってはいません。層のパラメータは約12.8億で揃えています。トークン側はLlama 3系の語彙、128,256語を使うため、埋め込みまで含めると約18.1億になります。バイト側の語彙は260前後なので、総パラメータは約12.8億にとどまります。論文上の名前はどちらも1Bでも、語彙の差で実際の大きさは違います。
この六通りを長く学習させると、序盤の勝者と、その先の予測は入れ替わります。
学習の序盤はトークン、先に進むとバイトが追い上げる
序盤で有利なのはトークンです。列が短いので、同じ計算量でも先に性能が上がります。論文の記述では、計算量を増やしていくとトークン側の伸びは鈍り、バイト側は出遅れたあと急な傾きで追い上げます。ある計算量の断面では、まだトークン蒸留が明確にリードしている、という図も示されています。
逆転が語られるのは、いま測ったチェックポイントのすべてではありません。学習をさらに進めた先の予測です。作り方は二段あります。まず計算量と検証損失（bits-per-byte）の関係をべき乗則で当てはめ、次に検証損失と下流課題の誤り率の関係を当てはめる。学習率4e-3の設定で、選択式四つと生成二つの平均を外挿すると、End-Of-Token蒸留は52.4%、トークン蒸留は48.4%です。差は約4ポイント。論文の "up to 4%" は、この外挿を指します。翻訳を含む八課題のすべてで、すでに4ポイント勝った、という意味ではありません。
その予測と、論文が評価した公開モデルを並べたのが次の図です。上の六本が実験の外挿、下の三本が公開モデルの評価値です。
Llama 3.2-1Bは45.9%、Gemma-3-1B-ptは44.3%、Gemma 2Bは50.3%です。End-Of-Token蒸留の予測52.4%との差は、それぞれ約6.5、8.1、2.1ポイントになります。これも、学習を進めた先の上限が公開モデルの評価値を上回る、という予測です。1兆バイトまで学習したモデルが、すでに追い抜いた記録ではありません。Gemma 2Bとの差は、三つのなかではいちばん小さい2.1ポイントです。
分布を粗く渡すと、蒸留は普通の学習に負ける
図の上の方だけを見ると、バイト側がそろって高いように見えます。近似の蒸留は、そこから外れます。Marginalize-It蒸留の漸近予測は50.5%で、終端記号なしのバイトを普通に学習した51.2%を下回っています。先生の分布を粗く渡すと、蒸留は自動では効きません。今回の山は、バイトであることと、分布を落とさずに渡したことの両方にあります。
文章量は約6分の1でも、計算は増える
精度の次に効いてくるのが、データ量です。トークン蒸留が漸近性能に届くと見込まれる地点まで、End-Of-Token蒸留が同じ性能に届くのに要するユニークなテキストは、論文の計算で約6.35分の1です。終端記号のぶんは、この比からすでに除いてあります。要旨の "one-sixth" は、この比です。開発全体の電気代が6分の1になる、という数字ではありません。列が長いから文章が減る、という話でもありません。
減るのは文章量で、増えるのは処理です。終端記号を挟む方式は、同じ文章に対して近似手法より約3割多い計算を使います。生成時も、トークン1歩で進んでいた場所を数バイトで進みます。出力層は語彙が約256なので小さく、蒸留用のロジットを保存するコストはおよそ5分の1になり、約13万語の語彙で必要だった上位k件だけの切り捨ても避けられる、と論文は述べています。学習ログの保管は楽になる。応答の一歩は増える。見積もりでは、この二つを同じ行に置かない方がよいでしょう。
精度と文章量の話は、ここまでです。現場が次に聞くのは、それで端末が速くなるのか、です。
この数字を現場で使うとき、測っていないことがある
会議で誤読されない粒度にすると、言えることは次の表に収まります。上半分が今回の比較、下半分がまだ測っていないことです。
| 見ているもの | 今回の論文から言えること |
|---|---|
| 少ない計算量での性能 | トークン方式が先行した |
| 学習を進めた先の天井 | End-Of-Token蒸留が、予測上はトークン蒸留を約4ポイント上回る |
| そこに届く文章量 | ユニークなテキストは約6.35分の1、という計算 |
| 蒸留ログの保存 | 語彙が小さいため、おおよそ5分の1 |
| 推論の速度と電力 | 未測定。系列は長くなる |
| スマートフォンへの実装 | 未測定 |
| 公開の小規模モデルとの勝敗 | 漸近予測であり、学習済み実測の勝利ではない |
聞かれやすいのは、表の下の三つです。
スマートフォンで完結するかは、まだ未測定
総パラメータが約12.8億で、予測上の天井が高い。これだけを見ると、スマートフォンやPCの中で大きなモデルの代わりが務まりそうに聞こえます。論文の動機にも、推論を提供するコストが、モデルを大きくする利益を食い始める、という問題意識はあります。レイテンシも消費電力も、端末上のメモリ帯域も、この論文は測っていません。
置き場所の整理は、熱が冷めても残るのは「配置設計」です——AIバブルのあとにIT技術者が見るスモールAIに書いたままです。短い処理や個人情報を外に出したくない処理は手元、長い推論や横断検索はクラウド、という切り分けです。今回の結果は、手元側の中身をバイトモデルへ差し替える指示にはなっていません。
列が長くなるので、応答は軽くならない
文章量が減る可能性と引き換えに、1回の処理で見る列は長くなります。長い入力ほど答えが雑になる現象は、すでに別の実測があります。長いチャットほど答えが雑になる——Context Rotを防ぐMemory・Projects・Skillsの使い分けで触れた context rot は、トークン数の増加とともに性能が落ちる、という観察です。単位をバイトに変えて列が数倍になれば、同じ文脈窓に入る文の量は減ります。
長文を毎回すべて見ない、という別の試みは読みながら染み込ませる——推論時学習TTT-E2EとAIエージェントの設計地図にまとめました。あちらは推論中に重みへ圧縮する話で、今回の区切りの話とは別です。ここで重なるのは、「窓を長くする以外の設計がある」という問題の立て方だけです。
日本語が自動で有利になるわけではない
トークン辞書が英語寄りだと、日本語は細かく割られ、同じ意味を運ぶのに多くのトークンを使います。バイト方式は、言語ごとの辞書を先に用意しなくてよい、という設計です。多言語のモデルを作る人にとって、この性質は無視しにくいものです。
今回の翻訳評価は、英語とドイツ語のFloresだけです。日本語が速くなった、という結果は出ていません。UTF-8では「今日」だけでも6バイトなので、バイトにした瞬間に日本語の列が短くなるわけでもありません。減るのは、人が事前に決めた境界への依存です。
性能の差を、理解の差と読んでしまう期待も、同じように一段飛びです。
では、AIは言葉を理解しなくてよくなったのか
人間は、単語や文節で意味をまとめています。だからAIにも、先にそのまとまりを渡した方が親切だと考えられてきました。その判断は、序盤においては今回も正しく働いています。少ない計算で性能が上がる、という結果が残っているからです。
学習を進めた先では、その親切が伸びの上限と結びつくかもしれません。先にまとまりを渡すと学習は速い。その速さが、あとから到達できる表現の上限を決めている可能性がある。論文が「天井」と呼んでいるのは、理解の深さではなく、この伸びの止まり方です。
バイトモデルが、トークンモデルには見えない意味を獲得した、という記述はありません。人間に近い言語理解が要らなくなった、という記述もありません。動いたのは、情報の粒と、先生から生徒への渡し方です。同じ規模のモデルでも、性能とデータ効率はそれで変わります。
開発の競争も、そこにつられます。パラメータとデータと計算を積む話は残ります。その横に、何を予測の単位にし、大きなモデルの確信度をどう小さなモデルへ残すか、という選択が数値つきで見えました。巨大化が終わる、という結果ではありません。巨大化だけでは説明しきれない差が、1B級の比較のなかにすでに出ている、という読み方です。
まとめ——持ち帰るなら、三つの行を分ける
設計の会議に出すなら、条件を一行で添えた方が伝わります。先生はLlama 3-8B、生徒は約10億パラメータ、差の数字はスケーリング則の外挿です。トークナイザを明日差し替える話ではなく、見積もりの行を分ける話です。
第一に、序盤の勝ちだけで方式を決めない
トークンは少ない計算量で強い。今回の条件では、計算を積んだ先の予測天井はEnd-Of-Token蒸留の方が高かった。デモの短い期間で見えた差と、学習を続けたときの差は、符号が逆転し得ます。方式を比べるなら、どの地点で止めたかを残した方がよいでしょう。
第二に、文章量・計算・推論を同じ効率と呼ばない
文章量は約6分の1でも、同じ文章への計算は増え、生成の歩数も増えます。学習ログの保存が5分の1になることと、APIの応答が速くなることは別の行です。表を分けるだけで、期待の置き場所がずれにくくなります。
第三に、小さなモデルの賢さは、置き場所とセットで見る
天井の予測が上がっても、どこで動かし、どのデータを外に出し、失敗したとき誰が止めるかは、粒の選び方とは別の設計です。バイトモデルが端末向きかどうかは、これから測る側の仕事として残っています。
区切りを先に教えると、学習は速い。その親切が、最後の数ポイントを残していくかもしれない。論文はその可能性を、慎重な予測として置きました。AIから言葉が消えるのではありません。言葉をどの粒で渡すかで、同じ大きさのモデルが届く場所が変わる、という実験結果です。
作成日：2026年10月23日