「あなたへのおすすめ」に代表される推薦システムは、EC から動画・音声アプリのフィードまで、ほぼすべてのプロダクトに入っている。その推薦を「特徴量を人手で設計する」やり方から「行動履歴を見て次の商品を当てる言語モデル」へ作り替える動きが、海外の大手で相次いで本番投入されている。これが 生成的推薦(Generative Recommendation) だ。行動履歴を文章のような並びとみなし、次の単語を当てる言語モデルと同じ要領で「次のアイテム」を生成する——Meta はこの方式でオンライン A/B 指標を 12.4% 改善したと報告する。巨大サービス専用に見えるが、閲覧・検索・カート追加のように「並び」を持つログさえあれば小さなサービスでも試せる。本記事はその仕組みを、動く実装ではなく骨格をつかむ概念コードで追う。
特徴量を設計する推薦は、なぜ計算を増やしても賢くならないのか
従来の推薦の代表格が two-tower と DLRM だ。two-tower は、ユーザー側とアイテム側に別々のニューラルネットを立て、両者が作る埋め込みベクトル(商品やユーザーを数百個の数字の並びで表したもの)の内積(二つの並びの向きの近さを一つの数値にする計算)で「近さ」を測る。DLRM(Deep Learning Recommendation Model)は、そこへ多数の特徴量を入れて深く学習する。どちらも「何を特徴量に入れるか」を人手で設計する点が共通する。
問題は、計算資源を増やしても性能が伸びにくいことだ。言語モデルはデータとモデルを大きくするほど賢くなる「スケーリング則」が効くのに、従来の推薦では効きにくい。行動系列を扱う Meta のアーキテクチャ HSTU の論文「Actions Speak Louder than Words」も、多くの DLRM は計算に対してスケールしないと指摘する。
もう一つの壁が埋め込みテーブルの肥大だ。数億商品に固有ベクトルを持たせると対応表が巨大になり、縮めれば別々の商品が同じ枠に衝突する。
行動履歴を「次の商品を当てる言語モデル」にする
買い物ジャーニー(閲覧・カート追加・購入)を時間順の並びとみなせば、商品 ID が単語(トークン)、行動履歴が文章に当たる。推薦は「並びから次の商品を当てる」問題になる。
これを支えるのが causal mask だ。位置 t の商品を処理するとき、それより後(未来)を見えなくして「過去だけから次を当てる」制約をかける。過去だけを見て次の一つを予測し、当てた商品をまた並びに足して次を予測する——この繰り返しが自己回帰だ。Shopify もこれを「causal mask を使った自己回帰モデルに次の商品を予測させる」と説明する。
概念コードで骨格をつかむ
以下は「行動系列 → トークン列 → 次アイテム予測」の流れをつかむための PyTorch 風の概念コードだ(動かすための実装ではない)。
import torch
import torch.nn as nn
class GenerativeRecommender(nn.Module):
def __init__(self, num_items, dim=128, n_heads=4):
super().__init__()
# 商品ID(トークン)を埋め込みベクトルに変換する。語彙 = カタログ全商品
self.item_embedding = nn.Embedding(num_items, dim)
# 行動系列を左から右へ処理する自己回帰トランスフォーマ
layer = nn.TransformerEncoderLayer(dim, n_heads, batch_first=True)
self.encoder = nn.TransformerEncoder(layer, num_layers=2)
# 各位置の状態から「次に来る商品」のスコアを出す出力層
self.to_logits = nn.Linear(dim, num_items)
def forward(self, item_seq):
# item_seq: (batch, seq_len) … 各ユーザーが閲覧/カート/購入した商品IDの並び
seq_len = item_seq.size(1)
x = self.item_embedding(item_seq)
# causal mask: 位置 t は t 以前しか見られない(未来の商品を先読みさせない)
causal_mask = torch.triu(
torch.full((seq_len, seq_len), float("-inf")), diagonal=1
)
# 系列を自己回帰的に符号化(言語モデルが文を左から読むのと同じ)
h = self.encoder(x, mask=causal_mask)
# 各位置で全商品のスコアを出す。これが next-item 予測(= 次トークン予測)
return self.to_logits(h) # (batch, seq_len, num_items)
model = GenerativeRecommender(num_items=1_000_000)
logits = model(torch.randint(0, 1_000_000, (32, 50))) # 32ユーザー × 直近50行動
# 学習では各位置の予測を「実際に次に来た商品」に合わせる(次トークン予測の損失)。
# 商品数が百万規模なので、全商品では計算せず sampled softmax で負例をサンプルする。
nn.Embedding が商品 ID をトークンに変換し、causal_mask が「過去だけで次を当てる」制約を与え、to_logits が各位置で次の商品を予測する——これが骨格だ。
損失計算には一工夫がいる。百万商品すべてでスコアを出すと学習が重すぎるので、正解の商品と、無作為に選んだ少数の「はずれ商品」だけを比べて正解を押し上げる。全商品を計算せず近似するこのやり方が sampled softmax だ。
もう一点、nn.TransformerEncoderLayer に causal mask をかけると、名前はエンコーダでも振る舞いは GPT と同じ「左から右へ次を当てるデコーダ」になる。HSTU の動く実装は Meta の公式 OSS(facebookresearch/generative-recommenders)にあり、写経の起点にできる。ただしこの骨格は、商品が百万規模だと埋め込みテーブル肥大を抱える。その先の工夫が Semantic ID だ。
Semantic ID:商品IDをやめ、小さな語彙のコード列で商品を表す
Semantic ID は、生成的推薦を置き換える主役ではなく、上のモデルの「商品の表し方」だけを差し替える部品だ。
固有 ID の代わりに、ある商品の埋め込みベクトルを RQ-VAE という手法で量子化(連続した数字を、決まった選択肢の番号に丸めること)し、たとえば [12, 7, 3] のような数個のコードに変換する。似た商品は先頭のコードを共有するので、少ない語彙で膨大な商品を表せ、テーブル肥大を抑えられる。
先のコードの nn.Embedding を、この短いコード列に差し替えるだけで骨格は変わらない。商品も検索クエリも同じコードで表せ、検索と推薦を一つに束ねる「生成的検索」も視野に入る。
本番で効いた証拠:Meta と Shopify の実測
最大の裏づけが HSTU だ。数十億ユーザーの本番で、大きくするほど品質が伸びると実証した。数字は各社の自社報告値だ。
| 企業 | 主な効果(各社の自社報告) |
|---|---|
| Meta(HSTU) | オンライン A/B +12.4%、1.5兆パラメータ、スケーリング則を実証 |
| Shopify | 注文 +0.94%、購入に近い高品質クリック +5%、学習 最大7.3倍高速 |
| Spotify | 新番組の発見 +14.3%(Semantic ID による生成的検索) |
ただし Shopify はこれを「完全な置き換え」ではなく、既存モデル群への 増分の価値 と位置づける。実運用は複数モデルの組み合わせで動く。数字だけで「従来手法はもう不要」と早合点しないことだ。
まとめ:推薦を「次トークン予測」として作り直す
生成的推薦の核心は、推薦を「人手の特徴量設計」から「行動系列の次トークン予測」へ定義し直した発想の転換にある。これで言語モデルのスケーリング則が推薦に持ち込め、Semantic ID がテーブル肥大の制約も破りつつある。自社の推薦・検索・広告を「次トークン予測として作り直したら何が変わるか」——従来手法と併走する今こそ考える価値のある問いだ。
参考文献
- Jiaqi Zhai et al. - Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (HSTU, arXiv:2402.17152) - https://arxiv.org/abs/2402.17152
- Shopify Engineering - The generative recommender behind Shopify's commerce engine - https://shopify.engineering/generative-recommendations
- Meta Engineering - Meta's Adaptive Ranking Model: bending the inference scaling curve to serve LLM-scale models for ads(広告ランキングを LLM 規模へスケールさせる取り組み。HSTU/Semantic ID とは別系譜で、埋め込みテーブル肥大など背景の傍証) - https://engineering.fb.com/2026/03/31/ml-applications/meta-adaptive-ranking-model-bending-the-inference-scaling-curve-to-serve-llm-scale-models-for-ads/
- Semantic IDs for Joint Generative Search and Recommendation (arXiv:2508.10478) - https://arxiv.org/abs/2508.10478
- Edoardo D'Amico et al. - Deploying Semantic ID-based Generative Retrieval for Large-Scale Podcast Discovery at Spotify(GLIDE。Spotify の新番組発見 +14.3%・非習慣視聴 +5.4% の出典, arXiv:2603.17540) - https://arxiv.org/abs/2603.17540
- Meta (facebookresearch) - generative-recommenders(HSTU / M-FALCON 公式OSS実装。概念コードの参照元) - https://github.com/facebookresearch/generative-recommenders
- PyTorch Documentation - torch.nn(nn.Embedding / nn.TransformerEncoder / nn.TransformerEncoderLayer / nn.Linear)および torch.triu(概念コードのAPI突合) - https://docs.pytorch.org/docs/stable/nn.html