0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

生成的推薦:推薦を"特徴量設計"から"次の商品を当てる言語モデル"へ

0
Posted at

「あなたへのおすすめ」に代表される推薦システムは、EC から動画・音声アプリのフィードまで、ほぼすべてのプロダクトに入っている。その推薦を「特徴量を人手で設計する」やり方から「行動履歴を見て次の商品を当てる言語モデル」へ作り替える動きが、海外の大手で相次いで本番投入されている。これが 生成的推薦(Generative Recommendation) だ。行動履歴を文章のような並びとみなし、次の単語を当てる言語モデルと同じ要領で「次のアイテム」を生成する——Meta はこの方式でオンライン A/B 指標を 12.4% 改善したと報告する。巨大サービス専用に見えるが、閲覧・検索・カート追加のように「並び」を持つログさえあれば小さなサービスでも試せる。本記事はその仕組みを、動く実装ではなく骨格をつかむ概念コードで追う。

特徴量を設計する推薦は、なぜ計算を増やしても賢くならないのか

従来の推薦の代表格が two-tower と DLRM だ。two-tower は、ユーザー側とアイテム側に別々のニューラルネットを立て、両者が作る埋め込みベクトル(商品やユーザーを数百個の数字の並びで表したもの)の内積(二つの並びの向きの近さを一つの数値にする計算)で「近さ」を測る。DLRM(Deep Learning Recommendation Model)は、そこへ多数の特徴量を入れて深く学習する。どちらも「何を特徴量に入れるか」を人手で設計する点が共通する。

問題は、計算資源を増やしても性能が伸びにくいことだ。言語モデルはデータとモデルを大きくするほど賢くなる「スケーリング則」が効くのに、従来の推薦では効きにくい。行動系列を扱う Meta のアーキテクチャ HSTU の論文「Actions Speak Louder than Words」も、多くの DLRM は計算に対してスケールしないと指摘する。

もう一つの壁が埋め込みテーブルの肥大だ。数億商品に固有ベクトルを持たせると対応表が巨大になり、縮めれば別々の商品が同じ枠に衝突する。

行動履歴を「次の商品を当てる言語モデル」にする

買い物ジャーニー(閲覧・カート追加・購入)を時間順の並びとみなせば、商品 ID が単語(トークン)、行動履歴が文章に当たる。推薦は「並びから次の商品を当てる」問題になる。

これを支えるのが causal mask だ。位置 t の商品を処理するとき、それより後(未来)を見えなくして「過去だけから次を当てる」制約をかける。過去だけを見て次の一つを予測し、当てた商品をまた並びに足して次を予測する——この繰り返しが自己回帰だ。Shopify もこれを「causal mask を使った自己回帰モデルに次の商品を予測させる」と説明する。

概念コードで骨格をつかむ

以下は「行動系列 → トークン列 → 次アイテム予測」の流れをつかむための PyTorch 風の概念コードだ(動かすための実装ではない)。

import torch
import torch.nn as nn

class GenerativeRecommender(nn.Module):
    def __init__(self, num_items, dim=128, n_heads=4):
        super().__init__()
        # 商品ID(トークン)を埋め込みベクトルに変換する。語彙 = カタログ全商品
        self.item_embedding = nn.Embedding(num_items, dim)
        # 行動系列を左から右へ処理する自己回帰トランスフォーマ
        layer = nn.TransformerEncoderLayer(dim, n_heads, batch_first=True)
        self.encoder = nn.TransformerEncoder(layer, num_layers=2)
        # 各位置の状態から「次に来る商品」のスコアを出す出力層
        self.to_logits = nn.Linear(dim, num_items)

    def forward(self, item_seq):
        # item_seq: (batch, seq_len) … 各ユーザーが閲覧/カート/購入した商品IDの並び
        seq_len = item_seq.size(1)
        x = self.item_embedding(item_seq)
        # causal mask: 位置 t は t 以前しか見られない(未来の商品を先読みさせない)
        causal_mask = torch.triu(
            torch.full((seq_len, seq_len), float("-inf")), diagonal=1
        )
        # 系列を自己回帰的に符号化(言語モデルが文を左から読むのと同じ)
        h = self.encoder(x, mask=causal_mask)
        # 各位置で全商品のスコアを出す。これが next-item 予測(= 次トークン予測)
        return self.to_logits(h)  # (batch, seq_len, num_items)

model = GenerativeRecommender(num_items=1_000_000)
logits = model(torch.randint(0, 1_000_000, (32, 50)))  # 32ユーザー × 直近50行動
# 学習では各位置の予測を「実際に次に来た商品」に合わせる(次トークン予測の損失)。
# 商品数が百万規模なので、全商品では計算せず sampled softmax で負例をサンプルする。

nn.Embedding が商品 ID をトークンに変換し、causal_mask が「過去だけで次を当てる」制約を与え、to_logits が各位置で次の商品を予測する——これが骨格だ。

損失計算には一工夫がいる。百万商品すべてでスコアを出すと学習が重すぎるので、正解の商品と、無作為に選んだ少数の「はずれ商品」だけを比べて正解を押し上げる。全商品を計算せず近似するこのやり方が sampled softmax だ。

もう一点、nn.TransformerEncoderLayer に causal mask をかけると、名前はエンコーダでも振る舞いは GPT と同じ「左から右へ次を当てるデコーダ」になる。HSTU の動く実装は Meta の公式 OSS(facebookresearch/generative-recommenders)にあり、写経の起点にできる。ただしこの骨格は、商品が百万規模だと埋め込みテーブル肥大を抱える。その先の工夫が Semantic ID だ。

Semantic ID:商品IDをやめ、小さな語彙のコード列で商品を表す

Semantic ID は、生成的推薦を置き換える主役ではなく、上のモデルの「商品の表し方」だけを差し替える部品だ。

固有 ID の代わりに、ある商品の埋め込みベクトルを RQ-VAE という手法で量子化(連続した数字を、決まった選択肢の番号に丸めること)し、たとえば [12, 7, 3] のような数個のコードに変換する。似た商品は先頭のコードを共有するので、少ない語彙で膨大な商品を表せ、テーブル肥大を抑えられる。

先のコードの nn.Embedding を、この短いコード列に差し替えるだけで骨格は変わらない。商品も検索クエリも同じコードで表せ、検索と推薦を一つに束ねる「生成的検索」も視野に入る。

本番で効いた証拠:Meta と Shopify の実測

最大の裏づけが HSTU だ。数十億ユーザーの本番で、大きくするほど品質が伸びると実証した。数字は各社の自社報告値だ。

企業 主な効果(各社の自社報告)
Meta(HSTU) オンライン A/B +12.4%、1.5兆パラメータ、スケーリング則を実証
Shopify 注文 +0.94%、購入に近い高品質クリック +5%、学習 最大7.3倍高速
Spotify 新番組の発見 +14.3%(Semantic ID による生成的検索)

ただし Shopify はこれを「完全な置き換え」ではなく、既存モデル群への 増分の価値 と位置づける。実運用は複数モデルの組み合わせで動く。数字だけで「従来手法はもう不要」と早合点しないことだ。

まとめ:推薦を「次トークン予測」として作り直す

生成的推薦の核心は、推薦を「人手の特徴量設計」から「行動系列の次トークン予測」へ定義し直した発想の転換にある。これで言語モデルのスケーリング則が推薦に持ち込め、Semantic ID がテーブル肥大の制約も破りつつある。自社の推薦・検索・広告を「次トークン予測として作り直したら何が変わるか」——従来手法と併走する今こそ考える価値のある問いだ。

参考文献

  1. Jiaqi Zhai et al. - Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations (HSTU, arXiv:2402.17152) - https://arxiv.org/abs/2402.17152
  2. Shopify Engineering - The generative recommender behind Shopify's commerce engine - https://shopify.engineering/generative-recommendations
  3. Meta Engineering - Meta's Adaptive Ranking Model: bending the inference scaling curve to serve LLM-scale models for ads(広告ランキングを LLM 規模へスケールさせる取り組み。HSTU/Semantic ID とは別系譜で、埋め込みテーブル肥大など背景の傍証) - https://engineering.fb.com/2026/03/31/ml-applications/meta-adaptive-ranking-model-bending-the-inference-scaling-curve-to-serve-llm-scale-models-for-ads/
  4. Semantic IDs for Joint Generative Search and Recommendation (arXiv:2508.10478) - https://arxiv.org/abs/2508.10478
  5. Edoardo D'Amico et al. - Deploying Semantic ID-based Generative Retrieval for Large-Scale Podcast Discovery at Spotify(GLIDE。Spotify の新番組発見 +14.3%・非習慣視聴 +5.4% の出典, arXiv:2603.17540) - https://arxiv.org/abs/2603.17540
  6. Meta (facebookresearch) - generative-recommenders(HSTU / M-FALCON 公式OSS実装。概念コードの参照元) - https://github.com/facebookresearch/generative-recommenders
  7. PyTorch Documentation - torch.nn(nn.Embedding / nn.TransformerEncoder / nn.TransformerEncoderLayer / nn.Linear)および torch.triu(概念コードのAPI突合) - https://docs.pytorch.org/docs/stable/nn.html
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?