0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

新規案件で数理に戻る:『独学で鍛える数理思考』第2章「商品推薦を実現する数理」を読む

0
Posted at

はじめに:なぜいま数理に戻るのか

普段はOCRやVLMなどの画像認識を仕事にしています。最近GEO分野(AI検索最適化)で起業しようとしています。

先日、HR分野で採用に関わる案件の話がありました。中核になるのはレコメンドです。求職者に求人を、企業に候補者を薦める形で、商品推薦と同じ構造をしています。

推薦システムは、ライブラリを使えば作ることはできます。
しかし、HRでは「なぜこの人にこの求人を薦めたのか」を説明できなければ、現場の理解を得るのは難しいと思っています。そこで実装の前に、数理へ戻ることにしました。読んだのは次の本の第2章です。

  • 古嶋十潤『独学で鍛える数理思考 〜先端AI技術を支える数学の基礎』(技術評論社、2024年)第2章「商品推薦を実現する数理」(2-1〜2-20)

この記事は、その読書メモです。まず第2章の流れを整理し、そのあと私が詰まった点と疑問点を、HRへの応用できそうと思った部分まで含めて書きます。

こんな方におすすめ

  • レコメンドシステムの中身の数式まで理解したい方
  • 内容ベースと協調フィルタリングの選択に迷っている方
  • 行列因子分解の式で詰まった方

第2章はどんな内容か

第2章は、欠けた評価表を数式で埋める話です。流れは大きく3段に分かれますが、その手前にもう一つ重要な論点があります。

推薦の作り方として、

  • 内容ベースフィルタリング
  • 協調フィルタリング
  • 行列因子分解

の3つが紹介されていました。重要な論点というのは、これらをどう選ぶのか、または組み合わせるのかという部分です。

1. 評価を「行列」にする(2-2〜2-3)

ユーザーを行、商品を列に置き、各マスに評価値(星1〜5など)を入れた表を評価値行列と呼びます。例を次に示します。

商品A 商品B 商品C 商品D
ユーザー1 5 3 ? 1
ユーザー2 4 ? 4 1
ユーザー3 1 1 5 ?

推薦とは、この「?」を予測して、予測値の高い商品を薦める作業です。「?」は未評価のマスで、まだ買っていない、または見ていない商品を指します。

本書は2-3で、解法の候補として協調フィルタリングと行列因子分解を俯瞰します。同じ節のColumnでは、もう一つの流派である内容ベースフィルタリングを紹介します。

2つの流派:内容ベースと協調フィルタリングのどちらを選ぶか

推薦の作り方は、使う情報の出どころで大きく2つに分かれます。

内容ベースフィルタリングは、アイテムの中身を見る方式です。ユーザーが過去に高く評価したアイテムの特徴(ジャンル、キーワード、価格帯など)から、好みのプロファイルを作ります。そのうえで、特徴が近い未評価のアイテムを薦めます。他のユーザーのデータは使いません。

協調フィルタリングは、アイテムの中身を見ず、評価値行列だけを使う方式です。自分と評価の傾向の近いユーザーが高く評価したアイテムを薦めます(次節)。アイテム同士の類似で薦める形もあります。

どちらが優れているかという話ではなく、手元のデータと、推薦に求める説明責任に応じて選びます。2つの違いを次の表に整理します。

観点 内容ベース 協調フィルタリング
使う情報 アイテムの特徴 全ユーザーの評価値行列
新しいアイテム 特徴が分かれば、評価がゼロでも薦められる 評価が集まるまで薦められない(コールドスタート)
新しいユーザー 希望やプロファイルを聞けば始められる 評価履歴がないと類似度が計算できない
説明のしやすさ しやすい(「この特徴が合っているから」) しにくい(「似た人が評価したから」が根拠になる)
弱点 似たものばかり薦めて意外性が消える/特徴の設計に品質が依存する データが疎だと不安定/過去の偏りを引き継ぎやすい

HRに置き換えると、この選択はさらに切実になります。

求人には、職種・必須スキル・勤務地・給与帯・働き方といった構造化された特徴があり、求職者側にもスキル・経験・希望条件があります。HRは、内容ベースの材料がもともと揃っている領域です。

HRでは、「なぜ薦めたのか」への説明責任が求められる部分もあります。内容ベースなら、「必須スキルと経験が一致しているから」と、検証できる言葉で理由を示せます。

一方、応募・面接の履歴は購買履歴よりずっと疎(ほとんどのマスが空欄の状態)です。そのため協調フィルタリングは、データが貯まるまで安定しません。

続いて、本書の本線である協調フィルタリングを追います。

2. 協調フィルタリング:「似た人」が高く評価したものを薦める(2-4〜2-11)

「似ている」を測る道具はコサイン類似度です。2人の評価ベクトル(各人の評価値を並べたもの)について、内積をそれぞれの大きさ(ノルム)で割ります。こうして、ベクトルのなす角の近さを類似度とします(2-4〜2-6)。

生の評価値のままではうまくいかないため、自分の平均を引く中心化で改良します(2-7)。評価値が欠けているマスは計算から外す必要があり、そのために指示関数(条件を満たせば1、そうでなければ0)を使います(2-8)。

ユーザー同士ではなく、アイテム同士の類似度でも同じ予測ができます(2-10)。章の途中には、精度から一歩引いた論点もあります。意外な出会い、すなわちセレンディピティというユーザー目線の話です(2-11)。

3. 行列因子分解:「似た人探し」から「潜在因子の最適化」へ(2-12〜2-19)

協調フィルタリングの限界を受けて、モデルそのものを作り替えます。

評価値行列を、ユーザー側の行列$P$とアイテム側の行列$Q$の積で近似します。予測値は$\hat{r}_{ui} = \boldsymbol{p}_u^{\top} \boldsymbol{q}_i$で、潜在因子(評価の背後にあると仮定する隠れた特徴)どうしの内積です。

次に、予測と実績の差(残差)を集めて損失関数を定義し、「損失を最小にする$P, Q$を探す」最適化問題に置き換えます(2-13〜2-15)。損失関数を偏微分(着目する変数だけを動かしたときの変化率を求める操作)すると、パラメータを少しずつ更新する式が導けます。これが勾配降下法の更新式です(2-16〜2-18)。

最後に2-19で、協調フィルタリングと行列因子分解の違いを俯瞰します。

疑問点1:データによる計算速度について

p.64には、userの数が基本的にitemの数より多い、という前提がありました。そのため、user同士の類似度は組み合わせが増えて計算に時間がかかる、という趣旨の説明です。

ここで引っかかりました。組み合わせの数に加えて、コサイン類似度1個あたりの計算時間も、user同士とitem同士で違うはずだからです。userのベクトルはitem数次元で、itemのベクトルはuser数次元になります。

1個あたりのコストまで含めても、結論は変わらないのでしょうか。それとも考慮しなくてよいのでしょうか。

解決:1個あたりのコストを入れても、結論は変わらない

本の主張は正しいです。理由は、組み合わせ数が二乗で増えるのに対し、1個あたりのコストは一次でしか増えないためです。

user数を$U$、item数を$I$とします(前提として$U > I$)。次の表は、ペア数と1ペアあたりのコストから、合計コストを比べたものです。

ペアの数 1ペアあたりのコスト 合計コスト
user同士 $\frac{U(U-1)}{2} \approx \frac{U^2}{2}$ ベクトルの次元はitem数なので$I$に比例 $\propto U^2 I$
item同士 $\frac{I(I-1)}{2} \approx \frac{I^2}{2}$ ベクトルの次元はuser数なので$U$に比例 $\propto I^2 U$

疑問のとおり、1ペアあたりで比べるとuser同士の方が安くなります(次元$I$ < $U$)。1個あたりのコストは、本の結論とは逆向きに働きます。

ところが合計で比べると、user同士の方が重くなります。2つの合計コストの比は次の式です。

$$
\frac{\text{user同士の合計コスト}}{\text{item同士の合計コスト}} = \frac{U^2 I}{I^2 U} = \frac{U}{I} > 1
$$

比は1を上回り、user同士の方が重い計算になります。ペア数の差は$(U/I)^2$倍でしたが、1個あたりのコスト差が1回分を割り戻し、最終的に$U/I$倍の差が残ります。

具体例で確かめます。$U = 10{,}000$、$I = 1{,}000$の場合は次のとおりです。

  • user同士:ペア約5,000万件 × 1件あたり次元1,000 → 約500億回の演算
  • item同士:ペア約50万件 × 1件あたり次元10,000 → 約50億回の演算

user同士の方が約10倍(=$U/I$倍)重くなります。

補足:実データでは「疎さ」も影響する

上の計算は、ベクトルを密なもの(ほぼ全成分に値が入っているもの)として、全次元を計算する前提です。実際の評価値行列は疎なので、共通して評価した部分だけを計算する方法が取られます。この場合、コストを決めるのは共評価の数です。

それでも、類似度行列そのものの保存量は$U^2$対$I^2$で増えます。そのため、「$U > I$ならitem同士の方が扱いやすい」という設計判断は、実務でもよく使われます。

本の説明は、「組み合わせの数」という最大の要因に絞った省略でした。1個あたりのコストを考慮しても結論は変わらない、というのが正確な理解です。

疑問点2:Lを偏微分すると、なぜΣが1個だけになるのか

疑問

式2-26では、損失関数が二重の$\sum$で書かれています。1ペア分の損失を$l$、その総和を$L$とすると、次の形です。

$L=\sum_{u=1}^{4}\sum_{i=1}^{4}\left(r_{u,i}-\sum_{d=1}^{2}p_{u,d}q_{d,i}\right)^2$

$l=\left(r_{u,i}-\sum_{d=1}^{2}p_{u,d}q_{d,i}\right)^2$

ところが$L$を$p_{u,1}$で偏微分すると、次のように$\sum$が1個だけ残ります($e_{u,i}$は疑問点2で整理した誤差です)。

$$
\frac{\partial L}{\partial p_{u,1}} = -2 \sum_{i=1}^{4} e_{u,i} q_{1,i}
$$

もう片方の$\sum$は、なぜ消えるのでしょうか。

解決:微分する変数を含む項だけが残り、片方の添字が固定されるから

和の微分は、項ごとの微分の和です。そのため$\partial L / \partial p_{u,1}$は、「$L$の16項($4 \times 4$)のうち、$p_{u,1}$を含む項だけを微分して足したもの」になります。

$p_{u,1}$は、特定のuser$u$の因子です。現れるのは、そのuserの行にある4項($i = 1, 2, 3, 4$)だけです。他のuserの項は$p_{u,1}$から見れば定数なので、偏微分すると0になって消えます。

$u$の$\sum$が消えるのは、微分する変数$p_{u,1}$が$u$を1つに固定するためです。$i$の$\sum$が残るのは、固定された$u$に対して、itemが4つすべて関係するためです。

評価値行列で見ると、「$p_{u,1}$の偏微分=そのuserの行だけを横に合計する」計算です。逆に$q_{1,i}$で偏微分すると、$i$が固定されて$u$についての$\sum$だけが残り、そのitemの列だけを縦に合計する形になります。結果は次の式です。

$$
\frac{\partial L}{\partial q_{1,i}} = -2 \sum_{u=1}^{4} e_{u,i} p_{u,1}
$$

内側にある潜在因子の内積の$\sum_d$も、同じ原理で消えます。$p_{u,1} q_{1,i} + p_{u,2} q_{2,i}$を$p_{u,1}$で微分すると、残るのは$q_{1,i}$だけです。$d = 2$の項は定数扱いになるためです。

疑問点2で見た「何を固定し、何を動かすか」の話が、ここにもそのまま当てはまります。偏微分とは、指定した添字を固定し、それ以外を定数と見る操作です。

この見方に立つと、$L$と$l$の関係も整理できます。まず1ペア分の$l$を微分します($\partial l / \partial p_{u,1} = -2 e_{u,i} q_{1,i}$)。次に、残った自由な添字$i$について合計し直すと、$L$の偏微分になります。この順番で読むと、話がつながります。

疑問点3:勾配降下法は全要素を一斉に更新するのか、1行ずつでよいのか

疑問

偏微分は、各要素($p_{u,1}, p_{u,2}, q_{1,i}, q_{2,i}, \dots$)について求めました。では、実際の更新はどの順番で行うのでしょうか。

全部の要素をまとめて更新するのでしょうか。それとも、1行分に絞って更新してから次へ進む方がよいのでしょうか。

解決:どちらも正しいが、別のアルゴリズムになる

本の式に忠実なのは、全要素を一斉に更新する方式で、バッチ勾配降下法と呼ばれます。

$\partial L$($\sum$付きの勾配)は、全ペアの誤差を合計したものです。この勾配を使う更新は、次の手順になります。

  1. 現在の$P, Q$で、全ペアの誤差$e_{u,i}$を計算する
  2. 全要素の勾配を、更新前の値(スナップショット)から計算する
  3. 全要素を同時に1歩だけ更新する
  4. 1〜3を繰り返す

この方式では、要素同士の計算の順番が結果に影響しません。ただし更新は同時に行う必要があります。先に更新した値を次の要素の勾配計算に使い回すと、本で導いた勾配とは別の逐次更新になり、手計算の答えも合わなくなります。

1ペア・1行ずつ進める方式もあり、実務ではむしろこちらが主流というのをみました。

SGD(確率的勾配降下法)は、評価ペア$(u, i)$を1つ取り出し、1ペア分の$l$の勾配で$\boldsymbol{p}_u$と$\boldsymbol{q}_i$だけを更新して次へ進みます。全ペアを1周すると1エポックです。1回の更新が安く、大規模なデータに向いています。取り出す順番は結果に影響するため、シャッフルするのが標準です。本が先に$l$の微分を丁寧に扱っているのは、この方式の部品にもなるからです。

ALS(交互最小二乗法)は、$Q$を固定すると各userの$\boldsymbol{p}_u$がそのuserの評価だけで独立に決まる、という性質を使います。$P$の全行 → $Q$の全列 → $P$の全行…と、片側ずつ交互に解く方式です。「1行に絞る」が正当化されるのは、この場合です。固定した相手に対して行同士が独立なので、行の順番は結果に影響せず、並列化もできます。

3方式を比べると、次のとおりです。

方式 1回の更新単位 勾配・計算の元 順番の影響 向く場面
バッチ勾配降下法 全要素を一斉に1歩 $L$(全ペアの合計) なし(同時更新なら) 小規模、理論と手計算の確認
SGD 1ペア分の$\boldsymbol{p}_u, \boldsymbol{q}_i$ $l$(1ペア分) あり(シャッフルする) 大規模、実務の標準
ALS 片側全体(全行→全列) 固定した相手への最小二乗 行・列の中ではなし 大規模、並列化したいとき

「全部やるか、1行か」の選択は、アルゴリズムの設計判断でした。本の理解を確認するときはバッチで一斉に追い、実装ではSGDかALSを選ぶ、という切り分けになります。

まとめ

推薦には内容ベースと協調フィルタリングという2つの流派があり、使える情報と説明責任に応じて選ぶ問題として捉えるのがよいと分かりました。商品推薦の数理は、評価値行列の欠損を埋める問題として整理できます。

だからこそ、ライブラリで作る前に数理へ戻る価値がありました。次は、HRの案件では、データの疎さ、潜在因子の中身、予測誤差が小さい推薦が、面接・内定・その先の定着率につながるのかという効果検証なども行いたいです。

次は以下の本を読みなおし記事も出す予定です。

参考文献

  • 古嶋十潤『独学で鍛える数理思考 〜先端AI技術を支える数学の基礎』技術評論社、2024年(第2章「商品推薦を実現する数理」)

著者について/AIスイセンの宣伝

東京大学工学部に通っており、2026年12月の創業に向けて、AIスイセンというプロダクト開発しています。

AIスイセンは、ChatGPTなどの生成AI検索において、自社や自院がどのように紹介されているかを継続的に可視化・分析するSaaSです。
生成AIの回答にはばらつきがあるため、単発の結果ではなく繰り返し計測することで、情報の露出状況や競合との比較、改善効果を把握できます。
現在は歯科医院・クリニックなどの医療機関向けに提供しており、企業・医療機関向けのAI研修サービスも準備を進めています。

AI検索で自社がどう見えているかが気になる方や、AI研修に興味のある企業・医療機関の方は、ぜひ声をかけてください。計測の設計や数理の話も、喜んでお受けします。

AIスイセン(医療・歯科向けLP):https://aisuisen.jp/medical
LPトップ:https://aisuisen.jp
問い合わせメール:support@aisuisen.jp

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?