GunosyDM研究会 #90の発表資料です
紹介する論文
[1404.5772]Sequential Click Prediction for Sponsored Search with Recurrent Neural Networks
MSRAでのインターンでの成果のようで，最初の3人がインターン生かな．
Introduction
検索連動型広告のクリックのされやすさを機械学習を使って予測する．
その素性として使われる代表的なものは以下の2つ
- 過去のCTR(query別, ユーザ別などなど)
- クエリと広告の意味的な近さ
この研究ではもっといろんなデータを組み合わせて予測をする
例えばあるユーザが広告をクリックしたけどすぐ閉じた場合には，次にその広告をみたときクリックする確率は低くなるだろう、みたいなことを予測をしたい
この研究ではRecurrent Neural Network(RNN)を用いてクリック確率を予測する
データは時系列データなので時系列解析を用いるのが適当
一般に時系列解析はトレンドだったり周期パターンのモデリングが主だが，
広告データは複雑で動的なので適さない．
RNNは近年様々な系列データに対するタスクで優秀な成果を上げている．
RNNを用いたモデルによって従来のLRやNNによる手法に対して高い改善を示した
重要なのは予測タスクにsequential dependencyを取り入れること．
Data Analysis on Sequential Dependency
最初にクリックした時のランディングページ(LP)の滞在時間と次のimpの時のクリック率
quick backから経過した時間とCTR
quick back: ユーザがLPから20秒以内に戻ったこと
ユーザは時間がたつとunsatisfiedな体験を忘れる
最初に検索したときと次に検索した時のCTR
The Proposed Framework
Model
特に変わったところないRNN
h(t) = f(i(t)U^T + h(t-1)R^T) \\
y(t) = \sigma(h(t)V^T)
f(z) = tanh(z) =\frac{1-e^{-2z}}{1+e^{-2z}} \\
\sigma(z) = sigmoid(z) = \frac{1}{1+e^{-z}}
Feature Construction
たくさんつかってる．細かく具体的には述べられていない．3つのグループに分けている．
- Ad features consist of information about ad ID, ad display position, ad text relevance with text
- User features include user Ud and query related semantic information
- sequential features include time interval since the last impression, dwell time on the landing page of the last click event, and whether the current impression is the head of sequence
同じセッションで表示された広告は表示順によってsequenceにする
Learning
Loss function
averaged cross entropy
L = \frac{1}{M} \sum_{i=1}^M (-y_i log(p_i) - (1-y_i)log(1-p_i))
$ M $: 訓練データ数
$ y_i $: クリックしたかのラベル$ {0, 1}$で表現される
$ p_i $: 予測したクリック確率
学習にはBPTTに用いる
Experiments
Data Setting
商用検索エンジンのログ, 2013/11/9 - 2013/11/22からランダムにサンプリング
第1週のデータを訓練データ, 第2週のデータをテストデータ
Evaluation Metrics
- Area Under ROC Curve(AUC)
- Relative Information Gain(RIG)
Compared Methods
- Logistic Regression(LR)
- Neural Network(NN)
Experiment result
overall perfomance
grid search
- the coefficient of L2 penalty: 1e-6
- the number of training epochs: 3
- the hidden layer size: 13
- the number of unfolding steps for RNN: 3
Performance on Specific Ad Positions
- mainlineが一番収益を生むのでRNNがこちらで高いのは良い
- sidebarはクリック数が少ないのでrareケースに過剰反応するためLRは低くなる
Effect of Recurrent State for Inference
RNNとして学習したあとに通常のNNとして推定する
つまり前の系列データの隠れ層の値を使わない状態にする
AUC: 88.25%
RIG: 18.95%
Table2と比較して性能が劣化している．
recurrent structureが推定に対して有効に働いているといえる．
Performance with Long vs. Short History
しきい値T以上のsequenceをもつデータを集め, Tで隠れ層にデータをためて残りでtestを行う．
Tの長さに対してRNNがrobustであるかを確認する
Tが大きいほどperformanceがよい．系列データの特徴をよく蓄積できているといえる
Effect of RNN Unfolding Step
Unfolding Step: BPTTにおける学習のステップ数
(BPTTよくわかってないので今度ちゃんと調べる)
AUC, RIGのベストは3，それより大きな値にすると数値は落ちていく(3までは上昇する)
3より大きい値にしたときは逆伝搬のエラーが消える
これからこのモデルは系列データを以下のように扱っていると推測できる
- short-span dependency: 少ない単位で明示的に学習している
- long-span dependency: 暗黙的に長いデータをreccurentな構造に貯めこんで精度を高めている
Future Work
- 今回はユーザレベルのsequential dataを扱ったけど(user, ad)とか(user, query)などより多様な形で学習させたい
- 今回学んだrecurrentな部分の特徴を活かして，より最適化した形で扱いたい
- Deep Recurrent Neural Network(DRNN)[Hermans+2013]を試してみたい
感想
- シンプルなRNNでここまで改善するのすごい(ほんとかよって気持ちにもなる)
- feature全然隠してるけどこういうのでも論文として成立するものなのかな
- 素性がsequentialなところに依存しすぎていたのではみたいな懸念もありそうな
- こういうタスクいろいろあると思うのでいろいろ試してみたいところ
- RNNの特性についての分析が深くて参考になった．