【論文紹介】広告画像の画像処理に基づく感情喚起状態の推定とCTR予測

勉強会用に呼んだ論文の整理を自分用に残しておきます。

読んだ論文

なぜ読んだのか

• 2024年人工知能学会の優秀賞に選ばれた論文で注目度が高い。
• ラッセルの感情円環モデルの応用について興味があったため。

感想

• データのラベリング方法が気になる。
  • この辺りをLLMでやれそう。
• Russellの感情円環モデルを他のコンテンツに応用する事例をほかにも見てみたい。

背景

• 人の意思決定には多様な要因が絡み合っていることが先行研究によりわかった。
• 感情と意思決定の関係性から、広告画像の感情喚起指標とCTRの関係性を分析する。

Russellの感情円環モデル

valence(感情価)とarousal(覚醒度)の２つの軸で感情を定量化したモデル。
上記２つを特徴量になるように計算し、CTRを予測して関連性を考察する

データ

• データ
  • Open Affective Standardized Image Set（OASIS）
  • Emo Madrid
• 事前学習モデル
  • BEIT
  • https://huggingface.co/microsoft/beit-large-patch16-384

手順

1. 用意した事前学習モデルを使って、感情喚起指標推定モデルを作成
   1. ２値の連続値をする出力する線型層にする
   2. EmoMadridでファインチューニング
   3. OASISでファインチューニング
   4. 訓練データと検証データは8:2で分割
   5. 平均二乗誤差(MSE)で評価
2. 感情喚起指標推定モデルを使い、9913枚のWeb広告画像を分析のvalenceとarousalを予測する。
3. CTRを予測する。
   1. valece, arousal以外に業種や媒体のダミー変数を利用
   2. ランダムフォレストを使って推定。
   3. 訓練データとテストデータは9:1で分割し、10回繰り替えす
   4. 決定係数で評価し、1番高いモデルを最終的な予測モデルとした。

結果

• 【図2】OASISとEmoMadridのvalence-arousal散布図
• 【図3】広告画像のvalence-arousal散布図
  • 全体的に第4象限に集中している。
    • arousalが低く、valenceが若干高い。
• 採用したモデルの決定係数は0.537
• 【図4】CTR予測における特徴量の寄与度を可視化した
  • valenceとarousal, 媒体ダミーの一部の寄与度が高い。
• 【図5】Partial Dependence Plots
  • 特定の特徴量とターゲット変数との平均的な関係を示す出力
  • arousalが低く、valenceが若干ポジティブ寄りの広告画像のCTRが最も高くなることがわかった。