個人の興味関心の備忘録として記録したものであり、情報の正確性や完全性を保証するものではありません。
目次
論文：ユーザの潜在的な購買意欲を考慮した機械学習に基づくクーポン配布施策の効果検証モデル
三行まとめ
- クーポン配布前に機械学習を活用してユーザーをグループ分けし、その後クーポンを配布して効果を検証
- グループ内で傾向スコアマッチングを用いてメール配布の効果を検証し、さらに機械学習を活用して各変数が購買に与える影響を分析
- グループ分けの軸を追加したり、結果変数が少ない場合の対応を検討することで、さらなる発展が期待できる
背景・目的
効果的なマーケティング活動には、過去データを基に施策の効果を正確に予測し、因果関係を分析することが重要。
クーポン配布は売上増加に効果的な施策であるが、無計画な配布は利益率低下のリスクがある。
購買意欲が低いユーザーには効果が期待できるが、購買意欲が高いユーザーには利益率を下げる可能性がある。
施策効果の差異を精度高く推定するため、機械学習に基づく実験計画法から効果検証までの一連のフレームワークを提案。
関連研究
関連研究として【The Double-Edged Effects of E-Commerce Cart Retargeting: Does Too Early Retargeting Backfire? (Eコマースにおけるカートリターゲティングの効果：リターゲティングが早すぎると逆効果になるのか？)】
ECサイトのカゴ落ち対策として、リマインド通知のタイミングが購買確率に与える影響を分析。
通知時間を短くすると効果的とされていたが、通知が早すぎると逆効果になる可能性が示唆された。
リマインド通知時間が購買確率に与える影響を正確に測定するためのランダム化比較試験を提案。
- 実験の概要
- リマインド通知時間を複数条件（例：0.5〜72時間後）で設定
- ユーザーをランダムに条件に割り当て、さらにリマインド通知の有無をランダムに決定
- リマインド通知後、1ヶ月以内の購買有無を観察・分析
リマインド通知時間が短すぎると購買確率に負の影響を与え、適切な時間を空けることで効果が高まることを確認。モデルフリー検証(比較)に加え、回帰モデルを用いたモデルベース検証でも同様の結論が得られた。
このフレームワークにより、リマインド通知の最適なタイミングの分析が可能になる。
提案内容
この研究では、ユーザーの潜在的な購買意欲とクーポンの施策効果を推定・分析することを目的として、条件付きランダム化比較試験に基づく実験計画と効果検証までの一連のフレームワークを提案。
- 機械学習によりユーザの潜在的な購買意欲を予測(LightGBMで購買金額/購買頻度を予測)
- ユーザの潜在的な購買意欲をもとにグループ分け
- 各グループに割り当てたユーザに対して，クーポン配布の有無をランダムに割り当て（コントロール群とトリートメント群の設定）
- 割り当てた条件で，クーポン配布
- 対象ユーザが「施策実施期間内に，クーポンを用いた購買をするか否か」等の結果変数を観測し，結果の分析を
行う（購買を目的変数においてSHAP値を確認）
図：購買意欲に基づくグループ分けと条件割り当てのイメージ
施策の実施後は、傾向スコアマッチングによる購買率の比較と、購買を目的変数とした予測モデルを構築して説明変数の影響を確認。
傾向スコアマッチングで「メール施策全体の効果」を評価し、機械学習モデルで「各変数が購買行動にどの程度影響を与えているか」を分析。
この組み合わせで、施策の全体像と個別要因の影響を両方把握することが可能
実データ分析
ZOZOTOWNにおける過去のクーポン配信施策に関するデータを用いて、趣味レーションを実施。
- 対象施策：過去に古着を購入したことがないユーザーに対して、古着の新規購入を促進するクーポン配布施策
【潜在的購買意欲の分析】
- 予測指標：将来1年間の「古着」と「新品」の期待購買金額
- 対象：2021年9月に古着を購入したユーザー20万人
- 説明変数：2020年9月～2021年8月の購入・閲覧履歴や属性情報を説明変数
- 目的変数：2021年9月以降1年間の購買金額を目的変数
- アルゴリズム：LightGBM
【施策データ】
- 対象：2022年8月に古着を購入しておらず、過去1年以内に新品を購入した160万人。
- 予測：学習済みモデルを用い、2022年8月以降1年間の「古着」と「新品」の期待購買金額
- 施策内容：過去に対象サービスにおいて古着を購入したことがないユーザーに対して、古着の新規購買を促進するクーポン施策
【効果検証の方法】
-
全体分析：グループ内でトリートメント群とコントロール群を比較し、傾向スコアマッチング（ロジスティック回帰）で効果を評価
詳細分析：LightGBMで予測し、SHAPを用いて潜在的購買意欲や共変量と施策効果の関係を解析。 - 説明変数：クーポン配布の有無，振り分けられたグループなど
- 目的変数：施策期間中の古着の新規購入
【結果】
クーポン配布施策は全グループで古着の購買確率を向上させた。
特に、古着の購買意欲が「高」または「中」で、新品の購買意欲が「低」のグループで効果が大きく、古着を好む傾向のユーザーがクーポンにより購買意欲を刺激されたと考えられる。
一方、新品の購買意欲が高いユーザーは、古着へのクーポンの効果が小さく、新品志向が強いためと推測される。
古着を閲覧しているユーザーや新品の平均単価が低いユーザーは、古着を購入する可能性が高いと分かった。
一方、SHAP値でクーポン配布に関連する変数が上位にないのは、新規購入者が少ないためと考えられる。
まとめ
ユーザーの潜在的購買意欲と施策効果の関係を分析するフレームワークを提案し、過去の施策データを用いたシミュレーションでその有用性を確認。
特に、潜在的購買意欲（新品・古着の期待購買金額）によって施策効果が異なることや、購買に影響を与える特徴の把握に成功。
今後の課題として、フレームワークの適用軸の多様化や、将来の施策への実用的適用が挙げられます。
感想
- 二値分類しか扱っていなかったので、購買金額や購買頻度を予測し、それを軸にグループ分けを行い効果を分析する取り組みを面白く感じた
- 軸を追加することで分かることも多そう（メール開封率とか）
振り返りの検証と今後の対策を立てる分析として、とてもいい方法だと思う - 購買ユーザーが少なくSHAP値上位に含まれないのを改善する手法はないのか？
- 目的変数を変えることで、購買に限らず色々な場面で使える手法であると思った。