はじめに
”Googleデジタルマーケティング＆Eコマース プロフェッショナル認定証" の受講が完了しました(2022/3/3)。私がこのコースから得られた素晴らしい体験を、テーマごとに分割して、わかりやすくご紹介しています。興味を持たれた方は、是非下記を受講してみてください。
Google AdsにおけるA/Bテスト結果をモニタリングする
数字をより深く掘り下げることを楽しむ人もいれば、一度数字を持ち出すと興味を失ってしまう人もいます。パフォーマンス・マーケティングの分野で働くなら、キャンペーンのパフォーマンスについて意思決定するために数値データを使うことに抵抗がないことを学ぶことができます。
Google Adsで広告のバリエーションや入札戦略のA/Bテスト結果をモニタリングするとき、いくつかの統計的な結果が提示されます。
今回、これらの統計結果を紹介し、実験データを分析するための準備をします。数値に基づいて、テストした変更がキャンペーンに関連し、有益であるかを判断することができます。
Google Adsの統計情報
実験結果をモニターしていると、次のような統計用語に出会うことがあります。
- 信頼水準 Confidence level
- 信頼区間（誤差の範囲から導き出される）Confidence interval (derived from a margin of error)
- 統計的有意性 Statistical significance
これらの用語の意味と実験について理解するために、さらに読み進めてください。
信頼水準
実験結果に対してどの程度の確信が持てるか？
- 例えば、95%の信頼度とは、同じA/Bテストを100回行った場合、100回中95回は同じような結果が得られるという意味です。
信頼水準は通常、データを収集する前に選択されます。ほとんどの研究者は95％の信頼度を使用しています。Google Adsは、デフォルトでこの信頼度を実験に使用します。この信頼レベルに到達するためには、最低でも多くのユーザーがテストに参加する必要があります。そのため、信頼度95%の結果を得るために、通常少なくとも4週間は実験を行うことになります。
信頼区間
全ユーザーに対してテストを実施することはできないため、A/Bテストの比較結果は、全ユーザーに対してテストを実施できた場合の結果の推定値であると言えます。
誤差とは、テスト結果と、より多くのユーザーでテストを行った場合に得られるであろう理論的な結果との間の、統計的に計算された差のことを指します。
信頼区間は、誤差を考慮した後の可能な値の範囲である。この範囲は、テスト結果 +/- 誤差のマージンです。
- 例えば、テスト結果がバリエーション間の差5%で、誤差が2%の場合、信頼区間は3%から7%になります。テストしたバリエーション間の差は、3%という低い値もあれば、7%という高い値もあり得ます。
Google Adsが結果の予想範囲をリストアップするとき、それは信頼区間を報告しているのです。
統計的有意性
統計的有意性とは、検査結果が偶然によるものか、そうでないかを判断することです。有意性が高ければ高いほど、偶然によるものは少なくなります。
Google Adsは、バックグラウンドで信頼度95%で統計計算を行い、結果が統計的に有意であるかどうかを知らせます。結果の横に表示される青い星（アスタリスク）は、テストした2つのバリエーションの間で、統計的に有意な変化があったことを示します。
実験例
下図のように、Google広告の「Huge Savings」広告のバリエーション実験（またはA/Bテスト）では、クリック数とインプレッション数が減少しました。クリック数は250で8％減、インプレッション数は12,139で11％減となりました。インプレッション数の減少には、95%の信頼水準で統計的に有意であることを示す青いアスタリスクが付けられています。クリック数とインプレッション数の両方が減少傾向を示しているため、このバリエーションをレスポンシブ検索広告に適用することは選択しないでしょう。
実験の実施時間
統計的に有意なテスト結果を得るためには、通常少なくとも4週間は実験を行う必要があります。より詳しいガイダンスが必要な場合は、A/Bテストのための多くのサンプルサイズ計算機がオンラインで利用可能です。AB Tastyのそのような計算機では、1日の平均訪問者数とテストの可能な期間を計算するためのバリエーションの数を入力することができます。
また、Eコマースの売上が通常通り変動することを考慮し、十分な期間実験を行う必要があります。例えば、日曜に最も売れ行きが良く、土曜に最も悪くなるのが通常のEコマースビジネスの場合、最低でも2週間、できればそれ以上の期間テストを行うことで、これらの変動がテスト結果に与える影響を軽減させることができます。
同様に、テスト中にプロモーションが発生した場合、テストを長く実施することで、プロモーションによるテスト結果の偏りを防ぐことができます。プロモーションは数日から数週間、ユーザーの行動を変化させるため、十分な期間実施しないと、広告バリエーションテストが通常よりも良いパフォーマンスを示すように見えることがあります。