はじめに
”Googleデジタルマーケティング＆Eコマース プロフェッショナル認定証" の受講が完了しました(2022/3/3)。私がこのコースから得られた素晴らしい体験を、テーマごとに分割して、わかりやすくご紹介しています。興味を持たれた方は、是非下記を受講してみてください。
問題を定義する
A/Bテストは、ほぼすべてのデジタルコンテンツやデザイン要素に対して実施できます。しかし、広告の見出しからボタンの色まで、何をテストするにしても、まず実験のために具体的な問題や目標を特定する必要があります。
例えば、
- 低いコンバージョン率を改善したいとか、
- 新しい顧客ニーズを満たす方法を見つけたいとか
問題や目標が大きいと思われる場合でも、小さな変化から始めるのがベストです。小さな変更がパフォーマンスにどのような影響を与えるかを理解することで、より野心的な変更をテストするための基準値を得ることができます。
A/Bテスト計画の要素
A/Bテスト計画の詳細は、企業やテストツールによって異なるかもしれませんが、効果的な計画の基本は同じであることが多いのです。以下は、A/Bテスト計画で見られるかもしれない一般的な要素の例です。
仮説
何を実現したいのかが明確になったら、次は仮説を立てます。A/Bテストでは、仮説は「なぜ」「何を」「どのように」実験するのかを記述します。また、結果を予測するものでもあります。仮説は、調査やデータによって裏付けられ、一つの問題に焦点を当てる必要があります。
最低限、仮説は以下のことを記述する必要があります。
- テストが対処する問題または洞察
- 問題に対処するために何を変更する予定か
- 変更によって期待される影響や結果
例えば、ある企業がマーケティング用Eメールの受信者がウェブサイトをクリックする割合を増やしたいと考えているとします。データを調査した結果、購読者はメールの上部付近に表示される要素をクリックする可能性が高いと判断しました。A/Bテストの仮説は次のようになります。
- "お客様はメールの先頭付近の要素をクリックする可能性が高いことが分かったため、リンクの位置を変えることでクリック率・開封率が15％アップすると見込んでいます。”
強力な仮説があれば、テストの結果を報告し、ステークホルダーと洞察を共有することが容易になります。しかし、仮説を立てるプロセスも同様に重要です。それは、テストを行う理由を具体的に述べなければならないからです。もし、説得力のある仮説を立てるのが難しい場合は、テストを行う前にもっとデータを集めるべきということかもしれません。
バリアント
仮説が立てば、チームはバリアントを計画し始めることができます。バリアントとは、A/Bテスト中にユーザーに提供するコンテンツの異なるバージョンのことです。
- バリアントAはオリジナルのコンテンツを表し、
- バリアントBは通常、何らかの意味のある方法で異なっています。
しかし、一般的には、1つのバリアントに対する変更の回数を制限することが望ましいとされています。一度に多くのことを変更すると、テスト結果を解釈するのが難しくなります。
例えば、メールマーケティングのシナリオでは、バリアントBのリンクはメッセージの一番上に移動されるかもしれません。しかし、このバリアントでは、新しいコールトゥアクション（CTA）テキストも含まれており、リンクがボタンに変わっていたらどうでしょうか？それぞれの変更の影響をどのように個別に測定するのでしょうか？変更をバリアントごとに限定することで、明確で実用的な結果を得られる可能性が高くなります。
「失敗した」テストでさえ、貴重なデータを提供することができます。Bのバリアントが期待した改善をもたらさなかったとしても、それは必ずしもあなたの仮説が間違っていることを意味するわけではありません。あなたが望む結果を得るためには、別のバリアントをテストする必要があるかもしれません。
メトリックス
テストを開始する前に、チームは結果をどのように測定するかを決定する必要があります。テストごとにいくつかの指標を追跡することになるでしょうが、いくつかの指標は他の指標よりも重要でしょう。
メールマーケティングの例では、クリック・トゥ・オープン率（メールを開いた後、1つ以上のリンクをクリックした受信者の割合）が主要な指標となります。しかし、そのリンクをクリックした人のうち何パーセントが最終的に購買に至ったかを知るために、コンバージョン率も追跡する場合があります。
現在のパフォーマンスと改善見込み
成功の定義についても合意しておく必要があります。このテストでは、
- このテストでは、どれくらいの改善を望んでいるのか、あるいは期待しているのか。
- 5%の向上で十分ですか？10％ならどうでしょう？
設定する目標は野心的であってもかまいませんが、利用可能なデータに基づいて現実的なものでなければなりません。
その他のテスト内容
A/Bテスト計画には、テストに関する他の重要な詳細も含めることができます。会社によってA/Bテスト計画書に記載する情報は異なりますが、基本的な計画書には以下のような内容が含まれることを覚えておいてください。
- テストの概要とその目的
- テスト対象のチャネル（例：Google Ads、Google Optimizeなど）
- テストするアセットの種類（例：ディスプレイ広告、ボタンコピー、など）
- テスト期間（開始日と終了日）
- バリアントごとのユーザー数
- 信頼度（テストを長く実施した場合にテスト結果が一貫性を保つと推定される確率）
Activity Exemplar: Plan for A/B testing