はじめに
”Googleデジタルマーケティング＆Eコマース プロフェッショナル認定証" の受講が完了しました(2022/3/3)。私がこのコースから得られた素晴らしい体験を、テーマごとに分割して、わかりやすくご紹介しています。興味を持たれた方は、是非下記を受講してみてください。
A/Bテスト
A/Bテストは、オンラインビジネスで最適なコンテンツやマーケティング戦略を選択するのに役立ちます。
A/Bテストは、2つのバリアントと、バリアント間でランダムに50%のユーザーを分割し、よりパフォーマンスの高いオプションを決定するオンライン実験です。ほとんどの A/B テストでは、50%のユーザーを一方のバリアントへ、50%のユーザーをもう一方のバリアントへランダムに送ります。
- 例えば、A/Bテストでは、同じWebページの2つの異なるバージョンにWebトラフィックをランダムに誘導することができます。これらのページからのレスポンスは、選択された測定基準に基づいてより高いパフォーマンスを達成したバージョンで監視されます。
A/Bテストは、通常、ライブのWebページで実行されます。統計的に意味のある結果を出すのに十分な数のユーザーをテストする限り、ライブでないWebサイトでA/Bテストを実行することは可能です。
- 例えば、ポイントプログラムに参加するためのダイレクトレスポンス広告を2つのバージョンでテストするとします。
- 1つは有名人の推薦文と一緒に表示される。
- もう1つはお得なキャンペーンと一緒に表示される。
- どちらのバージョンがより多くのコンバージョン、つまりプログラムに申し込む人を増やすことができるでしょうか？A/Bテストは、短期間にテストされたサンプル集団を使用して、どちらのバージョンがより良いものかを教えてくれます。このテストでは、お得なオファーの方がより多くのコンバージョンが発生したように見えます。
統計テキストのメトリックス
A/Bテストは、テストされている2つのオプションのどちらがより効果的であるかを決定するために、統計テストに依存しています。
A/Bテストで使用される統計テストは、比較に使用されるメトリックスが
- 離散的か
- 連続的か
によって異なります。
離散的
離散的なメトリックスは、特定の値を持ち、数えることができ、またはオン/オフや真/偽の設定のようなバイナリである。
具体的な値の例としては、
- クリックスルー率（CTR）
- コンバージョン率
- バウンス率
などがあります。
カウントの例としては、
- 新規ユーザー数
- リピーター数
などがあります。
そして最後に、
- バイナリレスポンス
は、ユーザーがダイレクトレスポンスをクリックしたかしなかったかです。
連続的
連続的なメトリックスは、時間の経過とともに測定され、変化するものです。
連続的な測定基準の例としては、
- ユーザーあたりの収益
- 平均セッション時間
- 平均注文額
などがあります。データは、追加のセッションまたは注文ごとに測定値が変化するため、連続的です。
A/Bテスト計画に含まれるもの
重要なことは、A/Bテストでは統計的テストが重要であるということです。あなたが使用するA/Bテストソフトウェアは、有益であるために十分な大きさのユーザーサンプルで統計分析を実行します。
A/Bテストを行う場合、通常、新しいバージョンが元のバージョンと比較して指標を改善するかどうかをテストします。
A/Bテストを計画する際には、
- バリアントの記述
- 過去のパフォーマンス
- 望ましい改善点
- テストに使用するパフォーマンス指標
を文書化しておくと便利です。
A/Bテストに使用できるソフトウェア・ツール
あなたの組織では、テストごとにこの情報を記録するのに役立つテンプレートがあるかもしれません。A/Bテストに使用できるソフトウェア・ツールは数多くあります。
- Google Ads: 広告のA/Bテストを実施することができます。パフォーマンスマーケティング担当者は、最高のパフォーマンスを持つページを特定するために、A/Bテストに依存しています。
- Google optimize:WebサイトのコンテンツでA/Bテストを実施し、訪問者にとって何が最も効果的かを理解することができます。
- Hubspot:EメールメッセージとランディングページでA/Bテストを実施しています。
- Optimizely:カスタマージャーニーにおける様々なタッチポイントでA/Bテストを実施できます。
- Intellemize:機械学習と継続的なA/Bテストによって、Webページのパーソナライズを支援します。
これらのツールは、他のツールより優れていると推奨されているわけではありませんが、異なるベンダーから多種多様なソリューションが提供されていることを指摘するために言及しました。
どのツールを使っても、A/Bテストを実施すれば、パフォーマンス目標を達成し、コンバージョン数を増やし、テストを経て再設計されたWebページによる顧客体験の改善の恩恵を受けられるという確信が持てるようになります。あなたの選択次第で、大きな差が生まれます。
Jordan - Interpret A/B test results
A/Bテストは、2つの異なるバージョンのマーケティングコンテンツをきれいに比較するための方法です。例えば、マーケティング対象のコンテンツにバージョンAとバージョンBがあったとして、どちらの方がパフォーマンスが高いかを調べたいとします。A/Bテストは、顧客がどちらに反応するかを比較し、把握することを可能にします。
デジタルマーケティング担当者は、さまざまな方法でA/Bテストを使用します。広告に使う言葉や画像、メールの構成やフォーマット、ウェブサイトの作り方などです。これらはすべて、A/Bテストによって違いを比較し、お客様の反応を見ることができます。
A/Bテストを行うには、いくつかのステップを踏む必要があります。
- まず、ユーザーが何をしているのか、どのようにすれば顧客に最適化できるのかについて、しっかりとした仮説を立てることです。
- もうひとつは、それらのユーザーのニーズに対応するために、さまざまなバリエーションを実際に作成することです。
しっかりとした仮説を立てることで、顧客に関する重要なインサイトを導き出すことができますが、これを開発するのは意外に難しいものです。そのため、テストを実施するための実際のツールよりも、顧客は誰なのか、どのようなインサイトを得たいのかを考えることが重要なのです。
A/Bテストを実行したら、開始したさまざまなパフォーマンスの測定と分析に基づいて、いくつかの結論を導き出すことができるようになります。A/Bテストでは、顧客が何を好むかについて因果関係のある洞察を収集することができます。因果関係のある洞察とは、テストしているAまたはBの特定の側面を変化させることで、その特定の変化が改善または減少につながったことを比較し、結論を導き出すことができるということです。これは、マーケティングコンテンツ、例えばEメールや広告、あるいはウェブサイトの一部を最適化することで、適切なユーザーを製品に引きつけることができるため、非常に強力です。
A/Bテストがなければ、何がお客様の行動に変化をもたらしているのかがわかりません。時間帯かもしれませんし、使っているコンテンツかもしれませんし、その他多くの要因かもしれません。しかし、A/Bテストを使うことで、ある特定の変数と他の変数を実際に分離し、その因果関係を導き出すことができるのです。
私はA/Bテストが大好きです。A/Bテストによって、継続的に反復して結論を出すことができるからです。つまり、ユーザーの行動のある側面が分かれば、その行動を促すかもしれない別の動機を見つけ出すことができるのです。