はじめに
この記事ではUXディレクターになったばかりでABテストって何？
統計なんて勉強したことないよって人向けの記事になります。
「ABテストとは何か」、「統計ってこんなことしているんだ」ってことを知ってもらいたいです。
ABテストとは何か？
ABテストとは、バナーや広告文、Webサイトなどを最適化するために実施するテストの一つです。
特定の要素を変更したAパターン、Bパターンを作成し、ランダムにユーザーに表示し、それぞれの成果を比較することで、より高い成果を得られるパターンを見つけることができます。「A/B」テストという名前ではありますが、もちろん3パターン以上でテストすることもあります。
様々な要素でA/Bテストを行い、成果の高かったパターンを実装していくことにより、広告やWebサイト全体のクリック率やコンバージョン率といった成果が向上し、最適化されていくのです。
「https://www.innovation.co.jp/urumo/split_testing/ 」から引用
こちらの説明は簡潔にわかりやすくまとめられていたので引用させていただきました。
今回は初心者UXディレクター向けの記事ですので、これを理解するための具体的な内容を書きたいと思います。
具体的に何するの？
①まずはWebサイトの課題を見つける
通販サイトの商品一覧ページを見た人のうち20%の人しか商品を購入していない。
もっとたくさんの人に購入してもらいたい！
②どうしたら課題を解決できるか仮説を立てる
青いボタンはよりオレンジ色の方が購買意欲を刺激するのではないか？
③仮説の検証をする
青いボタンのA案のページとオレンジのボタンのB案のページを用意します。
このページにアクセスしてくれた人たちを2つのグループに分ます。
1000人アクセスしてくれたら、500人にはA案のページを、もう500人にはB案のページを見せます。
④検証結果を考察する
検証した結果を分析しA案とB案のどちらが優秀だったのか、その要因は何か、
さらに改善するにはどうしたらよいかなどを考察します。
データ分析から次の課題を発見できるようにしましょう。
ではA案とB案のどちらが優秀だったのか考えていきましょう。
A案のページを見た人500人をA案グループ、B案のページを見た人500人をB案グループとしてデータ分析をします。
今回の案件は、「もっとたくさんの人に購入してもらいたい！」が目的ですのでまずは購入率を比較してみましょう。
-購入率
A案グループは500人中100人が商品を購入しました。
購入率は100÷500×100=20% となります。
B案グループは500人中125人が商品を購入しました。
購入率は125÷500×100=25% となります。
A案とB案の購入率を見てみるとB案の方が改善されていますね！
B案の方が優秀ですのでB案を採用しましょう、、、本当にそれで良いのでしょうか？
たまたまB案に買ってくれる人が集まっただけなのでは？？？
ここで統計の出番です。
本当にB案で購入率が改善されているか統計的検定にて確かめることができます。
統計的検定とは
「統計的検定」ってなんか難しそう、、、確かに統計学の教科書を見てみると難しいことが書いてあります(笑)
ここでは初心者UXディレクター向けに検定の仕組みと目的について説明します。
統計的検定ってどんな仕組みなの？
統計学では全体から抜き出した一部のデータから全体の平均値がどれくらいの値なのか予想をします。
全体の平均値が分からない2つのサンプルの全体の平均値をそれぞれ予想して比べることで2つの平均値に差があるか確かめるというのが仕組みになります。
下図の「学校Aの方が平均点が高い可能性が高い」という結果を統計学では
「信頼区間95%で学校Aの平均点の方が有意に高い」や「信頼区間95%で有意差がある」と表現します。
「可能性が高い」を「信頼区間95%」のように数値で表現します。
「95％の確率で学校Aの方が平均点が高い」という意味になります。
検定をする目的
検定にもいくつか種類があり、さまざまなことを調べることができます。
- 1つのサンプル群(A案)の平均値が特定の値であることは妥当であるか
- 2つのサンプル群(A案、B案)の平均値に差があるのだろうか
- 2つのサンプル群の比率に差があるのかだろうか など
今回の案件でいえば
「A案の購入率」と「B案の購入率」に差があるのかを確かめることが目的となります。
どの検定を使用すればいいの？
「A案の購入率」と「B案の購入率」に差があるのかを確かめるためには
母比率の差の検定を使用します。
参考：
「A案の平均単価」と「B案の平均単価」に差があるのか
母平均値の差の検定を使用します。
参考：
他にもたくさんの検定がありますのでぜひ統計を勉強してみてください。
データ分析の幅が広がると思います。
まとめ
ABテスト
ABテストとは、バナーや広告文、Webサイトなどを最適化するために実施するテストの一つです。
実施内容は、
①まずはWebサイトのの課題を見つける
②どうしたら課題を解決できるか仮説を立てる
③仮説の検証をする
④検証結果を考察する
①〜④を繰り返していくことでバナーや広告文、Webサイトより磨き込みます。
統計・検定・有意差
一部のデータから全体像を予測することで、仮説の検証を行います。
検定を行うことで「95%以上の確率でB案の方が優れているよ」といった根拠を出すことができます。
統計の勉強をすることでデータ分析、案件提案の幅を広げることができるでしょう。
参考