A/Bテストの効果は常に一定か
- 施策を出したタイミングでクリックされることは当たり前
- リリース後にコンバージョンが高いものは、ある程度落ち着くまでA/Bテストはできない
対象を選ぶときに影響を受けるものはあるか
- 対象を比べるときに特定の少数のデータが大きく結果を狂わす
- 特定のイレギュラーなデータを抜いて比較する必要がある
- [極端な例で考える1]
- 応募数が1万で、応募数がAとBどちらが多いかを検証したい
- 一人が1000応募していたとしたら、その一人を選ぶだけで、4500と5500で20%近い差が
生まれる
- [極端な例で考える2]
- 応募数が1万で、応募数がAとBどちらが多いかを検証したい
- 50応募している人が100人いるとすると、
=> もちろん、応募数だけでなく、応募ユーザ数でも比較すれば上のケースはうまく防げる
A/Bテスト関連の記事の振り返り
- A/Bテストで伝えたいのは、prop.test
- 検証方法を学ぶこととだけでなく、実際に今この施策をするべきかのあたりをつけることにも利用する
- 基本的には1週間で判断できるものを実施する！判断できないものは判断できないものとして施策を回す
- 1つの施策に1ヶ月検証して、1%しか上がらないなら、その施策をしても目標達成できないし、そもそも検証できないことも多い
関連
- 偶然とはなにか。コインを投げてみよう http://qiita.com/reikubonaga/items/12329122772d8161439d
- p値とはなにか http://qiita.com/reikubonaga/items/c4684fcea0810441a955
- A/Bテストは完全ではない http://qiita.com/reikubonaga/items/6f12543aa2478a6ac3b4
- 乱数(モンテカルロ法)を使って確率を計算しよう http://qiita.com/reikubonaga/items/28ee2c2c8074b98b0b04