Edited at

A/Bテストは完全ではない

More than 3 years have passed since last update.


A/Bテストの効果は常に一定か

スクリーンショット 2016-03-14 21.40.52.png


  • 施策を出したタイミングでクリックされることは当たり前

  • リリース後にコンバージョンが高いものは、ある程度落ち着くまでA/Bテストはできない


対象を選ぶときに影響を受けるものはあるか


  • 対象を比べるときに特定の少数のデータが大きく結果を狂わす

  • 特定のイレギュラーなデータを抜いて比較する必要がある

  • [極端な例で考える1]


    • 応募数が1万で、応募数がAとBどちらが多いかを検証したい

    • 一人が1000応募していたとしたら、その一人を選ぶだけで、4500と5500で20%近い差が
      生まれる



  • [極端な例で考える2]


    • 応募数が1万で、応募数がAとBどちらが多いかを検証したい

    • 50応募している人が100人いるとすると、



=> もちろん、応募数だけでなく、応募ユーザ数でも比較すれば上のケースはうまく防げる


A/Bテスト関連の記事の振り返り


  • A/Bテストで伝えたいのは、prop.test

  • 検証方法を学ぶこととだけでなく、実際に今この施策をするべきかのあたりをつけることにも利用する

  • 基本的には1週間で判断できるものを実施する!判断できないものは判断できないものとして施策を回す

  • 1つの施策に1ヶ月検証して、1%しか上がらないなら、その施策をしても目標達成できないし、そもそも検証できないことも多い


関連