Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
10
Help us understand the problem. What is going on with this article?
@reikubonaga

A/Bテストは完全ではない

More than 5 years have passed since last update.

A/Bテストの効果は常に一定か

スクリーンショット 2016-03-14 21.40.52.png

  • 施策を出したタイミングでクリックされることは当たり前
  • リリース後にコンバージョンが高いものは、ある程度落ち着くまでA/Bテストはできない

対象を選ぶときに影響を受けるものはあるか

  • 対象を比べるときに特定の少数のデータが大きく結果を狂わす
  • 特定のイレギュラーなデータを抜いて比較する必要がある
  • [極端な例で考える1]
    • 応募数が1万で、応募数がAとBどちらが多いかを検証したい
    • 一人が1000応募していたとしたら、その一人を選ぶだけで、4500と5500で20%近い差が 生まれる
  • [極端な例で考える2]
    • 応募数が1万で、応募数がAとBどちらが多いかを検証したい
    • 50応募している人が100人いるとすると、

=> もちろん、応募数だけでなく、応募ユーザ数でも比較すれば上のケースはうまく防げる

A/Bテスト関連の記事の振り返り

  • A/Bテストで伝えたいのは、prop.test
  • 検証方法を学ぶこととだけでなく、実際に今この施策をするべきかのあたりをつけることにも利用する
  • 基本的には1週間で判断できるものを実施する!判断できないものは判断できないものとして施策を回す
  • 1つの施策に1ヶ月検証して、1%しか上がらないなら、その施策をしても目標達成できないし、そもそも検証できないことも多い

関連

10
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
reikubonaga
MC DigitalのCTO。Ex-Wantedly Visitの開発チームのリーダ。 チームのメンバーやインターンに伝えたいことをついでにqiitaにも書いていこうと思っています。 MC Digitalはエンジニア絶賛募集中です!
wantedly
「シゴトでココロオドル」ためのビジネスSNS「Wantedly」の開発・運営をしています。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
10
Help us understand the problem. What is going on with this article?