ABテストの効果についてみんなどこまで知ってる？
エンジニアはABテストの案件の実装とかすることあると思うんですけど、エンジニア目線だとABテストについてほとんど知らないと思うんです。僕はABテストをかれこれ長いことディレクターとしてやっているんですが、エンジニアも作り手としてABテストの効果がどれだけ信じられるのか？について知ってもいいんじゃないかということで書いてみました。
ABテストの効果の継続性と諸問題
そもそもABテストについてちょっとだけ解説しつつ、今回考えていきたいABテストの効果の継続性と諸問題について考えてみたいと思います。
ABテストの効果の測り方
ABテストの効果の測り方は、基本的にどの企業もどの担当者も統計的有意差を持って判断していると思います。許容できるリスクつまり判断の過誤が起きる確率をどこまでにするかとかが主なポイントです。
大体はユーザ数が試行回数となり、何らかの指標多くはCVRとかCTRにパターン間の差があるかどうかを統計的に検証しますよね。
ABテストやっていれば気付くんですけど、優位差99%とかはかなり期待できる確かな差ではあるんですけど、もっと低い有意差例えば９０％とかだと10回に1回は間違っているわけです。まずこれが大前提になります。
時系列で変わる外部前提があるともはやABテストの結果は信じ難い
で僕がここで考えたいのは、時系列で変わる外部前提があるともはや検証した時の結果は信じられないってことです。例えば、ABテストしていた時は商品数が多かった→なのでとある案件はうまくいった。
しかし、時間が経つにつれて商品数が何らかの理由で減ったりあるいは質が悪くなった場合に、そのABテストの良い結果が出る前提として良い商品があることだったとしましょう。
そうなるともう前提が違うのでABテストの効果も変わってきますよね。これはwebサービスであれば往往にして起こることなので、ABテストの効果はほとんど信じられないんじゃないか？と思うわけです。
じゃあABテストどうしたらいいの？
じゃあABテストどうしたらいいの？これは結論わかりません。というかこれがわかったら相当な革新です。
多くのABテストの事例では、こんなことをしてCVR１.５倍だ！ドヤァ！みたいな事例が乗っていますが、全部が全部永続してその効果が出ているわけではない、こういうことを知っておいたほうがいいのではないかと思います。
それは予算の投資の仕方だったり、深く考えることの大事さに気づきます。個人的にはもうABテストは長くやるしかないかなと思っており長ければ長いほうがいいでしょう。長期間モニタリングしてもなおよければそれは永続して効果を期待できるABテストなんじゃないでしょうか？
エンジニアの皆さんもディレクターの皆さんもですね、統計を過信してもよくないですし、過信しなすぎもよくないです。うまく使いましょう。
僕は、weblife-forjobというweb系やIT系の仕事についてブログを書いており気が向いたら読んでもらえると嬉しいです。今回はこちらで以上です。