ABテストのススメ

こんなことありませんか

「ユーザはこんな機能が欲しいはず」

こんな機能があれば、ユーザは喜ぶ？

• 頑張って作った
• けど使われなかった

何が問題なんだろう

「デザインリニューアル」

流行りのデザインにしよう！

• 半年かけて作った
• けどよいフィードバックは得られなかった

どこが問題なんだろう

ABテストからはじめよう

ABテストとは

ある特定の期間にページの一部分を2パターン用意して、どちらがより効果の高い成果を出せるのかを検証すること
https://liskul.com/what-is-ab-test-17813

ある目標に対して、
どんな手段をとることが、目標に対する貢献度が高いかを検証する

どうやるのか

例

Webサイトからのイベントの申し込みを増やしたい

仮説によって導かれたA/Bパターンを用意する

• 青背景のページでは、青ボタンは視認性が悪い
• 青っぽい背景のページで「申し込む」ボタンは、赤の方が良いのでは？

目標を立てる

目標と言っても、ここでいう目標は何を比較するのか
「申し込むボタンが押された数」

計測する

ユーザによって「申し込む」ボタンの色を変えて計測ログを保管する

申し込むボタンをみた人、申し込むボタンが押された数を赤パターン・青パターンで保持

結果が出る

どちらのケースで優位性があるか統計的に導き出き、結果を出す
それが事実となる

そして、事実から新たな仮説が生まれる

簡単にはじめられる

ABテストを行えるツール

• Ruby on Railsでやるなら
  • split
    • controller側の処理も分岐したりできるので、かなり高度な検証が可能
• その他簡易的にやるなら
  • Googleオプティマイズ
    • デプロイ不要なのでやりやすい

ABテストを助けるツール

• Googleアナリティクス
  • ユーザーエクスプローラー等を用いた、1ユーザを軸にした行動分析
• Hotjar
  • ユーザの行動を撮影して確認したり、ヒートマップでユーザ行動の分布分析
• アプリケーションのログ
  • なんだかんだでいざという時役に立つ

ABテストを通して得た学び

• 定量化が行え、数値で語れるようになった
  • 明確な事実が生まれる
    • やればやるほど新たな仮説が生まれる
      • 突き詰めると、大きな改善につながる
• 小さくはじめたほうが良さげ
  • 大きく始めると、何が起因したのかわからない
• ABテストの結果が本当に正しいのか疑って調べることの必要性
  • 当初の仮説と全く違った問題の発見や気づきがある

最後に

ABテストを通した仮説検証で、よりよいサービスを作りましょう