この記事は
ABテストで小さい変更を繰り返すだけでは極大値にしかたどり着かないのでは？ と思ったので調査、まとめ
参考文献
How to Get Over Local Maximum? Everyone Hits It Eventually
Radical Redesign or Incremental Change?
まとめ
🚶原則小さい変更を繰り返し実施すること
小さいテストを繰り返すメリット
- 結果が見えやすい
- 複利で大きな結果が期待できる
- ユーザを混乱させるリスクが低い
- 開発者にアジャイルな文化が根付く
🏃大きな変更を実施するタイミングは？
- 小さな変更による改善が見られなくなってきている、極大値にはまっている場合
- システムが古すぎる場合（スマートフォン非対応など）
- サイトの統一感がすっかり無くなってしまっている場合
- サイト全体のCVRが低すぎて、もはや小さな変更ではどうにもならない場合
- 競合他社よりはるかに劣っている場合
🤔そもそも「大きな変更」とは何か？
- ページ全体の再設計
- 事業・コンセプトの変更
- フロー内の横断的な変更（ステップ数を減らすなど）
これらを含まないものが「小さな変更」。
❗大きな変更を入れる上での注意
ユーザの動向を理解しておくこと
- 日々の監視によるユーザ理解
- 小さな変更によるABテストからのユーザ理解
必ずABテストを実施すること
- 大胆な変更で顧客を大量に失った例 http://readwrite.com/2010/09/23/digg_redesign_tanks_traffic_down_26
科学的な方法論と直感的な感覚の両方が必要
- 科学志向のテスト方法論を知っておくこと
- しかし全てを計算して作れるわけではなくやはり直感的感覚も求められる
「隣の芝は青い」との戦い
- モダンにすればKPIが向上するとは限らない
- 「何年も更新していない」「古くて素人っぽい」という理由だけで大胆なリデザインをするのは危険
ユーザに学習コストが発生する
- ユーザーを新しいインターフェースに切り替えるコストが発生する
- もし戻すことがあれば再度学習コストが発生する