実際の通販サイトにおいて一部のユーザーの体験を わざと遅くする 禁断のA/Bテストを実施した。遅い体験を強いられたユーザーの行動にどんな違いが現れたか、衝撃的な結果を報告する。
この記事は 通販サイトのスピードを遅くする悪魔のA/Bテスト - CVRに19倍の差 からの転載です。
衝撃のA/Bテストを実施
今回はサイトスピードの指標として、Core Web Vitalsにも含まれる LCP（Largest Contentful Paint） を題材に扱う。
約30%のユーザーに対して LCPが1.5秒より早い体験ができないようにする 特別な措置を施した。
- グループA（約30%）: LCPが1.5秒より早くならないよう調整
- グループB（約70%）: それ以外のユーザー（自然なスピード体験）
この2つのグループでユーザーの行動にどんな違いが現れるかを測定した。
対象サイトについて
今回の実験対象は、以下のような中堅規模の通販サイトである。
- 業種: 服飾系ECサイト
- 月間売上: 約3,000万円
- 十分なサンプル数 を確保できる規模
CVR（成約率）に19倍の差
まずはコンバージョンレートの比較結果だ。
| グループ | 条件 | CVR |
|---|---|---|
| グループA（約30%） | LCPが1.5秒より早くならないよう調整 | 0.04% |
| グループB（約70%） | 自然なスピード体験 | 0.67% |
約19倍の差 が生じた。
GoogleはLCP 2.5秒までを「良い」体験と規定しているが、実際には 1.5秒という境目を設けるだけで、これほどの差が出る。
LCP 2.5秒は決して「良い」とは言えない。ユーザーは本当に爆速な体験を求めており、 少しでも遅いと感じるとすぐに離脱する特性 を持っている。
再訪問率にも約4.5倍の差
次に、再訪問率の比較をご覧いただこう。
ここでいう 再訪問率 とは、ひとりのユーザーが複数の日にちをまたいでサイトを訪れたかどうかの比率である。
| グループ | 条件 | 再訪問率 |
|---|---|---|
| グループA（約30%） | LCPが1.5秒より早くならないよう調整 | 7.52% |
| グループB（約70%） | 自然なスピード体験 | 34.34% |
再訪問のされやすさにも約4.5倍の差が生じた。
この結果が意味すること
短期的な収益への影響
サイトスピードはCVR、つまり通販サイトに訪れたユーザーが購入してくれるかどうかの成約率に対して、 非常に大きな影響 を与えている。
今回のA/Bテストでは、サイトスピード以外の要素は一切調整していない。グループAとグループBはほぼ無作為に分けられたと見て良い。純粋にスピードの違いだけで、これだけの差が生じたことになる。
長期的なLTVへの影響
通販サイトに限らず、多くのサイトはファンを獲得してLTV（顧客生涯価値）を最大化することが現代的な基本戦略となっている。
しかし、サイトスピードが遅い体験を強いてしまうと、 再訪問してくれる可能性が80%近く低下 してしまう。
これは裏を返すと、
- ファンになりにくい
- せっかくファンになっても離脱しやすい
という長期的なダメージを意味している。
種明かし：実は誰も遅くしていない
ここまで読んで、ユーザーの体験をわざと遅くするとは何事かと怒りを覚えた読者もいるかもしれない。
しかし安心してほしい。 実際にそんなことはしていない。
今回のデータと結果はA/Bテストとして間違いないが、「一部のユーザーの体験をわざと遅くした」というのは 方便 だ。
ユーザーの体験スピードは自然にバラつく
サイトスピード、ページスピードは、閲覧者によってかなり大きく左右される。以下は同じトップページのLCPをページビューごとに集計した分布（ヒストグラム）だ。
このように、同じページであってもユーザーによって体験スピードは大きなばらつきを持つ。0.75秒〜1秒あたりがボリュームゾーンだが、 遅い体験をしているユーザーもかなり幅広く存在 している。
LCPに限らず、サイトスピードに関する時間の指標は 対数正規分布 に従うとされており、一定のボリュームゾーンはあるものの、遅い方向には長いテールが伸びている。
理論値と多少の誤差はあるが、大まかな特徴は一致している。サイトスピードのばらつきは数学モデルを適用できる、ありふれた現象なのだ。
なぜこのようなばらつきが起きるのか
Webページの表示は一見シンプルだが、ひも解いてみると技術的にかなり多くの要素が複雑に絡み合った処理を行っている。
たとえば通信も瞬間的に行われるように見えて、一般的に10〜20台程度の通信機器を経由してサーバーから端末にデータが送信されている。このように複雑な要素の一つ一つに確率的なスピードの揺れがあり、それが積み重なることで、遅い方向に広がる対数正規分布上のばらつきが生じる。
インターネット通信は目に見えない抽象的な技術のようだが、実際は物理現象をベースに成り立っている。確率的なスピードの揺れは、避けられない制約なのだ。
自然なばらつきでグループ分けした
つまり、同じページを見るという体験においても、
- ユーザーによって
- 同じユーザーでもタイミングによって
表示スピードには 実際にかなりのばらつきが生じる。
今回「A/Bテスト」と便宜的に呼んだが、実際には 自然に発生したユーザーの体験スピードに応じて、ユーザーを2つのグループに分けた だけだ。
- グループA: LCPが1.5秒より早い体験ができなかったユーザー
- グループB: LCPが1.5秒より早い体験もできたユーザー
このように分けて、それぞれのCVRや再訪問率を比較したのが今回の「A/Bテスト」の正体である。
このように、研究者が意図的に条件を操作するのではなく、自然に発生した条件の違いを利用して因果関係を推定する手法を 自然実験 と呼ぶ。今回のケースでは、ユーザーの体験スピードの違いは自然に発生したものであり、それを利用してサイトスピードとユーザー行動の関係を分析している。自然実験であろうがA/Bテストであろうが、因果関係や相関関係を分析する上では同等に有効である。
LCPとCVRの関係をより細かく見る
ここで、LCPとCVRの関係をより詳しく見てみよう。
今回のA/Bテストで採用した「LCPが1.5秒より早い体験ができないようにする」という条件は、言い換えると ユーザーの最小LCPが1.5秒以上か、それ未満か を基準にグループ分けしたということになる。
「最小LCP」とは、ユーザーが体験した中で 最も早かったLCPの値 だ。グループAのユーザーは、どんなに早くてもLCP 1.5秒より早い体験ができなかった——いわばLCPに遅くなる「呪い」をかけられたようなものだ。
最小LCPを用いる理由は以下の記事で詳しく解説している。
では、この最小LCPの数値によってCVRがどう異なるか確認しよう。
最小LCPの値が良いほどCVRが高く、最小LCPの値が悪化するほどCVRも低下する——明らかに強い相関性が見られる。
なお、グラフの一番右の階級が急に大きく伸びているのは、4.5秒以上のユーザーをここにまとめたためだ。先ほど見たように、LCPの分布は基本的にロングテールを描き、右方向に延々と続く。それをすべて記述するとグラフの特徴が見えにくくなるので、4.5秒以上のグループはひとつの階級にまとめている。
今回ご覧いただいたA/Bテストは、この細かいLCPとCVRの関係を、1.5秒を境目として2つのグループに分け、CVRと再訪問率を比較したものであった。
まとめ
自然なばらつきで影響を測定できる
サイトスピードが遅いことによってユーザーの行動にどのような違いが現れるかを確認するために、 作為的なA/Bテストを行う必要はない。
ユーザーの体験スピードには自然にばらつきが生じる。その 自然に発生した体験スピードの違いでユーザーをグループ分け し、それぞれの結果を比較することで、サイトスピードがユーザーに与える影響を計測できる。
今回の実験で明らかになったこと
- サイトスピードはユーザーの行動に明らかに影響を与える
- CVRには19倍の差 が現れた
- 再訪問率には約4.5倍の差 が現れた
短期的にも長期的にも重要
サイトスピードは短期的なCVR（収益）に影響を与えるだけでなく、 再訪問率 という長期的な指標にも大きく影響する。
- ユーザーのファン化のしやすさ
- せっかくファンになったユーザーの離脱のしやすさ
これらに対しても、サイトスピードは決定的な要因となっている。
サイトスピードが重要だということは、すでに一般的な常識となっている。しかしこの疑似的なA/Bテストから、その事実を改めて確認いただけると幸いである。