Web高速化は「利益」に繋がるのか？階層ベイズによるROIの不確実性を可視化した意思決定モデル

Last updated at 2025-12-31Posted at 2025-12-30

はじめに

Webサイトの高速化（LCP改善など）に取り組む際、エンジニアリング側の指標が改善しても「それで結局、売上はいくら増えるのか？」という問いに答えるのは容易ではありません。

平均値の改善だけで判断すると、特定のページでの改悪リスクを見逃し、結果としてビジネス全体にマイナスの影響を与えてしまう可能性があります。本記事では、PyMC v5を用いた階層ベイズモデルを活用し、統計的な不確実性とビジネス感度を統合した「意思決定の枠組み」をご紹介します。

本記事の分析は、以下の環境で実施しています。再現性を重視し、モダンなツールセットを採用しています。

Webサイトの表示速度改善は、ユーザー体験を向上させる重要な施策です。しかし、以下の点に注意が必要です。

私たちは、単なる「速くなった」という報告ではなく、「いくら儲かる確率が何％か」というビジネス価値で語る必要があると考えています。

本手法では、以下の3段階の基準を用いて施策のリリース可否を判定することを提案しています。

HDI (統計的実証):
- 【概念】統計的に見て、改善効果がどの程度の範囲に収まるかを確率的に示したものです。
- 【解釈】「94%の確率で、効果はこの範囲に収まります」という自信のほどを表します。
ROPE (実質的等価性):
- 【概念】実務上「無視できる程度の差」を定義し、それを超えているかを判断します。
- 【解釈】「わずかな変化は『変わっていない』と同じ」と見なす、現実的な線引きです。
ROI (経済的評価):
- 速度変化、ページビュー、売上感度、客単価を統合し、最終的な利益分布を算出します。

今回は、ページごとの特性を考慮しつつ、サイト全体の傾向も学習できる階層ベイズモデルを採用しました。

これにより、アクセスの少ないページでも、サイト全体のデータを「情報の共有」として活用することで、より安定した推定が可能になります。実装には Python の確率的プログラミングライブラリである PyMC v5 を使用しています。

シミュレーションの結果、興味深い事実が判明しました。

一見すると「GOサイン」を出したくなる結果ですが、ページ別の内訳を確認すると、決済ページ（Checkout）において 77.4% の確率で損失が発生していることが分かりました。

構築した確率モデルの構造

施策前後の分布比較

HDI と ROPE

分析結果に基づき、私たちは単なる「リリース」ではなく、**「条件付きリリース」**を提案させていただきます。

このように、データの不確実性を可視化することで、経営者に対して「リスクを回避しつつ利益を最大化する」具体的な根拠を提示することが可能になります。

データ分析の目的は、綺麗なグラフを作ることではなく、ビジネスにおいてより良い意思決定を行うための助けとなることです。今回の階層ベイズを用いたアプローチが、皆様の現場での意思決定の一助となれば幸いです。