ビジネスの現場では、「この施策を実施すれば売上が増えるのではないか」あるいは「このような改善をすれば顧客満足度が向上するのではないか」といった議論がよくされます。
データ活用が進んでいるシリコンバレーの企業や日本の一部のテック企業は、このような仮説に対して、「A/Bテスト」行うことで仮説を検証して、得られた結果をもとにビジネスを継続的に改善しています。
しかし、多くの一般的な企業にとってA/Bテストの実施は現実的ではありません。というのも、現実世界に2つの同じような環境を作り、顧客をランダムに振り分けることができないからです。
そんなときに使えるのが「XmRチャート」ですが、今回は「XmRチャート」を使った仮説の効果検証方法を紹介します。
A/Bテストとは
A/Bテストとは、2つのパターン（AとB）を用意し、どちらが効果的かを統計的に検証する手法です。
例えば、ECサイトのデザインを改善する場合、現行のデザイン（A）と新しいデザイン（B）を用意し、ユーザーをランダムに2つのグループに分けて、それぞれのデザインを表示します。
その後、購入率や滞在時間など、注目している指標を比較することで、どちらのデザインが効果的かを判断します。
このときA/Bテストでは、仮説検定という手法を駆使して「統計的な有意性」をもって施策の効果を判断することになるため、得られた結果が偶然によるものではなく、施策の効果によるものだと判断することができます。
このように、A/Bテストは非常に強力な検証手法ですが、その実施には厳密な条件が必要となります。
A/Bテストの問題
A/Bテストの最も重要な前提条件は、対象となるユーザーを同じ条件のもとで無作為（ランダム）に2つのグループに分けられることです。
例えば、ある会社がA/Bテストを実施して、既存顧客リストをランダムに2分割して、それぞれ異なるプロモーションを実施したとしても、実際に蓋を開けてみると、片方のグループは20代が多かったということが起こりえます。
このように年齢層の偏りがあると、プロモーションの効果の違いが、施策自体の効果なのか、それとも年齢層の違いによるものなのか判断できなくなってしまうため、実施しているプロモーションだけが違うという状況を作り出す必要があると言えます。
しかし、現実のビジネス環境ではこの条件を満たすことが難しい場合があります。
例えば、あるスーパーで売上を増やすために新しい商品陳列方法を試してみたいとします。A/Bテストを実施するためには、来店するお客様を「新しい陳列方法の店舗」と「従来の陳列方法の店舗」にランダムに振り分ける必要があります。
しかし、お客様に特定の店舗での買い物を強制することは現実的ではありません。
このようにA/Bテストは理論上は優れた検証方法ですが、完全なランダム化が求められるという特性上、実務において理想的な形で実施することに多くの課題を伴います。
そこで、A/Bテストの代わりに使えるのがXmRチャートなのです。
XmRチャート
XmRチャートは、品質管理の世界的権威であるウォルター・シューハート氏が開発し、統計の大家であるデミング氏やドナルド・ウィーラー氏が広めた管理図の一種です。
日々の指標の変動の中から、注目している指標の値が、「いつもの範囲内のバラツキ（ノイズ）」なのか、それとも「本当に注目すべき変化（シグナル）」なのかを見分けることを可能にするチャートです。
例えば、どのようなビジネスの指標も、上下に変動する（ばらつく）ことになりますが、「これまでのビジネスの前提やプロセスが変わらなかった場合、大抵の場合はその範囲に収まる」という、いつもの範囲を可視化できれば、その区間の外に値がきていた場合、ビジネスに変化が生じているものとして捉えられます。
XmRチャートは、このように時系列のデータにいくつかの重要な線を加えて、注目している指標の値が「いつもの範囲内のバラツキ（ノイズ）」なのか、それとも「本当に注目すべき変化（シグナル）」なのかを教えてくれます。
実際のXmRチャートでは、以下の5つの線を引いて、その線をもとにノイズとシグナルを見分けていくことになります。
- データの平均
- 上側と下側の「管理限界」（通常の変動の上限と下限を示す）
- データの平均と管理限界の間にある2本の「中央線」
なお、管理限界の線は、ビジネスの前提やプロセスが変わらなかった場合、おおよそ99.7%は、その範囲の中に収まるであろう範囲を表しており、注目している指標の3σ（標準偏差）に相当します。
ここからは実施のXmRチャートを使って、シグナルとノイズを見分けるための3つのルールを紹介します。
ルール1: 値が管理限界の外にある
例えば、上側あるいは下側の管理限界を超えた場合、約99.7%は収まるであろう範囲の外側にあることを意味しており、シグナルが出ていると捉えられます。
ルール2: 連続した4つの値のうち3つが平均よりも上限（または下限）に近いとき
連続する4つのデータのうち、3つが上側の中央線より上にある場合、あるいは、下側の中央線よりも下にある場合、シグナルとして判断することが可能です。
ルール3: 値が平均の上側（または下側）に連続して8つの値が並んだとき
8週連続で平均を上回っている、あるいは下回っているような場合にも、シグナルと判断できます。
このXmRチャートを使ったシグナルの発見方法を踏まえ、ここからは「XmRチャートを使った仮説の効果検証」の方法について紹介します。
XmRチャートを使った仮説の効果検証方法
XmRチャートを使った仮説の効果検証は、「施策の実施前の通常のバラツキの範囲を把握」し、「施策後にその範囲を超えるような変化（シグナル）が起きているか」を確認するというアプローチで進めていきます。
先ほどのスーパーマーケットの例で、具体的な手順を説明していきましょう。
まず、新しい商品陳列方法を導入する前の期間（2024年3月以前）を「基準期間」として設定し、この期間のデータから平均や管理限界の線などの5本の線を引いたXmRチャートを作成していきます。
仮に、2024年3月より後に新しい商品陳列方法を導入した場合、その後のデータをXmRチャートに表示していきます。
そして、先ほど説明した3つのルールに該当するシグナルが出ているかを観察していきます。
例えば今回のケースでは、施策実施後の、2024年4月には基準期間を基にした管理限界の上限を超えていることから、ルール1により、シグナルが出ていると判断できます。
さらに、連続する4点のうち、3つ以上が中央よりも上限に近いことから、ルール2により、施策実行後にシグナルが出ていることが確認できます。
このようにシグナルｗ確認できれば、少なくとも注目している売上という指標において、統計的に意味のある変化が、施策実施前のと比較して起きていると判断できます。
一方で、新しい陳列方法を導入した後も、売上が管理限界の中でいつも通りのバラツキを続けているのであれば、施策の効果は確認できなかったと判断できるわけです。
ただし、ここで重要な注意点があります。仮にシグナルが確認できたとしても、それが本当に新しい陳列方法の効果なのか、それとも他の要因の影響なのかを断定することは容易ではないということです。
例えば、季節要因（気温の変化、イベントなど）や競合環境の変化（近隣店舗の閉店など）、自分達が認識していないその他の施策の影響（価格改定、プロモーションなど）といった要因が、シグナル発生の原因となっている可能性があるためです。
そこで、より確実に効果を検証したい場合には、シグナルを確認した後に陳列方法を元に戻してみることで、仮説に対する検証結果の確からしさを高めることが可能です。
なぜなら、もし本当に新しい陳列方法に効果があったのであれば、施策導入後にシグナルが発生し、元の方法に戻すと売上も基準期間のバラツキの範囲に戻ることが想定されるからです。
このように、XmRチャートは完全なランダム化が難しい環境においても、ある程度科学的な方法で仮説を検証する手段を提供してくれます。
もちろん、A/Bテストのように完璧な比較はできませんが、ユーザーを2群にランダムに分けることが難しい場合や、比較対象となる同じような環境を用意できない場合、あるいは素早く効果検証を行いたい場合や継続的な改善活動を行いたい場合など、様々なビジネス環境においてデータに基づいた意思決定を支援する有効なツールとなります。
重要なのは、A/Bテストの実行が難しい環境においても、このように仮説を検証するためのアプローチが存在するということで、完璧な検証方法はなくとも、データに基づいた意思決定を行うための選択肢が存在するということです。
自分のデータで試してみたい！
今回は、A/Bテストの実施が難しいときの代案としてXmRチャートで施策の効果を検証する方法を紹介しました。
XmRチャートを作成するためには、チャート上に表示するべき複数の情報をあらかじめ計算し、それらの情報をチャート上に表示させることが求められるため、いざ自分の手で作成し、継続的に運用しようとすると手間がかかります。
そこで、データの加工、可視化、分析、レポーティングのためのUIツールのExploratoryを利用することで、数クリックでXmRチャートを作成することが可能です。
なお、XmRのチャートの作成も体験いただけますので、是非お試しください！
データサイエンスを体系的に学びたい！
データを使って、実際のビジネスを改善していくためには今回紹介したようなXmRチャートを駆使するだけでなく、XmRチャートを有効活用するための「科学的思考法」が欠かせません。
そこで、そういった考え方や、ビジネスですぐに使える分析手法を基礎から体系的に学びたいという方向けに、データサイエンス・ブートキャンプ・トレーニングを3月に開催しますので、興味のある方はぜひご参加をご検討いただければと思います。