＊これは技術記事ではなく質問です。
今かかわっているところのABテストが今まで自分が経験しなかったようなものでして…
自分のイメージするものが間違っているのかどうか確認できればという次第です。
Q1
自分が今までの経験からイメージするABテストはこんな感じです↓
例）
購入ボタンの色違い、文言違い
バナークリエイティブのコピー違い、画像違い等
基本的に条件は変えずに、試したい項目（色やコピー、位置）だけをパターンごとに変えてテストするものだと認識しています。
色やコピーを変えるような一部の変更ではなく、
全く別の役割を比較するのはテストの意義として適切なのでしょうか。
例えば、レコメンドのパーツと検索条件などのページへ遷移するためのパーツを比較したり、それぞれ設置する位置も違っていたり…
色×コピーなどの多変量解析ならまだあれですが、別の概念のものを比較するのって…
また
Q2
どのレーンが勝ったか負けたかを決定する指標は基本的にはその行動の直後の指標だと思っています。
例えば、
バナーA/Bのテストなら基本的にはクリックなのでCTR
メールのタイトルのテストなら開封率
というように
しかし
例えば
トップページ→商品一覧ページ→商品の詳細ページ「購入ボタン」→購入確認ページ→購入完了という流れがあったときに
購入という行動から遠いところにあるページやそこにある要素についてテストする場合にも購入という指標で判断してよいのかということが疑問に感じています。
具体的には、商品一覧ページにある各商品の商品名や画像や説明文、詳細ページへのボタンがあったとします。
この商品画像を左揃えにする VS 右揃えにするといったテストや
詳細ページへのボタンの色を変更するテストを行った場合
テストレーンの結果を比較するには 「どれくらい商品詳細ページへ誘導できたか」＝「商品詳細への遷移率」だと思うのですが…
これをさらにもっと先の「購入」をテスト結果を決める指標として良いのものなのでしょうか。
購入に至るまでには様々なページを経ると思うので、テスト箇所以外の要素も色々あると思うので、「購入」に至った直接的な要因として断定してよいのか疑問に思っています。
もし「購入」をテスト結果を決める指標とするなら、より購入に近い「購入する」ボタンや購入確認ページの「注文確定する」ボタンなどのほうがふさわしいのではないかと思っています。
ちなみにツールはAdobe Targetです。
自分の勉強不足も多々あるとは思いますが…
アドバイスいただけたら幸いです。