はじめに
ちゃんと書くとものすごく長くなるので、要点絞りまくって書いてます。
ABテストのやり方
1. アプリ起動毎のなにかしらのイベント(GoogleAnalyticsで計測している)のCVRが高いものを選ぶ
この場合は、GoogleAnalyticsのウェブテストを使います。Webですがアプリでもちゃんと使えます。
詳細はこちらを参考で<(_ _)>
iOSアプリで、Google AnalyticsのABテスト機能を使う その1
iOSアプリで、Google AnalyticsのABテスト機能を使う その2
※ その2のいまいちな点に書かれているテストの指標ですが、GoogleAnalyticsで目標を設定するとその目標もここに表示されるので、それを使いましょう。（最初からある指標はまず使うことないと思います。
2. ABテストの目的がGoogleAnalyticsの目標に設定できないものの場合
複数の値で検証したい場合だったり、継続率の差を見たい場合とかは、GoogleAnalyticsの目標に設定することができないので、A or B に対応したセグメントをGoogleAnalyticsで作り、それを使って分析します。（※ 1.の場合は自動で結果を出してくれますが、こっちは自分でちゃんと検定なりをしないとだめです。）
まず、A or Bの振り分けですが、これはご自由に。（後述あり
次に、セグメントの作り方ですが、これにはカスタムディメンションを使います。
カスタムディメンションの設定の仕方はこちら
TagManagerから使う場合はこちら
（A, Bそれぞれで別のイベントを飛ばして、それを基にセグメントを作ることもできますが、テストの度にイベントが増えていくのはあまりよろしくないと思うので、カスタムディメンションをお勧めします。
カスタムディメンションを設定して、アプリからA or Bを設定したら、セグメントを作るだけです。
新規セグメント作成画面を開き、左のカラムから"条件"を選択、デフォルトで"Flashのバージョン"となっている所から設定したカスタムディメンションを選びます。
あとはこんな感じで設定すると、GA上のいろんなデータでABの比較ができるようになります。
TagManagerを使うかどうか
まず、1.のウェブテストを使用する場合は必須です。
2.の場合は、
クライアント側でABを振り分ける or ウェブテストを使う(目標に差が出ないものを設定してテストが勝手に終わらないようにしておく)
のどちらかになりますが、iOSだと後者一択ですね。前者だとテスト結果を全体に反映させるために審査が入ってしまうので。
Androidの場合は審査が無く前者でも特に問題はないので（割り振りの妥当性の検証は必要かも）、アプリのアップデート率や、TagManager導入のコスト（実装、使い方を覚える等）、今後TagManagerを使う可能性があるか等で判断してください。