iOS/AndroidアプリのABテスト事情を調べてみた

PCやスマホとかのWebサイトに対してA/Bテストやる方法は結構いろいろありますね。
有名どころだと optimizely とか、最近だと planBCD とか。

iPhoneとかAndroidとか、ネイティブアプリとかたくさん作っている時代ですし、同じことはどうやってるのか。
ストアにリリースした後に検証・分析できるようなフレームワークやサービスがすでにあるのか。

ちょっと調べてみました。

調べ始め

さくっとググってひっかかったものは

• Quora
  • How do companies practically A/B Test new versions of native mobile apps that are already in production?
• Qiita
  • SkyLabを利用したiOSアプリケーションのABテスト
• 海外の記事
  • Roundup: A/B Testing Solutions

おおまかに下記の2種類がありそうでした。

• GitHubとかで公開されているもの
• サービスになってるもの

以上の情報をもとに更にググって下記のようにまとめてみました。

GitHubで公開されてるもの

clutch.ioのように、もともとサービスになっていたものがオープンソースになったのが有名かもですね。
あとは、スタートアップ企業や個人が公開しているフレームワークがいくつかありました。

clutch.io

https://github.com/clutchio

• iOS/AndroidのSDK、Pythonで書かれたサーバー側のソースも公開されている。
• clutch.io がやっていたサービス
  • http://www.crunchbase.com/company/clutch-io
  • 2012年8月13日、Twitterが買収し、現在はオープンソース化されている。

Switchboard

https://github.com/KeepSafe/Switchboard

• iOS/Android のSDK、PHPのサーバー側のソースも公開されている
• KeepSafeっていうスタートアップが公開しているiOS/Androidのフレームワーク
• KeepSafeについて
  • http://www.crunchbase.com/company/keepsafe
  • Seed, 2/2012 $700k
  • Series A, 7/2013 2 $3.4M

MSActiveConfig

• cocoapodsにドキュメントがある　→　MSActiveConfig
• MindSnacksっていうスタートアップが公開しているiOSのフレームワーク
• MindSnacksについて
  • http://www.crunchbase.com/company/mindsnacks
  • USA
  • FUNDING TOTAL $7.7M
  • Venture Round, 3/2011, $1.2M
  • Venture Round, 8/2012, $6.5M

Conductrics API Wrapper

• ConductricsっていうA/Bテストのサービスを利用するためのObjective-Cのラッパーらしい。
• bandit-styleな最適化とか動的なターゲティングできるよって宣伝してる。
• Conductricsについて
  • http://www.crunchbase.com/company/conductrics
  • USA
  • FUNDING TOTAL $210k
  • Seed, 11/2012, $210k

iOS A/B Split Test Library

• A/Bテストとか、遠隔的にアプリ内の変数を定義したりするiOSのライブラリ。
• サーバーサイドはこっち
• Venmoというスタートアップの中のエンジニアさん（Chris Maddern氏）が作ってるらしい。

SkyLab

https://github.com/mattt/SkyLab

• Herokuの mattt氏 が作った iOS向けのライブラリ。この方はAFNetworkingとかでも有名ですね。
• 初めて起動する際に、特定のパラメータに応じて挙動が決まるようになる。ロギングとかは開発者がよしなにやる。

GroundControl

https://github.com/mattt/GroundControl

• これも mattt氏 が作った iOS向けのライブラリ。
• ABテストではないけど、iOSなアプリをRemote Configurationするもの。
• .plist をサーバーから取ってくるやつ。sinatraで書かれた超シンプルなサーバー側のサンプルコード付き。

ちなみに

• 調べてたら Heliosの一部のようなものだった
• Heliosについては naoya氏 のエントリ が詳しい

サービスになってるもの

下記にサービスのURLと一緒にCrunchBaseのリンクも一緒に載せてみました。
Artisanを除けば、ここ1〜2年以内のスタートアップばかりの気もします。

なんか思ったよりもたくさんあったし、どこでも似たようなことができる感じです。
ただ、ブラウザ上でアプリのUI編集したら、リアルタイムで端末に反映されるとか、
正直「そんなことまでやるのかー」と思うものもいくつかありました。

Artisan

http://useartisan.com/
http://www.crunchbase.com/company/artisan-mobile

• Note
  • re-store なしでリアルタイムにA/Bテストできるよっていってる。
  • あと、rapid ui optimization っていってブラウザ上でボタン配置とかラベル変えて publish すると端末にも反映されてすぐ試せる的なものもあり。
• USA
• FUNDING TOTAL $7M
  • Seed, 4/2012 $1.5M
  • Series A, 6/2013 $5.5M

Apptimize

http://apptimize.com/
http://www.crunchbase.com/company/apptimize

• Note
  • これもまたブラウザ上から編集するとリアルタイムで端末にも反映されるよ！ってやつ。
  • 最近エントリに上がってた　→　http://techcrunch.com/2014/01/22/apptimize-seed-funding-visual-editor/
• USA
• FUNDING TOTAL $2.1M
  • Seed, 6/2013
  • Seed, 1/2014 $2.1M

Leanplum

https://www.leanplum.com/
http://www.crunchbase.com/company/leanplum

• USA
• FUNDING TOTAL $825k
  • Seed, 8/2012
  • Angel, 2/2013 $825k

Vessel

https://www.vessel.io/
http://www.crunchbase.com/company/vessel

• USA
• 10/2/2012~

Pathmap

https://www.pathmapp.com/
http://www.crunchbase.com/company/pathmapp

• USA
• 12/2012~
  • Kristopher B. Jones氏がファウンダー兼CEOらしい。他にもたくさん事業作ってるっぽい。そのうちのひとつ。

Appiterate

http://appiterate.com/
http://www.crunchbase.com/company/appiterate-com

• Note
  • これもブラウザからボタンの配置をDrang&Dropで移動したり色やテキストを変えると、端末にも反映されるよ！ってやつ。
• USA
• 1/5/2013~

Splitforce

https://splitforce.com/
http://www.crunchbase.com/company/splitforce

• USA
• 6/2013~

Arise.io

http://arise.io/
http://www.crunchbase.com/company/arise-io

• France
• 7/2013~

他にも

• http://appguru.io/
  • Hercules とか Heatmaps というモバイルアプリ向けのサービスがあるみたいだけど、どこが作ってるかはよくわからんかった
• Swrve
  • モバイル・アプリ向けに IN-APP REVENUE を最大化するためにA/Bテストだけじゃなくていろいろやってるらしい。参考
  • 具体的なサービスやお値段は要相談みたいな感じでよくわからんかった。
• Optimimo
  • サービスはあるはずなんだけど、なんか 504 がかえってきてた。。

Kii Could (追記)

MBaaS でお馴染みの Kii Cloud さんでもA/Bテストをサポートしているそうです。

• http://docs.kii.com/ja/guides/ab-testing/
• SDK
  • http://community-jp.kii.com/t/ios-storage-sdk-v2-1-14/67
  • http://community-jp.kii.com/t/android-storage-sdk-v2-1-19/66

調べて思ったことなど

全体として

OptimizelyやTestflightなんかはググると日本語のエントリも複数見つかって、日本でも結構使われてるんだなという印象があります。一方で、上記のようなネイティブアプリ向けの A/B testing サービスとかは、ググってもなかなか日本語のエントリはひっかからなかったので、日本では今のところあんまり需要ないのかな？という印象でした。

しかし、GitHubで公開されているものに関しては、使ってみたってエントリはいくつか見つかりました。

• Clutch A/B TestingによるiOSアプリ向けA/Bテストソリューションのご提案
• SkyLabを利用したiOSアプリケーションのABテスト

なので、ちょっと気にしているエンジニアさんとか結構いるのかもしれません。海外ではいくつかのスタートアップ企業だったり個人がライブラリを公開したりしてるので、日本でも「あるよ！」ってところが実はあるのかもしれません。

一方、サービスになってるものに関しては、まだサービスが出始め？の雰囲気が少なからずあるので、利用するにしろ、どこが良いのかまだ判断つきにくい感じなのかなとも思います。

これからどうなるのか

2014年になって、optimizely から Native app iOS a/b testing product を kickstart してほしいっていう LinkedIn の求人エントリがあったのを見かけたり、Facebook が Airlockっていう Mobile App A/B Testing Framework あるよって言ってます。
なので、これからまた出てきたり淘汰されたりもあるかもしれません。

とにかく、海の向こうではネイティブアプリ向けの A/B testing サービスやフレームワークがいくつかありました。

今後ニーズは高まる気もします。しかし、サービスとしてはマネタイズとかどんなもんなの？って感じもあります。なんとなく、向こうで定着したサービスだったりノウハウとかが来年あたりに日本でも利用されていくのかもしません。

日本じゃどっか作ったりしてないのかな。
あるいは、マネタイズの見通しがたつのであれば、clutch.io などのオープンソースなコードをサクッとフォークして、粛々と日本語のドキュメントを揃えて新規サービスとしてローンチする狡猾な人が居てもいいのかも？

追記 2014年 1月31日 金曜日 14時24分 JST

タイムリーにも、日本発の MBaaS を運営している Kii Cloud の方から Twitter で「ちょうどうちでもA/Bテストをサポートしましたよ」って教えてもらいました。

• https://twitter.com/KiiCloudJP/status/429033084873220097
• https://twitter.com/KiiCloudJP/status/429075492595982336

---

以上、チラシの裏でしたー！