iOS/AndoidアプリのABテスト事情を調べてみた

  • 173
    Like
  • 0
    Comment
More than 1 year has passed since last update.

PCやスマホとかのWebサイトに対してA/Bテストやる方法は結構いろいろありますね。
有名どころだと optimizely とか、最近だと planBCD とか。

iPhoneとかAndroidとか、ネイティブアプリとかたくさん作っている時代ですし、同じことはどうやってるのか。
ストアにリリースした後に検証・分析できるようなフレームワークやサービスがすでにあるのか。

ちょっと調べてみました。

Fotor013014342.png

調べ始め

さくっとググってひっかかったものは

おおまかに下記の2種類がありそうでした。

  • GitHubとかで公開されているもの
  • サービスになってるもの

以上の情報をもとに更にググって下記のようにまとめてみました。

GitHubで公開されてるもの

clutch.ioのように、もともとサービスになっていたものがオープンソースになったのが有名かもですね。
あとは、スタートアップ企業や個人が公開しているフレームワークがいくつかありました。

clutch.io

https://github.com/clutchio

  • iOS/AndroidのSDK、Pythonで書かれたサーバー側のソースも公開されている。
  • clutch.io がやっていたサービス

Switchboard

https://github.com/KeepSafe/Switchboard

  • iOS/Android のSDK、PHPのサーバー側のソースも公開されている
  • KeepSafeっていうスタートアップが公開しているiOS/Androidのフレームワーク
  • KeepSafeについて

MSActiveConfig

https://github.com/mindsnacks/MSActiveConfig

  • cocoapodsにドキュメントがある → MSActiveConfig
  • MindSnacksっていうスタートアップが公開しているiOSのフレームワーク
  • MindSnacksについて

Conductrics API Wrapper

https://github.com/conductrics/conductrics-ios

  • ConductricsっていうA/Bテストのサービスを利用するためのObjective-Cのラッパーらしい。
  • bandit-styleな最適化とか動的なターゲティングできるよって宣伝してる。
  • Conductricsについて

iOS A/B Split Test Library

https://github.com/chrismaddern/iOS-Split-A-B-Test-Library

SkyLab

https://github.com/mattt/SkyLab

  • Herokuの mattt氏 が作った iOS向けのライブラリ。この方はAFNetworkingとかでも有名ですね。
  • 初めて起動する際に、特定のパラメータに応じて挙動が決まるようになる。ロギングとかは開発者がよしなにやる。

GroundControl

https://github.com/mattt/GroundControl

  • これも mattt氏 が作った iOS向けのライブラリ。
  • ABテストではないけど、iOSなアプリをRemote Configurationするもの。
  • .plist をサーバーから取ってくるやつ。sinatraで書かれた超シンプルなサーバー側のサンプルコード付き。

ちなみに

サービスになってるもの

下記にサービスのURLと一緒にCrunchBaseのリンクも一緒に載せてみました。
Artisanを除けば、ここ1〜2年以内のスタートアップばかりの気もします。

なんか思ったよりもたくさんあったし、どこでも似たようなことができる感じです。
ただ、ブラウザ上でアプリのUI編集したら、リアルタイムで端末に反映されるとか、
正直「そんなことまでやるのかー」と思うものもいくつかありました。

Artisan

artisan.png

http://useartisan.com/
http://www.crunchbase.com/company/artisan-mobile

  • Note
    • re-store なしでリアルタイムにA/Bテストできるよっていってる。
    • あと、rapid ui optimization っていってブラウザ上でボタン配置とかラベル変えて publish すると端末にも反映されてすぐ試せる的なものもあり。
  • USA
  • FUNDING TOTAL $7M
    • Seed, 4/2012 $1.5M
    • Series A, 6/2013 $5.5M

Apptimize

apptimize.png

http://apptimize.com/
http://www.crunchbase.com/company/apptimize

Leanplum

leanplum.png

https://www.leanplum.com/
http://www.crunchbase.com/company/leanplum

  • USA
  • FUNDING TOTAL $825k
    • Seed, 8/2012
    • Angel, 2/2013 $825k

Vessel

vessel.png

https://www.vessel.io/
http://www.crunchbase.com/company/vessel

  • USA
  • 10/2/2012~

Pathmap

pathmapp.png

https://www.pathmapp.com/
http://www.crunchbase.com/company/pathmapp

  • USA
  • 12/2012~
    • Kristopher B. Jones氏がファウンダー兼CEOらしい。他にもたくさん事業作ってるっぽい。そのうちのひとつ。

Appiterate

appiterate.png

http://appiterate.com/
http://www.crunchbase.com/company/appiterate-com

  • Note
    • これもブラウザからボタンの配置をDrang&Dropで移動したり色やテキストを変えると、端末にも反映されるよ!ってやつ。
  • USA
  • 1/5/2013~

Splitforce

splitforce.png

https://splitforce.com/
http://www.crunchbase.com/company/splitforce

  • USA
  • 6/2013~

Arise.io

arise-io.png

http://arise.io/
http://www.crunchbase.com/company/arise-io

  • France
  • 7/2013~

他にも

  • http://appguru.io/
    • Hercules とか Heatmaps というモバイルアプリ向けのサービスがあるみたいだけど、どこが作ってるかはよくわからんかった
  • Swrve
    • モバイル・アプリ向けに IN-APP REVENUE を最大化するためにA/Bテストだけじゃなくていろいろやってるらしい。参考
    • 具体的なサービスやお値段は要相談みたいな感じでよくわからんかった。
  • Optimimo
    • サービスはあるはずなんだけど、なんか 504 がかえってきてた。。

Kii Could (追記)

MBaaS でお馴染みの Kii Cloud さんでもA/Bテストをサポートしているそうです。

調べて思ったことなど

全体として

OptimizelyやTestflightなんかはググると日本語のエントリも複数見つかって、日本でも結構使われてるんだなという印象があります。一方で、上記のようなネイティブアプリ向けの A/B testing サービスとかは、ググってもなかなか日本語のエントリはひっかからなかったので、日本では今のところあんまり需要ないのかな?という印象でした。

しかし、GitHubで公開されているものに関しては、使ってみたってエントリはいくつか見つかりました。

なので、ちょっと気にしているエンジニアさんとか結構いるのかもしれません。海外ではいくつかのスタートアップ企業だったり個人がライブラリを公開したりしてるので、日本でも「あるよ!」ってところが実はあるのかもしれません。

一方、サービスになってるものに関しては、まだサービスが出始め?の雰囲気が少なからずあるので、利用するにしろ、どこが良いのかまだ判断つきにくい感じなのかなとも思います。

これからどうなるのか

2014年になって、optimizely から Native app iOS a/b testing product を kickstart してほしいっていう LinkedIn の求人エントリがあったのを見かけたり、Facebook が Airlockっていう Mobile App A/B Testing Framework あるよって言ってます。
なので、これからまた出てきたり淘汰されたりもあるかもしれません。

とにかく、海の向こうではネイティブアプリ向けの A/B testing サービスやフレームワークがいくつかありました。

今後ニーズは高まる気もします。しかし、サービスとしてはマネタイズとかどんなもんなの?って感じもあります。なんとなく、向こうで定着したサービスだったりノウハウとかが来年あたりに日本でも利用されていくのかもしません。

日本じゃどっか作ったりしてないのかな。
あるいは、マネタイズの見通しがたつのであれば、clutch.io などのオープンソースなコードをサクッとフォークして、粛々と日本語のドキュメントを揃えて新規サービスとしてローンチする狡猾な人が居てもいいのかも?

追記 2014年 1月31日 金曜日 14時24分 JST

タイムリーにも、日本発の MBaaS を運営している Kii Cloud の方から Twitter で「ちょうどうちでもA/Bテストをサポートしましたよ」って教えてもらいました。


以上、チラシの裏でしたー!