Google I/O 2016でFirebaseの拡張機能が発表された際、I/O 2015で発表されていたGoogle Play Developer Consoleの「Test Lab」は正式リリースされることなく、「リリース前レポート」へと姿を変えました。Test Lab自体はFirebaseの方に統合されてリリースされているようです。 有料プランとして。
GoogleのCloud Test LabでデベロッパがAndroidアプリを、人気上位20機種の上でテストできる | TechCrunch Japan
(やっぱり、この当時無料って言ってたよなぁ……?)
※ リリース前レポートの画面
画面には「早期アクセス」と出ているので、おそらく当時「テストラボに参加する」を行ったデベロッパーのみ利用できるのではないかと思われます。
リリース前レポートの使い方
リリース前レポートが一度も行われていない場合、上記のスクリーンショットの画面が表示されていて、そこにも書かれていますが 「アルファ版、もしくはベータ版のapkがアップロードされたタイミングで自動的に実行される」 ようです。
というわけで、さっそくアルファ版にapkをアップロードしてみました。 Android N Preview 3でビルドされたapkを(アップロードできました)。
アップロードしてテスト終了後、レポート結果が表示されるようになりました。
今回は機能がほとんど実装されていないアプリだったこともあってか、10数分程度でチェックは終わりました。が、グラフを見ても分かるように一台も動作テストされていません。
この画面にはテストに使われた端末の一覧もリストアップされています。
この13台でテストが行われたようです。お分かりのように、Android N Previewが載っている端末が一台もないからテストはなかったようですね(当然の答え)。
ただ6.0系が1台もないのが気になりますが……。
というわけで、今度はキチンとminSdkを14、compileSdkVersionを23にしたapkをアップロードしました。
今度は13台全部でテストが行われました。なんか言語が一部変わってるのが気になりますが…。
各画面の紹介
クラッシュ
先程から紹介しているスクリーンショットの画面です。チェック中にクラッシュすると、どの端末で問題が起きたかがひと目でわかるようになっています。
また、各端末をクリックすると、端末の情報からスクリーンショット(1枚のみ)+操作動画を見ることができます。LogCatも保存してくれているみたいです。
動画は1分〜3分とまちまちでした。
スクリーンショット
各端末の操作中の画面が複数枚掲載されています。枚数は固定でなく(3〜7枚)、どのタイミングで撮影されているかはよくわかりません。
このスクリーンショットや、クラッシュで見れる動画を見る限り、「ランチャーから起動して、メニューや画面上のボタンWidgetなどを手当たりしだいに触ってみる」動作チェックをしてくれるようです。こちらからテスト内容を指定することは(恐らく現状は)できません。
セキュリティ
恐らくAPKを解凍して何かしらのチェックをしていると思うのですが、何も怒られなかったので、どんなものが掲載されるのかはわかりません。
まとめ
名前こそ変わったものの「アップロードするだけで簡易テスト」「スクリーンショットが見れる」など、I/O 2015で発表された機能はキチンと搭載されてるなという印象です。
反面、やはり用意されている端末はローカライズされてリストアップされているもののようではないため、これを「テスト」の一つとして信頼するにはかなり微妙なところがあります。
しかし利用方法は「アルファ(ベータ)版にapkをアップロードするだけ」という楽さと、チェック自体も高速で行ってくれるため、最終チェックの一つとして
「まずアルファ版にアップロード > リリース前レポートで最終チェック > 問題なければapkを製品版にプロモート」
という運用を導入するのは、結構ありなんじゃないかなと思いました。以上です。