Android クローズドテスト コミュニティ(ACTC)の管理人のプログラミングをするガイコツです。
弊Discordでは、毎日のようにAndroidアプリのクローズドテスターを募る投稿が立てられています。
そして毎週新しいAndroidアプリが世の中に放たれています。
しかし、中には12人で14日間のクローズドテストを完了させても、残念ながらリリース前の審査でリジェクトされるケースが一部見られています。
特に2024年にテスター人数が12人に減ってから「テスターの関与が少ない」という理由でのリジェクトが増えた報告が多く見られるようになりました。
そこで本記事では、ACTC(Androidクローズドテストコミュニティ)での報告を元にして、Androidクローズドテストの審査通過に必要な現時点でのプラクティスをまとめました。
※これらの内容は、クローズドテスト中にやるべきことのまとめとなります。クローズドテストの始め方については、別記事「Androidクローズドテストを最速で乗り越える方法」を御覧ください。
ACTCのhelpフォーラムの投稿
ACTC(Androidクローズドテストコミュニティ)にはhelpフォーラムがあり、Androidアプリ開発者同士で、知見を共有したり、クローズドテストに関する議論を活発にやり取りしています。
リジェクト報告が多くなった事象をうけて、ACTCのDiscordのhelpフォーラムに寄せられた「審査通過」「リジェクト」報告をする投稿をつくりました。
その結果、ACTCメンバーの皆様の協力のおかげで、多くの「審査通過」「リジェクト」に関する知見が集まりました。
重要なのは「アップデート後のテスターの関与」&「申請の書き方」
結論から言うと、
- アップデート後にテスターがアプリを起動して改善を確認すること
- 申請時の文面を工夫すること
がクローズドテストの審査通過に重要だと思われます。
下記にそれぞれについて、詳細をまとめましたので、Androidクローズドテストを実施される方は参考になさってみてください。
「アップデート後のテスターの関与」
簡単にいうと、「テスターからフィードバックを受け」、その内容を元に**改善したバージョンをリリースし、テスターがアップデートをして改善を確認する操作をする、**が「テスターの関与」であると思われます。
GoogleはPlayConsole経由で、クローズドテストアプリのあらゆるデータを収集していると自然に考えられます。
したがって、**テスターがアプリをインストールし、操作し、インストールし続け、アップデートのたびに操作確認するか、**については、Googleに筒抜けになっているわけです。
わざわざGoogleがクローズドテストを設ける理由は、正式にGooglePlayStore市場にアプリがリリースされるにあたって、アプリの品質を一定上に保つことでしょう。
したがって、クローズドテスト期間に最も重要なのは、クラッシュなどの致命的なバグがないことを保証することです。
そのためには、最低限テスターがアプリをインストールし、起動し、操作をしたことが確認される必要があります。
また、Googleは、GooglePlayStore市場に高品質なアプリを出させたいと考えているはずです。
良いアプリが増えれば増えるほど、Googleは儲かるからです。
そのためにはクローズドテスト期間中に、テスターからフィードバックをもらって、ユーザーにとってより使いやすいアプリに仕上がっていくことがGoogleにとって重要です。
ただ、フィードバックをアプリへ反映する点については、必ず必要であるというわけではないようです。
実際に、審査通過された報告事例を観察していても、「フィードバックを受けたがリリースには含めなかったものもある。ただ、それについては申請時の文面に今後改善予定である旨を書いた。」という報告も何件か見られました。
ですが、フィードバックを元に改善して、それをテスターが確かめるというステップを踏む点については、間違いなく加点につながると思われます。
フィードバックの収集方法についてはXやDiscordで報告を受けても、PlayStoreのアプリページ窓口からもらっても、どちらでも問わないようです。
以上のことから、テスターの関与として重要なのは
- インストールし、起動し、操作してもらうこと
- フィードバックを元に改善をリリースするたびに、テスターに周知して、アップデートしてもらい、改善項目を動作確認してもらうこと
- (ただし改善のリリースは必須でない場合もある)
だと、現時点では考えられます。
「申請の書き方」
また、申請時の文面も一定の量と内容を担保することが重要そうです。
上記の「テスターの関与」が十分そうに見えたにもかかわらず、「申請文面」が短すぎたり雑すぎたり、クローズドテストの趣旨に反するような内容を書いているために、リジェクトされてしまったケースも見られました。
Googleの申請文面の審査については、ほぼ確実にシステムチェックで自動化されています。
世界に名を轟かせるGoogleのエンジニアが、いちいち1つ1つの文面を目視でみているはずがありませんから。
おそらく、独自の条件を設定していて 「これを書いてたらアウト」「この量だとアウト」 みたいな減点法で審査されているのではないかと予想されます。
また、上記で上げたGoogleがクローズドテストを実施する意義から考えると、クローズドテストは、実際にストアにアプリがリリースされてユーザーが触る場面を想定して実施されるべきであると思われます。
したがって、開発者がテスト項目を作り、クローズドテスターに依頼して、指示通りに操作するといった方式は、クローズドテストには適さないと考えられます。
そのようなテストは 内部テスト で実施されるべきものと考えられます。
実際に、申請文にそのような記述をするとリジェクトされたケースが報告されていました。
設問は5つ以上あり、記述する内容については詳細まで書くとキリがないので、下記にアンチパターンや通過パターンを参考にまとめさせていただきます。
アンチパターン
- 各設問への回答が、1,2行ずつしかない
- 致命的なバグがない点が書かれていない
- どのようなフィードバックがあったかが記述されていない
- テスターからのフィードバックに対して、どのような対応をした(する予定)か書かれていない
- テスターに指示して、指示通りに操作してもらったと記述してしまっている
通過パターン
- 各設問に、少なくとも3行以上、100文字程度の記述がある
- どのようなフィードバックが集まったかについて、詳細に記述されている
- フィードバックの結果クラッシュなどの致命的なバグがない旨が書かれている
- テスターからのフィードバックに対して、どのような対応をした(する予定)か書かれている
- フィードバックに基づいた改善をリリース後、テスターに操作を確認してもらった旨が書かれている
- テスターにインストールしてもらった後、各自自由にアプリを触ってもらったと記述する
実際に上記の内容を元にして、申請時の文面作成を何人かで対面で補助した結果、これまで複数回リジェクトされたが申請が通ったというケースもありました。
まとめ
Androidクローズドテストの審査通過に重要なのは、
- インストールし、起動し、操作してもらうこと
- フィードバックを元に改善をリリースするたびに、テスターに周知して、アップデートしてもらい、改善項目を動作確認してもらうこと
- 申請文面に「クラッシュなどの致命的な不具合がない」点を明記すること
- 申請文面に「フィードバックを受け、改善をリリースした」点を明記すること
- 申請文面に「フィードバックを受け、今後改善予定である」点を明記すること
- 申請文面に「こちらが指示した操作をしてもらった」と書かないこと
であると、現時点で考えられます。
ソースは、完全に私達のAndroidクローズドテストコミュニティでの実際の報告のみとなりますが、少なくともリアルな事象をもとに書かれているため、多少は信頼に値するのではないかと思います。
皆様のAndroidクローズドテストクリアに、役に立てば幸いです。