みなさん、テストしてますかー！
ソフトウェアのテストって大変ですよね。いくら時間を掛けて綿密にテスト設計してもバグはなかなか無くなりません。。。
バグはあって当たり前？
いくらテストをやってもバグはなくならないし、なかには「ソフトウェアにバグはあって当たり前」なんていう開き直りの考え方も認知されつつあるあり様です。
特にスマホアプリに関してはアジャイル開発が当たり前になっていて、品質よりもリリース優先、「リリースしてからバグフィックスすればいい」なんていう姿勢の開発者もちらほら見受けられます。だからといって、重大なバグを残したままリリースしてはユーザーが離れて行ってしまうのも事実です。
テストに重要なのは「観点」
ボクはバグが残ってしまう要因の中で最も重大なものは「観点の欠如」だと考えます。
いくら開発者が机上で頭を絞ってテストパターンを考えても、その根本となる観点が抜けていたら元も子もありません。
では、どうすれば観点の漏れを防げるでしょうか。
Androidに関してはGoogleから下記のようなガイドラインが公開されていて、テストにおいて押さえておくべき観点が挙げられてはいますが、多岐に渡るためリリース毎にその全てを行うことは現実的ではありません。
また、実際にアプリを使うユーザーのリテラシーは様々で、開発者が思いもよらぬ使い方をすることも多々あり、そんなユーザーの観点全てをカバーしきれるものではありません。
アプリユーザー自身にテストをしてもらおう
そんな課題の解決策として、実際にアプリを使う一般のスマホユーザーにテストをしてもらってはどうでしょう？
実際のリアルな通信環境、シビアな端末メモリ、思いもよらない使い方、見知らぬ端末、初めてアプリを目にした際の認知。
そのどれもが開発者、開発環境では得難いテストになります。
自分達のアプリをテストしてみた結果
効果を確認するために自分達のアプリをユーザーテストしてみました。該当のアプリは自分達でテスト設計をして十分テストを行ったアプリなので、まぁさほど問題はないだろうと思っていたのですが。。。
結果、25件の問題報告をいただき、そのうち4件をバグ対応、2件をUXの問題として処理しました。
また、報告にはボクらのテストにはなかった以下観点がありました。
- 機内モードでの利用
- 絵文字入力での表示
- 端末を上下逆さまにしてPush通知から起動
- Push受信から起動後のAndroidホームボタンの振る舞い
とくに 4. については自分たちでは当然と思っていた振る舞いだったため、気にも留めていませんでしたが、言われてみるとアプリケーションとして確かに使いにくい挙動だったと目からうろこで、ユーザテストならではでした。
おしまい
今回の僕らの体験を生かしてできたのが次のサービスです。現在評価ユーザー募集中ですので興味のある方は利用を検討してみてください！
ファイナルアイズ
- ユーザー視点のアプリテストを簡単に -