(原文) Moderated vs. Unmoderated Usability Testing: Which is Better?
By Jerry Cao

ユーザビリティ・テストに関して、最も重要な決定の1つは、誰かにセッションのモデレートをしてもらうかどうかです。

では、どちらを選ぶべきでしょうか？このページでは、それぞれの長所と短所をご紹介します。

ユーザーの自然な行動が最も正確なユーザビリティデータを生み出すのであれば、もちろんテストはモデレートされない方がいいでしょう。しかし、そのデータが焦点の定まっていない、誤った方向に向かっているものであれば、テストをモデレートしたくなるのではないでしょうか？その場合、部屋にいる誰かと一緒に結果を偏らせることになりませんか？

「観察者効果」という言葉は、名前は知らなくても聞いたことがあると思います。観察されている人は、一人でいるときとは違う行動をするという考え方です。これは非常によく知られた現象ですが、モデレーターを使用するかどうかの唯一の影響であってはなりません。

予算、スケジュール、人員、テストの種類、必要なデータなど、これらは「ユーザビリティテストの手引き」で述べたより重要な検討事項です。

あなたが最も情報に基づいた決定を下すことができるよう、さらに深く掘り下げてみましょう。

モデレートされたユーザビリティ・テスト

確かに、モデレートされたテストでは、よりコントロールしやすくなります。司会者は、ユーザーから寄せられた即時の質問に答え、テストが研究の目標を満たすように導くことができます。

もちろん、モデレートされたテストでは、円滑な運営を維持するために、人間的なスキルと製品の知識を持ったモデレーターが必要です。これは、ユーザーとのスケジュール調整や、テストを受ける場所の制限が難しくなることを意味します。また、会場でテストを実施する場合は、さらに多くのリソースが必要となり、わざわざ足を運んでくれる参加者を募ることも難しくなります。

その点、リモートテストであれば、これらの問題の多くが解決されます。この方法では、ユーザーは好きな場所でテストを受けることができ、スケジュールにもある程度の余裕がある一方で、あなたがコントロールできる部分もあります。

モデレートされたテストは、より多くの労力を必要とするため、デザインの初期段階で行うことを強く推奨します。コンセプトやプロトタイプを作成している段階では、ユーザーにフォローアップの質問をすることができるようにしておきたいものです。

UserTesting社のこのアドバイスに賛同します。

不完全でバグの多いインターフェース - 言い換えれば、初期段階のプロトタイプ。ユーザーを混乱させる危険性のある製品をテストしている場合、質問に答えたり、誘導したりするモデレーターが必要です。一般的ではないと思われるかもしれませんが、ユーザビリティテストをできるだけ早い段階で開始することは、常に良いアイデアです。
複雑なインターフェイス - 製品の学習曲線が高い場合、モデレーターがいれば、有益な結果が得られないかもしれないテストを救うことができます。例えば、タスクを達成するための手順が必ずしも直線的ではない製品の場合、モデレーターによるテストは理にかなっています。
セキュリティが懸念される製品 - まれなケースではありますが、公開したくないデータにアクセスする製品をテストする場合、モデレーターはユーザーを適切な場所に留めておくことができます。

モデレートされたテストとモデレートされていないテストは、競合するものではなく、補完するものであることを忘れないでください。例えば、試作品に対してモデレートテストを行い、ユーザビリティに関する大きな問題を解決することができます。製品を完成させた後、モデレートされていないテストを実施して、「野生」でのパフォーマンスを測ることができます。

始める準備ができたら、Jeff Sauro氏の「モデレートされたユーザビリティテストのための20のヒント」に従うようにしましょう。

無節操なユーザビリティテスト

モデレートされていないテストは、コストが安く、より多くのユーザーをすぐに集めることができます。長所と短所を実際に見てみましょう。

Source: UserZoom

メリット

時間短縮 - スケジューリングの問題や限られた人員から解放された無修正テストでは、時間を問わず、ユーザーを同時にテストすることができます。つまり、より多くのデータを短時間で得ることができるのです。ユーザビリティガイドで説明したとおりです。
偏りの可能性が少ない - 観察者効果だけが要因ではありませんが、観察者効果やその他の社会的・技術的な偏りも関係する要因です。モデレーターがいないことで、これらの多くが緩和され、より自然で信頼性の高い結果を得ることができます。
安価 - 外部のユーザーリサーチ会社に依頼する必要がある場合、そのコストは確実にモデレーターなしのテストを上回ります。モデレートされていないテストでは、場所を確保する必要はありませんし、すべての設備はユーザビリティツール（以下を参照）で用意することができます。実際、これらのツールのコストはスケーラブルなので、適切と思われる金額を支払うことができます。
採用が容易になる - モデレートされていないテストのリラックスした環境は、意欲的な候補者のより大きなプールを作り出します。無秩序なテストは、いつでもどこでも、基準を満たす人なら誰でも行うことができます。

もちろん、コントロールの度合いが低い無調整テストには、欠点もあります。

デメリット

フォローアップの質問がない - ユーザーに自由形式の質問をするためのフォームを用意することはできますが、モデレーターとユーザーの間で交わされる会話に勝るものはありません。モデレートされたテストでは、ユーザーがなぜそのような行動をとるのか、その理由を垣間見ることができます。時間とスケジュールが許せば、テスト後のディスカッションのために、メールまたはSkypeでユーザーをフォローアップすることをお勧めします。
タスクの許容範囲が狭い - タスクが完了したかどうかは、モデレーターではなくユーザーが判断するため、ユーザーは早々に次のタスクに移ってしまうことがあります。そのため、成功または失敗の状態が簡単に定義された明確なタスクを書く必要があります。
質の高いフィルタリングに費やす時間が増える - モデレートされたテストには多少の偏りがあるかもしれませんが、モデレートされていないテストでは、ユーザーが純粋に報酬だけを目的とするリスクがあります。人を募集する時間は減りますが、回答の質を高めるためのフィルタリングにはより多くの時間を費やす必要があります。

もしあなたが無節操テストに興味があるなら、以下のツールをお勧めします。

Lookback - 無料のベータ版。Mac、Android、iOSに対応したこのツールは、これまで見てきた中で最も有望なツールの一つです。顔の反応、モバイル画面、ジェスチャーなどを60fpsで同時に記録します。録画した映像は、この実際の録画でもわかるように、洗練されたストーリー仕立てで再生されます。

UserTesting - 1ユーザー、1テストにつき39ドル。素早いフィードバックで知られるUserTestingでは、ウェブサイト（自社または競合他社）、アプリ、プロトタイプ、Facebookゲーム、Google広告など、あらゆるものをテストすることができます。

Userlytics - 1ユーザー、1テストにつき49ドル。パラメータを設定した後、Userlyticsは参加者を募集し、UserTestingと同様のスペクトルでテストを実施します。

Solidify - 月額19ドル（ベーシック）、月額49ドル（プラス）。Solidifyは、デスクトップやモバイルデバイス向けのインターフェースを、開発のどの段階でも、スケッチやワイヤーフレームでもテストすることができます。プラス会員になると、デモグラフィック、ロゴのカスタマイズ、レポートのカスタマイズが可能になります。

UserZoom - 月々1,000ドル。UserZoomは、月額料金で一連のユーティリティを提供するという、少し変わった運営をしています。メンバーは、クリックテスト、カードソート、ツリーテスト、アンケートなど、さまざまなテストを行うことができる。

結論

モデレートされていないテストは、統計的に有意なユーザビリティの結果を短時間で得ることができます。しかし、テストが始まってしまうと、タスクや質問を修正することができないため、エラーの余地がはるかに少なくなります（せっかく費やした費用が無駄になっても構わない場合は別ですが）。

モデレートされたセッションでの対話から得られるインサイトがないため、完全な分析のためにはデータを精査する必要があることも忘れないでください。しかし、洗練された製品であれば、ユーザビリティ調査の規模を拡大するためには、モデレートされていないテストが大きな力を発揮します。

どちらが優れているかという答えは、ほとんどのデザインに関する質問と同じで、場合によります。テストはプロセスの初期に行うのか、それとも後期に行うのか。時間とお金が足りないのか？

それぞれのテストには適した場所と目的がありますが、私たちが提供できる最善のアドバイスは、ユーザビリティテストを反復的な作業として扱うことです。デザインのさまざまな段階で、モデレートされたテストとモデレートされていないテストの利点がありますので、恐れずに混ぜてみてください。

ユーザビリティテストに関する実践的なアドバイスをご希望の方は、無料の「ユーザビリティテスト・ガイド」をダウンロードしてご利用ください。このガイドでは、30種類以上のユーザビリティテストを取り上げ、それぞれのテストについてヒントや例を紹介しています。

本記事は2015/3/24投稿、2020/4/22更新を翻訳したものです。