個人開発者やってる。
去年からIQテストのWebアプリを作ってて、先月ようやく受験者1万人を突破した。
1万人。個人開発で1万人って、結構すごくない？ 自分で言うのもアレだけど、ちょっと感動してた。
で、記念にレビュー欄を覗いてみた。
地獄だった。
レビュー欄の惨状
1万人突破の余韻に浸りながらレビューを開いた。上から順に読んでいく。
「★1。問題の意味がわからない。不親切」
「★1。時間制限が短すぎる。焦らせて間違えさせる設計」
「★2。結果が有料なのが意味わからない。無料じゃないなら最初に言え」
「★1。二度と使いません」
え？
いや、ちょっと待って。1万人受けてくれたんだよ？ みんな楽しんでくれたんじゃないの？
楽しんでなかった。
なぜ低評価が集中するのか
冷静になって分析してみた。
IQテストの構造的な問題がある。スコアが低い人ほどレビューを書くということ。
考えてみれば当然で、IQ 130取った人は満足してるからわざわざレビューなんか書かない。証明書スクショしてSNSに投稿して終わり。
でもIQ 85だった人は違う。「このテストがおかしいんだ」と思う。で、その怒りをレビューにぶつける。
つまりレビュー欄は構造的に低スコアの人の声で埋まる。
これ、心理学でいう「ダニング＝クルーガー効果」に近い。能力が低い人ほど自分の能力を過大評価する。だから「このテストが間違ってる」という結論になる。
実際のレビュー分布
気になったのでレビューのスコア別分布を出してみた。
| レビュー評価 | 件数 | 書いた人の平均IQ |
|---|---|---|
| ★1 | 23件 | 87 |
| ★2 | 11件 | 93 |
| ★3 | 8件 | 102 |
| ★4 | 5件 | 115 |
| ★5 | 3件 | 131 |
見事に反比例。
★1の人の平均IQは87。★5の人の平均IQは131。
つまり「このテストはクソ」と言ってる人のスコアが一番低くて、「良いテストだった」と言ってる人が一番高い。
一番きつかったレビュー
「開発者のIQが低いからこんなテストしか作れないんでしょう。私は東大卒ですが、こんな幼稚な問題で知能は測れません」
これ、IQ 82の人が書いてた。
東大卒かどうかは知らない。でもIQ 82は事実。テストの結果は嘘をつかない。
正直、最初はめちゃくちゃ凹んだ。個人開発って、自分の作品＝自分自身みたいなところがあるから、レビューの悪口が全部自分への人格攻撃に感じる。
でも、データを見たら気持ちが変わった
レビュー50件に対して、受験者は1万人いる。
レビューを書いた人の割合は0.5%。
残り99.5%の人は、黙って受けて、黙って結果を見て、黙って去っていった。あるいは満足した。
そして面白いことに、リピート率を見ると景色が全然違う。
| 受験回数 | 人数 | 割合 |
|---|---|---|
| 1回 | 7,842人 | 78.4% |
| 2回 | 1,456人 | 14.6% |
| 3回以上 | 702人 | 7.0% |
21.6%が2回以上受けてる。
「二度と使いません」って書いた人がいる一方で、5人に1人はリピートしてる。こっちの方がずっと大事なデータだ。
低評価レビューの共通パターン
50件を全部読んで分類してみた。
パターン1:「問題が難しすぎる」（18件）
→ 難しくないと差がつかない。これは仕様。
パターン2:「時間が短すぎる」（12件）
→ 各問60秒。十分長い。でも焦ると短く感じる。
パターン3:「結果が有料」（9件）
→ ¥420。コーヒー1杯分。開発費を回収させてくれ。
パターン4:「スコアが低すぎる。おかしい」（8件）
→ おかしくない。それがあなたのスコアです。
パターン5:「UIが古い」（3件）
→ ダークUIなんだけど。モダンなんだけど。好みの問題じゃん。
開発者として学んだこと
1. レビュー欄はノイズが多い
レビューを真に受けて設計を変えたら、テストの品質が下がる。「問題を簡単にしろ」に従ったら、全員IQ 120以上になってテストの意味がなくなる。
2. 低スコアの人の怒りは「テスト」じゃなく「現実」に向いてる
「このテストはおかしい」は、「この結果を受け入れたくない」の言い換え。開発者に怒りをぶつけてるけど、本当は自分のスコアに怒ってる。
3. サイレントマジョリティを見ろ
レビュー書かない99.5%の人たちが、黙ってリピートしてくれてる。この人たちのためにテストを良くしていくべき。
今は低評価レビューが来ると笑える
最初は凹んでたけど、今は「★1。問題の意味がわからない」を見ると「あー、たぶんIQ 85くらいかな」と思ってしまう。
性格が悪くなった自覚はある。
でも1万人のデータが教えてくれたのは、文句を言う人はいつも少数で、その少数は統計的に偏ってるということ。
個人開発者の皆さん、レビュー欄で凹んだら、データを見てください。真実はレビュー欄じゃなくて、ログの中にある。