作ったもの
IQテスト という無料のIQ測定サイトを個人開発した。
論理的思考・パターン認識・空間把握・数的処理・言語理解の5分野で、15分でIQスコアが出る。認知科学の文献をベースに問題を設計して、統計的にIQスコアを算出する仕組み。
公開してから2ヶ月で月間1万PVに到達した。個人開発としてはまあまあの数字。
問題はレビューだった。
レビュー1：「自尊心が傷ついた」
公開3日目。Googleフォームで設置したフィードバック欄に最初のレビューが来た。
「問題が難しすぎます。途中で心が折れました。IQを測るつもりが自尊心を測られました。」
一瞬笑った。でも同じ日にもう1件来た。
「パターン認識の問題、後半から意味がわかりません。これ人間が解けるんですか？」
解ける。自分は解ける。でもそれは自分が問題を作った側だからだ。
レビュー2：「100を超えられない」
1週間後。フィードバックが10件を超えた。内容を分類すると：
- 「難しすぎる」系：5件
- 「スコアが低くて凹んだ」系：3件
- 「面白かった」系：2件
ポジティブなレビューが2割しかない。 しかもポジティブな2件は両方ともIQ 120以上の人だった。
つまり高スコアの人は褒めて、低スコアの人は怒る。 これはIQテストの宿命なのか。
難易度調整の沼
ここから難易度調整の地獄が始まった。
第1回調整：簡単にした
「難しすぎる」というフィードバックを素直に受けて、問題の難易度を全体的に下げた。パターン認識の後半問題を2段階簡単にして、数的処理の数列を短くした。
結果：平均IQが118になった。
IQの平均は100でなければならない。118は高すぎる。全員が「自分は頭がいい」と思ってしまう。気持ちいいかもしれないが、テストとしては破綻している。
第2回調整：正規分布に戻した
統計的に正しい難易度に戻した。平均が100、標準偏差が15になるようにキャリブレーション。
結果：「前より難しくなった！」という苦情が殺到。
前回簡単にした時に受けた人が再テストして、スコアが下がった。「前は112だったのに今日は103。バグじゃないですか？」
バグじゃない。前がおかしかったんだ。
第3回調整：諦めた
IQテストの難易度を「ユーザーが気持ちよくなる」ように設定するのは、統計的に正しいテストを作ることと矛盾する。
この2つは両立しない。選ぶしかない。
自分は正確さを選んだ。平均100、標準偏差15。半分の人は100以下になる。それがIQテストだ。
一番多かったフィードバック
2ヶ月で集まったフィードバック87件の中で、最も多かった内容。
「頭が良くなると思ったのに、ただの測定でした」
これが12件あった。全体の14%。
IQテストは測定ツールだ。受けてもIQは上がらない。体重計に乗っても痩せないのと同じ。
だが「IQテスト」というワードに、多くの人は「脳トレ」のイメージを持っている。やれば頭が良くなると思っている。
これは自分のマーケティングの失敗だ。 「測定」であることを明示していなかった。
対策：導入文を変えた
テスト開始前の説明文を書き換えた。
Before：
「5つの分野であなたのIQを測定します」
After：
「このテストはIQを測定するツールです。受けてもIQは上がりません。結果が低くても、それはあなたの全てではありません。IQは認知能力の一部を数値化したものです」
我ながら防御的すぎる文章だが、これを入れてからネガティブなフィードバックが40%減った。
エンジニアは高スコアが出やすい
2ヶ月分のデータを分析して気づいたこと。
流入元がQiitaやZennの場合、平均IQが112だった。一般流入（Google検索）の平均が101なので、11ポイント高い。
これは選択バイアスもあるが、エンジニアが日常的にやっている作業（論理的思考、パターン認識、抽象化）がIQテストの出題分野と重なっているからだと考えられる。
逆に言えば、エンジニアがIQテストで100を下回ったら、睡眠不足かストレスを疑った方がいい。 コンディションの問題で本来のスコアが出ていない可能性が高い。
IQテストを個人開発して学んだこと
-
ユーザーは正確なスコアを求めていない。 「自分は頭がいい」という確認を求めている。これにどこまで寄り添うかが設計判断
-
半分の人は平均以下になる。 IQの定義上、避けられない。平均以下の人が「バグだ」と言ってくる設計は、説明不足
-
「測定」と「トレーニング」は別物。 これを分かっていないユーザーが14%いた。導入で明示すべき
-
レビューはスコアに比例する。 高スコア→褒める、低スコア→怒る。フィードバックを鵜呑みにすると、全員が高スコアになるインフレテストが完成する
まとめ
個人開発したIQテストは、月間1万PVまで伸びた。でも一番学んだのは技術じゃなくて、「数字を見せられた人間がどう反応するか」 だった。
IQテストは鏡だ。見たくない数字を見せてくる。その鏡に怒る人がいる。鏡を使って自分を知る人もいる。
開発者としてできるのは、鏡の精度を上げることだけだ。映る像をいじったら、それは鏡じゃなくなる。