ウミガメのスープとは水平思考パズルとも呼ばれるクイズで、出題内容からでは分からない問題をだし、回答者は出題者に「はい」「いいえ」「わからない」で答えられる質問を出し、それをヒントに答えを当てるゲームです。

エンジニアには、「現実を正しく見る」「正しいロジックで物事を判断出来る」という資質が求められると言われています。今回、統計の教養を駆使しつつ、正しく数字や現実をみて、物事を判断するのに、最適な問題をいくつか作ってみました。

是非、試してみて下さい。

問題1:お金もあって、食べ物も買えるのに、不幸な国

新しい国ができました。
生活インフラは日本と同じ水準で、平均年収(手取り)は日本円にして1000万円あります。
にもかかわらず、ほぼすべての人が不幸で食べるものすら買えずに苦しんでいます。
一体なぜでしょうか？

よくある質問

その国は食べ物が不足していますか？
- いいえ、日本と同じ水準
物価が非常に高いですか？
- いいえ、日本と同じ水準
その国は戦争をしていますか？
- いいえ、平和です
その国は直近大きな災害などがありましたか？
- いいえ
その国は貨幣経済が浸透していますか？
- はい
食べ物を買うところは十分にありますか？
- はい

答え

回答を表示する

ごく一部の人の年収が非常に高額で、残りの年収がほぼ0な国の為。

平均を使った統計で騙す方法です。
分布に非常に偏りがある場合、平均が正しく全体を代表していない例ですね。
例えば、1%の人の年収が10億円、残りが0円の国　→　平均年収は1000万円。

平均とか○○率というのは、特定の人たちがやたらとスコアをあげているというケースがあるので、必ず元データを確認したり、疑ってかかったほうが良いです。

問題2:急にがん発生率が全国1位になった村

ここ10年ずっとがん発生率は全国で最下位という、非常に健康的な村がありました。
しかし、ここ1年の最新の調査結果では、いきなり全国1位にまで跳ね上がりました。一体なぜでしょう？

よくある質問

原発事故などがありましたか？
- いいえ
がん病棟ができましたか？
- いいえ、特にがん関連の施設は出来ていません
過去10年と今年でこの村に何か大きな変化はありましたか？
- (がん発生率が増えたことを除くと)いいえ
過去10年、不正をせずに調査をしてきましたか？
- はい
転入や転出が激増したりしましたか？
- いいえ

答え

回答を表示する

非常に人口がすくない村で、がん患者が出た。

標準偏差を考慮しないとおかしな話になるケースですね。
例えば、人口が10人の村があり、過去10年がん患者が0、今年1人がん患者が発生した場合、0%→10%と非常に高い数字がでます。

仕事していると「売上50%アップ達成」とか謳っているが、実際は4が6になっただけだった等、自分をよく見せるために、こんな見せ方をしてくる人とかもいるので注意してください。

問題3:最強新人WEBデザイナー？

お菓子会社の社長のふじいさんは、凄腕WEBデザイナーのほりさんに、ECサイトのホームページのリニューアルをお願いしました。
凄腕のほりさんは「私の力では、これ以上良いページを作れず、売上も伸ばせない」と断りを入れました。
仕方がないので、ふじい社長は新人のひらいさんに新デザインを依頼しました。
その結果、新人のひらいさんのホームページが公開されました。
なんと、ECサイト売上は公開後7日間で前の7日間の2倍の売上を達成しました。

何故売上を2倍する事にすることが出来たのでしょうか？

よくある質問

旧サイトはSEOは十分にできていましたか
- はい
新サイトはSEOで旧サイトを大きく上回りましたか？
- いいえ、SEOは同程度です
リニューアル後、安売りや割引セールは行われましたか？
- いいえ
リニューアル後、商品のラインナップが拡充されたりしましたか？
- はい
リニューアルしたのは自社で作ったお菓子の販売サイトですか？
- はい
実はほりさん腕は大したことなかった？
- いいえ
ひらいさんは本当に良いページをつくったのですか
- わからない
ホームページリニューアルに伴い、何か広告を出しましたか？
- いいえ
テレビや新聞や雑誌やYoutuber等に取り上げられるなどありましたか？
- いいえ

答え

回答を表示する

ちょうど切り替わりのタイミングで、繁忙期に突入した為

変えた要素以外の条件をコントロールしないと、ダメな例です。
他にも、たまたまお菓子を芸能人がblogで紹介してたとか、SNSでバズったとか、そんなのが回答でも良いかもしれません。

効果を測るには、ABテストをするなど、条件を出来る限りコントロールして比較することが大事です。
実際に、関係ないところで売上が上がったにもかかわらず、「売上2倍達成しました！」とか手柄アピールや売り込みしてくる人も多いので注意して下さい。

問題4:風が吹けば桶屋が儲かる

風が吹けば桶屋が儲かるという諺を検証するために、桶屋の売上と風の強さを日毎に調べました。
その結果、本当に風が強い日ほど、桶屋の売上が上がる傾向が強いことがわかりました。
そこで桶屋は防風林を伐採するなど、風を強くする様々な試みを行い、見事町の風の強さを大きく上げることに成功。
しかし、その努力も虚しく、売上は全く伸びませんでした。
一体なぜ？

よくある質問

その町では桶は日常で使われていますか？
- はい
その桶は水を貯めてつかわれますか？
- はい、水を貯めて使われることが多いです
技術革新などで桶が使われなくなったりしましたか？
- いいえ
風を強くしたことで、桶屋は嫌われましたか？
- いいえ
風を強くしたことで、町から人が減りましたか？
- いいえ
ライバルの桶屋はありましたか？
- いいえ、ありません
桶は売り切れの状態になりましたか？
- いいえ、十分な在庫があります
桶屋は風を強くする事にお金を使いすぎてしまい、本業に支障をきたしましたか？
- いいえ
桶屋の売上増加は桶が売れたことによるものですか？
- はい

答え

回答を表示する

この桶屋のある町は雨水を桶で集めて貯めて生活に使っている。
風が強い日には雨が降る事が多く、雨水を受ける為に急いで桶が買われる事がよくあった為。

相関が出たからと言って、必ずしも因果関係があるとは限りません。あたかも2つの要素に因果関係があると勘違いするケースです。

私が新人WEBエンジニアの頃、コラムを読んでいる人はコンバージョンレートが高いという相関から「コラムのリンクをガンガン表に出せば売上も伸びる！」という施策の担当をしたことがあります。
しかし、実際は殆ど効果が見られませんでした。単純に、コラムを読む行為もコンバージョンも、元々購買意欲が高い人が取りやすい結果で、コラムを読んだからコンバージョンしているわけじゃなかった、という話ですね。
こういうとき「それ、因果関係なくないですか？」と企画担当にグサッと刺すのもエンジニアの仕事かなと思っています。

問題5:何故か当たらない世論調査

国政選挙の告示直前、ある大型動画サイトで世論調査を行いました。
公平に調査を行う為、ある時間に動画を見ている人全員に「アンケートのお願い」を画面上に出しました。
実に5万件もの回答が集まり、最大与党Aは、最大野党Bより支持率が高いという結果が見えました。
しかし、実際に選挙の結果が出ると、Bが圧勝、Aは惨敗したのでした。
一体なぜ？

よくある質問

選挙期間で政党Aに何かスキャンダルや不祥事はありましたか？
- いいえ
アンケート後に政党A、もしくは政党Bで、代表選挙など注目される出来事はありましたか？
- いいえ
A、B以外の政党の躍進はありましたか？
- いいえ
政党Aは選挙前に分裂や解散しましたか？
- いいえ
その選挙で政党Aに投票することはできましたか？
- はい
政党Aは勝つのに十分な候補者を立てましたか？
- はい
政党Aと似た支持層の政党Cが出てきて、票が割れたりしましたか？
- いいえ、2大政党と思って問題ないです
アンケートが表示される時間は告知されていましたか？
- いいえ
アンケートは、政党Aと答えやすいような誘導がされていましたか？
- いいえ
動画サイトの担当者が集計を誤魔化したり、不正な集計をしましたか？
- いいえ

答え

回答を表示する

この動画サイトでは、政党Aが積極的にプロモーションを行い、親和的な動画やコメントが多数投稿され、政党Bに否定的な動画やコメントが溢れていた。一方で、政党Bはプロモーションにこの動画サイトをあまり使っていなかった。その結果、この動画サイトに来ていて、かつ、アンケートに答える政治に関心のある人たちは、政党A支持層に偏っていたのだった。

偏りのある母集団からサンプリングをしても、偏りのある結果しか出てこない、という話です。

これ、2009年にニコニコ動画の世論調査という、実際にあった話を元に作っています。当時新聞社などの世論調査では、軒並み野党民主党が支持率で自民党を圧倒していると出ていたにも関わらず、ニコ動世論調査ではまだ自民党が支持率で民主党を上回っていたりしていました。また、新聞社の世論調査はランダムに電話をかける方法で件数も1000件程度、かたやニコ動は5万件とデータ数も圧倒し、もしかしたらニコ動の方が世論を反映しているのでは…とまで思わされました。

Twitterアンケートなども、投稿者のフォロワーと親和性の高い人たちの回答が集中しがちなので、バイアスがかかってしまうこともあるあるです。必ず、このデータはどこからどうやって取ったのかを意識して使うようにしましょう。