1. 本記事の目的
30代、40代のエンジニアのみなさまにご質問。小学生の頃、下の様な「定規戦争」という遊びが流行っていませんでしたか？
趣味でデータ解析したい（既存のオープンなデータを分析するのではなく、実データを収集し、解析した上で研究っぽくまとめたい欲） → Webアンケートで社会調査的なことをして、そのデータを解析しよう！ と思い立ち、実施しました。調査の題材として、小学校の頃に全国で流行した謎の遊び「定規戦争（地域によってはさしぱち、じょうせん等とも）」の起源を探ることをターゲットとしました。
そこで得たWebアンケートに関するノウハウや、無意識に犯していたデータ収集・解析におけるありがちな失敗（バイアスに対する認識不足）とHarking（hypothesizing after the results are known）に関して記載します。
Webアンケートは、1000レコード程度の実データを数時間で得ることができるので、実験計画も含めた基礎的なデータ解析の学習には比較的良いツールなのではないかと思っています。得られた調査結果（なお、正確性に問題があることが途中で分かったので、学術的価値はほぼはありません）も記載しますが、どちらかというとその際に得られたノウハウが役に立つと嬉しいです）
とはいえ、今回の調査によって、これまでの『90年代に流行した』という定説（？）を覆し、1970年代後半、80年代前半にはすでに全国に広がっていた可能性が明らかになったっ！というのは高らかに謳いあげたいところです。
追記：本記事で扱っているのは、心理学において「質問紙法」と呼ばれるものです。質問紙法について知りたい方は、この記事を読むより、加藤司「心理学の研究法」（北樹出版）を読むことをお勧めします。作者はこの記事を書いた後にこの本を読みましたが、いかに自分の質問項目がダメダメだったか思い知らされました。
2. Webアンケートについて
Webアンケートには大まかに①オープン型、②クローズド型があります。①はWebページなどのバナー広告などでアンケートを呼びかけるもの、②は調査会社に登録しているモニタに対してアンケートを配信し、それに対して回答してもらう形でアンケートを集計します。通常のアンケート調査とのメリット/デメリットは以下と通りで（参考文献1）、実際に使ってみた後の感想も記載します。
メリット
- 大規模な調査を低コストに実施可能...今回は②クローズド型の調査会社にいくつか見積もりを依頼してみましたが、セルフ型調査（問題の設計も全て自分で行うタイプ）で1名×1問あたり10円程度の相場でした（3問のアンケートを500名に回答してもらうとすると、1.5万円程度）。
- 結果が直ちに得られる...調査会社や質問内容にも依存すると思いますが、配信から３、４時間程度で500人の回答者から回答を得ることができました。
デメリット
- 回答者集団の偏り...モニタはWebを利用していることが前提なので、その時点で想定している本来の母集団から大きく偏ってしまう可能性が高い（特に高齢者をターゲットとしたアンケートには向いていない）。今回の調査は、20〜40代をターゲットとしたので、この影響は少ないと予想しました。
- 調査への協力者の偏り...モニタのうち、調査の内容に興味がある人しか回答しないので、後述する「自己選択バイアス」が結果に大きく影響することが予想されると思われます。特にモニタは、アンケートのタイトルによって回答するかを決めることが予想されるため、バイアスがかからない様なタイトルをつけることが重要です（自分はここで失敗した）。
- 調査者本人の確認ができない...単一人物が複数のアカウントを作って回答しているリスクがあります。また、後述するように、登録している属性情報が本当に正しいかも集計者側からチェックできません。ちなみに、今回調査を依頼した会社に「身分証等でチェックを行なっているのか？」と質問したところ、「していない」という回答でした。手軽さ・安価さと、正確性はトレードオフです。
以上から、（サービスに依存しますが）統計的な精緻さはあまり期待できません。実際、回答者の登録情報と回答に矛盾が発生している回答も多くみられました。予備実験等には有用かもしれません。
3. 調査の手順
3.1. 課題・仮説の設定
アンケートを実施するに当たって、まずその題材および仮説を立てる必要があります。定規戦争は、自分を含め、90年代に全国の小学生の間で流行した遊びです（参照：ニコニコ大辞典）。前々からこの遊びの起源や、どうやって全国に広まったのかについては興味を持っていました。Web上でもちらほら「いつごろ、どの地域で流行っていたのか？」といった質問投稿や議論を見かけるので、明らかにすることができればそこそこの社会貢献になるのではないかと考えました。
私はこの遊びの起源、および広がり方（伝播）について二つの仮説を立てました。
仮説1. 定規戦争は80年代半ば〜後半に起源を持つ （Web上に「90年代に流行した」という情報が多かったため、そこから逆算）
仮説2. 定規戦争はメディア媒体の影響は受けず、口コミを中心に広がった。さらに、その伝播過程において学校間コミュニティを結ぶ「塾」が重要な役割を果たした。（自分の小学校では、この遊びが塾から学校に伝播していたようだったので）
3.2. アンケートの対象、サンプル数検討
仮定1から、この遊びが発生した時期の子供は現在30代から40代、さらに自身の経験から遊んでいたのが皆男子だったため、男性をアンケート対象として選定しました。各都道府県ごとに10名ほどはサンプルが欲しい＆予算のバランスを取り、サンプル数は各年代250名、計500名としました（後に、20代250名を追加）。次ステップの見積もり時にスクリーニングの有無は聞かれるので、この時点で必要かどうかを判断が必要です（本調査では不要としました）。
3.3. Webアンケート調査会社の見積もり依頼・選定
上の仮説を実証するため、いくつかのWebアンケート調査会社に見積もりを依頼しました。今回大きな発見だったのが、調査会社は法人のみ対応というところも多いですが、本調査の様な個人の趣味に対応してくれるところもいくつかあったということです。なお、会社ごとにモニタ（会員制なのかアプリ利用者を対象としているのか等）や配信方法が異なるので要注意。
3.4. アンケート設問の作成/配信/回収
仮説を検証するための問いを作成します。本調査では以下の3つを設問としました。
アンケートタイトル：子供の頃、流行した遊び（定規戦争）に関するアンケート
設問1. 子供の頃、「定規戦争」という遊びを学校、もしくは塾で遊んだ、もしくは見たことはありますか？（当てはまるものをすべて選択してください）
A. 学校で遊んだ、もしくは見たことがある
B. 塾で遊んだ、もしくは見たことがある
C. メディア（新聞、テレビ、本など）で紹介されているのを見たことがある
D. 遊んだことも見たこともない、もしくは記憶にない（排他選択肢）
設問2. あなたの現在の年齢を入力ください
設問3. 通っていた小学校がある都道府県を教えてください
本調査で使用したサービスの様に「アンケートのタイトル」の設定箇所がある場合は、注意が必要です。Webアンケートでは、モニタはアンケートのタイトルを見てそのアンケートに回答するか決めるため、タイトルの付け方により回答者にバイアスがかかります。アンケートに参加するかどうかを回答者自身が決定することによって、回答者の集団が本来想定した母集団から偏ってしまうことを「自己選択バイアス」と呼びます。本調査では、「定規戦争」を知っているモニタがアンケートに参加しやく、設問１における肯定的回答が、実際の母集団よりも高くなってしまうと考えられます（筆者はこのバイアスに、配信後に気づいたので、皆様はご注意を）。
アンケートの作成が完了した後、配信、さらに回答の回収を行います（サービスに依存するので具体的なやり方は省略します）。
3.5. データクリーニング
回収した回答の中から、無効回答を取り除く処理を行います。今回は、回答に付随した回答者の登録年齢と、設問２での回答である年齢が異なった場合、その回答を無効としました（本調査では、有効回答率85%でした）。
3.6. 仮説検証
まず、仮説１「定規戦争は80年代半ば〜後半に起源を持つ」について検証します。以下では、20代〜40代総計750名から得られた回答のうち、有効回答であった644を対象とします。
まず、定規戦争を知っていると答えた回答者（設問１においてA-Cを選択した回答者）および、知らないと答えた回答者（設問１においてDを選択した回答者）を年齢層ごとに示します。このグラフから、40代後半、すなわち1970年代後半〜1980年代前半が小学生期に当たる回答者のうちにも「定規戦争を知っている」という方がいることになります。
45-49際で肯定的に回答した方（13名）の通学していた小学校の所在地は、北海道、埼玉県、東京都、神奈川県、千葉県、愛知県、新潟県、兵庫県、岡山県でした。この時点で、全国的に広がっていたことがわかります。よって、仮説１は棄却されることがわかりました（繰り返しになりますが、本結果は自己選択バイアスがかかっているため、知っている人の割合（認知度）には意味がないことに注意していただければと思います）。ただ各年代の回答者に対して等しく偏りがあったと仮定すると、年齢と認知度には負の相関があるようにも見えます。こちらに関しては、複数の年代をまたいで徐々に遊びが伝搬していることを示唆するもので、大変興味深くはありますが、今後の検証課題とします。
続いて、仮説２（定規戦争はメディア媒体の影響は受けず、口コミを中心に広がった。さらに、その伝播過程において学校間コミュニティを結ぶ「塾」が重要な役割を果たした。）について検証します。下に、肯定的回答の内、定規戦争を遊んだ、もしくは見た場所・媒体ごとの条件付き確率（P（各場所・媒体で定規戦争で遊んだ・見た | 定規戦争を知っている）を求めました。なお、設問A〜Cは複数回答可であったため総計しても100%とはならないことにご注意いただければと思います。メディア（新聞、テレビ、本など）で見た割合は塾で見た・遊んだ割合と同程度には高く、仮説２は（完全にではないにせよ）ほぼ棄却されることがわかります。
4. 反省 〜 仮説検証型/仮説探索型研究、およびHarkingについて 〜
当初、本調査は30代-40代のみ男性を対象として行い、早々と仮説１と仮説２が棄却されることが分かりました。そこで、新たに「年齢と認知度に逆相関がある」という仮説を立て、新たな仮説に基づいて２０代のデータを収集した、という経緯があります。しかし、果たしてこれは研究の姿勢として正しいのでしょうか？
研究には、「仮説検証型研究」と「仮説探索型研究」の二種類が存在します（参考文献2）。筆者は本記事を、「仮説検証型」の形式（仮説を最初に示し、それが正しいか検証する）に則り執筆しました。ここで、仮に上の仮説（年齢と認知度に負の相関がある）という仮説が事前に立てた仮説であるかのように騙って記事を執筆した場合、それはHarking（hypothesizing after the results are known「結果が判明したあとに仮説を作る」）という不正行為となります（参考文献3）。本調査のようなアンケートに限らず、データに基づいて解析を行い、様々なパラメータの相関を見ていけば「何らかの有意な結果」というのは得ることができます。問題は、それがただのノイズによるものであった場合、「その仮説を検証し、確かめられた」という書き方をしてしまうと、第一種の錯誤（帰無仮説を誤って棄却してしまう誤り）を生んでしまうことです。
逆に、（これは筆者の理解ですが） 「仮説探索型研究」としての書き方をするのであれば、不正行為ではないという認識です。すなわち、事前に立てた仮説ではなく、実験の結果得られた未検証の仮説であることを記載するということです。ただし、新たな仮説を検証するためには、実験計画を練り直し、再度実験を行う必要があります。そういった意味では、20代のデータを追加で収集したという行為は仮説検証型/探索型のどちらの研究としても褒められたものではないと言えます（今回は、仮説１、２とも２０代の収集結果に依存しないため、20代のデータも記載しました）。
後半、「定規戦争」とは何の関係もなくなってしまいましたが、誤りの指摘、コメント等いただければ大変幸いです。
参考文献
[1] 安藤明之: "初めてでもできる社会調査・アンケート調査とデータ解析," 日本評論社, 2021.
[2] 科研費.com
[3] Wikipedia: Harking