The Eyes Have It: Exploring the Connection Between Background Knowledge and Perception(Aatrai, 2024)

視覚的刺激（ボトムアップ）を対象にした研究は多いが、先行知識（トップダウン）を対象にした研究を珍しく感じたので取り上げた．

概要

この研究論文は、建築、社会科学、生物学のバックグラウンドを持つ95人の大学院生を対象に、先行知識が視覚探索における眼球運動に及ぼす影響を調査したものです。バイアスのない課題と専門分野にバイアスのかかった課題の両方で眼球運動を計測し、ピーク眼球速度や平均瞳孔径などの指標を分析しました。その結果、バイアスのない課題ではグループ間に有意差は見られませんでしたが、専門分野にバイアスのかかった課題では、先行知識を持つグループと持たないグループ間に有意差が見られました。先行知識の有無を眼球運動のパターンから判別できる可能性を示唆する結果となっています。

Q: どのような課題に対して、どのような実験を行ったか説明してください

A:

この研究では、参加者の背景知識が眼球運動に与える影響を調査するために、いくつかの課題と実験が行われました。具体的には、以下のような内容です。

参加者: 103人の大学院生が実験に参加し、スクリーニングの結果、95人が最終的なデータ分析に使用されました。参加者は、建築学（33人）、生物学（32人）、およびその他の分野（コントロールグループ、30人）の3つのグループに分けられました。
倫理的配慮: 実験は、所属機関の倫理委員会から承認を得て実施されました。参加者には、事前に実験内容について説明し、同意を得ました。
使用機器: 実験には、Tobii Pro X3-120アイトラッキング装置と、HP 24fディスプレイ（24インチ、60Hz、解像度1920x1080ピクセル）が使用されました。参加者は、ディスプレイから60cm離れた場所に座り、騒音のない閉鎖された部屋で実験が行われました。
実験課題: 各参加者には、3つのタスクが与えられました。
- タスク1（中立タスク）: CLEVR（Compositional Language and Elementary Visual Reasoning）データセットに基づく視覚質問応答タスクでした。このタスクは、3Dレンダリングされたオブジェクトの写真と、そのオブジェクトに関する複数の質問で構成されています。質問の種類は、存在、数、比較、属性など、さまざまなジャンルにわたります。このタスクは、特定の専門知識を必要としないため、中立的なタスクとして使用されました。
- タスク2（建築学に偏ったタスク）: コルカタの最も高い建物であるTHE 42のフロアプランの画像に基づいた視覚質問応答タスクでした。質問は、方向の推測、特徴の識別、および数のカウントに関するものでした。このタスクは、建築学の知識を持つ参加者に有利になるように設計されました。
- タスク3（生物学に偏ったタスク）: 人間の脳のさまざまな部分を、ラベルに基づいて識別する視覚質問応答タスクでした。質問は、ラベルの識別、マッチング、および一般化に関するものでした。このタスクは、生物学の知識を持つ参加者に有利になるように設計されました。
実験手順:
- 参加者は、まずアイトラッキング装置のキャリブレーションを行いました。
- 各タスクの前に、参加者はタスクの説明を受け、必要な概念について理解を深めました。
- 各タスクは、4つの質問スライドで構成され、参加者の回答と所要時間が記録されました。
- 同時に、アイトラッキング装置を使用して、眼球運動のデータが収集され、音声とビデオによる応答も記録されました。
データ分析:
- 収集されたデータは、欠損データ（瞬きなど）を取り除くための前処理が行われました。
- 次に、視線サンプルの間のユークリッド距離、サンプル間の時間、および視線速度が計算されました。
- 最後に、カスタムPythonプログラムを使用してデータを分析しました。
- 分析には、分散分析（ANOVA）が使用されました。
測定された眼球運動パラメータ:
- 総スキャン時間、総注視時間、総サッカード時間、注視回数。
- ピークサッカード速度（PV）。
- 平均瞳孔径（MPD）。

この実験を通じて、背景知識が異なるグループ間で、課題のタイプ（中立的か専門知識に偏っているか）によって、眼球運動のパターンにどのような違いが生じるかが調査されました。

Q:被験者はどのような背景を持つグループに分けられたか説明せよ。

A:

この研究では、参加者は3つの異なる背景知識を持つグループに分けられました。

建築学のバックグラウンドを持つグループ (Group A): 33人の参加者で構成されています。
生物学のバックグラウンドを持つグループ (Group B): 32人の参加者で構成されています。
コントロールグループ (Group C): さまざまな教育的背景を持つ30人の参加者で構成されています。

これらのグループ分けは、参加者の専門知識のレベルが、眼球運動のパターンにどのように影響するかを調べるために行われました。

Q:使用されたアイトラッキングデバイスとディスプレイの機種を答えよ。

A:

この研究で使用されたアイトラッキング装置とディスプレイは以下の通りです。

アイトラッキング装置: Tobii Pro X3-120。
ディスプレイ: HP 24fディスプレイ (24インチ、60Hz、解像度1920 x 1080ピクセル)。

Q:どのようなバイアスのかかった課題が用いられましたか？

A:

この研究では、2種類のバイアスのかかった課題が用いられました。

建築学に偏った課題 (Task II):
- この課題は、建築学の知識を持つ参加者に有利になるように設計されました。
- 具体的には、コルカタにある最も高い建物であるTHE 42のフロアプランの画像に基づいていました。
- 質問内容は、方向の推測、特徴の識別、数のカウントなど、建築学の専門知識が求められるものでした。
生物学に偏った課題 (Task III):
- この課題は、生物学の知識を持つ参加者に有利になるように設計されました。
- 具体的には、人間の脳のさまざまな部分を、ラベルに基づいて識別するものでした。
- 質問内容は、ラベルの識別、マッチング、一般化など、生物学の専門知識が求められるものでした。

これらのバイアスのかかった課題は、特定の分野の専門知識が、眼球運動のパターンにどのような影響を与えるかを調査するために使用されました。建築学のバックグラウンドを持つグループ (Group A) には建築学に偏った課題が、生物学のバックグラウンドを持つグループ (Group B) には生物学に偏った課題が、それぞれ専門知識を活かせる課題として設定されています。

Q:バイアスのかかった課題で、どの眼球運動パラメータに有意差が見られたか？

A:

バイアスのかかった課題において、特定の眼球運動パラメータに有意な差が観察されました。具体的には、以下の通りです。

ピークサッカード速度 (PV): 専門知識を持つグループは、持たないグループと比較して、ピークサッカード速度が低い傾向が見られました。
平均瞳孔径 (MPD): 専門知識を持つグループは、持たないグループと比較して、平均瞳孔径が大きい傾向が見られました。

さらに、時間相関パラメータに関しても有意な差が確認されました。

総スキャン時間
総注視時間
総サッカード時間
注視回数

これらのパラメータは、建築学に偏った課題（Task II）と生物学に偏った課題（Task III）の両方において、専門知識を持つグループと持たないグループの間で有意な差を示しました。

建築学に偏った課題（Task II）では、**建築学のバックグラウンドを持つグループ (Group A)**と、**生物学のバックグラウンドを持つグループ (Group B) とコントロールグループ (Group C)**との間で、これらの眼球運動パラメータに有意差が見られました。生物学に偏った課題（Task III）では、**生物学のバックグラウンドを持つグループ (Group B)**と、**建築学のバックグラウンドを持つグループ (Group A) とコントロールグループ (Group C)**との間で、同様の有意差が観察されました。

これらの結果は、特定の専門知識を持つ人は、関連するタスクにおいて、視覚的な探索や情報処理のパターンが異なることを示唆しています。特に、専門知識を持つ人は、より効率的に情報を処理するために、目の動きを調整している可能性があります。また、瞳孔径の変化は、認知負荷や関心度を反映している可能性があり、専門知識を持つ人が、課題に対してより深く関わっていることを示唆しています。

Q:ドメイン固有知識が視覚探索のオキュロメトリクスにどう影響するか？

A:

この研究では、ドメイン固有の知識が視覚探索における眼球運動にどのように影響するかを調査しています。具体的には、建築、社会科学、生物学のバックグラウンドを持つ大学院生95人を対象に、中立的なタスクと、それぞれの専門分野に偏ったタスクを実施し、その際の眼球運動を測定・分析しました。

実験結果から、以下の点が明らかになりました。

中立的なタスクでは、3つのグループ間で眼球運動に有意な差は見られなかった。これは、タスクが特定の専門知識を必要としないため、過去の知識の影響が反映されなかったためと考えられます。
専門分野に偏ったタスクでは、専門知識を持つグループと持たないグループとの間で有意な差が認められました。具体的には、建築分野のタスクでは建築を専攻する学生、生物学分野のタスクでは生物学を専攻する学生の眼球運動に特徴的な差異が見られました。
有意な差が見られた眼球運動の指標としては、ピークサッカード速度、平均瞳孔径、総スキャン時間、総注視時間、総サッカード時間、注視回数などが挙げられます。
特に、専門知識を持つグループは、ピークサッカード速度が低く、平均瞳孔径が大きい傾向が見られました。

これらの結果は、眼球運動が、ドメイン固有のタスクにおける過去の知識の有無を示す重要な指標となり得ることを示唆しています。これまでの研究では、時間ベースの眼球運動指標が専門知識の重要な指標として報告されていましたが、この研究では、サッカードと瞳孔に基づく指標も、知識によって変化する重要な指標であることが明らかになりました。

この研究の知見は、注意バイアスや、知識の専門性や不足による視覚処理における認知負荷の理解に役立つと考えられます。さらに、個別のチュートリアルシステムや、特定の学習障害や自閉症スペクトラム障害を持つ人々のための治療法の開発に貢献する可能性も示唆されています。

この研究では、タスクとして以下の3種類が使用されました:

CLEVRデータセットに基づく中立的なタスク。これは、3Dレンダリングされたオブジェクトの写真と、そのオブジェクトに関する質問で構成されており、オブジェクトの数、存在、形状、色などを問うものです。このタスクは、特定の専門知識を必要としないため、中立的なタスクとして機能します。
コルカタで最も高い建物であるTHE 42のフロアプラン画像に基づいた建築に偏ったタスク。このタスクでは、方向の推測、特徴の特定、数え上げなどが問われます。
人間の脳のさまざまな部分を特定する生物学に偏ったタスク。このタスクでは、ラベルの特定、マッチング、一般化などが問われます。

実験では、参加者の眼球運動をTobii Pro X3-120というアイトラッキングデバイスで記録し、同時に音声とビデオも記録されました。分析では、欠落データの除去、注視速度の計算などが行われ、得られた眼球運動のパラメータは、分散分析（ANOVA）を用いて分析されました。

Q:異なる背景知識を持つ集団間の眼球運動のパターンに違いはあるか？

A:

はい、異なる背景知識を持つ集団間で、眼球運動のパターンに違いがあるかというご質問ですね。ソースに基づいて回答します。

この研究では、背景知識が知覚に与える影響と、その眼球運動との関連性を調査しています。具体的には、建築学、社会科学、生物学のバックグラウンドを持つ大学院生95人を対象に、中立的なタスクと、それぞれの専門分野に偏ったタスクを実施し、眼球運動を測定・分析しました。

結果として、以下の点が明らかになりました。

中立的なタスク（CLEVRデータセットを使用）では、3つのグループ間で眼球運動に有意な差は見られなかった。これは、このタスクが特定の専門知識を必要としないため、事前の知識が眼球運動に影響を与えなかったことを示唆しています。
専門分野に偏ったタスク（建築学、生物学）では、専門知識を持つグループと持たないグループとの間で有意な差が見られた。
- 建築学を専攻する学生は、建築学に偏ったタスク（Task II）で、ピークサッカード速度（PV）と平均瞳孔径（MPD）に有意な差が見られました。また、総スキャン時間、総注視時間、総サッカード時間、注視回数などの時間相関パラメータにも有意な差が見られました。
- 同様に、生物学を専攻する学生は、生物学に偏ったタスク（Task III）で、ピークサッカード速度（PV）と平均瞳孔径（MPD）、および時間相関パラメータに有意な差が見られました。
- これらの結果は、専門知識を持つグループは、専門分野に偏ったタスクにおいて、より低いピークサッカード速度とより大きな平均瞳孔径を示すことを示唆しています。
- また、専門知識を持つグループと持たないグループの間で、注視時間や注視回数などの眼球運動のパターンにも差があることが示されました。

この研究は、専門分野に偏ったタスクにおいて、個人の背景知識が眼球運動のパターンに影響を与えることを示しています。特にピークサッカード速度と平均瞳孔径は、専門知識の有無を区別する上で重要な指標となる可能性が示唆されています。

さらに、この研究は、背景知識が人の知覚、解釈、意思決定に大きな影響を与えることを強調しています。この知見は、注意の偏りや、知識の専門性や欠如による視覚処理における認知負荷を理解するのに役立つ可能性があります。

この研究は、個々の背景知識が視覚情報処理に影響を与えることを示すとともに、眼球運動の測定が認知プロセスを理解するための貴重なツールとなりうることを示唆しています.

Q:オキュロメトリクスはドメイン知識の習熟度を識別するのに有効か？

A:

はい、オキュロメトリクスはドメイン知識の習熟度を識別するのに有効であると考えられます。

この研究では、建築、社会科学、生物学のバックグラウンドを持つ95人の大学院生を対象に、ドメイン知識のレベル別に分類し、眼球運動を測定しました。参加者には、偏りのない（ニュートラルな）タスクと、ドメインに偏った（建築および生物学）タスクが与えられました。その結果、以下の点が明らかになりました。

偏りのないタスクでは、3つのグループ間で眼球運動に有意差は見られませんでした。
ドメインに偏ったタスクでは、ドメイン知識を持つグループと持たないグループの間で、有意差が見られました。
特に、ピークサッカード速度や平均瞳孔径などの指標、および総スキャン時間、総注視時間、総サッカード時間、注視回数などの時間相関パラメータが、ドメイン知識を持つグループと持たないグループを区別するのに役立つことがわかりました。

この研究は、オキュロメトリクスがドメイン知識の有無を区別するのに重要であることを強調しています。特に、ドメイン固有のタスクにおいて、眼球運動はドメイン知識の存在を示す貴重な指標となります。

さらに、この研究では、サッカードのオキュロメトリクスと瞳孔ベースのパラメータが、知識によって変化する重要な指標であることがわかりました。具体的には、質問が偏っていたグループでは、ピークサッカード速度が低く、平均瞳孔径が大きいことがわかりました。

この研究結果は、視覚処理における注意の偏りや認知負荷を理解するのに役立つと考えられます。また、個別のチュートリアルシステムや、特定の学習障害や自閉症スペクトラム障害のような学習グループ向けの治療法の改善にも貢献する可能性があります。

これらの知見は、人間の認知と知覚をより深く理解するのに役立つでしょう。

ただし、より多様な学歴を持つ大規模な母集団を対象とした追加の研究が必要であり、結果を検証し、一般化する必要があります。

Q:オキュロメトリクスとは何ですか？

A:

オキュロメトリクスとは、眼球運動を測定・分析する技術のことです。この技術を用いることで、人間の視覚的な注意、知覚、意思決定のメカニズムを直接的に理解することができます。

具体的には、以下の様な眼球運動の様々な側面を測定します。

注視 (Fixation): 目が特定の場所に留まっている状態。注視時間や注視回数などが測定されます。
サッカード (Saccade): 目が急速に移動する動き。サッカードの速度や持続時間などが測定されます。
瞳孔径 (Pupil Diameter): 瞳孔の大きさ。瞳孔径の変化は、認知負荷や感情状態などを反映すると考えられています。
スキャンパス (Scanpath): 目の動きの軌跡。視覚探索のパターンなどを分析するのに用いられます。

これらの眼球運動のデータを分析することで、人が何に注意を向けているか、どのように情報を処理しているかを知ることができます。

この研究では、特に以下の様なオキュロメトリクス指標が使用されています:

総スキャン時間: 参加者がタスク中に画像をスキャンした合計時間。
総注視時間: 参加者がタスク中に特定の場所に注視した合計時間。
総サッカード時間: 参加者がタスク中にサッカード運動を行った合計時間。
注視回数: 参加者がタスク中に特定の場所に注視した回数。
ピークサッカード速度 (PV): サッカード運動の最大速度。
平均瞳孔径 (MPD): タスク中の瞳孔の平均直径。

この研究では、これらの指標を用いて、ドメイン知識（専門知識）の有無が眼球運動にどのように影響するかを調べています。実験の結果、ドメイン知識を持つ人は、特定のタスクにおいて、ピークサッカード速度が低く、平均瞳孔径が大きい傾向が見られました。また、時間相関パラメータである総スキャン時間、総注視時間、総サッカード時間、注視回数についても、ドメイン知識の有無によって有意な差が見られました。

このように、オキュロメトリクスは、人間の認知プロセスを理解するための強力なツールとなりえます。特に、ドメイン知識の習熟度や、認知負荷の状態などを客観的に評価するのに有効であることが示唆されています。この研究では、眼球運動のパターンを分析することで、専門知識を持つ人とそうでない人を区別できる可能性を示しています。