Perception of Virtual Characters(2019)

Perception of Virtual Characters(Rachel McDonnell , 2019)

概要

この論文は、バーチャルキャラクターの知覚に関する研究を網羅したSIGGRAPH 2019コースの要旨です。人間の知覚に影響を与える、顔の比率や陰影、詳細レベルといった低レベルの手がかりと、行動や芸術的様式化といった高レベルの手がかりの両方を網羅的に扱っています。キャラクター開発、アニメーション、視覚表現とストーリーテリングの一貫性の達成におけるこれらの要素の影響に焦点を当て、限られた予算や時間の中で説得力のあるキャラクターを作成するための実践的な指針を提供することを目的としています。実験計画や統計分析の方法論、そして様々な刺激（画像、動画）の生成方法についても解説しており、バーチャルヒューマンの知覚研究における包括的なリソースとなっています。

Q: バーチャルキャラクターの知覚に影響を与える視覚的および動作的要因は何か？

A:

バーチャルキャラクターの知覚に影響を与える視覚的および動作的要因は多岐にわたります。以下に、ソースで言及されている主な要因をまとめます。

視覚的要因

• キャラクターの様式化：
  • 写実的なキャラクターと様式化されたキャラクターの間で、知覚される魅力や信頼性が変化します。
  • 形状と素材の様式化の度合いが、キャラクターの魅力や不気味さに影響を与えます。形状が写実的であれば、素材も写実的な方がより現実的に感じられますが、形状と素材の様式化が大きく異なると、キャラクターの魅力が損なわれ、不気味に見えることがあります。
  • テクスチャのぼかしは、特に写実的な形状の場合に、キャラクターの魅力を高める効果があります。
  • 抽象的なキャラクターに写実的な素材を使用すると、非常に不気味に感じることがあります。
• キャラクターの写実性:
  • 写実的なキャラクターは、現実と認識されるまでに高いレベルのリアリズムを必要とします。
  • 目や口は最も関連性の高い情報を含み、次いで鼻、皮膚はそれほど重要ではありません。
  • デジタルダブル（自身のバーチャルな姿）は、運動量や広告効果を高める可能性がありますが、不安を軽減する効果がある場合もあります。
• 顔のプロポーション:
  • 顔のパーツのサイズや配置は、キャラクターの魅力に影響を与えます。
  • 目が大きく、顔の幅が狭いと、キャラクターはより信頼できるように見えます。
  • 男性の場合、顔の幅が広いと、より脅威的で支配的、魅力的でないと認識される可能性があります。
• 詳細レベル（LOD）:
  • 低解像度モデルのアーティファクトは、シルエットの滑らかさの欠如、不正確な照明、テクスチャの歪みによって識別できます。
  • 写実性を下げると、顔が不気味に見えなくなり、魅力的になる場合があります。
• 肌の外観:
  • 肌のテクスチャの変更は、顔をより魅力的に見せることができます。
  • 肌のテクスチャをぼかすと、魅力を高めることができます。
• 照明と陰影:
  • 表面の滑らかさと影の柔らかさがリアリズムを高めます。
  • Phongシェーディングのようなシンプルな照明モデルでも、グローバルイルミネーションのような複雑な照明モデルとほぼ同じくらいリアルに見えることがあります。
  • 照明は、シーン内の雰囲気を強調する強力なツールです。
  • キーライトの位置（上または下）は、知覚される感情の強さにほとんど影響を与えませんが、暗い影は魅力が低いと評価されます。
• 顔と体の部位への視覚的注意:
  • 観察者は主に頭部と上半身に注目し、特に顔では目と口に注目します。特に目の部分への注視が支配的です。
  • 目が最も重要であると考えられています。

動作的要因

• 性別:
  • 歩き方などの動きから性別を認識することができます。
  • 男性と女性は異なる歩き方をし、ヒップの揺れは女性、肩の動きは男性を示す傾向があります。
  • 会話の動き（手のジェスチャー、姿勢）も性別を正確に認識させるのに役立ちます。
  • 動きに性別の手がかりが少ない場合、キャラクターの外見が性別の知覚を支配しますが、中性的な外見の場合、動きが支配的になります。
  • 性別の手がかりが強い動きが、反対の性別のキャラクターに適用されると、「コントラスト効果」により、動きの性別がより強く認識される可能性があります。
• 感情:
  • 感情は、全身の動き、上半身の動き、腕の動き、そして特に顔の動きを通して表現されます。
  • 幸福や驚きは主に口で、悲しみ、怒り、恐れは目と眉で表現されます。
  • 幸福と怒りは顔と手の動きでよく表現され、悲しみと恐怖は全身の動きでより明らかです。
  • 感情認識は、さまざまなスタイルのキャラクターモデルでかなり頑健ですが、テクスチャ情報が多いと感情認識が妨げられたり、表現の強さが減衰したりする場合があります。
  • 現実的なレンダリングは、トゥーンレンダリングと比較して、視聴者に異なる感情体験を引き起こす可能性があります。
• ジェンダーと感情のバイアス:
  • 怒りの動きは男性として、悲しみの動きは女性として認識される傾向があります。
  • 感情バイアスは、性別の知覚を性別のステレオタイプに従って影響を与えます。
• パーソナリティ:
  • パーソナリティは、外見、動き、言語、インタラクティブな行動を通じて表現できます。
  • 外向的な性格は、誇張された動き、全身の動きの速さ、顔の動きの速さで表現できます。
  • 男性の場合、広い肩と三角形の体型は外向性を連想させ、女性の場合、不快感と神経質な性格は、下半身が重く、足が短い、力強い体型に関連付けられています。
  • 視線を合わせないキャラクターは、より神経質で内向的に見え、長く途切れない視線は外向性の兆候である可能性があります。
• 動きの独自性:
  • 動きの独自性は、観察者によって認識され、同一の行動の異なる例（遅い歩行と速い歩行など）に見られます。
  • 魅力的でない動きは、平均化された動きよりも独自性が高いです。

これらの要因は相互作用し、バーチャルキャラクターの知覚に複雑な影響を与える可能性があります。

Q: 現実性とスタイル化のレベルが、バーチャルキャラクターの知覚にどう影響するか？

A:

バーチャルキャラクターの知覚に対する現実性とスタイル化の影響について、情報源から得られた知見をまとめます。

現実性(リアリズム)とスタイル化の定義

• スタイル化は、キャラクターの抽象度のレベルを指し、アイコン的（写実的な顔が笑顔になる）から、非アイコン的（キュビズムのような抽象化）までの範囲があります。また、超現実的というカテゴリーもあり、これは現実には存在しないが、非常にリアルに見えるキャラクターを指します。
• 知覚研究では、フォトリアリスティック（写実的）とスタイル化/アイコン的、あるいはフォトリアリスティックと擬人化/超現実的なスケールで分類されるのが一般的です。

現実性とスタイル化が知覚に与える影響

• 身体の知覚:
  • 写実的なキャラクターとスタイル化されたキャラクターの中間の形態が、最も魅力的で現実的であると評価されることがあります。
  • 例えば、現実的なキャラクターとスタイル化されたキャラクターの中間の33％の形態は、現実感と魅力の両方で最も高い評価を受け、66％の形態も同様に魅力的だが、現実感は低いと評価されました。
• 顔の知覚:
  • 写実的な描写は、表現の確信度を高めます。
  • レンダリングスタイルが基本的であればあるほど、魅力と信頼性が低く評価される傾向があります。
  • 形状と材質のスタイル化を別々に調整すると、次のことが明らかになります：
    • 形状は現実感の主要な記述子であり、材質は現実的な形状の場合にのみ現実感を高めます。
    • 材質と形状のスタイル化が大きくミスマッチすると、キャラクターの魅力が損なわれ、不気味に見えます。
    • アルベドテクスチャは、主に材質の知覚変化を修正し、現実的なテクスチャをぼかすと、キャラクターの魅力が増し、現実感を損なうことなくメイクアップ効果が得られます。
    • 現実的な材質を持つ抽象的なキャラクターは、非常に不気味に見えます。
• 専門家としての知覚:
  • バーチャルキャラクターがインストラクターとして使用される場合、彼らが現実の人間と同程度に有能であるかどうかという問題があります。
  • ある研究では、医者のアドバイスは、その外見に関係なく、参加者の決定に大きな影響を与えました。
  • 別の研究では、デジタルアバターが専門家の場合、参加者は彼を識別するのに苦労しましたが、ロボットや現実の人物として表現された専門家は、確実に識別されました。
• 現実感の境界:
  • キャラクターが現実的だと認識されるには、高いレベルの現実感に一致する必要があるという研究結果があります。
  • 目と口が最も関連性の高い情報を含み、次いで鼻、肌はあまり重要ではないという研究結果もあります。
• レベルオブディテール（LOD）:
  • 幾何学的な詳細度（ポリゴン数）が低いと、顔が不気味に見えにくく、魅力的に見えることがあります。
  • メッシュ解像度が最も低い顔は、目のサイズを通常と大きくした場合に、知覚される魅力の変動が少ないという研究結果もあります。
• スキンの外観:
  • 肌のテクスチャの変化は、顔をより魅力的に見せる効果があります。
  • 肌のテクスチャをぼかすと、魅力が増すという研究結果もあります。
  • 特徴の輪郭を保持しながら、現実的なテクスチャをぼかすと、現実的な形状だけでなく、スタイル化された形状のキャラクターもより魅力的に見えます。
• ライティングとシェーディング:
  • サーフェスの滑らかさと影の柔らかさが現実感を高めます。
  • 単純な指向性ライトとハードシャドウで照らされたPhongシェーディングのキャラクターは、グローバルイルミネーションと組み合わせた複雑なマテリアルのキャラクターとほぼ同じくらいリアルであると判断されることがあります。
  • ライティングの方向は、感情的な強さの知覚にほとんど影響を与えないという研究結果もあります。

その他の考慮事項:

• 視覚的注意:
  • 観察者は主に頭部と上半身を見ており、顔では特に目と口を見ることがわかっています。
  • 目は最も重要な要素の1つであると認識されており、これが現実感を達成するために重要な要素の1つとされています。
• 感情認識:
  • キャラクターの感情表現は、顔と体の両方が正しく表現されていると、より魅力的に見えるという研究結果があります。
  • ただし、複雑なテクスチャ情報や非常に抽象的なレンダリングスタイルは、感情の認識を妨げたり、表現の強さを弱めることがあります。
• 性格の認識:
  • 誇張されたボディモーション、モーションの全体的な速度、顔の動きの速度の増加は、キャラクターがより外向的であるという認識を生み出すという研究結果があります。

結論

現実性とスタイル化のレベルは、バーチャルキャラクターの知覚に大きな影響を与えます。現実的なキャラクターが必ずしも最も魅力的であるとは限らず、スタイル化されたキャラクターも特定の状況下では有効であることが示されています。キャラクターの特定な外観、例えば目の大きさや顔のプロポーション、ライティングやシェーディング、モーションなどの要素は、キャラクターの知覚される現実感や魅力、信頼性、感情表現、性格などに影響を与えることがわかっています。これらの要素を理解し、適切に制御することで、より魅力的で効果的なバーチャルキャラクターを作成することができます。

Q: バーチャルキャラクターの知覚におけるトップダウンとボトムアップのプロセスを比較せよ。

A:

バーチャルキャラクターの知覚におけるトップダウンとボトムアップのプロセスについて、以下のように比較できます。

ボトムアップ処理

• ボトムアップ処理は、低レベルの感覚情報から高レベルの情報へと変換するプロセスです。
• 視覚刺激が非常に複雑であるため、この処理が必要とされます。
• 例えば、奥行きの知覚では、脳は網膜に映る2次元の画像から奥行きを知覚する必要があります。
  • このために、両眼からのわずかに異なる角度の情報（網膜視差）を使用し、視覚皮質で画像を結合して奥行き情報を評価します。
  • 正確かつ迅速に行うため、学習された、または事前に定義された組織化のルールを使用します。
• **視覚的組織化の原則（ゲシュタルト原理）**は、ボトムアップ処理の一部として、視覚的要素をグループ化し、意味のある全体像を形成するのに役立ちます。
  • 例えば、**「図と地」**の原則では、視野内の意味のあるオブジェクト（図）と、それほど重要でない背景（地）を区別します。
  • **「グループ化」**の原則では、近くにあるオブジェクト、類似したオブジェクト、連続性のあるオブジェクトなどを一緒にグループ化します。
  • これらの原則は、奥行き知覚にも重要で、2次元画像で奥行きをシミュレートするために使用されます。
• これらの視覚的組織化の原則の一部は、生物学的に受け継がれているものもあれば、経験を通して学習されるものもありますが、多くは一次視覚野で処理されるボトムアップ知覚に属します。

トップダウン処理

• トップダウン処理は、学習を通じて得られた世界に関する知識に基づいて、感覚情報に意味を与えるプロセスです。
• このプロセスは、注意、期待、動機などによって影響を受けます。
• これらのメンタル表現または「スキーマ」は、世界について学習したすべてを含んでおり、感覚情報が曖昧な場合に特に、刺激の意味を迅速に評価するのに役立ちます。
  • 例えば、以前の経験から、簡単な点光ディスプレイから人間の形を知覚できるのは、トップダウン知覚によるものです。
  • また、テキストのスペルミスを見落とすのも、トップダウン知覚によって単語の意味を理解できるためです。
• トップダウンプロセスは、社会的知覚などの幅広い概念も含まれます。
  • 人々は、外見に基づいて他人の性格特性を判断し、その最初の判断に基づいて行動を解釈する傾向があります。
  • ステレオタイプは、他人の行動を、その人が属するグループまたはカテゴリ（人種、性別、年齢など）に基づいて分析する例です。

バーチャルキャラクターの知覚における両プロセスの重要性

• バーチャルキャラクターを知覚する場合、ボトムアップとトップダウンの両方のプロセスを理解することが重要です。
• 2次元表現から3次元の形状と奥行きを知覚する方法を理解することは、キャラクターのデザインにとって重要です。
• 同時に、バーチャルヒューマンを観察する際の既存のスキーマの重要性を理解することも重要です。
• バイアスは、設計されたバーチャルキャラクターの信憑性を測る尺度として使用できます。行動や外見が現実的だと認識されるバーチャルヒューマンは、偏った反応を引き起こす可能性があります。
• 知覚実験を設計する際にも、これらのトップダウン知覚効果を認識することが重要です。参加者の背景や精神状態は実験結果に影響を与える可能性があるためです。

両プロセスの相互作用

• 知覚は、感覚情報（ボトムアップ）と既に獲得した世界の表現（トップダウン）の間のフィードバックループによって影響を受けます。
• トップダウンプロセスには、個人の認知状態（注意、動機、性格など）も含まれ、感覚器官が選択的に知覚するように影響を与える可能性があります。
• 知覚モデルの各ステップを記述するボックスは、感覚システムによって破線として登録されますが、長方形のオブジェクトとして認識されるなど、知覚組織化も関係します。

このように、バーチャルキャラクターの知覚は、感覚情報に基づいたボトムアップ処理と、過去の経験や知識に基づいたトップダウン処理の両方の影響を受けます。これらのプロセスを理解することで、より効果的で魅力的なバーチャルキャラクターを設計することができます。

結論

これらの研究結果から、バーチャルキャラクターのリアリティと魅力は、単に現実的な描写を目指せば良いというものではないことがわかります。スタイリゼーションの度合い、形状と素材のバランス、そしてレベルオブディテールなど、多くの要素が複雑に絡み合い、最終的な知覚に影響を与えます。特に、中間のスタイリゼーションが魅力と現実感の両方で高い評価を得ることがあるという事実は、キャラクターデザインにおいて、単なる写実性だけでなく、意図された効果を考慮した上でスタイリゼーションを調整することの重要性を示唆しています。さらに、現実的な素材を持つ抽象的なキャラクターが不気味であるという事実は、スタイル化と現実感の組み合わせには注意が必要であることを示しています。