本記事はVTuber Tech #1 Advent Calendar 2019の記事です。

前日の記事
HDRPによる高品質なPBRとトゥーン表現の両立を試みる【Unity】

前置き

こんにちは @iwaken71 です。
この記事は、技術紹介記事ではなく、VTuberの尊さを解明すべく、Virtual Being関連の論文を読んで「この軸で考えると尊さに近づくかも」という仮説と個人的に面白かった論文を紹介するといった記事となります。

なので「すぐに実践できる!」といったものではなく「なるほど、そういう軸の考え方があるのね」という気づきや裏付けを与える記事となります。

なんで論文読み始めたの?

普段私は、VTuberの技術的サポート、VR/ARアプリの開発といったエンジニアの動きをしているのですが、ある時

Virtual Beingという言葉が, VTuberに代わる言葉になるのでは？と日本で話題になる
「えっ、なんだこれ、面白そう！知りたい！どういう概念なんだ！」
「VTuberのプレゼンスや表現に強く関係がありそうだ！」
「そうだ、社内でゼミを立ち上げて、論文読んで深ぼってみよう！」

ということで、社内でVirtual Beingゼミを立ち上げました。

その活動で

「尊いVTuber」=「Good Virtual Being」と定義した上で
Good Virtual Beingを我々で定義しよう
そのために1人1週間に1本読んで紹介しよう, 7週間で3人いるから,21本の論文が読めるね！

ということで、Virtual Beingに関する論文を読みまくりました。正確には、Virtual Beingという言葉は学術的に確立されてるわけではないので、それに類似する概念の周辺を調べました。

記事の流れ

Virtual Beingって何?
VTuberはVirtual Beingなの？
Good Virtual Beingの7つの条件を仮説立ててみた
面白かった論文紹介3つ紹介

という流れになります。

Virtual Beingって何？

一言でいうと
「実在はしないが、双方向でエモーショナルな関係を築けることができると知られているキャラクター」と私は解釈しています。

これは、"Virtual Being"を提唱したFable社のWebページを私なりに和訳した言葉になります。

What is a virtual being ?
A virtual being is a character that you know isn’t real but with whom you can build a 2-way emotional relationship.
引用: https://fable-studio.com/virtual-beings

大事なのは、エモーショナルな関係を築けることができるというところですね。

他にも
「Virtual Beingの人生を観測する手段として、VRだけでなく、ARのヘッドセット,Instagram,Twitter,iPhone,iPadなど, 多くのデジタルメディアで体験することができる」

「Virtual Beingは人間と会話することができる。しかし,それは計算機の性能をテストすることが目的ではない。彼らは彼らの人生を楽しんでいる。また我々人間と関わることを歓迎している」 (意訳)
と述べられています。

Is a virtual being only viewable in VR?
No. A virtual being’s life can be experienced through Instagram, augmented reality headsets, your iPad or iPhone, chat, Alexa, virtual reality glasses and more. Just like us virtual beings exist across many different media.

Can I talk to a virtual being?
Some virtual beings can have a conversation with you - but they aren’t there to satisfy the curiosity of a Turing test-er. Virtual beings have their own lives and stories. They’re on their own journey and they welcome you to be a part of it.
引用: https://fable-studio.com/virtual-beings

極めて心は人間に近いように感じ、しかし見た目はバーチャル、的な存在。ですかね。

Virtual Beingでない例としては

銀行のATM画面上のお姉さん
- 見た目はバーチャルではあるけど、人生のストーリーがなく、エモーショナルな関係は築けないと知られているためVirtual Beingでない
AKBなどのアイドル
- 人生のストーリーはあり、エモーショナルな関係は築くことができると知られているが、実在するためVirtual Beingでない

と定義から言うことができそうです。

では、具体的なVirtual Beingの例は?というところで、Fable社からはバーチャルインフルエンサーのLil MiquelaさんやMagic Leapに現れるAIエージェントのMicaさんが挙げられています。

What are examples of virtual beings?
Virtual beings range from digital influencers like Lil Miquela to artificially intelligent agents like Mica from Magic Leap.
引用: https://fable-studio.com/virtual-beings

これはLil MiquelaさんのInstagramです。めっちゃリアル...ですがCGによって表現されたキャラクターです。
かつ、Instagramでは彼女の生活の一部や実在する人間とのツーショットなどあり、彼女が人生を謳歌しているのがわかります。
つまり、Virtual Beingであると言えるでしょう。

VTuberはVirtual Beingなのか？

そこで浮き上がる疑問としては「VTuberはVirtual Beingなのか?」という疑問です。

ここで私の解釈は

「Virtual BeingsはVTuberを包括する親カテゴリのような概念である。」
「VTuberは日本の色が強い文化である」

です。

前者はninoPさんによるnoteにも言及されており、

Virtual BeingsはVTuberを包括する親カテゴリのような概念である。
引用 Virtual BeingはVTuberを超えるのか -米国Startupが提唱したVirtual Beingsとは何か

の解釈に私も賛成しているので、拝借させていただきました。

図にするとこんな感じでしょうか

VTuberもバーチャルインフルエンサーのLil Miquelaさんも、Virtual Beingに属しているという感じですね。

VTuberは実在しないバーチャルな存在であり、YoutubeやTwitter,もしくはVR HMDといったメディアを通じて、バーチャル世界での生活や生き方を認知させてくれます。また、双方向でエモーショナルな関係性を築くことが可能であることが知られています。これはVirtual Beingの定義に反していないと私は解釈しています。

もう一つ、その上で「VTuberは日本の色が強い文化である」というのも感じています。

Fable社の具体例の提示として、VTuberではなくVirtual Influencerが紹介されているのは、VTuberがVirtual Beingではない、ということではなく、リアル調かアニメ調のどちらが好きかという文化の違いなのでは？という解釈でいます。

	日本の文化	海外の文化
見た目	アニメ調	リアル調
魂	人間	AI
具体例	VTuber キズナアイさん	バーチャルインフルエンサー Lil Miquelaさん

Good Virtual Beingの条件を仮説立ててみた

今までは、Virtual Beingとは?という定義や解釈の話でしたが、ここからは実際にVirtual Beingを創る時に何を気をつければいいかという軸に移していきたいと思います。

つまり、何を持って尊いVTuber、つまりGood Virtual Beingなのかに迫りたいと思います。

今回は、Virtual Beingに近い概念の論文を読み、ゼミメンバーで輪読した結果、7つの軸があるのではないかという仮説を立てました。
これはゼミメンバーで21本の論文を輪読した後に、Good Virtual Beingの条件について議論した結論なので、学術的に裏付けがあるわけではありません。そういう視点もあるよね〜くらいで軽く見てもらえると嬉しいです。

Good Virtual Beingの7つの条件	Good例	Bad例
物理表現の一貫性	髪の毛やスカートの貫通が発生しない。光や影の表現がある	髪の毛やスカートが体を貫通している。影が存在しない。
言語コミュニケーション	文脈に対して柔軟に会話ができる。	定型文しか返せない
非言語コミュニケーション	表情やボディーランゲージが文脈と一致している	表情やボディーランゲージが変化しない。文脈と一致しない
ビジュアルの唯一性	人格と容姿(アバター)が一致していて、他と被りがない	他の存在と容姿が被っている
認知の共有度	現実世界、仮想世界からの認知の一致度が広く高い	現実世界、仮想世界からの認知の一致度が低く狭い
自律性	こちらからのインプットがなくてもアクションがある	インプットがないとアクションが存在しない
人格の一貫性	人格が一貫している	人格がブレている

これからVTuberを創る時、以上の7つの軸でチェックすると、より良いVTuberにするためのヒントが得られるかもしれません。

面白かった論文紹介3つ紹介

以下では、論文や記事を読んだ中で、印象が強かったものを3つ紹介します。

The digital transformation of human identity

仮想世界のアイデンティティの包括的な概念モデルを構築するというモチベーションの論文。個人的に一番印象に残った論文です。

ここからは要約ですが、
バーチャル世界上のアイデンティティをどう捉えていくか。この論文では

個人レベル
- 身体,アバター
ミクロレベル
- 対人関係
マクロレベル
- コミュニティ

という3つのレベルに分けつつ

次の4軸がidentityの確立に関わると書かれています。

Personal
- バーチャル世界での生活の物語
  - 目標,価値観,信念
  - ex) ケリンさんがえるさんが好き
- narrative scripts
  - そのVirtual Beingとどう関わっていくかという物語が大事
Relational
- 関係性の役割が重要
  - ex) 医者と患者,教師と生徒,大魔王と下等生物
- virtual intimacy
  - 役割によって発生するバーチャル世界での親密性
Social
- 仮想世界のグループのメンバーであること
  - ex) にじさんじ1期生,2期生...,BANs,upd8
- virtual community
Material
- 服装、アクセサリー,アイテム
- virtual material culture
  - 服装などのアイテムを購入し,身につける

なんとなく大事だと思っていた概念が、こういった形で体系化されて述べられているとワクワクしますね。
VTuberのプレゼンスは物理表現の追求だけでなく、社会的プレゼンスというのが存在し、その側面でも評価すべきだと改めて考えさせられました。動画のコンテンツの面白さだけでなく、ファンとキャラクターの関係性、どのコミュニティに属しているか、どういう目的で活動しているか、という観点もプレゼンスに影響していることの裏付けとなりました。

これはVTuberを創作する際も、自らがアバター化する時も役立つと思いました。

CGキャラクタの存在感

「CGキャラクタの存在感は必ずしもフォトリアリティに起因するものではなく、作者の意図する感性をいかに忠実にキャラクタに再現可能であるかが重要なポイントである」

という主張が、日本のアニメ調を好む文化を支持する主張と感じさせられました。フォトリアルを追求するだけが全てでないとということですね。]

人に寄り添うAIの実現に向け、感情表現を模倣する技術を開発

人の表情に、キャラクターがどう反応するかで、脳がどれだけポジティブに感じるのかを実験した記事。
結論としては

人の顔が笑顔になった時にキャラクターが笑顔になるパターンにて,脳はポジティブに感じた。
表情操作がAIが行っていると思っている場合と人間が手動で行っていると思っている場合とで結果に違いが見られなかった。

このことから、ただ笑顔になるのではなく、相手が笑顔になったタイミングで笑顔になることが大事ということと、人が操作するのとAIが操作するのとで感じ方は変わらないというのは面白いですね。

読んだ論文一覧

A Systematic Survey of 15 Years of User Studies Published in the Intelligent Virtual Agents Conference
The Effect of Virtual Agents’ Emotion Displays and Appraisals on People’s Decision Making in Negotiation
The digital transformation of human identity
When your Second Life comes knocking: Effects of personality on changes to real life from virtual world experiences
Incremental Acquisition and Reuse of Multimodal Affective Behaviors in a Conversational Agent
人に寄り添うAIの実現に向け、感情表現を模倣する技術を開発
バーチャルリアリティ環境における臨(隣)人感の社会的サイモン課題による検討
3次元仮想空間における集団コミュニケーション環境の一検討
The Influence of Real Human Personality on Social Presence with a Virtual Human in Augmented Reality
ゴーストエンジニアリング：身体変容による認知拡張の活用に向けて
CGキャラクタの存在感
アンドロイドの存在感
顔表情のCG合成と感動評価
心電を用いた VR システムの感性評価の研究～「サマーレッスン」プレイ時の「ドキドキ感」の男女間での比較～
3次元音場における接近音によるパーソナルスペースの侵害
仮構世界とフィギュアと自己同一性
仮想空間内でのコミュニケーションを補助する社会的エージェントの設計
The Proteus Effect: The Effect of Transformed Self-Representation on Behavior
仮想空間上の自分と同伴アバタの外見が自己評価に与える影響分析
初音ミクは存在するか? : 非存在主義の観点から