メリークリスマス！
本記事では、VR法人HIKKY Advent Calendar 2023 の最終記事です。
前日はゲーム作りとかCGとかに関わる数学（初歩)①についての記事でした。今回は、ゲームと数学の関係ではなく、VRと泥臭い人間との関係性について、実装しながら、大いに語りつくしたいと思います！キリストもびっくり、VRの歴史について知りたい方は、ぜひご一読ください!
なぜ歴史について書いた！？
我々はなぜ歴史を必要としているのでしょうか。一つは、過去の歴史の教訓を未来のために生かすためとも言えますが、本来は、現在の営みの根源と意味を探るためとも言えます。私がIT系の企業で点々と働く中で、日々の喧騒で忘れがちなのが、自分が扱っている技術そのものの歴史です。歴史そのものについては客観的に語られるべきですが、その歴史に意味を見出して仕事の原動力にしていくことも重要だと考えます。
特にIT業界のような急速に進化する分野では、新しい技術やトレンドに追いつくことに集中してしまいますが、その技術がどのように発展してきたかを理解することは、より深いアイデアを生み出すのに役立つかと！
本記事ではVRの歴史をMeta Quest 3での実践とともに顧みて、改めて自分の仕事の意味を探りたいと思います。
GUIの進展について
文化的なVR/MRの概念の創出期
VRの最初のアプローチといわれるのが、スタンリイ・G・ワインボウムによる1935年の小説「Pygmalion’s Spectacles (ピグマリオン劇場)」です。 この小説では、主人公が魔法のメガネをかけると、CGや3D技術によって作られた仮想空間を現実のように体験できるという設定が描かれています。 視覚だけでなく、音や匂い、味まで感じられるという点も、現代のVR技術に通じるものがあります。 この小説は、VRの可能性や影響を予見した先駆的な作品として、SF界に大きな影響を与えました。
CUI -> GUI -> 3DUIではなく、3DUI -> CUI -> GUI -> 3DUI !?
VR/MRの歴史は、1960年代にイヴァン・サザーランドが提唱したインタラクティブな3D体験、いわゆる「Sketchpad」や「The Sword of Damocles」に遡ります。
その後、1980年代に、コマンドラインベース(MS-DOS)のコンピュータ(NEC PC-9801)が登場し大きく普及します。また、1981年にはすでに初のGUIのコンピューター（Xerox Star)が登場し、その後Apple Lisaが登場し、社会に普及するのです。
MS-Dos CUI
Apple Lisa GUI
そう、すでに、VRの歴史は、CUI、GUIベースのOSコンピューターが開発されるよりはるかに速い時期にVRの萌芽があったのです！しかも正確に言うと、VRではなく、極めてMR（Mixed Reality)的な発想がそこにありました。
まず、SketchpadやNotePadの動画を見てもらえるとわかるかと思いますが、共通して言える発想としては、ペン先の動きや頭の動きを計測し、世界座標と装置座標の位置を合わせ、それに応じて描画することによって、UIを作っています！その後、同じ発想で、今度は、一次元的な言語ベースでコントロールできる、CUIが生まれ、次に２次元的なマウスによる操作を可能にすることにより、GUIが生まれたのです。ただ、3次元的な操作を可能にするには、様々な技術的ハードルがありました。近年では、センサー類の低遅延化、それらデータを処理するＣＰＵの熱処理効率化、ディスプレイの薄型化、電力源の小型軽量化など、様々な問題を解決し、やっと、我々はもう一度、３次元的な操作によるコンピューターに回帰し、それを作れる土台に立ったのです！
実践：Meta Quest 3におけるペンを使ったユーザーインターフェース
イヴァン・サザーランドが提唱したインタラクティブな3D体験、いわゆる「Sketchpad」や「The Sword of Damocles」を現代の技術で再現してみるとペンの記号を使ったユーザーインターフェースが考えられるかと思います。
以下動画サイトで、実際の実機プレイをご覧ください
プロジェクトでは、左の人差し指と親指でつまむと、右手のペンから線が描かれます。また、左の中指と親指でつまむと色を変えることができます。。
プロジェクトを試したい方は以下リンクからレポジトリにアクセスできます。
https://github.com/ra9g16/Painting-MR-Sample
メリット
このように、ペンの記号は、人間が自然に使えるインターフェースです。 紙やホワイトボードにペンで書くのと同じように、MR空間にペンで書いたり、操作したりすることができます。 また、MR空間においては、実際のオブジェクトをトレースしたりすることができます。また、今後、発展するとしたら、オブジェクトを認識し、3D depth データをもとに、３Dモデルに変換できる可能性もあります。その際に、オブジェクトを編集したり、微調整する際は、このペンの操作が役に立つのではないかと思います。
デメリット
一方、ペンの記号は、人間の手や目の動きに依存するインターフェースです。 そのため、その精度や安定性は個人差や環境差に影響される可能性があります。今回の場合は、見てもらうと分かりますが、かなり、線が震えてしまったり、意図しない位置に線が生成されてしまったりしています。メタファー（ペンの記号）の利用は、極めて、利用者の文化的な背景に依存することがあります。そもそも、ペンなどの、机上の事務作業のメタファーやオブジェクティブ志向的発想は、西洋社会に依存している可能性も排除できないからです。
考察：３DUIデザインシステムをどのような観点で構築するべきか
上記プロジェクトから分かる通り、3DUIそのものには、様々な課題を抱えていることが分かり、ガイドラインの指針を作成する必要があるかと思います。以下ガイドラインのプロトタイプを作ってみました～そのガイドラインを作るうえでまず、ユーザーがどのように情報を処理するかについての基本的な知識が重要です。
このモデルは、Wickens and Carswellによる知覚モデルといわれるものです。なかなか日本語に翻訳されているものがなかったので、独自で翻訳してみました～。このモデルが示しているのは、メタ認知の構造と、短期的記憶、長期的記憶、意識などがどのように相互作用しているかを示しています。重要な点は、過去の経験の記憶（文化的背景）に基づいて意味のある解釈が与えられる点です。また、メタ認知する意識（注意する意識）をどのようにコントロールするかで、意思決定に影響を及ぼすがを示しております。
これらのモデルをベースと、Meta Quest 3のポロジェクトをベースに3D UI用の以下のガイドラインを作ってみした～
| 観点 | 説明 |
|---|---|
| 直感的操作性 | ユーザーが自然に理解しやすいインターフェースを提供する。例えば、実世界での物の持ち方や動かし方を模倣することで、直感的な操作を可能にする。 |
| 触覚フィードバック | 触覚フィードバックを通じて、よりリアルなインタラクションを提供する。これにより、ユーザーは仮想環境内のオブジェクトを「感じる」ことができる。 |
| 視覚的明瞭性 | 視覚的な要素は明確で理解しやすいものでなければならない。色、形、サイズなどの要素を適切に使用して、ユーザーが容易に情報を認識できるようにする。 |
| 言語的・文化的包括性 | インターフェースは多様な言語や文化的背景を持つユーザーに対応できるように設計する。これには、異なる言語設定や文化的なメタファーの使用が含まれる。 |
| ユーザーの身体的快適性 | 長時間の使用においても、ユーザーの身体に負担をかけないデザインを心がける。これには、エルゴノミクスの考慮や、疲労を軽減するためのインターフェースの調整が含まれる。 |
| 拡張性とカスタマイズ性 | ユーザーが自分のニーズや好みに合わせてインターフェースをカスタマイズできるようにする。これにより、よりパーソナライズされた体験が可能になる。 |
| パフォーマンスと最適化 | インターフェースは高いパフォーマンスを維持し、低遅延でスムーズな操作が可能であること。 |
上記のガイドラインについては、そもそもこの分野が発展途上のため、議論の余地がありますので、一つの例としてとらえてもらえると助かります。
結論：まとめ
今回は、VRMRのユーザーインターフェースの歴史や、Quest 3を使って実践などを通して、今後の可能性や、人間社会において、どのようなガイドラインについても話せたので、大分自分の仕事が今後何に繋がっていけるのかが何となく見えたかなと思います！
最後に、クリスマスと無理やり結び付けて洒落た文章を考えてみたかったのですが、ちょっと無理でした！ご一読いただきありがとうございました！メリークリスマス！