研究して半年の素人がACM UISTでDemo発表してみた #論文

この記事は，ドコモ先進技術研究所アドベントカレンダー2日目の記事です．

ドコモの勝間田と申します．
私は，5G時代のモバイルネットワークやWi-Fiなど通信に関する研究や，最近ではMulti Agent Systemに関連する非通信分野の研究に従事しております．
その傍ら，今年度からHCI関連の研究をちょこちょこさせていただいており，今回晴れてUIST 2019のDemo Paperに採録されました．

この記事では，その研究内容を紹介させていただければと思います．

そもそもUISTとは

ACM主催の国際会議の1つです．正式には，User Interface Software and Technology Symposium．
HCI（Human Computer Interaction）界隈の国際会議ではCHIに並ぶトップカンファレンスの1つで，HCIの中でもテクノロジ寄りの分野を扱うことが多いようです．

今では当たり前になっているスマホのマルチタッチ技術やグライド入力，ポケモンGOで有名なハンドヘルド型AR（Augmented Reality，拡張現実），最新のGoogle Pixel4に入ったモーションセンスの基盤技術（Project Soli）も，実はUISTで発表されています ¹．そのため，「今年のUISTの成果を見れば10年後、20年後の世界をのぞき見ることができる」² なんてことも言われています．

UIST 2019について

そんなUISTですが，今年は10/20-23の4日間に渡ってNew Orleans,LAで開催されました．
下記のTeaser Movieを見ていただくと，どんな発表があったかをかいつまんで見ることができます．

各発表のムービーについてはYouTubeのプレイリストをご覧いただくと良いかと思います．見ているだけでワクワクしますね．

カンファレンスとしては，投稿数は381本，採録率は24.4%でした．
参加人数は498人．そのうち，日本は参加人数が2番目に多い国でした．実際，多くの日本人の方々とお会いしましたし，デモ・ポスターでも登壇でも日本人が多い印象を受けました．
HCI分野では，UIST勉強会やCHI勉強会など国内の勉強会が盛んに行われていて，日本から良い研究が生まれる土壌ががっちりとできている研究分野だなあという印象を受けました．

登壇発表の雰囲気です．セッションは2つ同時並行で進んでいましたが，どちらも均等に混み合っているように感じました．

採録された研究ネタについて

概要

スマートフォンの画面上のCGを現実の景色に重畳させる，スマートフォンベースの光学シースルーHMD（≒ARグラス）です．こういうやつをご想像ください．
今回のネタでは，広く知られている2つの光学現象を利用しています．

動画での説明はこちら

1つめの光学現象：ピンホール効果

ピンホール効果をご存知でしょうか？
そうです．指で小さな穴を作ってそこから覗いて見るとピントが合って見えたり，小さな穴の空いたメガネをかけるとぼやけが少なくなったり，或いは，物がよく見えない時に目を細めて見ると見えやすくなったりするのも，実はこのピンホール効果によるものです．

原理は下記画像をご参照ください．

人は物を見る時，水晶体の厚みを変えることで網膜上に集光させピントを合わせています．視力が悪い人はこの水晶体の厚みを変える力が衰えていて網膜上にうまく集光させることができずピントを合わせることができなくなっています．
ピンホール効果を使うことで，視力が悪い人でも簡単にピントを合わせることができます．これは，小さな穴（ピンホール）を光が通ることによって，被写界深度（DoF/Depth of Field）が深くなる，つまりピントが合う範囲が広がるためです．

2つめの光学現象：偏光と偏光板

偏光板をご存知でしょうか？
そうです．特定の偏光方向の光を通過させる板です．身近なものでは，液晶ディスプレイに使われていますね．

性質は下記画像をご参照ください．

特定の偏光方向の光だけを通過させる板なので，2枚の偏光板を偏光方向が直交になるように配置すると，全ての偏光方向の光が通過できなくなり，何も見えなくなります．液晶ディスプレイでは，液晶に電圧をかけて光の偏光方向を変え，光を通したり遮ったりすることで映像を映し出しているわけですね．

提案する光学系

ピンホール効果と偏光板を組み合わせます．系を下図を使って説明します．

系の構成は，1枚のハーフミラー（Beam Splitter）と2枚の偏光板（Polarizing Plate）だけです．片方の偏光板にだけピンホールが空いています．2枚の偏光板はハーフミラーを介して，その偏光面が直交になるように配置されています．ピンホールが空いていない偏光板にスマートフォンの画面を配置します．ユーザはもう一方の偏光板のピンホールを覗きます．

すると，現実の景色（図中ではウサギの絵）は，少し明るさは落ちますがそのまま見えます．なぜなら，光（図中の青い光）は，ハーフミラーと目の前にある"ピンホールあり偏光板"だけを通過し，その全てが1回だけ偏光され目に届くためです．
一方で，スマートフォンの画面上のCG（図中ではフキダシの絵）は，深いDoFで見えます．なぜなら，光（図中の赤い光）は，画面の前にある"ピンホールなし偏光板"を通過した後に，ハーフミラーで反射され，最後に"ピンホールあり偏光板"を通過し，そのほとんどは2回偏光され目に届かないためです．

ポイントは，片方にだけピンホールを空けた2枚の偏光板を使うことで，CGにだけピンホール効果が適用される光学系である，という点です．

利点は？

大きく3つのポイントがあります．

CGのDoFが深いので，現実の景色とCGを見る時にいちいち焦点を合わせる必要がない

例えば，現実の景色を見ているときに，別の情報や文字を重畳させるようなアプリケーションを考えた場合，現実の景色と重畳された情報を見る上でいちいち焦点を合わせていてはユーザのQoEが下がってしまいます．
このような光学系の利点は，実アプリケーションへの適用を考えたときに有用である点です．

現実の景色の視野角（FoV/Field of View）が狭まらない（＝視界が広い）

焦点を合わせる必要のないHMDを作ることだけを目指すと，偏光板を使わずともピンホール効果だけを使って深いDoFを達成することも考えられます．しかし，この場合，FoVの広さとDoFの深さはトレードオフの関係になってしまいます．例えば，ピンホールを大きくすると，FoVは広がるがDoFは浅くなる，といった具合です．
この手法の利点は，現実の景色のFoVを犠牲にすることなくCGの深いDoFを達成できる点です．

光学系が極めて単純であるため，小型かつ簡易に作ることができる

レーザプロジェクタやピンホールを使った既存研究³がありますが，それらは現在のスマートフォンに搭載されていないような特殊な装置が必要となったり，系全体が大型化したりすることが懸念されます．
この手法の利点は，レーザーカッターやアクリルカッターなどで切った材料を組み合わせて簡単に実装できる点です．

プロトタイプ

実際にプロトタイプはレーザカッターで切った材料だけで作成しました．

※よく見てみると，右側のPolarizing plates(Horizontal)の中央にピンホールが空いています．

別の利点

また，ピンホール効果と偏光板を組み合わせたことにより，別の観点でも利点があることが分かりました．
それは，ピンホールが目の前にあるにも関わらず，ユーザはその存在に気付かない，というものです．これは，極めて目に近い位置にピンホールがあり，ピンホールにピントが合わないためです．
下図は，実際にピンホールを通してカメラで撮影した様子です．中央に見えるUIST 2019のロゴがCGです．CGの周りにぼんやりと円が見えますが，これがピンホールの境界です．UISTのデモ会場でも，実際に触ってみた人はピンホールがどこにあるのか分からず，覗く位置の調整に時間がかかることもありました．

まとめ

UIST 2019のDemo Paperに採録された研究ネタの紹介をしました
ピンホール効果と偏光という広く知られた光学現象を組み合わせるという極めて単純な手法です
にもかかわらず，現実の景色のFoVを犠牲にすることなく深いDoFを達成できるという特徴があります
現実の景色にCGで情報を重畳させるようなアプリケーションへ有効であると期待できます
素人ながら，手を動かしてモノを作るのは楽しい．

おまけ

過去のUISTで発表された研究の例
- ハンドヘルド型AR：J. Rekimoto and K. Nagao, "The world through the computer: computer augmented interaction with real world environments," ACM UIST, 1995, pp 29-36
- マルチタッチ：N. Matsushita and J. Rekimoto, "HoloWall: designing a finger, hand, body, and object sensitive wall," ACM UIST, 1997, pp 209-210
- グライド入力：P.-O. Kristensson and S. Zhai, "SHARK2: A Large Vocabulary Shorthand Writing System for Pen-based Computers," ACM UIST, 2004, pp 43-52
- モーションセンス：S. Wang, J. Song, J. Lien, I. Poupyrev and O. Hilliges, "Interacting with Soli: Exploring Fine-Grained Dynamic Gesture Recognition in the Radio-Frequency Spectrum," ACM UIST, 2016, pp 851-860 ↩
五十嵐氏, "マルチタッチもここで登場！未来を映す国際学会," JBpress, 2016 ↩
詳細は採録されたDemo Paperをご覧ください ↩
これまでの人生で一番"collapse"って単語を使いました．リンク先にもっと"collapse"な感じの画像があります ↩
エイに触れるコーナーとかがあったのですが，私はチキンなので触れませんでした．外国でケガするの怖いし ↩