概要

こちらのイベントに参加しました。備忘録兼ねて技術的な部分をまとめます。
医療とテクノロジーの未来について〜医療系学生なら知っておきたい最新技術の話〜

イベントの趣旨は置いておいて、個人的に惹かれたのはVRやMRを利用して人体を空間に投影することで、手術前のシミュレーションや医学教育ができるという点でした。
HoloEyes株式会社のCOO杉本真樹さんが直接説明してくださったのでそれをまとめます。

個人的に動物の3D解剖教科書を作りたいと考えていたので、非常に得るものが多かったです。

VR, AR, MRの違い

基礎的な点から。
僕も何度かネットで調べたのですがどうにもMRがわかりにくかったのですが、本日理解しました。

VR

Virtual Reality、仮想現実です。
ヘッドマウントディスプレイを被ることで完全に仮想空間に没入します。
重要なのは、視界に現実は何も映らなくなることです。
左右の視界にそれぞれ微妙に影や向きが異なる映像を映すことで立体感を錯覚させます。

ヘッドマウントディスプレイには以下のようなものがあります。
HTC VIVE: 10万円
Oculas Rift: 8万円
Sony PS VR: 4.5万円

ちなみにPS VRは仮想空間を自由に移動することはできないらしいです。
あくまで座った状態でのプレイを想定しており、完全なVRとは言えないとのこと。

スマホをセットするような安価なものだと、こんなものがありますね。
原理的には、スマホに2つの画面を表示して左右の視界に別々に映すだけなので段ボールでも作れます。
ハコスコ VRゴーグル二眼モデル: 2000円

AR

Augmented Reality、拡張現実です。

現実に仮想のものを映し出す技術ですね。
Pokémon GOなんかはこれです。
任天堂のARゲームズやコカコーラの自販機ARなどもそうです。

デバイス経由の視界には基本的には現実のものが写っており、そこに一部仮想のものが投影されています。

ARでは一見現実に物体が現れたように見えます。しかし、Pokémon GOやったらわかると思いますが、ちゃんと地面に立ってるわけではありません。
スマホを動かすとスルスル滑っているような印象を受けます。結局、カメラで写した現実の上に画像を貼り付けたようなものです。

富士通 zSpaceはVRソリューションと銘打っていますが、この定義から行くとARが正確なんでしょうね。

MR

Mixed Reality, 複合現実です。

今までARとの違いがいまいちわかっていなかったのですが、キーワードは現実との整合性です。
ARは現実との連携がいまいちでした。
一方、MRでは例えば、仮想イメージを椅子の上に乗せたりできます。
そして椅子を引けば、それに乗っていた物体は支えを失って落下します。
このように現実を認識してそれに適応するような状態で仮想イメージを表現する技術がMRです。

Microsoft HoloLens: 33万円

他にも装着者の指の動きを認識するので、指をタップすることで空中に表示されたウィンドウを操作することもできます。

ちなみに何故このようなことができるかというと、常にデバイスから四方にセンサーを飛ばし、部屋中の物体の立体構造をリアルタイムで把握しているからです。
だから上記のようなことが可能になるらしいです。
高いのも納得です。
（VRでは利用者の位置を赤外線センサーなど外部センサーで認識しています。）

SR

Substitutional Reality, 代替現実です。
今回は登場しなかったので多くは語りません。

XR

Extended reality, 訳語見つからず。直訳すればARと同じ拡張現実になるんですかね。
ここまで出てきたVRやMRなどをひっくるめた総称らしいです。

【IT用語】
最近、VRに加えてARやMRがネタになることが増えたから、丸っとテクノロジーが作り出す様々なリアリティのことを話す時は「Extended reality」、「 XR(読み方:エックスアール)」という単語を用いて表現しています。
— 戸倉彩 (Aya Tokura) (@ayatokura) 2017年3月29日

以降はHoloEyes株式会社の製品とそこで使われている技術の紹介です。

HoloeyesVR

HoloEyes株式会社が開発したVRアプリです。
人体の3D構造をVRで見ることができます。
無料でダウンロードできます。

会場ではHTC VIVEにインストールされたものを体験できました。
VRなので、異空間に人体模型があるという感じでした。

両手のコントローラーで模型を手前に持ってきたり、回転させたり操作します。
面白かったのは臓器の中も見ることができ、例えば肝臓に頭を突っ込んで血管走行を確認するという使い方ができました。

YouTubeに動画がありました。
HoloEyesVR 6

HoloEyes Mixed Reality Viewer

こちらはHoloLens用のMRアプリです。
まだ製品化はされていないのでしょうか。
こちらもYouTubeに操作イメージがアップされていました。

HoloLens Mixed Reality Surgery: holographic augmented mixed reality navigation (HoloEyes VR 2016)
【HoloEyes Mixed Reality Viewer】 powered by #HoloEyes #HoloLens

こちらは現実空間に臓器を出現させています。
HoloLensを装着した複数人で視界を共有することができるので、手術前に患部を見ながら複数人で検討することもできますね。

技術的な話もあったので紹介します。

概要

まずCTスキャンのデータをAzureに投げ、3Dデータを作成します。
これをUnityのアセットにして、アプリで利用しているとのことでした。

CTスキャン

CTスキャンで患者の全身の輪切り画像を取得します。
これらの画像はDICOMファイルとして出力されます。拡張子は.dcmです。

人体のDICOMファイルはOsiriX公式をはじめとして幾つかの場所から無料ダウンロードできるみたいです。
こちらでも紹介されていました。DICOMサンプルファイル
開発に使えますね。

ざっと調べたのですが、犬のDICOMファイルをダウンロードできるサイトが見つかりませんでした。もしご存知の方がいたら教えていただけたら幸いです。

Azure

ご存知MicrosoftのAzureにDICOMファイルを投げて、ポリゴンにしているらしいです。
ポリゴン化の流れは次のOsiriXの項に譲ります。

詳しい説明がなかったのですが、調べたらCloudDicomというサービスがありました。こちらを利用しているのでしょうか。
はっきりとしたことがわかったら追記します。

いずれにせよ、DICOMファイルからポリゴンデータを生成するという処理をAzure上で行っているようです。
時間的にはアップロードして３０秒でポリゴンデータが得られるようです。
よって、CTスキャンを撮ってすぐ患者にMRアプリで自分の体を見てもらうという使い方ができます。

OsiriX （オザイリックス）

OsiriXはMacアプリケーションで、DICOMファイルを３次元構造として扱うことができます。
こちらから無料でダウンロードできます。
（有料版は動きが軽量らしい）

しかし、この状態（DICOM）だと情報が多く。非常に重いのでポリゴン化します。
DICOMデータがみっちりしたデータだとすると、ポリゴンは臓器の輪郭など必要な情報だけを残したハリボテ状態とのことでした。こうすることでMRアプリ内で軽く扱うことができます。

以下の参考サイトに詳しいことが書いてありました。
DICOMデータをＳＴＬに変換し、３Ｄプリントで造形します！

この一連の処理をAzureで行っているということでしょうか。ここも曖昧です。

Unity

VRアプリ作成では必ず目にしますね。
HoloEyesでもアプリの作成にはUnityを使っているそうです。

ちなみにUnreal EngineはHoloLensに対応していないようです。

できないことはないようですが、理由がなければ素直にUnityを使うのが良さそうです。
UE4 HoloLens上でUE4のUWPアプリを実行するまで

あとはスマホなり他デバイスなりに合わせて開発を行います。

話を聞く限り、開発は無料で行えるようです。意外でした。
病院のOsiriXが無料でも使えるとは。勝手に馬鹿高いと思ってました。

Freeform

Geomagic Freeformは3Dスキャンデータをモデリングを行うツールです。
こちらの紹介ページがわかりやすいです。

削っている感覚がフィードバックとして与えられるので手術の練習にも利用できそうです。

参考書籍

以下の書籍が参考になるとのことです。
VR/AR 医療の衝撃
 OsiriX画像処理パーフェクトガイド

勝手にハードルが高いものだと思っていましたが、思った以上に手軽に開発をスタートができそうでした（デバイスは高価ですが）。
今後、これらの技術の習得過程を記事にできたらと思います。