【de:code2019】トヨタ自動車のMixed Reality の取り組み

de:code2019 の2日目の最初のセッションです。トヨタのMRの活用事例を聞いてきました。EXPO会場では実際にこの取り組みで出てくるアプリの体験もあってました。

設計3Dデータを全工程で活用する

考える力・時間を創出し、「もっといいクルマづくり」をしたいということで、トヨタでは企画から設計、製造、販売まですべての工程で3Dデータを活用する試みをやっているそうです。

設計/生技での活用

3Dデータの活用が最初に始まったのは1996年のV-Commで、わかりにくい部分を3Dで表現することで品質を上げようとしたそうです。今でこそきれいな3Dモデルがあふれてますが、この年代でやってたのは凄いですね。ただ、苦労も多かったようで、例えば3Dで表示したはいいが、部品と部品の隙間の表現ができないなど問題があり、いろいろと考えた結果、CADで定規を作って解決するなどこのころから「改善」を積み重ねてきたようです。

販売マーケティング

2005年から市販CG用のデータを海外へ提供するようになり、3Dモデルとマテリアルを組み合わせてレンダリングできるソフトを作り、海外の販売拠点で活用するようになったようです。

今では店頭でのVRイベントやCMなど幅広く世界で使われているようです。左下のCMなどは私も見たことがあります。

xRの活用へ

2000年当初は手書きのイラストを描いて資料として残していたようですが、車種が増えたり、様々な工程で資料を残すようになって、2007年に紙での管理に限界を迎えたとのこと。右下の写真は資料を縦積みしてみたらこれだけ積みあがったそうです。なので、これを機に電子化・3Dデータ化が一気に加速したそうです。

特に若い世代はデジタルネイティブ化がどんどん進んでいるので、若手エンジニアを積極的に活用することで楽しく、かつ早いサイクルで「改善」を続けていったということでした。

VR遠隔地講習会

現在試行中ということですが、海外拠点など遠隔地にいる人を集めてVR空間内で講習会を試されているそうです。離れていてもリアルに体験し知見を共有する狙いのようです。

Photonというマルチプレーヤー参加型のゲームを比較的簡単に実現できるプラットフォームを使っているようです。
私はオンラインのゲームなどを作ったことはないので初めて聞いたのですが、Photonの活用事例を見てみたところ、いくつか知っている作品もありました。

また、Oculus Goを使用したVRの教材もあるようです。

HoloLensの活用

今まで、3Dデータの活用は行ってきたものの、ディスプレイの中に表示されているものを見るだけなので

• 作業中にすぐ見れない
• 結局画面の中の情報なので、細かいところがわかりにくい

といった問題を抱え続けてきたそうです。そこに登場したのがHoloLensだったそうです。

すぐに購入し、修理手順や故障診断など中心に試作を重ねていったそうです。

とくに「見えないものを見える化する」という点では効果絶大で、現場のサービスエンジニアの90%が好印象だったという結果になったそうです。ただ、その一方で、今まで積み重ねてきた経験と勘という職人気質のような部分で言うと、その経験値が逆に減ってしまうのではないかという声も上がったそうで、そのあたりをどう解消していくかは課題だそうです。

先行事例

保守やトラブル対応などて活用できるRemote Assistです。これは標準アプリとして提供されていて、Teamsというアプリと連動して、作業員が遠隔地のバックオフィスにいる人からリモートで支援を受けられるアプリです。HoloLensで見ている動画をオフィスの人と共有して作業指示をもらうことが可能です。HoloLensでなくてもスマホからでもこのアプリは使えます。

Guidesという3Dの作業マニュアルを作成するのに最適なアプリで、これも標準アプリとして提供されています。
これは実際に私も環境を作って動かしてみたので、どんな感じで動くものなのかはこちらを参考にしてください
【デモ】HoloLens + Dynamics365 Guides でインクの交換をやってみた

ちょっとわかりにくくて申し訳ないですが、実際の車に3Dを重ねて、エネルギーなどの動きがわかるようにした教材です。

これは環境シミュレーションを3Dデータとして重ねて表示したものです。

画像データを使った異常検知です。作業確認の漏れを防ぐために作ったようです。

この最後の事例ですごいのは、教師データを作成するのに3DCGを活用しているということです。
もともと写真でやっていたようですが、2万枚の写真を撮るのに10時間、撮った写真のアノテーション作業で200時間かかったので、これを圧縮するために3DCGを使ったということでした。CGが教師データになるというのは驚きでした。

xR、特にMRの分野は現実空間とコンピュータ空間の隔たりをなくせる技術としてこれからも力を入れていくということでした。