【論文紹介】Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation

論文紹介

論文：Enchanting Your Noodles: GAN-based Real-time Food-to-Food Translation and Its Impact on Vision-induced Gustatory Manipulation
著者：Kizashi Nakano; Daichi Horita; Nobuchika Sakata; Kiyoshi Kiyokawa; Keiji Yanai;
https://ieeexplore.ieee.org/abstract/document/8798336

どんなもの

　StatGANを用いて動的に食べ物の見た目を別の食べ物に変えるARシステムを開発した。素麺がラーメンや焼きそばのような味になるのか、蒸したご飯がカレーライスやチャーハンのような味になるのか調査した。実験の結果、被験者は見ている食べ物の味を強く感じた。また、この実験の結果は被験者の食体験に依存することがわかった。

先行研究と比較してすごいところ

　食品の外観を別のものに変える研究はなく、そのシステムが味覚に与える影響についても研究されていない。この論文ではGANベースのリアルタイム画像間変換を用いて、食べ物の見た目を別の食べ物に変えるより柔軟なARシステムを開発した。

技術や手法のキモ

　StarGANベースのリアルタイム食品間翻訳システムを開発した。被験者の手やお箸が料理にさえぎられない、食品の外観は元の食品の変形に応じて動的に変化するなどといったメリットがある。
　クライアントモジュールは、HMDのフロントカメラからRGB画像を取得して、サーバーモジュールに送る。サーバーモジュールはRGB画像を受け取って、中心部を切り取り別の食べ物の画像に変換してクライアントモジュールに送る。クライアントモジュールは処理された画像をステレオテレビの背景に重ね合わせてHMDを介して被験者に提示する。
　ラーメン、焼きそば、炊き込みご飯、カレーライス、チャーハンの5つの食品の149,370枚の食品画像を用いている。

検証方法

　素麺がラーメンや焼きそばのような味になるのか、蒸したご飯がカレーライスやチャーハンのような味になるのかを調査した。HMDを装着していない元の食べ物を見てHMDを装着した後に変化した食べ物を見る。食べる前にどのような食べ物に見えるか答えてもらい、正しい答えを教える。そのあと食べ物を食べてもらう。そして何の味がしたか評価してもらう。
→被験者は見ている食べ物の味を強く感じ、実際に食べている食べ物の味を弱く感じていた

議論

　視覚による味覚操作は画質に大きく依存するので、高画質な映像を提示した実験が気になった
　→素麺はスープありだったのにもかかわらず、焼きそばを提示したときにはスープを感じていない人もいた。これを利用することで他の食べ物(汁なしと汁ありの食べ物など)でも実験できるのではないか。
　食べる前にどのような食べ物に見えているのか答えてもらう必要はあったのか。(答えを教えるならもとからそれでいいのではないか。)

気になった論文

　DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation