← Projects

DeepTaste / Enchanting Your Noodles

AR Gustatory Manipulation with GAN-based Real-time Food-to-Food Translation
GANによるリアルタイム食品画像変換を用いたAR味覚操作

■Overview

Taste depends heavily on what we see. DeepTaste changes the appearance of food in real time and, through vision, changes how it tastes. A GAN trained for food-to-food translation turns plain somen noodles into ramen or fried noodles on screen while the user is actually eating. No markers or 3D food models are needed. User studies confirmed that the visual conversion shifts perceived taste (IEEE VR 2019, IEEE ISMAR 2019), and a follow-up study in Electronics (2021) examined how well the effect holds up under repeated use.

味の感じ方は視覚に強く影響されます。本プロジェクトでは、食品の見た目をリアルタイムに変換することで味覚を操作するインタフェースを研究しています。 GANベースの食品画像変換（food-to-food translation）を用いることで、マーカーや3Dモデルを使わずに、 実際に食べているそうめんの見た目をラーメンや焼きそばへリアルタイムに変換します。 ユーザスタディにより見た目の変換が味の知覚を変化させることを示し（IEEE VR 2019, IEEE ISMAR 2019）、 さらに反復使用時の効果の持続性についても検証しました（Electronics, 2021）。

■Related Publications

■Media

Seamless MoguraVR ナゾロジー 日経クロステック

TV: NHK「ヒューマニエンス」(2022) / NHK「所さん！大変ですよ」(2020) / NTV「news zero」(2019) ほか