← Projects

Ukemochi

A Video See-through Food Overlay System for Eating Experience in the Metaverse
メタバースでの食事を可能にする食品重畳表示システム

■Overview

Eating with an HMD on is hard: you cannot see the food in front of you, and taking the headset off breaks the immersion. Ukemochi uses semantic segmentation to extract only the food region from the real world and overlays it into the virtual environment in real time. Users can eat real food safely without leaving the metaverse, whether that means sharing a table with friends in VR or having lunch in a favorite virtual place. The system was presented at ACM CHI 2022 (Late-Breaking Work) and picked up by many Japanese media outlets.

HMDを装着したままの食事は、目の前の食品が見えないため困難であり、かといってHMDを外すと没入感が失われてしまいます。 Ukemochi（ウケモチ）は、セマンティックセグメンテーションにより実世界から食品領域のみを抽出し、 VR空間にリアルタイムに重畳表示するビデオシースルー方式の食事支援システムです。 これにより、メタバースに没入したまま安全に実際の食事をとることができ、 VR空間で友人と食卓を囲んだり、好きな場所で食事を楽しんだりすることが可能になります。 ACM CHI 2022（Late-Breaking Work）で発表し、多くのメディアに取り上げられました。

■MITOU Program (IPA未踏事業)

Ukemochi started as a MITOU Program 2019 project (IPA's program for fostering young IT creators) under the theme "Building Eating Experiences in VR Space." For this work, Kizashi Nakano was certified as a Super Creator by IPA and METI in 2020.

本プロジェクトは、2019年度未踏IT人材発掘・育成事業（IPA）に採択されたテーマ「VR空間における食体験の構築」から始まりました。 本成果により、2020年にIPA・経済産業省よりスーパークリエータに認定されています。

未踏2019 採択概要 スーパークリエータ認定 (IPA) 経産省プレスリリース

■Related Publications

■Media

ITmedia 日経クロステック

TV: 読売テレビ「ほんわかテレビ」(2020) / ABC「ビーバップハイヒール」(2020) ほか