English
ACM CHI 2022 Extended Abstracts

Ukemochi

VR空間における食体験の構築 — HMDを着けたまま，違和感なく食事を

中野 萌士 ・ 堀田 大地

2019年度未踏IT人材発掘・育成事業 採択プロジェクト(スーパークリエータ認定)

Ukemochi v1.10 紹介動画 Ukemochi：VR空間で食事を行うための支援ソフトウェア v1.10 未踏成果発表会 【2019年度未踏】VR空間における食体験の構築(成果発表会)

Ukemochiとは

Ukemochi(ウケモチ)は，HMD(VRゴーグル)を装着したままでも違和感なく食事ができるようにする支援ソフトウェアです． 取得した現実映像から深層学習で食事領域を検出し，器に盛られた食事や3Dモデル等に置換してVR空間に重畳表示(AV: Augmented Virtuality)します． これにより，VR空間にいる感覚(実在感・プレゼンス)を保ったまま食事をすることができます．

はじめに

近年，安価で高性能なHMDの普及やVRChatを始めとしたVRSNSの発展によって小説やゲーム，アニメの世界(空想現実)に転生する事が可能になってきました． そこでは私達は性別や種族，形を問わないアバターとして，空想現実の世界で生活することが可能です．まだ体験していない人は早急に異世界転生することをオススメします． しかしながら，未だに空想現実の世界で"食事"をすることはとても困難です．なぜなら，HMDを装着したままだと現実の食べ物は見えないからです． それでは，現実の映像を空想現実の世界にそのまま表示すればよいでしょうか？その場合，空想現実の世界にいる感覚(実在感・プレゼンス)が低下することが問題です． よって，実在感を保ったまま食事が可能なアプリケーションを開発することにしました．

未踏の領域について

私達が目標とする未踏の領域について，紹介します． まず，様々な理由で食べたいものが食べられない人々が，好きなものを食べられた感覚を味わえる世界にしたいと思っています． 提案者の中野・堀田はStarGANを用いて食べ物の外見を変化させることで，食べ物の味や種類を変化させる研究を行っています． この研究成果をアプリケーションに組み込むことができれば，好きなときに好きな食べ物を食べる事ができる世界にできるかもしれないと思っています． もう一つは，ドラゴンの肉を食べる事ができる世界になるかもしれないと思っています． 私達が調査した中でドラゴンの肉を食べた経験がある人間はいませんでした．もし，食べたことがある経験がある人がいらっしゃったらぜひ教えてください． VR空間での体験はとても強烈なので，モンハンみたいな空想現実の世界であれば，ドラゴンの肉を味わえるんじゃないかな？と思っています． これらの，面白そうな未来を作るためにもVR空間における食体験の構築が必要だと思っています．

Download

Ukemochi を無料でダウンロード

BOOTH で配布しています(無料)

News

Team

中野 萌士

中野 萌士 / Kizashi Nakano

AR/VR & Gastrophysics
東京大学大学院 情報理工学系研究科 特任助教

VR空間で飯が食べたいと言い出した．

Web X GitHub Email

堀田 大地

堀田 大地 / Daichi Horita

Machine Learning

研究は主にGANを用いた画像生成を行なっている．

X GitHub Email

Citation

Ukemochiを引用する場合は，以下のBibTeXをご利用ください．

@inproceedings{nakano2022ukemochi,
  author    = {Nakano, Kizashi and Horita, Daichi and Isoyama, Naoya and Uchiyama, Hideaki and Kiyokawa, Kiyoshi},
  title     = {Ukemochi: A Video See-through Food Overlay System for Eating Experience in the Metaverse},
  booktitle = {CHI Conference on Human Factors in Computing Systems Extended Abstracts (CHI EA '22)},
  publisher = {ACM},
  year      = {2022},
  pages     = {1--8},
  doi       = {10.1145/3491101.3519779}
}