Author : Jing Yu Koh, Honglak Lee, Yinfei Yang, Jason Baldridge, Peter Anderson
Paper Link : https://arxiv.org/abs/2105.08756v1
Video: https://www.youtube.com/watch?v=HNAmsdk7lJ4
- 구글 Dreamer의 실내 네비게이션 버전 연구
- Dreamer의 핵심인 World model을 실내 이미지에 적용함
- Dreamer가 아타리 게임, DeepMind control suit와 같은 시뮬레이션에만 적용됐다는 한계가 있은 반면, 이 연구에선 real world 이미지를 사용한다는 의의가 있음
- 실내 구조에 대한 semantic & depth 이미지를 world model로 학습하고, output을 GAN을 써서 좀더 사실적으로 렌더링
- 처음보는 실내환경에 대한 과거 path 이미지를 받으면 이후 path를 사실적으로 Dream하는것을 보여줌.
- 또한 VLN (Vision-and-Language Navigation) downstream 테스크에서 성능의 향상을 보여줌
- Pathdreamer model architecture
- 단순히 그럴듯한 실내 이미지를 생성하는것이 아니라, 실내 구조에 대한 공간적 시간적 의미를 모두 담고있는 world model을 가지고 'path'를 생성해낸다는 점에서 의의가 있어보임. 저자의 말을 빌면 embodied navigation에 대한 가능성을 보여준것.