Author : Yujin Tang, David Ha
Paper Link : https://arxiv.org/abs/2109.02869
Site: https://attentionneuron.github.io/
- World model로 알려진 Google Brain의 David Ha의 연구
- Attention mechanism ('AttentionNeuron'이라 명명) 을 RL policy의 입력단에 추가하여, 센서시스템에 permutation-invariant한 agent을 학습하도록 함
- Atari-pong, Pybullet Ant, CartPole, CarRasing 환경에서 입력 dimension을 임의로 shuffle해가며 실험한 결과, 대부분 agent의 성능이 shuffle을 하지 않은경우과 비슷하게 동작
- Shuffling에도 불구하고 permutation invraiant한 output을 보여줌
- t-SNE 결과에서도 shuffle에 관계없이 동일한 state는 같은 space로 맵핑
개인적인 생각
- 이 논문 자체는 아이디어도 간단하고 toy 모델에서 실험됐지만, agent의 generalization 능력은 real-world 측면에서 활용가능성이 높아 보인다.
- 특히 센서 시스템이 다이나믹하게 변하는 대규모 application (공장, 데이터센터, 교통) 등에 활용 가능할것 같다.
- Demo와 visualization은 연구의 contribution을 납득시키는데 있어 정말 정말 중요하다.