Author : Thomas Martens, Roy W. Beck, Ryan Bailey, et al.
Paper Link : https://doi.org/10.1001/jama.2021.7444 

• 미국당뇨병학회(ADA)가 제1형 당뇨병환자들에게 연속혈당측정기(CGM; Continuous Glucose Monitoring)의 사용을 권고 하고 있으나, 제2형 당뇨병환자의 CGM사용과 그 효과에 대한 연구는 별로 이루어지지 않음
• 이에, 제2형 당뇨병 성인 환자 중 기저 인슐린치료를 진행중인 환자들을 대상으로 CGM의 효과를 분석하고자한 임상연구
• 총 175명의 환자 중 2:1의 비율로 CGM 사용 환자(n=116)와 채혈측정기 사용 환자(n=59)를 랜덤하게 배정함
• CGM은 Dexcom사의 G6모델
• 8개월 동안의 HbA1c가 CGM 군은 -1.1%, 채혈측정기 군은 -0.6%로, 혈당관리에 있어 CGM의 사용이 유의한 효과가 있는것을 확인함

개인적인 Discussion

• CGM 사용 군에서도 1/3은 8%이상의 높은 HbA1c를 보여주었다.
• 이는 단순히 자주 측정을 하는것에 더해, 적극적인 치료의 추천/개입/관리가 필요하다는것을 시사한다.
• 무엇보다, CGM의 사용을 적극 권장하기엔 현실적으로 CGM의 가격이 상당히 매우 정말 높으며, 센서를 부착한 생활에서 오는 불편함도 무시할 수 없다. 
• 때문에, EHR정보 혹은 채혈측정 정보만으로도 좀더 혈당관리의 효과를 높힐수 있는 AI기반의 치료개입&관리추천 연구가 필요한것 같다.

Author : Jing Yu Koh, Honglak Lee, Yinfei Yang, Jason Baldridge, Peter Anderson
Paper Link : https://arxiv.org/abs/2105.08756v1

Video: https://www.youtube.com/watch?v=HNAmsdk7lJ4 

• 구글 Dreamer의 실내 네비게이션 버전 연구
• Dreamer의 핵심인 World model을 실내 이미지에 적용함
• Dreamer가 아타리 게임, DeepMind control suit와 같은 시뮬레이션에만 적용됐다는 한계가 있은 반면, 이 연구에선 real world 이미지를 사용한다는 의의가 있음 
• 실내 구조에 대한 semantic & depth 이미지를 world model로 학습하고, output을 GAN을 써서 좀더 사실적으로 렌더링
• 처음보는 실내환경에 대한 과거 path 이미지를 받으면 이후 path를 사실적으로 Dream하는것을 보여줌.

• 또한 VLN (Vision-and-Language Navigation) downstream 테스크에서 성능의 향상을 보여줌

• Pathdreamer model architecture

• 단순히 그럴듯한 실내 이미지를 생성하는것이 아니라, 실내 구조에 대한 공간적 시간적 의미를 모두 담고있는 world model을 가지고 'path'를 생성해낸다는 점에서 의의가 있어보임. 저자의 말을 빌면 embodied navigation에 대한 가능성을 보여준것.

Author : Siqi Liu, Guy Lever, Zhe Wang, Josh Merel, S. M. Ali Eslami, Daniel Hennes, Wojciech M. Czarnecki, Yuval Tassa, Shayegan Omidshafiei, Abbas Abdolmaleki, Noah Y. Siegel, Leonard Hasenclever, Luke Marris, Saran Tunyasuvunakool, H. Francis Song, Markus Wulfmeier, Paul Muller, Tuomas Haarnoja, Brendan D. Tracey, Karl Tuyls, Thore Graepel, Nicolas Heess
Paper Link : https://arxiv.org/abs/2105.12196v1

Video: https://youtu.be/KHMwq9pv7mg

• 기존의 RL알고리즘의 연구결과들을 보면 목표를 잘 달성하긴하지만 행동은 불안정한 경우가 대부분이라는 점과 좁은 범위의 행동만을 수행하는 뚜렷한 한계가 있었으며, 이는 RL이 다른 DL 알고리즘들과 달리 널리 사용되지 못하는 이유중 하나임
• 사람의 경우 밀리초 단위의 자세제어 뿐만아니라 수십 초 길이의 비교적 긴 목표를 동시에 가지고 행동을 하고있으며, 더 나아가 주변 사람 및 환경과의 상호작용까지 이루어져 자연스럽고 거시적인 행동이 가능
• 이 논문에선 기존의 단순한 학습목표에 따른 부자연스럽고 근시적이었던 RL의 한계를 극복하고자 서로다른 행동레벨을 복합적으로 학습시키는 방법을 보여줌
• Environment

• Learning Framework

• Internal Representation

Author : Xijun Li, Weilin Luo, Mingxuan Yuan, Jun Wang, Jiawen Lu, Jie Wang, Jinhu Lu, Jia Zeng
Paper Link : https://arxiv.org/abs/2105.12899v1

• 화웨이 Noah's Ark 랩에서 나온 물류 최적화 연구.

• 다른 RL을 사용한 조합최적화 연구와 비슷한 접근으로서 역시 GNN와 RL을 사용함
• Attenion-based GNN + Double DQN

• 전체 물류비용을 평균적으로 13.12% 줄임

Author : Bernie Wang, Simon Xu, Kurt Keutzer, Yang Gao, Bichen Wu
Paper Link : https://arxiv.org/abs/2103.06386

• Context-based Meta-RL이 training task의 넓은 distribution에 반해 상대적으로 적은 정보로만 학습된다는 단점에서, Context Encoder의 학습에 Contrastive Learning을 추가함.
• Overview Figure

• Algorithm Figure

• Result Figure on MuJoCo

• Off-line Meta-RL인 PEARL보다 사실 성능은 크게 차이나지 않는편. (Average 1.3배, Median 1.14배)
• Meta-World환경에서도 PEARL과 비교를 했는데, 50개 Task 중에서 44개에서 성능이 높지만, 크게 차이나진 않은편. (Average 4.3배, Median 1.4배; 즉 몇몇 특정 task에서 훨씬 잘한 케이스)
• 하지만 이 논문에서 의미있는 부분은 embedding된 task representation 부분
• Meta-world의 Push-v1 환경에서, 서로 다른 위치에 물건을 옮기는 10개의 task에 대한 PEARL과 Contrastive Learning을 추가한 알고리즘 각각의 representation space를 비교.

• 각 task마다 200번을 rollout한뒤 샘플된 trajectroy를 t-SNE를 사용하여 2차원 시각화 한 결과 Contrastive Learning을 적용한 알고리즘에서 보다 명확하게 clustring이 된것을 확인할 수 있음.

논문에 대한 나의 의견

개인적으로 context-based Meta-RL은 agent의 행동에 잠재적으로 내포된 goal을 Explainable하게 시각화 할수 있다는 점이 큰 장점이라 생각한다. 이 논문에서 사용한 Contrastive Learning은 이러한 장점을 더 극대화 할수 있는 방법을 제시한것이라 볼 수 있으며, 성능은 크게 좋아지지 않았지만 신뢰도가 중요한 field에 적용할 경우 충분히 의미가 있을것 같다.