Author: Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, Perry Payne, Martin Seneviratne, Paul Gamble, Chris Kelly, Nathaneal Scharli, Aakanksha Chowdhery, Philip Mansfield, Blaise Aguera y Arcas, Dale Webster, Greg S. Corrado, Yossi Matias, Katherine Chou, Juraj Gottweis, Nenad Tomasev, Yun Liu, Alvin Rajkomar, Joelle Barral, Christopher Semturs, Alan Karthikesalingam, Vivek Natarajan
Paper Link: https://arxiv.org/abs/2212.13138

Author: Julián N. Acosta, Guido J. Falcone, Pranav Rajpurkar & Eric J. Topol
Paper Link: https://www.nature.com/articles/s41591-022-01981-2


최신 foundation model들 까지 고려한 Eric Topol교수님의 의료 데이터에서의 multimoality에 대한 리뷰 페이퍼.


Author: Valentyn Melnychuk, Dennis Frauen, Stefan Feuerriegel
Paper Link: https://arxiv.org/abs/2204.07258

Code: https://github.com/Valentyn1997/CausalTransformer

ICML slide: https://icml.cc/media/icml-2022/Slides/17693.pdf

ICML presentation: https://slideslive.ch/38983812/causal-transformer-for-estimating-counterfactual-outcomes?ref=recommended 

 

 

  • Time-varying confounder를 다루기 위해 CRN에서 LSTM을 사용한것과 달리 여기선 Transformer사용하여 길고 복잡한 sequence 데이터를 더 잘 다루고자 함
    • 저자 피셜 Transformer를 causal inference에 최초로 적용한 사례
  • selection bias를 줄이기 위해 representation을 balancing 하는 접근을 택했고, 그 방법으로는 CRN과 같은 adversarial objectjve를 사용했으나 loss로는 doimain confusion loss를 사용했다는 차이첨이 있음
    • CRN의 방식은 학습속도 파라메터에 민감하기 때문에 자신들의 접근이 더 낫다 설명하고 실험으로 검증

 

[Domain confusion loss]

 

[Gradient reversal]

 

 

  • 실험 결과 time dependent confounder 및 long term prediction 모두에서 기존 방법들 대비 높은 counterfactual 정확성을 보여줌

 

 

네이버의 초거대 인공지능 하이퍼클로바를 이용하여 의료분야에 적용해보는경진대회에서 최우수상을 수상하였습니다.

 

 

스탠포드 첼시핀 교수님의 CS330강의가 공개되면서 부터, 동료들과 함께 집필을 시작한 메타러닝 첫 한국어 도서집필 프로젝트입니다. 최종 편집본이 오늘 나왔는데 총 282쪽이네요.

 

출판은 위키북스를 통해 진행했으며, 책의 검수에는 고려대학교 인공지능학과의 최성준 교수님께서 연구/교육/업무로 정말 바쁘신 와중에 시간을 내어주셨습니다. 나중에 최종 출판이 되면 다시한번 감사드리겠지만, 최종 편집을 하려 PDF를 열때마다 부족한 저희에게 시간을 할애해 주신 최성준 교수님께 매번 감사하는 마음이 들었습니다. 

 

표지의 동물은 오리너구리로 포유류이면서도 조류와 같이 알을 낳는 등 여러 동물들의 특성을 모두 가지고 있는데, 실제 유전적으로도 포유류, 조류, 파충류가 혼합되어 있다고 합니다. 환경에 맞춰 다양하게 퍼져나가는 진화가지를 내포한듯한 이러한 특징이 마치 메타러닝과 비슷하다고 생각하여 이번 메타러닝 책의 표지로서 오리너구리를 택하게 되었습니다.

마지막으로 귀여운 실제 오리너구리 사진 보시겠습니다.

+ Recent posts