Author: Valentyn Melnychuk, Dennis Frauen, Stefan Feuerriegel
Paper Link: https://arxiv.org/abs/2204.07258

Code: https://github.com/Valentyn1997/CausalTransformer

ICML slide: https://icml.cc/media/icml-2022/Slides/17693.pdf

ICML presentation: https://slideslive.ch/38983812/causal-transformer-for-estimating-counterfactual-outcomes?ref=recommended 

 

 

  • Time-varying confounder를 다루기 위해 CRN에서 LSTM을 사용한것과 달리 여기선 Transformer사용하여 길고 복잡한 sequence 데이터를 더 잘 다루고자 함
    • 저자 피셜 Transformer를 causal inference에 최초로 적용한 사례
  • selection bias를 줄이기 위해 representation을 balancing 하는 접근을 택했고, 그 방법으로는 CRN과 같은 adversarial objectjve를 사용했으나 loss로는 doimain confusion loss를 사용했다는 차이첨이 있음
    • CRN의 방식은 학습속도 파라메터에 민감하기 때문에 자신들의 접근이 더 낫다 설명하고 실험으로 검증

 

[Domain confusion loss]

 

[Gradient reversal]

 

 

  • 실험 결과 time dependent confounder 및 long term prediction 모두에서 기존 방법들 대비 높은 counterfactual 정확성을 보여줌

+ Recent posts