[요약] Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction (Yikuan Li, npj Digital Medicine 2021)

Author : Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao & Degui Zhi 
Paper Link : https://www.nature.com/articles/s41746-021-00455-y

Code: https://github.com/ZhiGroup/Med-BERT

 

Contributions

1. npj digital medicine
2. 미국내 600여개 병원의 2천만명 환자 EHR (Cerner)
3. BERT기반의 MLM사용 
4. 추가적으로 진단 코드 이상의 context를 학습하기위한 Domain-specific pretraining task로서 입원기간을 예측
5. Fined-tunned task로는 당뇨병환자의 심부전 & 췌장암 예측
6. 다른 task, 적은 데이터, 다른 EHR DB(Truven) 를 사용한 Pretrained EHR모델의 real-world generalizability 검증 의의

 

 

• Med-BERT 학습 아키텍처

 

• BERT기반의 다른 EHR데이터 활용 논문들과의 비교 및 핵심 내용 요약