Author : Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao & Degui Zhi
Paper Link : https://www.nature.com/articles/s41746-021-00455-y
Code: https://github.com/ZhiGroup/Med-BERT
Contributions
- npj digital medicine
- 미국내 600여개 병원의 2천만명 환자 EHR (Cerner)
- BERT기반의 MLM사용
- 추가적으로 진단 코드 이상의 context를 학습하기위한 Domain-specific pretraining task로서 입원기간을 예측
- Fined-tunned task로는 당뇨병환자의 심부전 & 췌장암 예측
- 다른 task, 적은 데이터, 다른 EHR DB(Truven) 를 사용한 Pretrained EHR모델의 real-world generalizability 검증 의의
- Med-BERT 학습 아키텍처
- BERT기반의 다른 EHR데이터 활용 논문들과의 비교 및 핵심 내용 요약