Author : Laila Rasmy, Yang Xiang, Ziqian Xie, Cui Tao & Degui Zhi 
Paper Link : https://www.nature.com/articles/s41746-021-00455-y

Code: https://github.com/ZhiGroup/Med-BERT

 

Contributions

  1. npj digital medicine
  2. 미국내 600여개 병원의 2천만명 환자 EHR (Cerner)
  3. BERT기반의 MLM사용 
  4. 추가적으로 진단 코드 이상의 context를 학습하기위한 Domain-specific pretraining task로서 입원기간을 예측
  5. Fined-tunned task로는 당뇨병환자의 심부전 & 췌장암 예측
  6. 다른 task, 적은 데이터, 다른 EHR DB(Truven) 를 사용한 Pretrained EHR모델의 real-world generalizability 검증 의의

 

 

  • Med-BERT 학습 아키텍처

 

  • BERT기반의 다른 EHR데이터 활용 논문들과의 비교 및 핵심 내용 요약

'MEDICAL & HEALTHCARE AI' 카테고리의 다른 글

[요약] Targeted-BEHRT: Deep learning for observational causal inference on longitudinal electronic health records (Shishir Rao, ArXiv 2022)  (0) 2022.02.12
[북마크] G-BERT: Pre-training of Graph Augmented Transformers for Medication Recommendation (Junyuan Shang, IJCAI 2019)  (0) 2022.01.17
[요약] BEHRT: Transformer for Electronic Health Records (Yikuan Li, Scientific Reports 2020)  (0) 2022.01.16
[북마크] Transfer Learning in Electronic Health Records through Clinical Concept Embedding (Jose Roberto Ayala Solares, ArXiv 2021)  (0) 2022.01.16
[북마크] MedGPT: Medical Concept Prediction from Clinical Narratives (Zeljko Kraljevic, ArXiv 2021)  (0) 2022.01.16

Author : Yikuan Li, Shishir Rao, José Roberto Ayala Solares, Abdelaali Hassaine, Rema Ramakrishnan, Dexter Canoy, Yajie Zhu, Kazem Rahimi & Gholamreza Salimi-Khorshidi 
Paper Link : https://www.nature.com/articles/s41598-020-62922-y

Code: https://github.com/deepmedicine/BEHRT

 

 

Contributions

  1. BERT+EHR = B EHR T
  2. LM기반 EHR관련 연구 중 인용수가 100이 넘어간 대표 논문
  3. 환자의 진단코드(301개) 진행을 예측하기 위한 pretrained모델 제안

Limitations

  1. EHR은 interaction 데이터 임에도 진단코드와 나이만을 사용한 seqeunce modeling

 

 

  • 5회 이상 방문한 160만명의 데이터 사용
  • 301개 클래스의 진단코드와 나이만을 학습을 위한 시계열 데이터로 사용
  • 진단코드가 없는 방문은 데이터에서 제외

 

  • Tabular sequence data의 embedding은 아래와 같이 진단코드에 나이(병인+방문간격 역할) 와 positional encoding(방문순서)와 segment(방문 구분)를 추가로 포함하여 수행
  • Pre-train은 BERT와 같이 MLM을 사용하여 환자의 시계열 데이터의 중간에 마스크된 질병을 예측하도록 수행
  • 모델이 병의 진행에 대한 전반적인 학습을 했는지를 검증하기 위해 1) 다음 방문에서의 진단, 2) 다음 6개월 내의 진단, 3) 다음 12개월 내의 진단을 예측하는 downstream task를 수행

 

  • 학습된 embedding을 시각화 해본 결과, 남성질병과 여성질병의 거리가 먼 것을 확인
  • 또한 빈도가 낮은 질병에 대해 가장 가깝게 embedding된 질병을 실제 의료진의 의견과 비교한 경우 75.7% 일치
  • 이로부터 저자들은 BEHRT가 질병의 latent characteristics를 잘 이해했다고 판단 

 

  • Predictive downstream tasks에서도 기존 모델들 보다 높은 성능을 확인

'MEDICAL & HEALTHCARE AI' 카테고리의 다른 글

[북마크] G-BERT: Pre-training of Graph Augmented Transformers for Medication Recommendation (Junyuan Shang, IJCAI 2019)  (0) 2022.01.17
[요약] Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction (Yikuan Li, npj Digital Medicine 2021)  (0) 2022.01.17
[북마크] Transfer Learning in Electronic Health Records through Clinical Concept Embedding (Jose Roberto Ayala Solares, ArXiv 2021)  (0) 2022.01.16
[북마크] MedGPT: Medical Concept Prediction from Clinical Narratives (Zeljko Kraljevic, ArXiv 2021)  (0) 2022.01.16
[북마크] Healthcare’s AI Future: A Conversation with Fei-Fei Li & Andrew Ng (May, 2021)  (0) 2021.05.09

Author : Jose Roberto Ayala Solares, Yajie Zhu, Abdelaali Hassaine, Shishir Rao, Yikuan Li, Mohammad Mamouei, Dexter Canoy, Kazem Rahimi, Gholamreza Salimi-Khorshidi
Paper Link : https://arxiv.org/abs/2107.12919

'MEDICAL & HEALTHCARE AI' 카테고리의 다른 글

[북마크] G-BERT: Pre-training of Graph Augmented Transformers for Medication Recommendation (Junyuan Shang, IJCAI 2019)  (0) 2022.01.17
[요약] Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction (Yikuan Li, npj Digital Medicine 2021)  (0) 2022.01.17
[요약] BEHRT: Transformer for Electronic Health Records (Yikuan Li, Scientific Reports 2020)  (0) 2022.01.16
[북마크] MedGPT: Medical Concept Prediction from Clinical Narratives (Zeljko Kraljevic, ArXiv 2021)  (0) 2022.01.16
[북마크] Healthcare’s AI Future: A Conversation with Fei-Fei Li & Andrew Ng (May, 2021)  (0) 2021.05.09

Author : Zeljko Kraljevic, Anthony Shek, Daniel Bean, Rebecca Bendayan, James Teo, Richard Dobson
Paper Link : https://arxiv.org/abs/2107.03134

 

 

 

'MEDICAL & HEALTHCARE AI' 카테고리의 다른 글

[북마크] G-BERT: Pre-training of Graph Augmented Transformers for Medication Recommendation (Junyuan Shang, IJCAI 2019)  (0) 2022.01.17
[요약] Med-BERT: pretrained contextualized embeddings on large-scale structured electronic health records for disease prediction (Yikuan Li, npj Digital Medicine 2021)  (0) 2022.01.17
[요약] BEHRT: Transformer for Electronic Health Records (Yikuan Li, Scientific Reports 2020)  (0) 2022.01.16
[북마크] Transfer Learning in Electronic Health Records through Clinical Concept Embedding (Jose Roberto Ayala Solares, ArXiv 2021)  (0) 2022.01.16
[북마크] Healthcare’s AI Future: A Conversation with Fei-Fei Li & Andrew Ng (May, 2021)  (0) 2021.05.09

Author  : Kyle Aitken, Vinay V Ramasesh, Yuan Cao, Niru Maheswaranathan
Paper Link : https://arxiv.org/abs/2110.15253

 

'AI & RL > Representation Learning' 카테고리의 다른 글

[참고자료] Transformer for tabular data  (0) 2022.07.25
[북마크] Pure Transformers are Powerful Graph Learners (Jinwoo Kim, Arxiv 2022)  (0) 2022.07.12
[북마크] Understanding the World Through Action (Sergey Levine, CoRL 2021)  (0) 2021.10.27
[요약] The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning (Yujin Tang, NeurIPS 2021 Spotlight)  (0) 2021.09.13
[참고자료] Transformer VAE  (0) 2021.08.19

+ Recent posts

티스토리툴바