Med-PaLM

oogle과 DeepMind는 의료 전문가와 환자가 제기한 질문에 "안전하고 유용한 답변"을 생성하도록 설계된 Med-PaLM이라는 인공 지능 기반 챗봇 도구를 개발했습니다.

ChatGPT 출시 후 불과 몇 주 만에 Google/DeepMind는 5,400억 개의 매개변수 PaLM 모델을 기반으로 의료 관련 질문에 답변하도록 특별히 설계된 대규모 언어 모델인 MedPaLM의 출시를 발표 했습니다 .

ChatGPT는 LLM 규모의 소비자 쪽에서 작동하는 쇼케이스 기술인 반면 Med-PaLM은 더 좁은 매개변수 내에서 작동하도록 설계되었으며 전문 의료 검사, 연구 및 의료에 대한 소비자 쿼리에 걸친 7개의 질문 응답 데이터 세트에 대해 교육을 받았습니다. 문제.

이 모델은 6개의 기존 의료 Q&A 데이터 세트(NedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA 및 MMLU)에서 훈련되었으며, 개발자 팀도 건강 상태 및 관련 증상에 대한 질문을 사용하여 자체 HealthSearchQA를 만들었습니다.

현재 MedPaLM은 일반 대중이 테스트할 수 없지만 여기에서 연구원의 논문을 읽을 수 있습니다 .

https://youtu.be/CEElBv0qoZY

초기 모델은 BERT (sciBERT, BioBERT, PubMedBERT, DARE, ScholarBERT) 를 기반으로 했습니다 . 또한 최근 BioGPT와 같은 GPT 아키텍처 기반의 모델도 시도되었다

“기여 개요 우리는 건강 검진, 의학 연구 및 소비자 의료 질문에 대한 의학적 질문 답변에 대한 벤치마크인 MultiMedQA를 큐레이팅했습니다. 우리는 MultiMedQA에서 PaLM과 그 지시 조정 변형인 Flan-PaLM을 평가했습니다. 촉진 전략의 조합으로 Flan-PaLM은 MedQA(USMLE), MedMCQA, PubMedQA 및 MMLU 임상 주제에서 SOTA 성능을 능가했습니다. 특히 기존 SOTA on MedQA(USMLE) 대비 17% 이상 향상됐다. 다음으로 Flan-PaLM을 의료 영역에 추가로 정렬하여 Med-PaLM을 생성하기 위한 지침 프롬프트 튜닝을 제안했습니다. 소비자 의료 질문에 대한 Med-PaLM의 답변은 인간 평가 프레임워크 하에서 임상의가 생성한 답변과 호의적으로 비교되어 지침 프롬프트 튜닝의 효과를 보여줍니다.” 그림 출처: 여기.

 

이 문서는 지침 프롬프트 튜닝이 의료 질문 답변과 같은 복잡한 분야에서 모델의 성능을 어떻게 향상시킬 수 있는지 보여줍니다. 그러나 이 동작은 모델의 규모와 함께 나타납니다. 또한 이 모델은 다른 모델과 비교하여 최첨단을 달성합니다.

PaLM의 540B 버전만으로도 상당한 결과를 얻을 수 있습니다. 아마도 교육 데이터에는 여러 의료 소스가 포함되어 있었고 모델은 이 정보를 매개변수에 저장했습니다.

인간 전문가의 평가는 스케일링만으로는 어쨌든 충분하지 않음을 보여줍니다. Med-PaLM 자체도 불완전하거나 잘못된 답변을 생성할 수 있습니다.

어쨌든 의료 분야에서 그러한 모델을 사용할 수 있기에는 아직 시기상조입니다. 첫째, 모델의 안전성을 보장하기 위해 더 많은 연구가 필요합니다. 당분간 질병 치료에 사용한다는 가설은 어렵지만 환자에게 질병과 약물에 대한 정보를 제공하는 접근 방식으로 볼 수 있다.

반면에 의사도 편견이 있고 LM은 효율적인 보조자가 될 수 있습니다. 미래에 LM은 편견을 완화하고 치료법에 대한 더 많은 접근을 허용하는 데에도 유용할 수 있습니다.

마지막으로 Google은 생성 AI 애플리케이션의 프로토타이핑 및 구축에 사용할 수 있다는 아이디어로 PaLM의 API를 출시했습니다( 자세한 내용은 여기 참조 ).

 

 

참고:

https://gpt3demo.com/apps/med-palm

https://towardsdatascience.com/google-med-palm-the-ai-clinician-a4482143d60e