망막 안저 사진에서 멀티모달 대규모 언어모델의 진단 정확도
Diagnostic Accuracy of Multimodal Large Language Models in Retinal Fundus Photography.
Huo et al.
- ChatGPT-4o가 75%의 정확도로 다른 모델들을 크게 앞섰습니다. Claude와 Grok은 각각 18%, Gemini는 14%의 정확도를 보였어요.
- 여기서 중요한 한계가 드러나요.
- 망막 사진 해석을 위해 AI를 보조 도구로 쓸 수 있는 상황이 현재 어떻게 되어 있나요?
망막 안저 사진의 진단 정확도를 LLM으로 평가한 본 연구는 2025 STARD-AI 지침의 주요 대상이며, 모델 간 일치도 저하와 신뢰도-정확도 상관 부족은 지침이 강조하는 성능 오류 분석과 알고리즘 평가의 필요성을 뒷받침합니다.
근거 2025 STARD-AI 진단 정확도 연구 보고 지침 · TRIPOD-LLM 대형언어모델 연구 보고 지침(2025)
앞으로 필요한 연구 망막질환 진단에서 LLM의 임상 유용성을 확립하려면 안과 전문의와의 비교, 실제 임상 환경에서의 외부 검증, 질환별 성능 차이 분석이 필요합니다.
일차적 의견
• 설계: 망막질환 8가지 범주에서 총 800장의 안저사진을 4가지 멀티모달 LLM으로 진단 평가.
• ChatGPT-4o가 75% (603/800)의 가장 높은 정확도를 달성했으며, Claude/Grok/Gemini 각각 18%/18%/14%보다 유의하게 우수했다.
• 모델 간 일치도가 낮았고 (κ=0.05-0.16), ChatGPT만 신뢰도-정확도 상관을 보여 임상 적용 전 추가 개선 및 검증 필수.
ChatGPT-4o는 다른 LLM 대비 망막 안저사진 인식 정확도가 임상적으로 유망하나, 모델 간 불일치와 중등도 성능은 진단 워크플로우 도입 전 추가 검증이 필요함을 시사한다.
쉽게 풀어 쓴 해설
- ChatGPT-4o는 75% 정확도로 다른 세 가지 AI 모델들을 크게 앞섰어요.
- 네 모델이 같은 사진을 봐도 진단이 거의 일치하지 않았어요.
- 망막질환 8가지 종류의 안저사진 800장을 ChatGPT-4o, Claude, Grok, Gemini 네 가지 AI로 판독하게 했어요.
- ChatGPT-4o는 75% 맞혔고, 나머지 셋은 모두 14~18% 수준이었거든요.
- 망막질환 진단에 AI 도구 도입을 고려하는 안과에 해당해요.
- 어떤 모델도 아직 진료에 바로 쓸 준비가 안 되었어요.
- 모델들이 서로 다르게 읽는 이유를 파악하고 정확도를 높여야 실제 병원에서 쓸 수 있어요.
- 다음 안과 방문에서 "AI가 안저사진을 도와줄 수 있는 날이 언제쯤일까요"라고 여쭤 보세요.