AI 모델은 의료 영상을 읽는 데 점점 능숙해지고 있지만, 자신이 틀렸을 때 이를 알아차리는 능력은 위험할 정도로 떨어집니다. 7월 19일 공개된 새로운 벤치마크 RadLE 2.0, 즉 "Radiology's Last Exam"은 최전선 모델들이 물러나기보다 자신 있게 X-ray를 오진하는 경향이 있으며, 의료 분야에서는 단순한 정확도보다 이런 실패 양상이 더 중요하다고 지적합니다.
시험 방식
인도의 Ashoka University 산하 CRASH Lab이 만든 RadLE 2.0은 Claude Fable 5, Google의 Gemini 3 Pro, Meta의 Muse Spark 1.1, Grok 4.5를 포함한 16개 최전선 모델을 200건의 X-ray 사례로 평가했습니다. 핵심은 단순히 정답 수를 세는 것이 아니라, 정직한 불확실성은 보상하고 자신만만한 오답은 감점하는 신뢰도 가중 점수 체계를 쓴다는 점입니다.
인간과의 격차
이 점수 체계에서 인간 방사선과 전문의는 2,000점 만점에 988.7점을 받아 최고 AI 모델의 758점을 크게 앞섰습니다. 특히 단순 원시 정확도만 놓고 보면 Gemini 3 Pro는 인간과 거의 비슷한 수준이었습니다. 이는 모델의 약점이 무엇을 틀리느냐뿐 아니라, 불확실할 때 어떻게 행동하느냐에도 있음을 보여줍니다.
과신 문제
이 점이 보고서의 핵심 경고입니다. 많은 모델이 매우 자신만만한 오진을 내놓았고, 저자들은 "추측하는 대신 더 자주 침묵했다면 훨씬 더 좋은 점수를 받았을 것"이라고 밝혔습니다. 인간에게 넘길 때를 모르는 모델은 임상 현장에서 특히 위험합니다. 자신 있게 내린 오진은 인정된 "잘 모르겠습니다"보다 더 해로울 수 있기 때문입니다.
점수 체계가 중요한 이유
대부분의 벤치마크는 정답 여부만 따지고, 그 답에 도달한 방식은 무시합니다. RadLE 2.0은 자신만만한 오답에 페널티를 줌으로써 실제로 안전한 임상 배치에 필요한 것에 더 가까운, 즉 보정된 불확실성을 측정합니다. 그 결과는 오늘날의 모델이 원시 정확도만 보면 인간과 비슷해 보여도, 아직 그 수준에는 이르지 못했음을 시사합니다.