“LLMs가 임상 AI를 이긴다” 논문의 저자들, 두 개 벤치마크 인정

Nature Medicine은 9월 3일 아침, 수초 간격으로 등록된 두 문서를 게재했다. 이는 일반 목적의 최첨단 LLM이 특화된 임상 AI 도구를 능가한다고 주장한 2026년 6월 논문을 비판하는 동료심사 Matters Arising와 원저자들의 Reply였다. 이 학술지는 이를 의도적으로 한 쌍으로 공개했다.

비판의 핵심 주장

연구에서 가장 큰 효과를 만들어낸 벤치마크들이 저자들 스스로 인정하는 방식으로 혼동 요인을 안고 있으며, 나머지 평가는 범위가 제한적이고 정밀도를 과장하며, 충분히 설명되거나 통제되지 않은 추론 설정에 의존한다는 것이다. 비판문에는 최첨단 모델에서 MedQA 벤치마크 내용이 복원될 수 있음을 보여주는 그림도 포함돼 있는데, 이는 주장만이 아니라 실제로 입증된 시험 세트 암기다.

저자들이 인정한 부분

Reply는 가능한 MedQA 오염과 HealthBench 평가자 친화성이 일반화 가능성을 제한할 수 있다는 점에 동의한다. 여기서 평가자 친화성이란 LLM 심판이 자신과 같은 모델 계열의 출력을 더 선호하는 경향을 뜻한다. 또한 논문은 이 두 벤치마크를 부수적(supplementary)으로 취급한다고 밝힌다. 저자들은 자신들의 연구 및 배포 조건하에서 주요 결론은 유지된다고 주장한다. 그 주요 결론은 실제 임상 질문 벤치마크에 근거한다. 즉, 식별정보가 제거된 의사 질문 100개를 미국 임상의 12명이 블라인드로 평가한 결과다.

흔한 해석의 오류

6월 결과는 "ChatGPT가 의사들의 참고 도구를 이겼다"는 식으로, 일반적 능력 순위처럼 유통됐다. 그러나 원래도 그렇게 단순한 결과는 아니었고, 9월 3일 이후에는 더 좁아졌다. 세 축 가운데 두 축은 오염되었거나 자체 편향적이라고 인정됐고, 남은 축은 한 기관의 100개 질문에 불과하다. 두 번째 수정은 이 결과가 어떻게 보도돼야 하는지에도 중요하다. Matters Arising은 정정도, 철회도, 우려 표명도 아니다. 원 논문은 그대로 남아 있다. 달라진 것은 인쇄본에서 원저자들 스스로 이 논문에 부여하는 범위다.

왜 중요한가

이 논문은 병원 조달 논쟁에서 특화 임상 AI 구독료를 내지 말아야 한다는 근거로 인용돼 왔다. 이번 문답은 저널 기록에 그 주장이 어느 정도의 무게를 가질 수 있는지를 드러내며, 벤치마크 오염과 LLM을 심판으로 쓰는 경우의 선호 누출을 기계학습 방법론의 우려에 머물게 하지 않고 의료 구매 결정의 중심으로 끌어올린다.