8월 21일 Academic Radiology에 게재된 전향적 단일기관 교차 판독 연구는 상용화된 4개 흉부 방사선 AI 제품을 무보조 판독과 비교했다. 1~6년 경력의 판독자 5명이 연속 1,200명 환자와 1,861장 방사선 사진을 대상으로 폐 침윤, 흉막삼출, 종격동 종괴, 기흉, 폐 결절을 다섯 조건에서 평가했으며, 세션 사이에는 14일 세척 기간을 두고 증례 순서는 무작위로 배정했다. 기준 표준은 최종 임상 판독 보고서였고, 가능할 경우 확인용 CT를 보완했다.
주요 결과
"AI 보조는 진단 정확도를 향상시키지 못했다." 흉막삼출과 폐 결절에서는 여러 판독자-도구 조합에서 정확도가 감소했으며, 그 원인으로 지목된 메커니즘은 위양성 증가였다. 즉, 도구가 어떤 소견을 표시하면 판독자가 이를 인정하지만 실제로는 존재하지 않는 경우가 늘었다는 뜻이다.
통상적 프레임이 놓치는 것
이는 방사선 AI 결과가 보통 제시되는 방식과 정확히 반대다. 여기서 마케팅에 활용할 수 있는 모든 수치는 2차 결과였고, 그 수치들은 모두 개선됐다. 5명 중 3명의 레지던트는 증례당 중앙값 6~17초 더 빨리 판독했으며(p≤0.031), 5명 중 4명은 더 높은 신뢰도를 보고했다. 일부 조합에서는 상급의사 자문이 줄었고 한 경우에는 CT로의 에스컬레이션도 감소했다. 반면 주요 결과인 진단 성능은 움직이지 않았고, 두 가지 소견에서는 오히려 후퇴했다. 정확도는 낮아졌는데 신뢰도는 높아진다는 점은 전형적인 자동화 편향의 징후이며, 저자들도 이를 명시적으로 지적했다. "AI가 판독 시간을 줄이고 방사선과 전문의의 신뢰도를 높였다"는 식의 기사 제목은 세부적으로는 모두 맞지만, 전체로 보면 틀린 셈이다.
"상용화된"이라는 표현이 핵심인 이유
이들 제품은 연구용 프로토타입이 아니다. 이미 임상 워크플로에 배치된 시판·허가 제품이며, 실제 환경에서 정면 비교를 거친 것이다. 이는 대부분의 구매 결정의 근거가 되는 후향적 단일 도구 연구보다 훨씬 강한 근거 설계다.
이번 연구가 입증하지 못한 것
연구는 단일기관에서 이뤄졌고, 판독자들은 비교적 경력이 짧으며, 기준 표준은 환자 결과가 아니라 최종 판독 보고서였다. 저자들은 결론에서 임상시험이 여전히 필요하다고 밝히며, 자동화 편향을 피하면서 효율성 향상을 확보하려면 도입 시 세심한 현지 적응이 필요하다고 덧붙였다. 효율성 향상은 분명 실제로 존재하지만, 문제는 그것이 제품이 내세우는 핵심 가치가 아니라는 점이다.