PLOS Digital Health에 8월 19일 게재된 체계적 분석은 2025년 12월 5일까지 FDA가 허가 또는 승인한 모든 AI/ML 지원 의료기기 — 총 1,357개 — 를 검토해, 이들 중 몇 개가 실제로 환자 상태 개선 여부를 시험받았는지 조사했다.
수치로 보면
34개 기기(2.5%)가 등록된 전향적 시험과 연결돼 있다. 12개(0.9%)는 결과를 공개했다. 12개(0.9%)는 동료심사 논문이 있다. 그리고 3개(0.2%)는 사망률, 이환율 또는 재입원 등 환자 중심 결과로 평가됐다. 등록된 시험 가운데 62%는 무작위배정이 아닌 관찰연구였다. 기기 구성은 방사선과에 크게 치우쳐 있다. 방사선과 기기 1,059개(78%), 심혈관 122개(9%), 신경학 68개(5%)였다.
흔한 설명이 놓치는 점
언론 보도는 이를 "AI 의료기기는 검증되지 않았다" 또는 "시험받지 않았다"는 식으로 다루고 있다. 그러나 이 논문이 측정한 것은 그것이 아니다. 1,357개 중 거의 모두는 510(k) 실질적 동등성 허가를 거쳤는데, 이는 법적으로 결과 시험을 요구하지 않는다. 대신 기존의 선행 기기와 동등해야 한다. "1,357개 중 3개뿐"이라는 수치는 FDA가 자체 규정을 어겼다는 뜻이 아니라, 규정이 무엇을 요구하는지에 대한 결과다.
또한 이들 기기가 전혀 시험되지 않은 것도 아니다. 진단 정확도, AUC, 판독자 간 일치도, 기준 표준에 대한 단독 성능 등으로 시험됐다. 빠진 것은 더 나은 판독이 더 나은 환자 결과로 이어지는지에 대한 연결고리다. 그리고 전체의 78%가 방사선과에 속한다는 점을 감안하면, 이 헤드라인은 주로 영상 분류 소프트웨어에 관한 것이지 AI가 치료 결정을 내리는 문제는 아니다.
연구에 포함되지 않은 집단
포함된 연구 대부분은 임신부, 75세 초과 성인, 비영어권 사용자를 제외했고, 자원이 풍부한 의료체계에서 수행됐다. 토론토, MIT Critical Data, Harvard Chan, Johns Hopkins, Mbarara University of Science and Technology, Bergen 출신의 저자들은 이해충돌이 없다고 밝혔다.
허가 보도를 읽는 법칙
실무적으로는 독자가 직접 적용할 수 있는 기준이 하나 있다. 기업이 FDA 허가를 발표할 때 보도자료에 결과 수치가 들어 있는지 확인하라는 것이다. 99.8%의 경우 누구도 그런 수치를 제시하지 못한다 — 따라서 그것의 부재는 스캔들이 아니라 관행이며, 반대로 존재한다면 정말 주목할 만하다.
