Os modelos de IA estão ficando bons em ler imagens médicas — e perigosamente ruins em saber quando estão errados. Um novo benchmark detalhado em 19 de julho, o RadLE 2.0, ou "Radiology's Last Exam", mostra que modelos de fronteira vão diagnosticar raios X incorretamente com confiança em vez de se abster, um modo de falha que importa mais na medicina do que a precisão bruta.
Como o teste funciona
Desenvolvido pelo CRASH Lab da Ashoka University, na Índia, o RadLE 2.0 avaliou 16 modelos de fronteira — incluindo Claude Fable 5, o Gemini 3 Pro do Google, o Muse Spark 1.1 da Meta e Grok 4.5 — em 200 casos de raios X. Crucialmente, ele usa um sistema de pontuação ponderado pela confiança, que recompensa a incerteza honesta e penaliza respostas erradas confiantes, em vez de simplesmente contar acertos.
A distância para os humanos
Nessa métrica, os radiologistas humanos marcaram 988,7 de 2.000, bem à frente dos 758 do melhor modelo de IA. Notavelmente, considerando apenas a precisão bruta, o Gemini 3 Pro quase igualou os humanos — o que significa que a fraqueza dos modelos não está apenas no que erram, mas em como se comportam quando estão incertos.
O problema da confiança excessiva
Esse é o alerta central do relatório. Muitos modelos produziram diagnósticos errados com alta confiança, e os autores observam que eles "teriam se saído muito melhor se tivessem ficado em silêncio com mais frequência em vez de adivinhar." Um modelo que não sabe quando passar o caso para um humano representa um risco clínico específico, porque uma leitura errada e confiante pode ser mais prejudicial do que um "não tenho certeza" assumido.
Por que a pontuação importa
A maioria dos benchmarks recompensa a resposta correta e ignora a forma como ela foi alcançada. Ao penalizar erros confiantes, o RadLE 2.0 mede algo mais próximo do que realmente é necessário para uma implantação clínica segura — incerteza calibrada —, e seus resultados sugerem que os modelos de hoje ainda não chegaram lá, mesmo quando sua precisão bruta parece próxima da humana.