Los modelos de IA cada vez leen mejor las imágenes médicas — y cada vez son más peligrosos cuando no saben que se equivocan. Un nuevo benchmark detallado el 19 de julio, RadLE 2.0, o "Radiology's Last Exam", concluye que los modelos punteros preferirán diagnosticar erróneamente radiografías con seguridad antes que abstenerse, un modo de fallo que en medicina importa más que la precisión bruta.
Cómo funciona la prueba
Desarrollado por el CRASH Lab de la Ashoka University en India, RadLE 2.0 evaluó a 16 modelos punteros — incluidos Claude Fable 5, Gemini 3 Pro de Google, Muse Spark 1.1 de Meta y Grok 4.5 — en 200 casos de radiografía. De forma crucial, utiliza un sistema de puntuación ponderado por confianza que premia la incertidumbre honesta y penaliza las respuestas erróneas confiadas, en lugar de limitarse a contar los aciertos.
La brecha con los humanos
Con esa puntuación, los radiólogos humanos obtuvieron 988,7 sobre 2.000, muy por delante de los 758 del mejor modelo de IA. Cabe destacar que, solo en precisión bruta, Gemini 3 Pro estuvo casi al nivel de los humanos, lo que significa que la debilidad de los modelos no es solo lo que aciertan o fallan, sino cómo se comportan cuando tienen dudas.
El problema de la sobreconfianza
Esa es la advertencia central del informe. Muchos modelos produjeron diagnósticos erróneos muy seguros de sí mismos, y los autores señalan que "habrían puntuado mucho mejor si hubieran guardado silencio más a menudo en lugar de adivinar". Un modelo que no sabe cuándo derivar a un humano supone un riesgo clínico específico, porque una lectura errónea segura puede ser más perjudicial que un "no estoy seguro" admitido.
Por qué importa la puntuación
La mayoría de los benchmarks premian la respuesta correcta e ignoran la forma de llegar a ella. Al penalizar los errores confiados, RadLE 2.0 mide algo más cercano a lo que realmente exige un despliegue clínico seguro: una incertidumbre calibrada, y sus resultados sugieren que los modelos actuales aún no han llegado ahí, incluso cuando su precisión bruta parece cercana a la humana.