Un nuovo benchmark scopre che l'IA che legge le radiografie può essere pericolosamente sicura di sé quando sbaglia

I modelli di IA stanno diventando bravi a leggere le immagini mediche — e pericolosamente incapaci di capire quando sbagliano. Un nuovo benchmark presentato il 19 luglio, RadLE 2.0, o "Radiology's Last Exam", rileva che i modelli frontier preferiscono formulare diagnosi errate con sicurezza piuttosto che astenersi, una modalità di errore che in medicina conta più dell'accuratezza pura.

Come funziona il test

Sviluppato dal CRASH Lab della Ashoka University in India, RadLE 2.0 ha valutato 16 modelli frontier — tra cui Claude Fable 5, Gemini 3 Pro di Google, Muse Spark 1.1 di Meta e Grok 4.5 — su 200 casi di radiografie. In modo cruciale, utilizza un sistema di punteggio ponderato per la confidenza che premia l'incertezza onesta e penalizza le risposte sbagliate date con sicurezza, invece di limitarsi a contare le risposte corrette.

Il divario con gli esseri umani

Con quel punteggio, i radiologi umani hanno totalizzato 988,7 su 2.000, ben davanti ai 758 del migliore modello di IA. In particolare, considerata la sola accuratezza grezza, Gemini 3 Pro ha quasi eguagliato gli esseri umani — segno che il limite dei modelli non riguarda solo ciò che sbagliano, ma anche come si comportano quando sono incerti.

Il problema dell'eccesso di fiducia

È questo il messaggio centrale del rapporto. Molti modelli hanno prodotto diagnosi errate estremamente sicure di sé, e gli autori osservano che "avrebbero ottenuto un punteggio molto migliore se fossero rimasti zitti più spesso invece di tirare a indovinare." Un modello che non sa quando passare la mano a un umano rappresenta un rischio clinico specifico, perché una lettura sbagliata ma sicura può essere più dannosa di un ammissione di "non ne sono sicuro".

Perché il punteggio conta

La maggior parte dei benchmark premia la risposta giusta e ignora il modo in cui si arriva a ottenerla. Penalizzando gli errori sicuri, RadLE 2.0 misura qualcosa di più vicino a ciò che serve davvero per un impiego clinico sicuro — l'incertezza calibrata — e i suoi risultati suggeriscono che i modelli di oggi non ci sono ancora, anche quando la loro accuratezza grezza sembra vicina a quella umana.