Un nouveau benchmark montre qu'une IA lisant les radios peut être dangereusement sûre d'elle

Les modèles d’IA deviennent performants pour lire des images médicales — et dangereusement mauvais pour savoir quand ils se trompent. Un nouveau benchmark détaillé le 19 juillet, RadLE 2.0, ou « Radiology's Last Exam », montre que les modèles de pointe préfèrent poser à tort un diagnostic avec assurance plutôt que de s’abstenir, un mode d’échec plus grave en médecine que la simple précision brute.

Comment le test fonctionne

Conçu par le CRASH Lab de l’Ashoka University en Inde, RadLE 2.0 a évalué 16 modèles de pointe — dont Claude Fable 5, Gemini 3 Pro de Google, Muse Spark 1.1 de Meta et Grok 4.5 — sur 200 cas de radios. Point crucial, il utilise un système de notation pondéré par la confiance qui récompense l’incertitude honnête et pénalise les mauvaises réponses formulées avec assurance, plutôt que de compter simplement les bonnes réponses.

L’écart avec les humains

Selon cette notation, les radiologues humains ont obtenu 988,7 sur 2 000, loin devant les 758 du meilleur modèle d’IA. À noter : en matière de précision brute, Gemini 3 Pro a presque égalé les humains — ce qui montre que la faiblesse des modèles ne tient pas seulement à leurs erreurs, mais aussi à leur comportement lorsqu’ils sont dans l’incertitude.

Le problème de la surconfiance

C’est l’avertissement central du rapport. De nombreux modèles ont produit des diagnostics erronés formulés avec une grande assurance, et les auteurs notent qu’ils « auraient obtenu un bien meilleur score s’ils étaient restés silencieux plus souvent au lieu de deviner ». Un modèle qui ne sait pas quand passer la main à un humain constitue un risque clinique spécifique, car une erreur formulée avec assurance peut être plus nocive qu’un « je ne suis pas sûr » assumé.

Pourquoi la notation compte

La plupart des benchmarks récompensent la bonne réponse et ignorent la manière d’y parvenir. En pénalisant les erreurs assurées, RadLE 2.0 mesure quelque chose de plus proche de ce qu’exige réellement un déploiement clinique sûr — une incertitude calibrée — et ses résultats suggèrent que les modèles actuels n’y sont pas encore, même lorsque leur précision brute semble proche de celle des humains.