Nature Medicine ha pubblicato due documenti nella mattina del 3 settembre, registrati a distanza di pochi secondi: un Matters Arising sottoposto a peer review che contesta l’articolo di giugno 2026 che sosteneva che gli LLM generalisti di frontiera superano gli strumenti di IA clinica specializzati, e la Reply degli autori originari. La rivista li ha diffusi come una coppia intenzionale.
Che cosa sostiene la critica
Che i benchmark che producono gli effetti più ampi dello studio sono confusi in modi che gli stessi autori riconoscono, e che la valutazione restante è limitata nell’ambito, sopravvaluta la propria precisione e si basa su impostazioni di inferenza non descritte o controllate in modo adeguato. La critica include una figura che mostra contenuto del benchmark MedQA recuperabile da un modello di frontiera — memorizzazione del set di test, dimostrata e non semplicemente affermata.
Che cosa ammettono gli autori
La Reply concorda sul fatto che una possibile contaminazione di MedQA e l’affinità del valutatore di HealthBench potrebbero limitare la generalizzabilità — per affinità del valutatore si intende la tendenza di un giudice LLM a preferire l’output della propria famiglia di modelli — e afferma che l’articolo considera questi due benchmark come supplementari. Gli autori mantengono la conclusione principale entro le condizioni del loro studio e di deployment. Quella conclusione principale si basa sul benchmark delle domande cliniche reali: 100 quesiti di medici de-identificati, esaminati in cieco da 12 clinici statunitensi.
Che cosa sbaglia la cornice interpretativa comune
Il risultato di giugno è circolato come "ChatGPT batte gli strumenti di riferimento dei medici" — una classifica generale delle capacità. Non lo è mai stato, e dopo il 3 settembre lo è ancora meno: due dei tre pilastri sono ammessi come contaminati o auto-favorevoli, e il pilastro sopravvissuto è composto da 100 domande in una sola istituzione. La seconda correzione conta per il modo in cui la notizia viene raccontata: un Matters Arising non è una correzione, né una ritrattazione, né una segnalazione di preoccupazione. L’articolo originale resta in piedi. Ciò che è cambiato è l’ambito che i suoi stessi autori rivendicano ora per esso, nero su bianco.
Perché la questione approda qui
È questo l’articolo citato negli argomenti degli acquisti ospedalieri contro il pagamento di abbonamenti specializzati di IA clinica. Lo scambio definisce, nella rivista di riferimento, quanta forza possa avere quell’argomento — e porta la contaminazione dei benchmark e la perdita di informazione dovuta alla preferenza dell’LLM come giudice al centro delle decisioni di acquisto in ambito medico, invece di lasciarle come semplici questioni di metodologia del machine learning.