Nature Medicine ha pubblicato il 4 settembre un agente di IA clinica per madre e bambino; il deposito Crossref reca il timestamp 17:15:13 UTC. Verrà presentato come un agente LLM che prevede gli esiti materni e infantili. L’abstract chiarisce che le previsioni appartengono a qualcos’altro.
Da dove arrivano i numeri
"Il motore predittivo centrale di MoChiAgent, MoChiFormer, è stato sviluppato e valutato internamente usando 4.401.599 visite cliniche longitudinali ed è stato validato esternamente usando coorti materne e infantili indipendenti composte rispettivamente da 263.452 e 23.192 visite." E ancora: "MoChiFormer ha identificato con precisione condizioni gestazionali chiave, raggiungendo AUROC di 0,89 per il distacco di placenta, 0,89 per la rottura prematura delle membrane e 0,91 per il travaglio pretermine." MoChiFormer è un transformer supervisionato su sequenze di laboratorio dell’EHR. Inoltre "ricostruisce valori di laboratorio mancanti, riduce gli effetti di batch" e supporta la modellazione delle traiettorie — nulla di tutto ciò è modellazione del linguaggio.
Cosa misura il livello LLM
Non la discriminazione. I dati sorgente del paper elencano "punteggi di valutazione individuale dei medici per ciascun caso e ciascun sistema (MoChiAgent, ChatGPT, Gemini ed OpenEvidence) su accuratezza diagnostica, tracciabilità delle evidenze, completezza del piano diagnostico e terapeutico e sicurezza clinica". Si tratta di una prova di preferenza dei medici, una misura legittima di qualcosa di molto diverso. L’LLM orchestra gli strumenti e recupera il testo delle linee guida; la previsione è già stata fatta quando interviene.
Cosa sbaglia la cornice adottata
"L’agente LLM prevede il travaglio pretermine con AUROC 0,91" sarebbe falso. Lo fa un transformer supervisionato; un LLM lo descrive e cita le linee guida. Questa è ormai la forma standard degli articoli sugli agenti clinici, e conta perché i due componenti generalizzano in modo diverso — un transformer addestrato sulle sequenze di laboratorio di un sistema sanitario fallisce in modi riconoscibili, mentre i fallimenti di un wrapper LLM sono fluenti. Attribuire al wrapper la discriminazione del classificatore nasconde quale metà debba essere rivalidata in un nuovo sito.
Due avvertenze che il paper riporta esso stesso
La validazione esterna è piccola rispetto allo sviluppo — 263.452 e 23.192 visite contro 4,4 milioni, circa il 6% e lo 0,5% — e la coorte infantile è conteggiata in visite, non in neonati. I risultati di cluster (rischi elevati di ittero neonatale con HR 2,81, IC 95% 2,60-3,03, e di malattia ematologica con HR 2,83, IC 95% 2,62-3,05) sono associazioni all’interno della coorte. E si tratta di un Accelerated Article Preview, non della versione finale ufficiale, quindi i numeri possono ancora cambiare.