Uno studio trasversale pubblicato lunedì ha applicato un classificatore a 620.699 conversazioni con ChatGPT tratte da un corpus pubblico donato, secondo due diverse definizioni di cosa conti come conversazione sulla salute mentale. Con la definizione conservativa — richiesta esplicita di aiuto per un problema psicologico — ha rilevato 1.317 conversazioni, lo 0,21% (IC 95% 0,20–0,22). Con la definizione estensiva — qualsiasi presenza di un tema legato alla salute mentale — ha rilevato 30.394 conversazioni, il 4,90% (IC 95% 4,84–4,95). Una variazione di 23 volte, dovuta a una scelta definitoria.

Cosa non torna nel framing convenzionale

Due letture errate, e la prima riguarda il publisher. Il teaser indicizzato della rivista descrive questo come uno studio su quanto spesso gli adolescenti usano i chatbot AI per parlare di problemi di salute mentale. Non è così. L’unità di analisi è un corpus pubblico di conversazioni di utenti generici, con nessun dato sull’età. Chi costruisce un titolo sulla sicurezza degli adolescenti partendo da quella riga di metadati lo sta costruendo su un errore nei metadati. La seconda: il numero in apertura verrà riportato come una prevalenza, ma non è una prevalenza di persone. È una quota di conversazioni, in un corpus pubblico donato, valutata da un classificatore il cui valore predittivo positivo è del 67% — circa un terzo dei positivi è sbagliato. La sensibilità è 87%, la specificità 95%, il valore predittivo negativo 98%.

Perché il divario è il dato di rilievo

"Quante persone portano problemi di salute mentale ai chatbot" è una domanda oggi citata dai fornitori di modelli, dai regolatori e dagli avvocati dei ricorrenti, e ciascuno ha interesse per una risposta diversa. Questo studio dimostra che la cifra è una scelta di policy travestita da misurazione — che può essere spostata di un fattore 23 senza toccare i dati, semplicemente decidendo se una menzione passeggera dello stress conti oppure no. La risposta degli autori è costruttiva: propongono una tassonomia a più livelli — crisi e alto rischio, inquadramento clinico, e affettivo o interpersonale in senso ampio — così che chiunque citi un numero debba dire a quale livello si riferisce.

Limitazioni dichiarate

Affidamento su un corpus pubblico senza validazione esterna; possibile errata classificazione di espressioni ambigue di disagio; e nessun test sul fatto che il monitoraggio basato sulla tassonomia migliori qualche esito. Il lavoro è stato finanziato da un grant del National Institute of Mental Health.

Cosa farne

Trattare qualsiasi singola percentuale sull’uso della salute mentale nei chatbot come incompleta, a meno che non indichi la definizione, il denominatore e la precisione del classificatore. La maggior parte delle cifre oggi in circolazione non ne specifica nessuna delle tre.