AI Observatory, una piattaforma pubblica che aggrega conversazioni reali con l’AI donate con il consenso degli utenti in sette dataset, ha applicato al proprio corpus l’approccio di classificazione incentrato sul lavoro di Anthropic. MIT Technology Review ha riportato i risultati il 18 agosto.

Ciò che il filtro rimuove

Quasi la metà — 48% — delle conversazioni verrebbe filtrata come non correlata al lavoro. La parte scartata non è un resto casuale. Rispetto all’analisi pubblicata, le conversazioni escluse mostravano tassi nettamente più alti di salute e relazioni (44,2% contro 31,2%), argomenti per adulti e illeciti (7,9% contro 2,1%), molestie e odio (27,5% contro 5,66%) e contenuti sessuali (16,7% contro 2,4%).

Cosa sbaglia il racconto più diffuso

Non è un risultato che dimostri che un laboratorio abbia nascosto qualcosa. Una metodologia costruita per studiare l’uso economico dell’AI deve escludere le conversazioni non legate al lavoro; è questo il suo scopo dichiarato. Il dato riguarda ciò che accade quando cifre di questo tipo escono dal loro contesto metodologico e vengono citate come descrizioni dell’uso generale dei chatbot da parte delle persone. La metà che viene rimossa è in modo sproporzionato la metà sensibile — il che significa che ogni dibattito pubblico basato su statistiche di utilizzo classificate in base al lavoro sta discutendo a partire da un campione che esclude sistematicamente le interazioni più probabilmente rilevanti.

Il confronto presenta anche limiti reali, che vanno contro il risultato. I donatori sono auto-selezionati — le persone che offrono volontariamente i log di chat a un progetto di ricerca non costituiscono un campione casuale di utenti, e non c’è un motivo ovvio per presumere che abbiano la stessa distribuzione della popolazione generale. Inoltre, il corpus copre il periodo 2023-2025, quindi descrive una generazione precedente di chatbot, non i modelli in circolazione oggi.

Perché le misurazioni indipendenti sono rare

Quasi tutto ciò che il pubblico sa su come le persone usano l’AI proviene dalle aziende che la vendono, misurato secondo i loro parametri, su dati che nessun altro può vedere. Un corpus di log donati è uno strumento debole in confronto — ma è uno dei pochi che consente a chiunque fuori da un laboratorio di rieseguire un metodo pubblicato e vedere che cosa il metodo lascia fuori.