Anthropic ha pubblicato il 26 agosto un post che descrive un progetto pilota con cui partner accademici esterni hanno avuto accesso a risultati ricavati dai dati di utilizzo di Claude, compresi i laboratori di Stanford e dell’Università di Oxford. È un passo autentico — ben poco di ciò che si sa su come le persone usano davvero gli assistenti di frontiera proviene dall’esterno delle aziende che li gestiscono. Ma è anche molto più limitato di quanto suggerisca la formulazione.
Ciò che i ricercatori hanno ricevuto davvero
Non conversazioni. Anthropic afferma che i ricercatori "non hanno mai avuto accesso alle conversazioni grezze, solo a output aggregati dopo la stessa revisione legale e sulla privacy applicata al nostro lavoro interno." L’unità di accesso è un aggregato sottoposto a revisione, prodotto dal sistema di analisi di Anthropic in risposta a una domanda posta dal ricercatore. Il ricercatore specifica la domanda; la pipeline di Anthropic produce la risposta; un controllo di revisione si interpone tra i due.
Il vincolo che conta di più
Il lavoro empirico su un corpus è iterativo. Si formula una domanda, si vede la forma della risposta, si scopre che la propria categoria era sbagliata, la si ridefinisce e si chiede di nuovo. Anthropic è esplicita sul fatto che questo non era possibile: "I partner esterni non potevano farlo, poiché una nuova revisione sulla privacy prima di condividere ogni dataset avrebbe reso lo studio impraticabile." La soluzione alternativa è stata sviluppare e testare le domande su WildChat, un dataset pubblico di conversazioni, e poi eseguire una sola volta la versione definitiva sui dati di Claude. I ricercatori hanno messo a punto i loro strumenti su un corpus diverso da quello che stavano studiando.
Ciò che la cornice più comune interpreta male
Da questo lavoro circolano due numeri: che oltre la metà delle conversazioni comporta l’assegnazione di compiti rilevanti, e che quasi i tre quarti mostrano persone che dirigono il lavoro mentre Claude assiste. Sembrano contraddittori — per lo più lavoro delegato, per lo più guidato dall’uomo — ma non lo sono, perché sono calcolati su denominatori diversi. Il dato sulla delega è calcolato rispetto alle conversazioni esaminate; quello sulla direzione rispetto al sottoinsieme analizzato per i ruoli di collaborazione uomo-AI. Citarli fianco a fianco come se descrivessero la stessa popolazione produce un paradosso che nella fonte non esiste. Anthropic osserva inoltre che in ciascuno studio meno del 5% delle categorie e delle conversazioni riguardava contenuti rimossi o modificati perché in violazione delle policy, circoscrivendo così quanto l’aggregato sottoposto a revisione si discosti dai dati sottostanti.
Perché il modello resta comunque utile
L’alternativa a un accesso limitato è nessun accesso, e il settore finora ha lavorato soprattutto con questa seconda opzione. Questo progetto pilota non può sostenere lavoro causale o esplorativo — tutto ciò che richiede al ricercatore di seguire un risultato inatteso. Può però sostenere lavoro confermativo su domande definite in anticipo. È una categoria reale, e descrivere con precisione l’accordo è la differenza tra trattare questi risultati come scoperte indipendenti e trattarli come risultati indipendentemente specificati e prodotti internamente.