Anthropic a laissé voir l’usage de Claude aux chercheurs, pas les conversations

Anthropic a publié le 26 août un billet décrivant un pilote qui a donné à des partenaires universitaires externes accès à des résultats tirés de données d’utilisation de Claude, notamment des laboratoires de Stanford et de l’université d’Oxford. C’est une avancée réelle — très peu de ce que l’on sait sur la manière dont les gens utilisent réellement les assistants de pointe provient d’acteurs extérieurs aux entreprises qui les exploitent. Mais le dispositif est aussi bien plus contraint que ne le suggère sa présentation.

Ce que les chercheurs ont réellement reçu

Pas des conversations. Anthropic indique que les chercheurs « n’ont jamais eu accès aux conversations brutes, seulement à des résultats agrégés après le même examen juridique et de confidentialité que notre travail interne ». L’unité d’accès est un agrégat examiné, produit par le propre système d’analyse d’Anthropic en réponse à une question posée par le chercheur. Le chercheur formule la question ; la chaîne de traitement d’Anthropic produit la réponse ; une étape de contrôle s’intercale entre les deux.

La contrainte la plus importante

Le travail empirique sur un corpus est itératif. On pose une question, on voit la forme de la réponse, on constate que sa catégorie était erronée, on la redéfinit et on recommence. Anthropic précise explicitement que ce n’était pas possible : « Les partenaires externes ne pouvaient pas faire cela, car une nouvelle revue de confidentialité avant chaque partage d’ensemble de données aurait rendu l’étude impossible. » La solution de contournement a consisté à élaborer et tester les questions sur WildChat, un jeu de données public de conversations, puis à exécuter une seule fois la version arrêtée sur les données de Claude. Les chercheurs ont affiné leurs instruments sur un corpus différent de celui qu’ils étudiaient.

Ce que la présentation courante comprend mal

Deux chiffres circulent à partir de ces travaux : que plus de la moitié des conversations impliquent la délégation de tâches importantes, et que près des trois quarts montrent des personnes dirigeant le travail tandis que Claude assiste. Cela semble contradictoire — la plupart des tâches déléguées, la plupart des tâches pilotées par des humains — et ce ne l’est pas, parce qu’ils sont calculés sur des dénominateurs différents. Le chiffre de la délégation est rapporté à l’ensemble des conversations étudiées ; le chiffre de la direction est rapporté au sous-ensemble examiné pour les rôles de collaboration humain-IA. Les citer côte à côte comme s’ils décrivaient la même population produit un paradoxe qui n’existe pas dans la source. Anthropic note aussi que moins de 5 % des catégories et des conversations dans chaque étude impliquaient du contenu supprimé ou modifié en violation des règles, ce qui borne l’écart entre l’agrégat examiné et les données sous-jacentes.

Pourquoi ce dispositif reste intéressant

L’alternative à un accès contraint, c’est l’absence d’accès, et le secteur a fonctionné jusqu’ici sur cette dernière. Ce que ce pilote ne peut pas étayer, ce sont des travaux causaux ou exploratoires — tout ce qui exige que le chercheur suive un résultat inattendu. En revanche, il peut soutenir des travaux confirmatoires sur des questions définies à l’avance. C’est une véritable catégorie, et décrire précisément ce montage fait la différence entre considérer ces résultats comme des conclusions indépendantes et les considérer comme des résultats indépendamment spécifiés et produits en interne.