AI Observatory, une plateforme publique agrégeant de véritables conversations sur l'IA données avec le consentement des utilisateurs à partir de sept jeux de données, a appliqué à son propre corpus l'approche de classification centrée sur le travail d'Anthropic. MIT Technology Review a rapporté les résultats le 18 août.

Ce que le filtre retire

Près de la moitié — 48% — des conversations seraient filtrées comme non liées au travail. La portion écartée n'est pas un simple reste aléatoire. Par rapport à l'analyse publiée, les conversations exclues affichaient des taux nettement plus élevés de santé et relations (44.2% contre 31.2%), de sujets pour adultes et illicites (7.9% contre 2.1%), de harcèlement et haine (27.5% contre 5.66%) et de contenu sexuel (16.7% contre 2.4%).

Ce que le récit courant passe à côté

Il ne s'agit pas d'un constat selon lequel un laboratoire aurait dissimulé quoi que ce soit. Une méthodologie conçue pour étudier l'usage économique de l'IA est censée exclure les conversations non professionnelles ; c'est son objectif affiché. Le constat porte sur ce qui se produit lorsque de tels chiffres sortent de leur méthodologie et sont cités comme des descriptions de la manière dont les gens utilisent les chatbots en général. La moitié retirée est disproportionnellement la moitié sensible — ce qui signifie que tout débat public reposant sur des statistiques d'usage classées comme travail s'appuie sur un échantillon qui exclut systématiquement les interactions les plus susceptibles de le concerner.

La comparaison a aussi des limites réelles, et elles vont à l'encontre du constat. Les donateurs sont auto-sélectionnés — des personnes qui proposent volontairement des journaux de conversation à un projet de recherche ne constituent pas un échantillon aléatoire d'utilisateurs, et rien n'indique clairement qu'ils suivent la même tendance que la population générale. En outre, le corpus couvre la période 2023 à 2025, il décrit donc une génération précédente de chatbots, et non les modèles commercialisés aujourd'hui.

Pourquoi la mesure indépendante est rare

Presque tout ce que le public sait sur la manière dont les gens utilisent l'IA provient des entreprises qui la vendent, mesuré selon leurs propres critères, à partir de données que personne d'autre ne peut voir. Un corpus de journaux donnés est un instrument faible en comparaison — mais c'est l'un des rares qui permette à quelqu'un en dehors d'un laboratoire de relancer une méthode publiée et de voir ce qu'elle laisse de côté.