Une étude transversale publiée lundi a appliqué un seul classifieur à 620,699 conversations ChatGPT issues d’un corpus public donné, selon deux définitions différentes de ce qui compte comme conversation liée à la santé mentale. Selon la définition restrictive — une demande explicite d’aide pour un problème psychologique — elle a identifié 1,317 conversations, soit 0.21 % (IC à 95 % : 0.20–0.22). Selon la définition large — toute présence, même légère, d’un sujet de santé mentale — elle a identifié 30,394, soit 4.90 % (IC à 95 % : 4.84–4.95). Un écart de 23 fois, dû à un choix de définition.
Ce que le cadrage habituel comprend mal
Deux contresens, et le premier revient à l’éditeur. Le propre résumé indexé de la revue décrit cette étude comme portant sur la fréquence à laquelle des adolescents utilisent des chatbots IA pour discuter de préoccupations liées à la santé mentale. Ce n’est pas le cas. L’unité d’analyse est un corpus public de conversations d’utilisateurs généraux, sans aucune donnée d’âge. Quiconque bâtit un titre sur la sécurité des adolescents à partir de cette ligne de métadonnées le fait sur la base d’une erreur dans les métadonnées. Le deuxième : le chiffre mis en avant sera présenté comme une prévalence, et il ne s’agit pas d’une prévalence de personnes. C’est une part de conversations, dans un corpus public donné, évaluée par un classifieur dont la valeur prédictive positive est de 67 % — autrement dit, environ un tiers de ses positifs sont erronés. La sensibilité est de 87 %, la spécificité de 95 %, la valeur prédictive négative de 98 %.
Pourquoi l’écart est le résultat
« Combien de personnes amènent des problèmes de santé mentale aux chatbots » est aujourd’hui cité par les fournisseurs de modèles, par les régulateurs et par les avocats des plaignants, et chacun a intérêt à une réponse différente. Cet article montre que le chiffre est un choix de politique publique déguisé en mesure — qu’on peut le faire varier d’un facteur 23 sans toucher aux données, simplement en décidant si une mention passagère du stress compte ou non. La réponse des auteurs est constructive : ils proposent une taxonomie à plusieurs niveaux — crise et haut risque, formulation clinique, puis registre affectif ou interpersonnel large — afin que quiconque cite un chiffre précise de quel niveau il parle.
Limites indiquées
Dépendance à un corpus public sans validation externe ; possible mauvaise classification d’expressions ambiguës de détresse ; et absence de test montrant si un suivi fondé sur la taxonomie améliore un quelconque résultat. Les travaux ont été financés par une subvention du National Institute of Mental Health.
Ce qu’il faut en faire
Traitez tout pourcentage unique sur l’usage de chatbots pour la santé mentale comme incomplet s’il ne précise pas sa définition, son dénominateur et la précision de son classifieur. La plupart des chiffres actuellement en circulation ne précisent aucun des trois.