Um estudo transversal publicado na segunda-feira executou um classificador sobre 620.699 conversas do ChatGPT de um corpus público doado, sob duas definições diferentes do que conta como uma conversa de saúde mental. Pela definição conservadora — busca explícita de ajuda para um problema psicológico —, encontrou 1.317 conversas, 0,21% (IC 95% 0,20–0,22). Pela definição expansiva — qualquer presença de temática de saúde mental —, encontrou 30.394, ou 4,90% (IC 95% 4,84–4,95). Uma variação de 23 vezes, a partir de uma escolha definicional.
O que a formulação convencional erra
Duas leituras equivocadas, e a primeira pertence à editora. O próprio resumo indexado da revista descreve isso como um estudo sobre com que frequência adolescentes usam chatbots de IA para discutir preocupações de saúde mental. Não é. A unidade de análise é um corpus público de conversas de usuários gerais, sem qualquer dado de idade. Quem construir uma manchete sobre segurança adolescente a partir dessa linha de metadados estará construindo-a sobre um erro nos metadados. A segunda: o número da manchete será tratado como prevalência, e não é uma prevalência de pessoas. É uma fatia de conversas, em um corpus público doado, classificado por um classificador cujo valor preditivo positivo é de 67% — ou seja, cerca de um terço de seus acertos positivos está errado. A sensibilidade é de 87%, a especificidade de 95% e o valor preditivo negativo de 98%.
Por que a variação é o achado
"Quantas pessoas levam problemas de saúde mental a chatbots" é hoje uma pergunta citada por provedores de modelos, reguladores e advogados de autores, e cada um deles tem interesse em uma resposta diferente. Este artigo demonstra que o número é uma escolha de política travestida de medição — que ele pode variar por um fator de 23 sem tocar nos dados, simplesmente ao decidir se uma menção passageira a estresse conta. A resposta dos autores é construtiva: eles propõem uma taxonomia em níveis — crise e alto risco, enquadramento clínico e afetivo ou interpessoal amplo — para que quem citar um número tenha de dizer a qual nível se refere.
Limitações declaradas
Dependência de um corpus público sem validação externa; possível classificação incorreta de expressões ambíguas de sofrimento; e ausência de teste de se o monitoramento baseado em taxonomia melhora qualquer desfecho. O trabalho foi financiado por uma bolsa do National Institute of Mental Health.
O que fazer com isso
Trate qualquer porcentagem única para uso de chatbots em saúde mental como incompleta, a menos que informe sua definição, seu denominador e a precisão do classificador. A maioria dos números atualmente em circulação não informa nenhum dos três.