O AI Observatory, uma plataforma pública que agrega conversas reais com IA doadas com consentimento dos usuários em sete conjuntos de dados, aplicou a abordagem de classificação voltada ao trabalho da Anthropic ao seu próprio corpus. A MIT Technology Review informou os resultados em 18 de agosto.

O que o filtro remove

Quase metade — 48% — das conversas seria filtrada como não relacionada ao trabalho. A parcela descartada não é um resíduo aleatório. Em comparação com a análise publicada, as conversas excluídas mostraram taxas significativamente maiores de saúde e relacionamentos (44,2% contra 31,2%), temas adultos e ilícitos (7,9% contra 2,1%), assédio e discurso de ódio (27,5% contra 5,66%) e conteúdo sexual (16,7% contra 2,4%).

O que a narrativa comum erra

Isso não é uma constatação de que um laboratório escondeu algo. Uma metodologia criada para estudar o uso econômico de IA deve excluir conversas não relacionadas ao trabalho; esse é o seu propósito declarado. A constatação diz respeito ao que acontece quando tais números escapam de sua metodologia e passam a ser citados como descrições de como as pessoas usam chatbots em geral. A metade que é removida é desproporcionalmente a metade sensível — o que significa que qualquer debate público baseado em estatísticas de uso classificadas como trabalho está argumentando a partir de uma amostra que exclui sistematicamente as interações que mais provavelmente o preocupam.

A comparação também tem limites reais, e eles vão contra a conclusão. Os doadores são autoselecionados — pessoas que voluntariam logs de chat para um projeto de pesquisa não formam uma amostra aleatória de usuários, e não há razão evidente para supor que tenham o mesmo perfil da população em geral. E o corpus cobre o período de 2023 a 2025, portanto descreve uma geração anterior de chatbots, não os modelos que estão sendo lançados agora.

Por que a medição independente é rara

Quase tudo o que o público sabe sobre como as pessoas usam IA vem das empresas que a vendem, medido segundo os próprios critérios, com dados que ninguém mais pode ver. Um corpus de logs doados é um instrumento fraco em comparação — mas é um dos poucos que permite a alguém fora de um laboratório refazer um método publicado e ver o que ele deixa de fora.