AI Observatory, una plataforma pública que agrega conversaciones reales de IA donadas con el consentimiento de los usuarios a través de siete conjuntos de datos, aplicó el enfoque de clasificación orientado al trabajo de Anthropic a su propio corpus. MIT Technology Review informó de los resultados el 18 de agosto.
Qué elimina el filtro
Casi la mitad — 48% — de las conversaciones se filtrarían como no relacionadas con el trabajo. La parte descartada no es un resto aleatorio. En comparación con el análisis publicado, las conversaciones excluidas mostraron tasas notablemente más altas de salud y relaciones (44,2% frente a 31,2%), temas adultos e ilícitos (7,9% frente a 2,1%), acoso y odio (27,5% frente a 5,66%) y contenido sexual (16,7% frente a 2,4%).
Qué falla en el relato habitual
Esto no significa que un laboratorio ocultara nada. Una metodología diseñada para estudiar el uso económico de la IA debe excluir las conversaciones no relacionadas con el trabajo; ese es su propósito declarado. El hallazgo se refiere a lo que ocurre cuando esas cifras se sacan de su metodología y se citan como descripciones de cómo usa la gente los chatbots en general. La mitad que se elimina es, de forma desproporcionada, la mitad sensible, lo que significa que cualquier debate público que repose en estadísticas de uso clasificadas como trabajo está argumentando a partir de una muestra que excluye sistemáticamente las interacciones que más probablemente le conciernen.
La comparación también tiene límites reales, y van en contra del hallazgo. Los donantes son autoseleccionados: las personas que ofrecen voluntariamente registros de chat a un proyecto de investigación no constituyen una muestra aleatoria de usuarios, y no hay una razón evidente para asumir que se inclinan en la misma dirección que la población general. Además, el corpus abarca de 2023 a 2025, por lo que describe una generación anterior de chatbots, no los modelos que se distribuyen ahora.
Por qué escasea la medición independiente
Casi todo lo que el público sabe sobre cómo usa la gente la IA procede de las empresas que la venden, medido según sus propios términos, con datos que nadie más puede ver. Un corpus de registros donados es un instrumento débil en comparación, pero es uno de los pocos que permite a cualquiera fuera de un laboratorio repetir un método publicado y ver qué deja fuera.