Anthropic publicó el 26 de agosto un artículo en el que describe un programa piloto que dio a socios académicos externos acceso a hallazgos extraídos de datos de uso de Claude, incluidos laboratorios de Stanford y de la University of Oxford. Es un paso real: muy poco de lo que se sabe sobre cómo usan realmente las personas los asistentes de frontera procede de fuera de las empresas que los operan. También está considerablemente más limitado de lo que sugiere el planteamiento.

Lo que realmente recibieron los investigadores

No conversaciones. Anthropic afirma que los investigadores "nunca accedieron a conversaciones en bruto, solo a resultados agregados tras la misma revisión legal y de privacidad que nuestro trabajo interno." La unidad de acceso es un agregado revisado generado por el propio sistema de análisis de Anthropic en respuesta a una pregunta planteada por el investigador. El investigador especifica la pregunta; la canalización de Anthropic produce la respuesta; entre ambas hay un filtro de revisión.

La limitación que más importa

El trabajo empírico sobre un corpus es iterativo. Uno pregunta, ve la forma de la respuesta, descubre que su categoría era errónea, la redefine y vuelve a preguntar. Anthropic lo deja claro: "Los socios externos no pudieron hacer eso, ya que repetir la revisión de privacidad antes de compartir cada conjunto de datos habría hecho inviable el estudio." La solución fue desarrollar y probar las preguntas con WildChat, un conjunto de datos público de conversaciones, y luego ejecutar una sola vez la versión ya cerrada sobre datos de Claude. Los investigadores afinaban sus instrumentos en un corpus distinto de aquel que estaban estudiando.

Lo que falla en el encuadre habitual

Dos cifras procedentes de este trabajo están circulando: que más de la mitad de las conversaciones implican delegar tareas con consecuencias, y que casi tres cuartas partes muestran a personas dirigiendo el trabajo mientras Claude asiste. Suenan contradictorias —la mayor parte del trabajo se delega, la mayor parte del trabajo la lidera el humano— y no lo son, porque se calculan sobre denominadores distintos. La cifra de delegación se calcula sobre las conversaciones estudiadas; la de dirección, sobre el subconjunto examinado para roles de colaboración humano-IA. Citarlas una al lado de la otra como si describieran la misma población produce una paradoja que no existe en la fuente. Anthropic también señala que en menos del 5% de las categorías y conversaciones de cada estudio se trató contenido infractor de la política eliminado o alterado, lo que acota cuánto se aparta el agregado revisado de los datos subyacentes.

Por qué el diseño sigue teniendo valor

La alternativa al acceso restringido es no tener acceso, y el sector ha estado funcionando con lo segundo. Lo que este piloto no puede respaldar es trabajo causal o exploratorio —cualquier cosa que requiera que el investigador siga un resultado sorprendente. Lo que sí puede respaldar es trabajo confirmatorio sobre preguntas fijadas de antemano. Esa es una categoría real, y describir el arreglo con precisión marca la diferencia entre tratar estos resultados como hallazgos independientes y tratarlos como hallazgos especificados de forma independiente y producidos internamente.