Anthropic 26 августа опубликовала пост, в котором описала пилотный проект, предоставивший внешним академическим партнерам доступ к выводам, полученным на основе данных об использовании Claude, включая лаборатории Stanford и University of Oxford. Это действительно шаг вперед — очень немногое из того, что известно о том, как люди на самом деле используют передовые ассистенты, поступает извне компаний, которые ими управляют. Но по сути он намного более ограничен, чем может показаться из формулировок.
Что именно получили исследователи
Не разговоры. Anthropic заявляет, что исследователи "никогда не получали доступ к сырым разговорам, только к агрегированным результатам после той же правовой и конфиденциальной проверки, что и наша внутренняя работа." Единица доступа — это прошедший проверку агрегат, который создается собственной аналитической системой Anthropic в ответ на вопрос, заданный исследователем. Исследователь формулирует вопрос; конвейер Anthropic выдает ответ; между ними стоит этап проверки.
Главное ограничение
Эмпирическая работа с корпусом данных — процесс итеративный. Вы задаете вопрос, видите форму ответа, понимаете, что ваша категория была неверной, переопределяете ее и задаете вопрос снова. Anthropic прямо указывает, что здесь это было невозможно: "External partners couldn't do that, since repeated privacy review before sharing each dataset would have made the study infeasible." Обходной путь заключался в том, чтобы разрабатывать и тестировать вопросы на WildChat, публичном наборе разговорных данных, а затем один раз прогонять окончательную версию на данных Claude. Исследователи оттачивали свои инструменты на другом корпусе, а не на том, который изучали.
Что неверно в привычной трактовке
Из этой работы уже циркулируют две цифры: что более половины разговоров связаны с передачей важных задач, и что почти три четверти показывают, как люди направляют работу, а Claude помогает. На первый взгляд они кажутся противоречивыми — большая часть работы делегирована, большая часть работы ведется человеком — однако это не так, потому что они рассчитаны по разным знаменателям. Показатель делегирования относится ко всем изученным разговорам; показатель направления работы — к подмножеству, рассмотренному на предмет ролей совместной работы человека и ИИ. Ставить их рядом так, будто они описывают одну и ту же совокупность, значит создавать парадокс, которого в источнике нет. Anthropic также отмечает, что менее 5% категорий и разговоров в каждом исследовании касались удаленного или измененного контента, нарушающего политику, что ограничивает масштаб расхождения между проверенным агрегатом и исходными данными.
Почему этот дизайн все же что-то значит
Альтернатива ограниченному доступу — отсутствие доступа вовсе, и отрасль до сих пор работала именно в таком режиме. Этот пилот не подходит для причинного или разведочного анализа — для всего, что требует от исследователя следовать за неожиданным результатом. Зато он годится для подтверждающей работы по заранее заданным вопросам. Это вполне реальная категория, и точное описание схемы — разница между тем, чтобы считать эти результаты независимыми находками, и тем, чтобы считать их находками, независимо заданными и внутренне полученными.