Anthropic 于 8 月 26 日发布了一篇文章，介绍一项试点：该项目让外部学术合作方接触基于 Claude 使用数据得出的研究发现，合作方包括 Stanford 和 University of Oxford 的实验室。这确实是一步进展——关于人们实际如何使用前沿助手，外界所知甚少，相关信息大多来自运营这些系统的公司内部。这一安排也比其表述所暗示的要受限得多。

研究者实际拿到的是什么

不是对话。Anthropic 表示，研究者“从未访问原始对话，只能看到经过与我们内部工作相同的法律和隐私审查后生成的汇总结果。” 访问单位是由 Anthropic 自有分析系统在回应研究者提出的问题时生成的、经过审查的汇总。研究者先提出问题；Anthropic 的流程再生成答案；二者之间设有一道审查关口。

最关键的限制

对一个语料库做实证研究是一个迭代过程。你先提问，看到答案的大致形态，发现自己的分类错了，再重新定义并再次提问。Anthropic 明确表示，这种做法不可行：“外部合作方无法这样做，因为在共享每个数据集之前都要进行重复隐私审查，这会使研究无法推进。” 替代方案是先围绕 WildChat 这一公开对话数据集开发和测试问题，再就 Claude 数据运行一次最终版本。研究者是在与自己研究对象不同的语料库上打磨工具。

常见表述哪里出了问题

这项工作传递出的两个数字是：超过一半的对话涉及委派重要任务，以及接近四分之三的对话显示人们在指挥工作、由 Claude 辅助。它们听上去相互矛盾——大多数工作被委派，大多数工作又由人主导——但实际上并非如此，因为它们是按不同分母计算的。委派比例以被研究的对话总数为分母；主导比例则以被审视为人机协作角色的子集为分母。并列引用它们、仿佛它们描述的是同一群体，就会制造出源数据中并不存在的悖论。Anthropic 还指出，在每项研究中，被移除或改动过、涉及违规政策内容的类别和对话都不到 5%，这也限定了经过审查的汇总与底层数据之间的偏离程度。

为什么这种设计仍然有价值

受限访问的替代方案就是没有访问，而这个领域一直依赖后者运行。这项试点无法支持因果研究或探索性研究——任何需要研究者追着意外结果继续深入的工作都不行。它能够支持的是针对事先设定问题的验证性研究。这本身就是一种重要的研究类型；准确描述这种安排，决定了我们是把这些结果当作独立发现，还是当作独立地预先定义并由内部生成的发现来看待。