AI Observatory 是一个公共平台，汇集了七个数据集中的真实 AI 对话，这些对话均在用户同意下捐赠。该平台将 Anthropic 面向工作的分类方法应用到自己的语料上。MIT Technology Review 于8月18日报道了这一结果。

过滤器会移除什么

几乎一半——48%——的对话会被作为与工作无关内容而过滤掉。被剔除的部分并不是随机剩余。与已发表的分析相比，被排除的对话在健康和关系（44.2%，而已发表分析中为31.2%）、成人及非法话题（7.9%，而已发表分析中为2.1%）、骚扰和仇恨（27.5%，而已发表分析中为5.66%）以及色情内容（16.7%，而已发表分析中为2.4%）方面的占比明显更高。

常见说法错在何处

这并不是说某个实验室隐瞒了什么。一个用于研究 AI 经济用途的方法，本来就应当排除非工作对话；这正是它的既定目的。问题在于，当这类数字脱离其方法学背景、被引用为人们一般如何使用聊天机器人时会发生什么。被移除的一半，恰恰是不成比例地敏感的那一半——这意味着，任何建立在工作分类使用统计之上的公共辩论，都是在一个系统性排除了最可能引发关注的互动的样本上展开的。

不过，这种比较也有现实局限，而且这些局限与结论方向相反。捐赠者是自我选择的——自愿把聊天记录提供给研究项目的人，并不能代表随机用户样本，也没有明显理由认为他们与普通人群的倾向相同。此外，该语料覆盖2023年至2025年，描述的是上一代聊天机器人，而不是如今投放市场的模型。

为何独立测量如此稀缺

公众对人们如何使用 AI 的几乎所有了解，都来自销售这些产品的公司：按它们自己的标准、基于外界看不到的数据进行测量。相比之下，捐赠聊天记录语料是一个较弱的工具——但它是少数几种允许实验室外的人重新运行已发表方法，并看清该方法遗漏了什么的工具之一。