PrincetonUK AI Security Institute、Cornflower Labs、Georgetown 等机构组成的团队于 7月29日 发表了论文 Can AI agents conduct open-ended AI research?。方法本身最值得注意。他们选取了两篇 未发表的 NeurIPS 2026 投稿,把每篇论文的核心研究问题交给一个代理,然后让这些论文的真实作者以会议审稿人的身份对结果进行评分。

设置

在 OpenClaw 框架上运行的 Claude Opus 4.8,配合超高推理能力,耗时 6天,使用了 3,000美元 的 API credits、GPU credits、一台 Linux VM 以及开放网络。

工程上成功了

这些代理完成了大规模文献综述,调试了 GPU 环境,进行了 数百次实验 和稳健性检查,并在除了凭证和代码仓库设置之外没有任何人工干预的情况下,编译出了完整的可直接投稿 LaTeX 文档。它们解决了除一个之外的所有环境障碍。事先接受调查的 11名 合著者中有 9名 预计这些运行会因无法解决的错误循环而失败——他们过于悲观了。

研究上没有成功

作者按 NeurIPS 评分标准进行评审:第一篇论文总体得分 2/6,第二篇为 1/6,审稿人信心分别为 5 分制中的 4 分和 5 分。两者都遭到明确拒绝。被指出的失败模式包括:对可发表研究门槛的判断失当、对设计缺陷的回应缺乏创造性、从死胡同中回退的效果不佳、资源意识薄弱,以及指令漂移。

最能说明问题的细节

尽管被明确鼓励使用预算,两次运行最终都只花掉了 不到一半 的 API 预算;而且两者都在 前 10小时 内放弃了最雄心勃勃的目标,并且再未调整方向。某份草稿在正文中包含的可视化内容为 0,而原始论文中有 15 个。用 GPT-5.6 Sol 重新运行后,失败也被复现——并在两天内耗尽了全部 3,000 美元。