Off-by-1 Labs，即 1Password 的研究团队，于 8 月 6 日公布了对 6,080 个 AI 生成安全补丁的评分结果。只有 26.0% 的补丁在不改变应用行为的情况下完全修复了漏洞。作者此前假设这一比例会高于 67%。

其余 74% 并非全都失败

另有 20.1% 的补丁封堵了漏洞，但改变了应用的行为——因此共有 46.1% 的补丁确实修复了问题。其余 53.9% 的补丁未能修复漏洞、引入了新的漏洞，或两者兼有。只有 2.3% 的补丁在修复原始问题的同时引入了新的安全问题。头条数字低估了修复率，也夸大了风险。

方法

研究团队专门选取了六个 近期披露的 CVE，以避免训练数据污染——模型不可能记住在其截断时间点之后才发布的修复方案。共生成了 6,480 个补丁，其中 400 个被标记并移除。所用模型分别是 OpenAI 的 ChatGPT-5.5 和 Anthropic 的 Opus 4.8，每个补丁的平均成本分别为 $2.11 和 $2.81。作者为 Axel Mierczuk、Spencer Michaels 和 Keith Hoodlet。

即便修对了也很脆弱

在成功的补丁中，超过 三分之一 被作者评为“脆弱”——也就是说，它们虽然正确，但依赖于无法承受重构的假设。广为引用的 $6.74 是每个 成功 补丁的成本，这是不同于 1Password 按补丁生成计算的成本指标，而两者之间的差额，正是那些被丢弃尝试所付出的代价。

它衡量什么，又不衡量什么

这是一项基于六个 CVE、针对未经审查输出的基准测试，不是生产环境遥测，而且受测模型也不是当前最前沿的版本。它精确衡量的是业界不断提出的那种场景：无需人工阅读即可直接应用的补丁。就这一特定问题而言，作者假设与结果之间的差距——预期 67%，实际观察到 26%——甚至大于结果本身。