一篇于 21 August 发表在完全开放获取的 Genome Biology 上的论文,提出了一个通过可解释蒸馏来解释深度学习 RNA 剪接模型预测逻辑的框架——先训练一个透明模型去复现黑箱模型的行为,再读取透明模型。将其应用于当前的剪接预测器后,研究发现它们“受到普遍存在的混杂因素和盲区的困扰”。

这些模型实际上在做什么

有三项发现。剪接模型通过出人意料地简单的序列基序加性组合来识别外显子,其中包括已知的剪接调控元件——其机制远比模型架构所暗示的更简单。它们利用了与剪接无关的基因组混杂因素。而且它们未能充分捕捉 RNA 结构的影响,而 RNA 结构是真实存在的剪接调控机制,不是什么边缘情况。其后果是系统性预测错误,以及在非参考序列上的性能下降。

通行表述错在何处

“最先进性能”正是这篇论文攻击的对象,而攻击的目标是基准,而不是排行榜。该领域的基准主要建立在参考序列上。模型学会了能在该基准下过关、却会在现实患者携带的非参考序列上失效的捷径。人们把高的留出集准确率解读为对剪接机制的理解,但事实并非如此——这只能说明模型在训练分布中找到了某种可预测信号,这种信号未必就是剪接。这是以机制层面被证明的捷径学习,而不是被断言出来的。

这为何不是学术争论

这类剪接预测器并非学术玩具。它们的评分被用于临床遗传学中不确定意义变异的分诊——即判断患者中发现的某个遗传变异是否可能破坏某个基因。一个在参考序列上得分很高、却在非参考序列上表现下滑的模型,恰恰是在其实际应用的人群中失效。

本文未量化的部分

摘要仅定性陈述了这些发现;效果大小写在全文中,而本文并未给出任何幅度。传播最远的贡献是方法本身:一个其他研究团队可以拿来对自己的模型重跑的框架,用以查看这些模型究竟在依赖什么。作者将这些结果描述为揭示了基于基因组序列训练的根本局限,并提出了可能的突破路径。