21 August에 Genome Biology에 게재된 논문은, 완전 오픈액세스인 이 저널에서, 설명 가능한 증류를 통해 딥러닝 RNA splicing 모델의 예측 논리를 설명하는 프레임워크를 제시한다. 이는 투명한 모델을 훈련해 불투명한 모델의 동작을 재현하게 한 뒤, 그 투명한 모델을 읽어 해석하는 방식이다. 현재의 splicing 예측기에 적용한 결과, 이들 모델은 "광범위한 혼란 변수와 사각지대에 시달리고 있다"는 사실이 드러났다.
모델이 실제로 하고 있는 일
세 가지 발견이 있다. Splicing 모델은 생각보다 훨씬 단순한 시퀀스 모티프의 가법적 조합을 통해 exon을 인식하며, 여기에는 알려진 splicing 조절 요소도 포함된다. 이는 그들의 아키텍처가 시사하는 것보다 훨씬 단순한 메커니즘이다. 또 이들은 splicing과 무관한 게놈 혼란 변수를 활용한다. 그리고 splicing 조절의 실제 메커니즘인 RNA 구조의 효과를 충분히 포착하지 못한다. 그 결과는 체계적인 예측 오류와 비참조 서열에서의 성능 저하다.
통상적 해석이 놓치는 점
"최첨단 성능"이야말로 이 논문이 정면으로 겨냥한 대상이며, 공격의 초점은 순위표가 아니라 벤치마크에 있다. 이 분야의 벤치마크는 대체로 참조 서열에 기반해 구축된다. 모델은 그 벤치마크에서는 통하지만, 실제 환자들이 지닌 비참조 서열에서는 무너지는 지름길을 배웠다. 높은 보류 데이터 정확도를 splicing에 대한 기계적 이해로 읽는 관행이 있지만, 그것은 사실이 아니다. 이는 학습 분포 안에서 예측력을 가진 무언가를 모델이 찾아냈다는 증거일 뿐이며, 그것이 splicing일 수도 있고 아닐 수도 있다. 이것은 단순한 주장으로서가 아니라 메커니즘 수준에서 입증된 지름길 학습이다.
이것이 학술적 논쟁에 그치지 않는 이유
이 계열의 splicing 예측기는 단순한 연구 대상이 아니다. 이들의 점수는 임상 유전학에서 임상적 의미가 불확실한 변이를 선별하는 데 쓰인다. 이는 환자에게서 발견된 유전 변이가 유전자 기능을 교란할 가능성이 있는지 판단하는 일이다. 참조 서열에서는 높은 점수를 받고 비참조 서열에서는 성능이 떨어지는 모델은, 정확히 그것이 사용되는 집단에서 실패하고 있는 셈이다.
여기서 수치화되지 않은 것
초록은 결과를 정성적으로만 제시하며, 효과 크기는 본문에 있다. 이 기사에서는 그 규모를 단정하지 않는다. 가장 멀리 전달되는 기여는 방법론이다. 다른 연구자들도 자신의 모델에 대해 다시 실행해, 모델이 실제로 무엇에 주목하고 있는지 확인할 수 있는 프레임워크다. 저자들은 이 결과를 게놈 서열로 학습하는 방식의 근본적 한계를 드러낸 것으로 해석하며, 이를 넘어설 경로를 제시한다.