Zachary Speck과 Asa Shepard는 8월 19일 17:46:08 UTC에 "Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training"를 arXiv에 올렸다. 이 연구는 보통 직관에 기대어 논의되는 질문, 즉 한 문서를 한 번 봤을 때 그것이 실제로 남는가를 묻는다.
실험
124M 파라미터 규모의 32개 GPT-2급 모델이 OpenWebText로 학습됐다. 8개 시드에 걸쳐 4가지 조건을 둔 24개 실험이었다. 학습 단계 200에서 9,536 중 194토큰 분량의 문단이 정확히 한 배치 행에 주입됐다. 조건은 세 가지였다. 실제 주어를 가진 유창한 산문, 가공의 주어를 가진 유창한 산문, 무작위 문자. 여기에 주입하지 않은 대조군도 있었다.
무슨 일이 있었나
주입 50스텝 뒤, 모델은 그 문단에 대해 측정 가능한 우위를 보였다. 교차 엔트로피는 0.039~0.044 나트였고, p < 10-4 수준에서 유의했으며, 8개 시드 모두에서 나타났다. 그러나 최종 학습 단계에서는 사라졌다. p = 0.25, 0.71, 0.54였고, 보간 손실 장벽은 p = 0.509, 보류 집합 교차 엔트로피는 p = 0.310이었다. 저자들의 자체 요약은 이렇다. "그 문단은 한 번의 노출로 학습된 뒤 이후 약해진다."
결과 아래에 있는 결과
그 주입은 독립적으로 시드를 달리한 모델들 사이의 유클리드 거리의 44.1%만큼 가중치를 이동시켰지만, 시드 간 장벽의 3.0%에 불과한 손실 장벽만 만들었고, 중간 시점에는 92%가 정착됐다. 기하학적 흔적은 컸지만 기능적 결과는 거의 없었다. 이 간극은 가중치 델타만으로 모델을 감사하는 이들에게 직접적인 경고다. 가중치 공간 거리만으로는 모델이 무엇을 학습했는지 제대로 대변하지 못한다.
일반적 해석이 놓치는 점
상반된 두 해석 모두 틀렸다. 이것은 "단일 문서는 암기된다"는 뜻이 아니다. 효과는 사라졌다. 그렇다고 "학습 데이터는 중요하지 않다"거나 "암기는 신화다"라는 뜻도 아니다. 그런 식의 무효 결과는 전체로 합쳐지는 순간 종종 그렇게 축소된다. 이 논문이 보여주는 것은 그 어느 쪽보다 더 좁고, 더 유용하다. 또한 124M 규모의 GPT-2는 최전선 규모보다 네 자릿수나 작다는 점, 그리고 이것이 동료 심사를 거치지 않은 프리프린트라는 점도 분명하다. 여기에는 최전선 모델이 단일 문서를 보존하는지에 대한 어떤 주장도 허용되지 않는다.