Zachary Speck и Asa Shepard опубликовали «Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training» на arXiv в 17:46:08 UTC 19 августа. Работа задаёт вопрос, который обычно обсуждают на уровне интуиции: закрепляется ли документ, увиденный один раз?

Эксперимент

32 модели масштаба GPT-2 с 124M параметров обучались на OpenWebText — 24 эксперимента, четыре условия на восьми seed'ах. На 200-м шаге обучения из 9,536 в точно одну строку батча был внедрён фрагмент из 194 токенов — в трёх условиях (свободная связная проза с реальным субъектом; свободная проза с вымышленным субъектом; случайные символы) плюс ненасыщенный контроль.

Что произошло

Через пятьдесят шагов после внедрения модель демонстрировала измеримое преимущество на этом фрагменте: 0.039–0.044 натов кросс-энтропии, статистически значимое при p < 10-4 в восьми из восьми seed'ов. Но к финальному шагу обучения оно исчезло — p = 0.25, 0.71 и 0.54, при барьере интерполяционной потери p = 0.509 и кросс-энтропии на отложенной выборке p = 0.310. Собственное резюме авторов: «Фрагмент усваивается за одно предъявление, а затем затухает.»

Что скрывается за этим выводом

Внедрение сместило веса на 44.1% евклидова расстояния между моделями с независимыми seed'ами, при этом породив барьер потерь всего на 3.0% от межseedового барьера, причём к середине обучения было достигнуто 92% этого смещения. Большой геометрический след, почти никакого функционального эффекта. Этот разрыв — прямое предупреждение для тех, кто проверяет модели по изменениям весов: расстояние в пространстве весов — плохой прокси того, чему модель научилась.

Что неверно в распространённом прочтении

Два противоположных вывода одинаково неверны. Это не «одиночные документы запоминаются» — эффект исчез. И это не «данные обучения не важны» или «меморизация — миф», то есть не тот случай, когда нулевой результат чрезмерно обобщают. Работа показывает более узкий и более полезный вывод, чем любой из этих. И, разумеется, GPT-2 с 124M параметров в четыре порядка меньше frontier-уровня, а это препринт без рецензирования. Из этого не следует никакого утверждения о том, сохраняет ли frontier-модель один документ.