نشر Zachary Speck وAsa Shepard على arXiv ورقة بعنوان "Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training" عند 17:46:08 UTC في 19 أغسطس. وهي تطرح سؤالًا يُجادَل فيه عادةً بالحدس: هل يظلّ المستند الواحد، إذا شوهد مرة واحدة، عالقًا في الذاكرة؟
التجربة
32 نموذجًا على مستوى GPT-2 بحجم 124M parameters دُرّبت على OpenWebText — 24 تجربة، وأربع حالات عبر ثماني بذور. عند training step 200 من أصل 9,536، أُدرج مقطع من 194 token في صف واحد فقط من الدفعة، ضمن ثلاث حالات (نثر سلس مع موضوع حقيقي؛ نثر سلس مع موضوع مختلق؛ محارف عشوائية) إلى جانب حالة ضبط غير محقونة.
ما الذي حدث
بعد خمسين خطوة من الحقن احتفظ النموذج بأفضلية قابلة للقياس على ذلك المقطع: 0.039 إلى 0.044 nats من cross-entropy، وبمستوى دلالة p < 10-4 في ثماني من ثماني بذور. وبحلول خطوة التدريب الأخيرة اختفى الأثر — p = 0.25 و0.71 و0.54، مع حاجز loss الخاص بالاستيفاء عند p = 0.509 وcross-entropy على بيانات hold-out عند p = 0.310. وخلاصة المؤلفين نفسها: "يُتعلَّم المقطع من تعرّض واحد ثم يتلاشى."
النتيجة الكامنة وراء النتيجة
أزاح الحقن الأوزان بمقدار 44.1% من المسافة الإقليدية بين نماذج ببذور مستقلة، مع إنتاج حاجز loss لا يتجاوز 3.0% من حاجز seed-to-seed، مع استقرار بنسبة 92% بحلول المنتصف. أثر هندسي كبير، مع تبعات وظيفية شبه معدومة. وهذه الفجوة تحذير مباشر لكل من يراجع النماذج عبر قياس فروق الأوزان: المسافة في فضاء الأوزان مؤشر ضعيف على ما تعلّمه النموذج.
ما يخطئ فيه السرد الشائع
قراءتان متعاكستان كلاهما خاطئتان. فهذه ليست حالة "تُحفَظ المستندات المفردة في الذاكرة" — إذ إن الأثر اختفى. وليست أيضًا حالة "بيانات التدريب لا تهم" أو "الحفظ في الذاكرة خرافة"، وهو ما يحدث حين يُسوّى الاستنتاج الصفري ويُجمَع على هذا النحو. ما تُظهره الورقة أضيق نطاقًا وأكثر فائدة من أيٍّ من هذين التأويلين. ومن الصحيح أيضًا على نحو لا مفر منه أن GPT-2 بحجم 124M أقل بأربع مراتب مقدارًا من frontier scale، وأن هذه نسخة أولية غير خاضعة لمراجعة الأقران. ولا يجيز أيٌّ مما ورد هنا الادعاء بشأن ما إذا كان نموذج frontier يحتفظ بمستند واحد بعينه.