نشرت Anthropic في 26 أغسطس تدوينة تصف تجربة أولية منحت شركاء أكاديميين خارجيين إمكانية الوصول إلى نتائج مستخلصة من بيانات استخدام Claude، بما في ذلك مختبرات في Stanford وUniversity of Oxford. إنها خطوة حقيقية — فالقليل جدًا مما هو معروف عن كيفية استخدام الناس فعليًا للمساعدين المتقدمين يأتي من خارج الشركات التي تديرهم. لكنها أيضًا أكثر تقييدًا بكثير مما يوحي به هذا العرض.
ما الذي تلقّاه الباحثون فعليًا
ليس محادثات. تقول Anthropic إن الباحثين "لم يصلوا قط إلى المحادثات الخام، بل إلى مخرجات مجمعة فقط بعد المراجعة القانونية ومراجعة الخصوصية نفسها التي يخضع لها عملنا الداخلي." وحدة الوصول هنا هي ملخص مُراجع تنتجه منظومة التحليل الخاصة بـ Anthropic استجابةً لسؤال يطرحه الباحث. يحدد الباحث السؤال؛ وتنتج سلسلة معالجة Anthropic الإجابة؛ وتأتي بينهما بوابة مراجعة.
القيد الأهم
العمل التجريبي على مجموعة بيانات عملية تكراري بطبيعته. تسأل، ترى شكل الإجابة، تكتشف أن فئتك كانت خاطئة، تعيد تعريفها وتسأل مجددًا. وتوضح Anthropic صراحةً أن هذا لم يكن متاحًا: "لم يتمكن الشركاء الخارجيون من فعل ذلك، لأن خضوع كل مجموعة بيانات لمراجعة خصوصية متكررة قبل مشاركتها كان سيجعل الدراسة غير قابلة للتنفيذ." وكان الحل البديل هو تطوير الأسئلة واختبارها على WildChat، وهي مجموعة بيانات محادثات عامة، ثم تشغيل الصيغة المستقرة مرة واحدة على بيانات Claude. لقد صقل الباحثون أدواتهم على مجموعة بيانات مختلفة عن تلك التي كانوا يدرسونها.
ما الذي يخطئ فيه الإطار الشائع
هناك رقمان يخرجان من هذا العمل: أن أكثر من النصف من المحادثات تتضمن تفويض مهام ذات تبعات، وأن ما يقرب من ثلاثة أرباع تظهر أشخاصًا يوجهون العمل بينما يساعد Claude. يبدو هذان الرقمان متناقضين — معظم العمل مفوض، ومعظمه بقيادة البشر — لكنهما ليسا كذلك، لأنهما محسوبان على مقامين مختلفين. فمقياس التفويض قائم على المحادثات التي جرى بحثها؛ أما مقياس التوجيه فقائم على العينة الفرعية التي جرى فحصها لأدوار التعاون بين الإنسان وAI. وذكرهما جنبًا إلى جنب كما لو كانا يصفان المجموعة السكانية نفسها ينتج مفارقة غير موجودة في المصدر. كما تشير Anthropic إلى أن أقل من 5% من الفئات والمحادثات في كل دراسة شملت محتوى تمت إزالته أو تعديله لانتهاكه السياسات، وهو ما يحدد مدى ابتعاد المتوسط المراجع عن البيانات الأساسية.
لماذا لا يزال التصميم يستحق الاهتمام
البديل عن الوصول المقيّد هو عدم الوصول، وهذا ما كان يقوم عليه المجال حتى الآن. وما لا تستطيع هذه التجربة الأولية دعمه هو العمل السببي أو الاستكشافي — أي كل ما يتطلب من الباحث متابعة نتيجة مفاجئة. وما يمكنها دعمه هو العمل التأكيدي على أسئلة محددة مسبقًا. وهذه فئة حقيقية، ووصف الترتيب بدقة هو الفرق بين التعامل مع هذه النتائج بوصفها نتائج مستقلة، والتعامل معها بوصفها نتائج تم تحديدها بشكل مستقل وأُنتجت داخليًا.