طبّق AI Observatory، وهو منصة عامة تجمع محادثات حقيقية مع AI تم التبرع بها بموافقة المستخدم عبر سبع مجموعات بيانات، نهج التصنيف المتمحور حول العمل الذي تعتمده Anthropic على مجموعته الخاصة. وأفادت MIT Technology Review بنتائج ذلك في 18 أغسطس.
ما الذي يستبعده الفلتر
سيُستبعد ما يقرب من النصف — 48% — من المحادثات باعتبارها غير مرتبطة بالعمل. وليس الجزء المستبعد مجرد البقية العشوائية. فبالمقارنة مع التحليل المنشور، أظهرت المحادثات المستبعدة معدلات أعلى بكثير في الصحة والعلاقات (44.2% مقابل 31.2%)، والموضوعات البالغة وغير المشروعة (7.9% مقابل 2.1%)، والتحرش والكراهية (27.5% مقابل 5.66%) والمحتوى الجنسي (16.7% مقابل 2.4%).
ما الذي يخطئ فيه السرد الشائع
هذا لا يعني أن المختبر أخفى شيئًا. فالمنهجية المصممة لدراسة الاستخدام الاقتصادي لـ AI يفترض أن تستبعد المحادثات غير المرتبطة بالعمل؛ وهذا هو هدفها المعلن. والنتيجة هنا تتعلق بما يحدث عندما تخرج هذه الأرقام من إطار منهجيتها وتُقتبس بوصفها وصفًا عامًا لكيفية استخدام الناس لروبوتات الدردشة. فالجزء الذي يُستبعد هو في الغالب الجزء الحساس — ما يعني أن أي نقاش عام يستند إلى إحصاءات الاستخدام المصنفة على أنها مرتبطة بالعمل يجادل انطلاقًا من عينة تستبعد بصورة منهجية التفاعلات الأكثر احتمالًا أن تكون موضع القلق.
لكن المقارنة لها أيضًا حدود حقيقية، وهي تميل ضد هذه النتيجة. فالمتبرعون مختارون ذاتيًا — إذ إن الأشخاص الذين يتطوعون بسجلات الدردشة لمشروع بحثي ليسوا عينة عشوائية من المستخدمين، ولا يوجد سبب واضح للافتراض بأنهم يميلون بالطريقة نفسها التي يميل بها عموم السكان. كما أن المجموعة تغطي الفترة من 2023 إلى 2025، ما يعني أنها تصف جيلًا سابقًا من روبوتات الدردشة، لا النماذج التي تُطرح الآن.
لماذا يصعب القياس المستقل
تكاد كل ما يعرفه الجمهور عن كيفية استخدام الناس لـ AI يأتي من الشركات التي تبيعه، ويُقاس وفق شروطها هي، وبالاعتماد على بيانات لا يستطيع أحد غيرها رؤيتها. وتمثل مجموعة سجلات متبرع بها أداة ضعيفة بالمقارنة — لكنها من القلائل التي تتيح لأي طرف خارج المختبر إعادة تشغيل منهجية منشورة ورؤية ما تستبعده تلك المنهجية.