أجرت دراسة مقطعية نُشرت يوم الاثنين تشغيل مُصنِّف واحد على 620,699 محادثة مع ChatGPT من مجموعة بيانات عامة متبرَّع بها، وذلك وفق تعريفين مختلفين لما يُعد محادثة تتعلق بالصحة النفسية. ووفق التعريف المحافظ — أي طلب المساعدة صراحةً لمشكلة نفسية — وجدت 1,317 محادثة، أو 0.21% (فاصل الثقة 95%: 0.20–0.22). أما وفق التعريف الأوسع — أي أي حضور لموضوعات الصحة النفسية على الإطلاق — فقد وجدت 30,394 محادثة، أو 4.90% (فاصل الثقة 95%: 4.84–4.95). فارق 23 مرة ناتج من خيار تعريفي.
ما الذي يخطئ فيه التأطير التقليدي
هناك قراءتان خاطئتان، والأولى تقع على عاتق الناشر. إذ يصف الملخص المفهرس الخاص بالمجلة هذه الدراسة بأنها تبحث في مدى استخدام المراهقين لروبوتات الدردشة بالذكاء الاصطناعي لمناقشة مخاوف الصحة النفسية. وهذا غير صحيح. فـوحدة التحليل هي مجموعة محادثات عامة لمستخدمين، ولا تتضمن أي بيانات عمرية على الإطلاق. وأي عنوان عن سلامة المراهقين يُبنى على تلك السطر الوصفي يبنى على خطأ في البيانات الوصفية. أما القراءة الخاطئة الثانية فهي أن الرقم الوارد في العنوان سيُعامل على أنه انتشار، وهو ليس انتشارًا بين الأشخاص. بل هو نسبة من المحادثات في مجموعة بيانات عامة متبرع بها، جرى تصنيفها بواسطة خوارزمية تبلغ قيمتها التنبؤية الإيجابية 67% — أي إن نحو ثلث النتائج الإيجابية خاطئ. وتبلغ الحساسية 87%، والخصوصية 95%، والقيمة التنبؤية السلبية 98%.
لماذا الفارق هو النتيجة
«كم من الناس يطرحون مشكلات الصحة النفسية على روبوتات الدردشة» يُستشهد به حاليًا من قبل مزودي النماذج، والمنظمين، ومحامي المدعين، ولكل منهم مصلحة في إجابة مختلفة. وتُظهر هذه الورقة أن الرقم خيار سياساتي في هيئة قياس — إذ يمكن تحريكه بمقدار 23 مرة من دون تغيير البيانات، بمجرد تقرير ما إذا كان ذكر التوتر عرضًا يُحسب أم لا. وتتمثل استجابة المؤلفين في اقتراح تصنيف هرمي: الأزمات والمخاطر العالية، والصياغات ذات الإطار السريري، والوجدان أو العلاقات بمعناها الواسع، بحيث يضطر أي شخص يقتبس رقمًا إلى توضيح الطبقة التي يقصدها.
القيود المعلنة
الاعتماد على مجموعة بيانات عامة من دون تحقق خارجي؛ واحتمال إساءة تصنيف التعبيرات الغامضة عن الضيق؛ وعدم اختبار ما إذا كانت المراقبة القائمة على التصنيف تُحسن أي نتيجة. وقد موِّل العمل بمنحة من National Institute of Mental Health.
كيف ينبغي التعامل معه
اعتبر أي نسبة مئوية منفردة لاستخدام الصحة النفسية عبر روبوتات الدردشة غير مكتملة ما لم تذكر تعريفها، ومقامها، ودقة المصنف. ومعظم الأرقام المتداولة حاليًا لا تذكر أيًّا من هذه العناصر الثلاثة.