Nature Medicine نشرت في 4 سبتمبر وكيلًا سريريًا للطبّ الأمومي والطفلي؛ وتحمل إيداع Crossref ختم 17:15:13 UTC. وسيُقدَّم على أنه وكيل LLM يتنبأ بمآلات الأم والرضيع. لكن الملخص يوضح أن التنبؤات تخص شيئًا آخر.
من أين تأتي الأرقام
"MoChiAgent's core predictive engine, MoChiFormer, was developed and internally evaluated using 4,401,599 longitudinal clinical visits and externally validated using independent maternal and infant cohorts consisting of 263,452 and 23,192 visits." وكذلك: "MoChiFormer accurately identified key gestational conditions, achieving AUROCs of 0.89 for placental abruption, 0.89 for premature rupture of membranes, and 0.91 for preterm labour." وMoChiFormer هو transformer مُراقَب يعمل على تسلسلات المختبرات في السجل الصحي الإلكتروني EHR. وهو أيضًا "reconstructs missing laboratory values, reduces batch effects" ويدعم نمذجة المسارات — ولا شيء من ذلك نمذجةً لغوية.
ما الذي يُقاس في طبقة LLM
ليس التمييز. فبيانات المصدر في الورقة تسرد "individual physician evaluation scores for each case and each system (MoChiAgent, ChatGPT, Gemini and OpenEvidence) across diagnostic accuracy, evidence traceability, completeness of the diagnostic and therapeutic plan, and clinical safety". وهذه تجربة لتفضيلات الأطباء، وهي قياس مشروع لشيء مختلف تمامًا. يتولى LLM تنسيق الأدوات واسترجاع نصوص الإرشادات؛ أما التنبؤ فقد تم إنجازه بالفعل قبل أن يفعل ذلك.
ما يخطئ فيه هذا التأطير المتداول
"LLM agent predicts preterm labour at 0.91 AUROC" ستكون عبارة غير صحيحة. الذي يفعل ذلك هو transformer مُراقَب؛ أما LLM فيصوغ النتيجة ويستشهد بالإرشادات. هذا هو الشكل المعتاد الآن لأوراق الوكلاء السريريين، وهو مهم لأن المكوّنين يعممان بشكل مختلف — فالـ transformer المُدرَّب على تسلسلات المختبرات في نظام صحي واحد يفشل بطرق يمكن التعرف عليها، بينما تكون إخفاقات غلاف LLM سلسة الصياغة. ونَسبُ تمييز المصنِّف إلى الغلاف يخفي أي نصف يحتاج إلى إعادة التحقق في موقع جديد.
تحفظان يوردهما البحث نفسه
التحقق الخارجي صغير مقارنة بالتطوير — 263,452 و23,192 زيارة مقابل 4.4 مليون، أي نحو 6% و0.5% — ومجموعة الرضع تُحصى بالزيارات لا بالرضع. كما أن نتائج العناقيد (ارتفاع مخاطر اليرقان الوليدي عند HR 2.81، بفاصل ثقة 95% بين 2.60-3.03، والمرض الدموي عند HR 2.83، بفاصل ثقة 95% بين 2.62-3.05) هي ارتباطات داخل المجموعة. وهذه Accelerated Article Preview وليست النسخة النهائية المعتمدة، لذا قد تتغير الأرقام بعد.