قدّمت Samsung عملها في الحوسبة داخل الذاكرة خلال Hot Chips، ويضع التقرير المنشور مبكرًا في 29 أغسطس أرقامًا على جانبي الصفقة. لقد انتقل رقم عرض النطاق، لكن الكلفة المعمارية لم تنتقل.
أين يوجد عرض النطاق
تقارن المضاعفة الكبيرة بين عرض النطاق المتاح لوحدات الحوسبة داخل جهاز الذاكرة وبين عرض النطاق الذي يتيحه الجهاز نفسه عبر واجهته الخارجية. وهذه هي الفكرة كاملة من وضع الحوسبة داخل الذاكرة: الناقل الداخلي الواسع هو المورد، وكان موجودًا دائمًا — وما يتغير هو أن وحدات الحساب أصبحت الآن على الجانب القريب منه. إنه ليس عرض نطاق إضافيًا يُقدَّم إلى المعالج المضيف.
الكلفة التي يدفعها المضيف
لكي تنجح الآلية، يجب أن تُعيَّن الذاكرة التي تحمل معاملات PIM على أنها غير قابلة للتخزين المؤقت وغير تكهنية. فوجود نسخة مخزنة مؤقتًا سيجعلها قديمة في اللحظة التي يكتب فيها العنصر الموجود داخل الذاكرة إليها، كما أن قراءة تكهنية قد تؤدي إلى تنفيذ عملية لم تحدث معماريًا أصلًا. لذلك يفقد المعالج الذي يعالج ذلك النطاق القدرة على التخزين المؤقت، ويفقد الجلب المسبق العتادي، ولا يستطيع إعادة ترتيب هذه العمليات حول ذلك الوصول. ثلاثة من الآليات التي تجعل الأنوية الحديثة سريعة تُعطَّل بالضبط بالنسبة للبيانات نفسها التي يجري تسريعها.
ما الذي يخطئ فيه الإطار الشائع
تعاملت التغطية مع الرقم الداخلي على أنه تسريع على مستوى النظام — وكأن الجهاز يكسب ثمانية أضعاف عرض النطاق للذاكرة. وهذا غير صحيح. الادعاء الأدق، ومع ذلك يبقى مهمًا، هو أنه بالنسبة للعمليات المقيدة بعرض النطاق والبسيطة حسابيًا، ولا سيما العمل العنصري وعمليات التجميع في decode الخاص بـ LLM، فإن نقل العملية إلى البيانات يتجنب رحلة ذهاب وإياب كان سيهيمن عليها الناقل الخارجي. أما لأي عبء كثيف حسابيًا، فـ PIM هو الموضع الخطأ، وتعطيل ذاكرة التخزين المؤقت يكون خسارة صافية.
المعدل الإنتاجي في سياقه
الحوسبة المتاحة خارج كل حزمة هي بضع وحدات INT8 TOPS؛ ومجموعة من ثماني وحدات تصل إلى عشرات TOPS من خانة الآحاد، وهو ما يقارب NPU في معالج حاسوب محمول سائد. والميزة الفارقة ليست المعدل الإنتاجي الخام، بل أن هذا المعدل مرتبط بالسعة الكاملة للذاكرة في تلك الأجهزة، وهو ما يتسبب أصلًا في الألم الأكبر أثناء decode للنماذج الكبيرة.