شريحة تسريع جديدة تسمى "Hiddenite" يمكنها تحقيق أحدث ما توصلت إليه التكنولوجيا دقة في حساب "الشبكات العصبية المخفية" المتناثرة مع أعباء حسابية أقل ، تم تطويرها الآن بواسطة باحثو Tokyo Tech. من خلال استخدام بناء النموذج المقترح على الرقاقة ، والذي هو مزيج من توليد الوزن وتوسيع "القناع الفائق" ، تقلل شريحة Hiddenite بشكل كبير من الوصول إلى الذاكرة الخارجية لتحسين الكفاءة الحسابية.
الشبكات العصبية العميقة (DNNs) هي جزء معقد من بنية التعلم الآلي للذكاء الاصطناعي (التعلم الاصطناعي) التي تتطلب العديد من المعلمات لتعلم التنبؤ بالمخرجات. ومع ذلك ، يمكن "تقليم" أسماء DNN ، وبالتالي تقليل العبء الحسابي وحجم النموذج. قبل بضع سنوات ، عصفت "فرضية بطاقة اليانصيب" بعالم التعلم الآلي. ذكرت الفرضية أن DNN المُهيأ عشوائيًا يحتوي على شبكات فرعية تحقق دقة مكافئة لـ DNN الأصلي بعد التدريب. كلما كبرت الشبكة ، زادت "تذاكر اليانصيب" من أجل تحسين ناجح. وبالتالي تسمح بطاقات اليانصيب هذه للشبكات العصبية المتفرقة "المشذبة" بتحقيق دقة مكافئة للشبكات "الكثيفة" الأكثر تعقيدًا ، وبالتالي تقليل الأعباء الحسابية الشاملة واستهلاك الطاقة.
الشكل 1. تجد HNN شبكات فرعية متفرقة تحقق دقة مكافئة للنموذج الأصلي الكثيف المدرب. الائتمان: ماساتو موتومورا من طوكيو تك
إحدى التقنيات للعثور على مثل هذه الشبكات الفرعية هي خوارزمية الشبكة العصبية المخفية (HNN) ، والتي تستخدم منطق AND (حيث يكون الناتج مرتفعًا فقط عندما تكون جميع المدخلات عالية) على الأوزان العشوائية التي تمت تهيئتها و "قناع ثنائي" يسمى "قناع خارق" (رسم بياني 1). يشير القناع الفائق ، المحدد بأعلى درجات k٪ ، إلى الاتصالات غير المحددة والمختارة كـ 0 و 1 ، على التوالي. يساعد HNN في تقليل الكفاءة الحسابية من جانب البرنامج. ومع ذلك ، فإن حساب الشبكات العصبية يتطلب أيضًا تحسينات في مكونات الأجهزة.
تقدم مسرعات DNN التقليدية أداءً عاليًا ، لكنها لا تأخذ في الاعتبار استهلاك الطاقة الناتج عن الوصول إلى الذاكرة الخارجية. الآن ، طور باحثون من معهد طوكيو للتكنولوجيا (Tokyo Tech) ، بقيادة الأستاذين Jaehoon Yu و Masato Motomura ، شريحة تسريع جديدة تسمى "Hiddenite" ، والتي يمكنها حساب الشبكات العصبية المخفية مع تحسين استهلاك الطاقة بشكل كبير. "إن تقليل الوصول إلى الذاكرة الخارجية هو المفتاح لتقليل استهلاك الطاقة. حاليًا ، يتطلب تحقيق دقة عالية في الاستدلال نماذج كبيرة. لكن هذا يزيد من الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. كان الدافع الرئيسي وراء تطوير Hiddenite هو تقليل الوصول إلى الذاكرة الخارجية "، يوضح البروفيسور Motomura. ستظهر دراستهم في المستقبل المؤتمر الدولي لدوائر الحالة الصلبة (ISSCC) 2022، مؤتمر دولي مرموق يستعرض ذروة الإنجاز في الدوائر المتكاملة.
الشكل 2. تقدم شريحة Hiddenite الجديدة توليد الوزن على الرقاقة و "توسيع القناع الفائق" على الرقاقة لتقليل الوصول إلى الذاكرة الخارجية لتحميل معلمات النموذج. الائتمان: ماساتو موتومورا من طوكيو تك
يرمز "Hiddenite" إلى محرك Tensor لاستدلال الشبكة العصبية المخفية وهو أول شريحة استدلال HNN. توفر بنية Hiddenite (الشكل 2) مزايا ثلاثية لتقليل الوصول إلى الذاكرة الخارجية وتحقيق كفاءة عالية في استخدام الطاقة. الأول هو أنه يوفر توليد الوزن على الرقاقة لإعادة توليد الأوزان باستخدام مولد أرقام عشوائي. هذا يلغي الحاجة للوصول إلى الذاكرة الخارجية وتخزين الأوزان. الميزة الثانية هي توفير "توسيع القناع الفائق على الرقاقة" ، والذي يقلل من عدد الأقنعة الفائقة التي يجب تحميلها بواسطة المسرّع. التحسين الثالث الذي تقدمه شريحة Hiddenite هو المعالج المتوازي عالي الكثافة رباعي الأبعاد (4D) الذي يزيد من إعادة استخدام البيانات أثناء العملية الحسابية ، وبالتالي تحسين الكفاءة.
الشكل 3. تم تصنيعها باستخدام تقنية 40 نانومتر ، ويبلغ حجم قلب منطقة الرقاقة 4.36 ملليمتر مربع فقط. الائتمان: ماساتو موتومورا من طوكيو تك
يكشف البروفيسور موتومورا: "العاملان الأولان هما ما يميزان شريحة Hiddenite عن مسرعات DNN الحالية". علاوة على ذلك ، قدمنا أيضًا طريقة تدريب جديدة للشبكات العصبية المخفية ، تسمى "تقطير النقاط" ، حيث يتم تقطير أوزان تقطير المعرفة التقليدية في الدرجات لأن الشبكات العصبية المخفية لا تقوم أبدًا بتحديث الأوزان. الدقة في استخدام تقطير النقاط يمكن مقارنتها بالنموذج الثنائي بينما تكون نصف حجم النموذج الثنائي ".
استنادًا إلى الهندسة المعمارية المخفية ، صمم الفريق وصنع وقياس نموذج أولي لشريحة باستخدام عملية 40 نانومتر من شركة Taiwan Semiconductor Manufacturing Company (TSMC) (الشكل 3). يبلغ حجم الرقاقة 3 مم × 3 مم وتعالج 4,096 عمليات MAC (مضاعفة وتجميع) في وقت واحد. إنه يحقق مستوى متطورًا من الكفاءة الحسابية ، يصل إلى 34.8 تريليون أو تيرا عملية في الثانية (TOPS) لكل واط من الطاقة ، مع تقليل كمية نقل النموذج إلى نصف تلك الخاصة بالشبكات الثنائية.
من المؤكد أن هذه النتائج ومعرضها الناجح في شريحة سيليكون حقيقية سيؤدي إلى تحول نموذجي آخر في عالم التعلم الآلي ، مما يمهد الطريق لحوسبة أسرع وأكثر كفاءة وأكثر صداقة للبيئة في نهاية المطاف.
