كيفية تحديد حجم سعة الحوسبة لوحدة المعالجة العصبية (NPU) لمنتجات الرؤية المدمجة

1. فهم المشكلة التي يحلها تخطيط سعة وحدة المعالجة المركزية

تستخدم العديد من الأجهزة المدمجة، بما في ذلك الروبوتات والكاميرات الذكية ومحطات الرؤية الصناعية، وحدات المعالجة العصبية (NPUs) لتشغيل خوارزميات الرؤية المدعومة بالذكاء الاصطناعي. ووحدة المعالجة العصبية هي وحدة عتادية داخل شريحة مخصصة لاستنتاج الذكاء الاصطناعي.

عند اختيار شريحة، تنظر العديد من الفرق أولاً إلى تصنيف NPU TOPS الخاص بها، وتفترض أن الرقم الأعلى يعني شريحة أقوى. عمليًا، يواجه تطوير المنتج مشكلتين شائعتين:

أولها عدم كفاية القدرة الحاسوبية. يعمل الجهاز بمعدل إطارات منخفض، ويتقطع الفيديو، وتُفقد الإطارات عند تشغيل كاميرات متعددة في وقت واحد، وقد يفشل التعرف بالذكاء الاصطناعي.

أما السبب الثاني فهو السعة الزائدة. فالشريحة باهظة الثمن، وتستهلك طاقة أكبر، وتولد حرارة كبيرة. وتؤدي السعة الحسابية غير المستخدمة إلى تقليل هوامش الربح.

من الاعتبارات الهندسية الرئيسية أن الأداء في العديد من مشاريع الرؤية المدمجة يكون محدودًا بنقل الصور أو عرض نطاق الذاكرة أو المعالجة اللاحقة القائمة على وحدة المعالجة المركزية بدلاً من قدرة الحوسبة لوحدة المعالجة العصبية.

2. المفاهيم الأساسية ومقياسان رئيسيان

لا يتطلب تخطيط الحوسبة قائمة طويلة من المصطلحات التقنية. يساعد التمييز بين مفهومين أساسيين على منع مواصفات الرقائق من أن تصبح مضللة.

يمثل رقم TOPS الذي تُعلنه شركات تصنيع الرقائق الإلكترونية ذروة الأداء الحسابي النظري: أقصى قدرة معالجة يمكن أن تحققها وحدة المعالجة العصبية (NPU) عند التحميل الكامل في ظل ظروف مخبرية مثالية. تتطلب تصميمات المنتجات هامشًا إضافيًا، لذا لا يمكن استخدام ذروة الأداء مباشرةً لتحديد الحجم.

نستخدم GMAC لتقييم عبء الحساب لنموذج الذكاء الاصطناعي. MAC هي عملية ضرب وتجميع أساسية، ويمثل GMAC مليار عملية من هذا النوع. يقيس هذا المقياس حجم العمليات الحسابية في النموذج. تجدر الإشارة إلى أن GMAC يقيس عبء العمل، بينما يقيس GMAC/s معدل الإنتاجية. تتميز النماذج الأكبر حجمًا بقيم GMAC أعلى.

لا يُعدّ استخدام وحدة المعالجة العصبية (NPU) قيمة ثابتة، بل يُمثّل نسبة سعة وحدة المعالجة العصبية المُستخدمة في الحساب الفعال. بالنسبة للشبكات العصبية الالتفافية البسيطة، مثل واجهات VIO الأمامية أو نماذج الكشف الخفيفة، يُمكن أن تُحقق العمليات البسيطة والتحسين الشامل للرقاقة استخدامًا يتراوح بين 60% و80%. أما النماذج التي تحتوي على تحويلات معقدة أو وحدات Transformer، فقد تتطلب تنفيذًا متكررًا مُجزّأً، مما يُقلّل الاستخدام إلى 20% أو أقل.

يُعدّ تطبيق معدل استخدام ثابت بنسبة 40% سببًا رئيسيًا للتقديرات غير الدقيقة. كما تؤثر الدقة بشكل مباشر على عبء العمل: فمضاعفة كل من عرض وارتفاع الصورة المدخلة تُضاعف مساحتها أربع مرات، وتُضاعف العمليات الحسابية لنفس النموذج أربع مرات تقريبًا.

يمثل TOPS الحد الأقصى للأداء الفعلي للأجهزة فقط. ابدأ بحساب التقديرات باستخدام عبء عمل GMAC الخاص بالنموذج، وقم بمعايرتها بناءً على القياسات على لوحة تطوير. لا تختر شريحة بناءً على أدائها النظري الأقصى فقط.

3. تعريف التطبيق المتطلبات وجدولة الكاميرات المتعددة

قبل تقدير متطلبات الحوسبة، حدد عبء عمل المنتج. ويكمن الفرق الجوهري في ما إذا كانت الكاميرات المتعددة تستخدم الاستدلال المتوازي أو الاستدلال بالتناوب الزمني، لأن هذا يحدد كيفية دمج متطلبات الحوسبة الخاصة بها.

الوضع المتوازي: تعمل جميع الكاميرات على استدلال الذكاء الاصطناعي في الوقت نفسه، لذا تُجمع متطلبات الحوسبة الخاصة بها مباشرةً. على سبيل المثال، جهاز أمني مزود بأربع كاميرات تُجري عملية الكشف عن الأجسام في الوقت الفعلي بمعدل 30 إطارًا في الثانية على كل قناة، يجمع حمل جميع القنوات الأربع.

نمط المشاركة الزمنية: وحدة المعالجة العصبية (NPU) هي مورد مادي مشترك يعالج صور الكاميرا بالتتابع، حيث تتعامل مع قناة واحدة في كل مرة بالتناوب بين القنوات في قائمة الانتظار. تستخدم العديد من تطبيقات الرؤية متعددة الكاميرات على منصات Rockchip RK هذا النهج.

اجمع المعلومات التالية عند تحديد عبء العمل:

دقة العرض ومعدل الإطارات لكل كاميرا.

قائمة نماذج الذكاء الاصطناعي: أي النماذج تعمل على وحدة المعالجة العصبية وأي مهام ما بعد المعالجة تعمل على وحدة المعالجة المركزية.

دقة التكميم: يعتبر INT8 خيارًا شائعًا للأجهزة المدمجة نظرًا لكفاءة الاستدلال العالية.

طريقة التشغيل: معالجة الذكاء الاصطناعي المستمرة في كل إطار، أو عملية يتم تشغيلها بواسطة حدث حيث تبدأ الخوارزميات المعقدة فقط عند استيفاء شرط التشغيل.

هام: استخدم أدوات مثل RKNN أو ONNX Runtime لتصدير نموذج GMAC بدلاً من تقديره بناءً على الخبرة. قد يؤدي استخدام عبء عمل نموذج YOLO كبير لتحديد حجم شبكة VIO خفيفة الوزن إلى المبالغة بشكل كبير في تقدير متطلبات الحوسبة.

منصة MV11 الخاصة بنا هي منصة حوسبة متكاملة تجمع بين الرؤية والملاحة بالقصور الذاتي، وتعتمد على معالج Rockchip RK3576 عالي الأداء، وتضم أربع كاميرات متزامنة على مستوى الأجهزة. تحتوي على وحدة معالجة عصبية (NPU) بقدرة 6 تيرابايت في الثانية وذاكرة LPDDR4 بسعة 4 جيجابايت، وتدعم مزامنة دقيقة للغاية (بالميكروثانية) بين الكاميرات الأربع. تشمل التطبيقات المناسبة التعرف على الروبوتات واكتشافها، وأنظمة الرؤية البصرية (VIO)، وأنظمة تحديد المواقع والملاحة بالقصور الذاتي (SLAM)، وجمع بيانات الملاحة بالقصور الذاتي متعددة الكاميرات. يمكن استخدامها كمنصة أجهزة لاختبارات الحوسبة على مستوى اللوحة، وعرض النطاق الترددي، وجدولة القنوات المتعددة المذكورة أعلاه. تتوفر عينات لتقييم المشاريع في مراحلها الأولى، ويمكن تخصيص حلول الرؤية المتكاملة لدعم عملية النشر. للتواصل، راسلونا على [email protected].

4. القيود التي غالباً ما تحد من الأداء قبل أن تبدأ وحدة معالجة الشبكات العصبية (NPU) في الحساب.

تركز العديد من المشاريع فقط على معدل أداء وحدة المعالجة العصبية (NPU) أثناء عملية الاختيار، ثم تكتشف أثناء تشغيل اللوحة أن النظام لا يستطيع مواكبة ذلك على الرغم من توفر أكثر من نصف سعة وحدة المعالجة العصبية. وتُعدّ القيود التالية من المعوقات الشائعة في أنظمة الرؤية المدمجة.

4.1 عرض نطاق ذاكرة DDR

أثناء عملية الاستدلال في الذكاء الاصطناعي، تقوم وحدة المعالجة العصبية (NPU) بقراءة الصور وأوزان النموذج من الذاكرة بشكل مستمر، ثم تعيد كتابة خرائط الميزات الوسيطة إلى الذاكرة. ويحدد عرض نطاق ذاكرة الوصول العشوائي (DDR) سرعة عمليات النقل هذه. فعندما يكون عرض النطاق غير كافٍ، حتى وحدة المعالجة العصبية ذات القدرة الحسابية الكبيرة تضطر إلى انتظار البيانات، مما يعيق تحسين معدل الإطارات. وفي معظم مشاريع الكاميرات المتعددة على منصات RK، يصل عرض النطاق إلى أقصى حد له بينما لا يُستخدم سوى جزء صغير من قدرة وحدة المعالجة العصبية.

4.2 سعة الذاكرة

تستهلك مخازن الصور، وأوزان نماذج الذكاء الاصطناعي، وخرائط الميزات الوسيطة، جميعها الذاكرة. ويزداد استخدام الذاكرة بشكل ملحوظ عند تشغيل قنوات متعددة في وقت واحد. وقد يؤدي نقص الذاكرة إلى تعطل التطبيق. وتفتقر الأجهزة المدمجة عمومًا إلى الذاكرة الافتراضية، لذا فإن نفاد الذاكرة (OOM) قد يتسبب في توقف الجهاز عن العمل.

4.3 معالجة الصور المسبقة باستخدام معالج الإشارات الرقمية

تتطلب الصور الخام الملتقطة بالكاميرات عمليات قص وتغيير حجم وتحويل مساحة الألوان. تُجرى بعض عمليات المعالجة المسبقة بواسطة معالج إشارة الصور (ISP)، بينما تستخدم عمليات أخرى موارد وحدة المعالجة المركزية (CPU). يزيد التقاط الصور من عدة كاميرات من متطلبات المعالجة المسبقة، وقد يُسبب تأخيرًا في مسار المعالجة حتى عندما تكون وحدة المعالجة العصبية (NPU) في وضع الخمول.

4.4 استهلاك الطاقة والإدارة الحرارية

يتوافق معدل الأداء الأقصى المعلن عنه للرقاقة (TOPS) مع ذروة استهلاك الطاقة. معظم الأجهزة المدمجة لا تحتوي على مراوح تبريد، ولا يمكنها تحمل حمل وحدة المعالجة العصبية (NPU) بالكامل لفترات طويلة. حتى مع ارتفاع القدرة الحسابية النظرية، فإن الظروف الحرارية تحد من القدرة المتاحة للتشغيل المستمر.

4.5 توافق المشغل

إذا احتوى نموذج الذكاء الاصطناعي على عمليات خاصة لا يمكن لوحدة معالجة الشبكات العصبية تسريعها، فسيتم اللجوء إلى تنفيذه بواسطة وحدة المعالجة المركزية. تُعدّ معالجة الذكاء الاصطناعي على وحدة المعالجة المركزية بطيئة، وقد تُؤدي إلى توقف خط المعالجة بشكل كبير حتى مع كفاية سعة وحدة معالجة الشبكات العصبية. لذا، يُنصح بالتحقق من دعم تسريع العمليات قبل اختيار المنصة.

5. سير عمل تخطيط عملي

1. حدد خط الأساس لحجم العمل ونمط التشغيل. حدد مسار الذكاء الاصطناعي: الدقة، ومعدل الإطارات، وعدد القنوات، واستراتيجية التشغيل (مستمر أو قائم على الأحداث)، والتنفيذ المتوازي أو المشترك زمنيًا، وقائمة النماذج، ودقة النشر. انتبه جيدًا لكيفية جدولة القنوات المتعددة.

2. قم بقياس أحمال العمل النموذجية وتصدير GMAC/s. استخدم الأدوات لتصدير GMAC/s لكل نموذج، مع فصل الحساب المُسرّع بواسطة وحدة المعالجة العصبية عن المعالجة اللاحقة بواسطة وحدة المعالجة المركزية.

3. قم بالقياس على اللوحة المستهدفة لتحديد كفاءة التنفيذ. حوّل النماذج إلى تنسيق المنصة على أنظمة SoC المرشحة مثل RK3576 أو RK3588. قِس وقت الاستدلال لكل إطار لتحديد الإنتاجية الفعلية لهذا النموذج على وحدة معالجة الشبكات العصبية (NPU). هذه هي الخطوة الأهم للتخلص من التباينات في التقديرات النظرية: يجب معايرة جميع التقديرات بناءً على قياسات على مستوى اللوحة بدلاً من الصيغ العامة.

٤. تجميع أحمال العمل متعددة القنوات وتقييم اختناقات النظام. تقييم كل من التشغيل المستقر العادي وذروة الاستخدام في أسوأ الحالات عند تشغيل جميع القنوات في وقت واحد. التحقق من عرض نطاق DDR واستخدام الذاكرة في الوقت نفسه. تستنفد العديد من مشاريع RK متعددة الكاميرات عرض النطاق الترددي بينما تظل سعة الحوسبة متاحة.

٥. خصص هامشًا مناسبًا وحدد حدودًا. استخدم هامشًا يتراوح بين ١٫١ و١٫٢ للمنتجات قصيرة الأجل ذات الخوارزميات الثابتة إلى حد كبير، وبين ١٫٣ و١٫٤ للمنتجات المتوقع تحديث نماذجها. يجب أن يغطي الهامش تطور النموذج، وسيناريوهات الذروة، وتكاليف الجدولة، بدلًا من التخصيص الزائد التعسفي. حدد تكلفة قائمة مكونات المنتج وحدود الطاقة في الوقت نفسه.

6. خمسة أخطاء شائعة في تخطيط سعة وحدات معالجة الشبكة

6.1 استخدام معالجات TOPS فقط ومعدل استخدام ثابت

إن تطبيق معدل استخدام ثابت بنسبة 40% على إجمالي عمليات المعالجة المعلن عنها قد يؤدي إلى المبالغة في تقدير متطلبات الحوسبة عدة أضعاف، ويختلف اختلافًا كبيرًا عن ظروف التشغيل الفعلية. ويتباين معدل الاستخدام بشكل كبير بين النماذج وبنى وحدات المعالجة العصبية.

6.2 الضرب في عدد القنوات وتجاهل المشاركة الزمنية

في نظام التشغيل بتقاسم الوقت، تعالج وحدة المعالجة العصبية القنوات بالتناوب، ويُعاد استخدام قدرتها الحاسوبية. إن مجرد ضرب عدد القنوات في متطلبات الحوسبة لقناة واحدة قد يؤدي إلى مبالغة كبيرة في تقدير الاحتياجات، مما ينتج عنه شريحة ذات قدرة فائقة وتكلفة باهظة بلا داعٍ.

6.3 تقييم قدرة وحدة المعالجة العصبية مع تجاهل عرض نطاق ذاكرة الوصول العشوائي الديناميكية

تُعدّ اختناقات النطاق الترددي أكثر شيوعًا من اختناقات الحوسبة في مشاريع الرؤية متعددة الكاميرات. قد تمتلك وحدة المعالجة العصبية (NPU) سعةً كبيرةً متبقية، لكن عمليات نقل البيانات لا تستطيع مواكبة ذلك، مما يحدّ من معدل الإطارات. لذا، يجب تقييم النطاق الترددي أولًا في مشاريع الكاميرات المتعددة.

6.4 مراعاة متوسط الحمل مع تجاهل الذروات العابرة

قد يعمل المنتج بحمل منخفض في معظم الأوقات، ولكنه قد يشهد ذروات عابرة عند تشغيل جميع الكاميرات للذكاء الاصطناعي في وقت واحد. يجب أن يستوعب التصميم هذه الذروات، ولكن يمكن لقائمة انتظار المهام أن تُخفف من حدة الطلب العابر، لذا ليس من الضروري بالضرورة تحديد حجم الشريحة ليتناسب مباشرةً مع ذروة الطلب على الحوسبة.

6.5 حساب نموذج العد فقط وتجاهل النفقات العامة للنظام

تعتمد العديد من التقديرات على وحدة معالجة الصور الرقمية (GMAC) الخاصة بالبنية الأساسية للذكاء الاصطناعي فقط، متجاهلةً المعالجة المسبقة لمعالج الصور (ISP)، ونسخ الصور، والمعالجة اللاحقة لوحدة المعالجة المركزية (CPU). حتى مع وجود سعة كافية لوحدة المعالجة العصبية (NPU)، فإن هذه التكاليف الإضافية تزيد من زمن الاستجابة الكلي وتمنع تحقيق معدل الإطارات المتوقع.

7. قائمة التحقق من التنفيذ لاختيار المنصة

أدرج جميع معايير الكاميرا: الدقة، ومعدل الإطارات، وعدد القنوات. تأكد مما إذا كانت القنوات تستخدم جدولة متوازية أم جدولة متزامنة.

قم بتصدير GMAC لكل نموذج وقم بتمييز حساب NPU عن المعالجة اللاحقة لوحدة المعالجة المركزية.

قم بقياس وقت الاستدلال لنموذج واحد على المنصات المرشحة لتحديد كفاءة التنفيذ الفعلية.

تجميع أحمال العمل متعددة القنوات وتقييم استخدام الحوسبة في وحدة معالجة الشبكة في ظل ظروف الحالة المستقرة وظروف الذروة.

قم بقياس عرض النطاق الترددي لذاكرة DDR واستخدام الذاكرة لتحديد ما إذا كان عرض النطاق الترددي هو عنق الزجاجة.

تحقق من صحة عوامل تشغيل النموذج وتأكد من دعم تسريع الأجهزة لوحدة المعالجة العصبية لتجنب الرجوع إلى وحدة المعالجة المركزية.

قم بحجز مساحة الحوسبة وفقًا لخارطة طريق تحديث المنتج، وحدد تكلفة قائمة المواد وحدود الطاقة.

قم بإجراء اختبارات ضغط مطولة باستخدام محفزات متعددة القنوات متزامنة. تحقق من تغير معدل الإطارات والأعطال الناتجة عن استنفاد الذاكرة.

لا يُعدّ تحديد سعة وحدة المعالجة العصبية (NPU) للرؤية المدمجة عملية حسابية بسيطة تعتمد على تطبيق صيغة TOPS. ولا تُقدّم التقديرات النظرية سوى مرجع تخطيطي أولي، إذ يجب إجراء التحقق النهائي على لوحة تطوير الشريحة المستهدفة.

يتبع التقييم الكامل هذا التسلسل: تحديد ما إذا كانت الحوسبة هي عنق الزجاجة → تأكيد الجدولة المتوازية أو المشتركة زمنيًا → قياس نموذج GMAC → تحديد أولويات تقييم عرض النطاق الترددي DDR → المعايرة من خلال اختبار على مستوى اللوحة → حجز مساحة الحوسبة المناسبة.

الهدف هو تحقيق التوازن بين الأداء واستهلاك الطاقة والتكلفة. اختر سعة كافية للمهمة بدلاً من السعي وراء أعلى معدلات أداء وحدة المعالجة العصبية (NPU).

منصة MV11 الخاصة بنا هي منصة حوسبة متكاملة تجمع بين الرؤية والملاحة بالقصور الذاتي، وتعتمد على معالج Rockchip RK3576 عالي الأداء، وتضم أربع كاميرات متزامنة على مستوى الأجهزة. تحتوي على وحدة معالجة عصبية (NPU) بقدرة 6 تيرابايت في الثانية وذاكرة LPDDR4 بسعة 4 جيجابايت، وتدعم مزامنة دقيقة للغاية (بالميكروثانية) بين الكاميرات الأربع. تشمل التطبيقات المناسبة التعرف على الروبوتات واكتشافها، وأنظمة الرؤية البصرية (VIO)، وأنظمة تحديد المواقع والملاحة بالقصور الذاتي (SLAM)، وجمع بيانات الملاحة بالقصور الذاتي متعددة الكاميرات. يمكن استخدامها كمنصة أجهزة لاختبارات الحوسبة على مستوى اللوحة، وعرض النطاق الترددي، وجدولة القنوات المتعددة المذكورة أعلاه. تتوفر عينات لتقييم المشاريع في مراحلها الأولى، ويمكن تخصيص حلول الرؤية المتكاملة لدعم عملية النشر. للتواصل، راسلونا على [email protected].