نحوه‌ی تعیین ظرفیت محاسباتی NPU برای محصولات بینایی تعبیه‌شده

۱. درک مشکلی که برنامه‌ریزی ظرفیت NPU حل می‌کند

بسیاری از دستگاه‌های تعبیه‌شده، از جمله ربات‌ها، دوربین‌های هوشمند و ترمینال‌های بینایی صنعتی، اکنون از NPUها برای اجرای الگوریتم‌های بینایی هوش مصنوعی استفاده می‌کنند. NPU یک واحد سخت‌افزاری درون یک تراشه است که به استنتاج هوش مصنوعی اختصاص داده شده است.

هنگام انتخاب یک تراشه، بسیاری از تیم‌ها ابتدا به رتبه‌بندی NPU TOPS آن نگاه می‌کنند و فرض می‌کنند که عدد بالاتر به معنای تراشه قدرتمندتر است. در عمل، توسعه محصول با دو مشکل معمول مواجه می‌شود:

اولین مورد، ظرفیت محاسباتی ناکافی است. دستگاه با نرخ فریم پایین کار می‌کند، ویدیو دچار لکنت می‌شود، وقتی چندین دوربین همزمان کار می‌کنند، فریم‌ها از بین می‌روند و تشخیص هوش مصنوعی می‌تواند از کار بیفتد.

دوم، ظرفیت بیش از حد است. تراشه گران است، برق بیشتری مصرف می‌کند و گرمای قابل توجهی تولید می‌کند. ظرفیت محاسباتی استفاده نشده حاشیه سود را کاهش می‌دهد.

یک ملاحظه کلیدی مهندسی این است که در بسیاری از پروژه‌های بینایی ماشین تعبیه‌شده، عملکرد به جای ظرفیت محاسباتی NPU، توسط انتقال تصویر، پهنای باند حافظه یا پردازش پایین‌دستی مبتنی بر CPU محدود می‌شود.

۲. مفاهیم اساسی و دو معیار اصلی

برنامه‌ریزی محاسباتی نیازی به فهرست طولانی از اصطلاحات فنی ندارد. تمایز قائل شدن بین دو مفهوم کلیدی به جلوگیری از گمراه‌کننده شدن مشخصات تراشه کمک می‌کند.

رقم TOPS که توسط فروشندگان تراشه تبلیغ می‌شود، حداکثر عملکرد محاسباتی نظری است: حداکثر قابلیت پردازشی که یک NPU می‌تواند در شرایط آزمایشگاهی ایده‌آل با بار کامل به آن دست یابد. طراحی محصولات به فضای کافی نیاز دارد، بنابراین نمی‌توان از حداکثر عملکرد مستقیماً برای تعیین اندازه استفاده کرد.

ما از GMAC برای ارزیابی حجم کار محاسباتی یک مدل هوش مصنوعی استفاده می‌کنیم. MAC یک عملیات ضرب-انباشت اساسی است و GMAC نشان‌دهنده یک میلیارد از این عملیات است. این معیار، میزان محاسبات در یک مدل را اندازه‌گیری می‌کند. توجه داشته باشید که GMAC حجم کار را اندازه‌گیری می‌کند، در حالی که GMAC/s توان عملیاتی را اندازه‌گیری می‌کند. مدل‌های بزرگتر، مقادیر GMAC بالاتری دارند.

میزان استفاده از NPU یک مقدار ثابت نیست. این مقدار، نسبت ظرفیت NPU مورد استفاده برای محاسبات مؤثر را نشان می‌دهد. برای شبکه‌های کانولوشنی ساده، مانند VIO front endها یا مدل‌های تشخیص سبک، عملگرهای ساده و بهینه‌سازی کامل تراشه می‌تواند منجر به استفاده از 60 تا 80 درصد شود. مدل‌های حاوی تبدیل‌های پیچیده یا بلوک‌های ترانسفورماتور ممکن است نیاز به اجرای مکرر کاشی‌کاری شده داشته باشند که میزان استفاده را به 20 درصد یا حتی کمتر کاهش می‌دهد.

اعمال نرخ استفاده ثابت ۴۰٪ یکی از دلایل اصلی تخمین‌های نادرست است. وضوح تصویر همچنین مستقیماً بر حجم کار تأثیر می‌گذارد: دو برابر کردن عرض و ارتفاع تصویر ورودی، مساحت آن را چهار برابر می‌کند و تقریباً محاسبات را برای همان مدل چهار برابر می‌کند.

TOPS فقط سقف سخت‌افزار است. محاسبات تخمینی را با حجم کار GMAC مدل شروع کنید و آنها را با اندازه‌گیری‌های روی برد توسعه کالیبره کنید. یک تراشه را صرفاً بر اساس حداکثر عملکرد نظری آن انتخاب نکنید.

۳. تعریف کنید کاربرد الزامات و زمان‌بندی چند دوربینی

قبل از تخمین نیازهای محاسباتی، حجم کاری محصول را مشخص کنید. تمایز اساسی این است که آیا چندین دوربین از استنتاج موازی یا استنتاج چرخشی اشتراک زمانی استفاده می‌کنند، زیرا این امر نحوه ترکیب نیازهای محاسباتی آنها را تعیین می‌کند.

حالت موازی: همه دوربین‌ها به طور همزمان استنتاج هوش مصنوعی را اجرا می‌کنند، بنابراین نیازهای محاسباتی آنها مستقیماً اضافه می‌شود. به عنوان مثال، یک دستگاه امنیتی با چهار دوربین که تشخیص اشیاء را به صورت بلادرنگ با سرعت 30 فریم در ثانیه در هر کانال انجام می‌دهند، بار هر چهار کانال را با هم ترکیب می‌کند.

حالت اشتراک زمانی: واحد پردازش عصبی (NPU) یک منبع سخت‌افزاری مشترک است که تصاویر دوربین را به صورت متوالی پردازش می‌کند و همزمان با نوبت گرفتن کانال‌ها در یک صف، یک کانال را مدیریت می‌کند. بسیاری از پیاده‌سازی‌های بینایی چند دوربینه در پلتفرم‌های Rockchip RK از این رویکرد استفاده می‌کنند.

هنگام تعریف حجم کار، اطلاعات زیر را جمع‌آوری کنید:

وضوح تصویر و نرخ فریم برای هر دوربین.

فهرست مدل‌های هوش مصنوعی: کدام مدل‌ها روی NPU اجرا می‌شوند و کدام وظایف پس‌پردازشی روی CPU اجرا می‌شوند.

دقت کوانتیزاسیون: INT8 به دلیل راندمان استنتاج بالاتر، انتخاب اصلی برای دستگاه‌های تعبیه‌شده است.

روش تحریک: پردازش مداوم هوش مصنوعی در هر فریم، یا عملیات تحریک‌شده توسط رویداد که در آن الگوریتم‌های پیچیده فقط زمانی شروع می‌شوند که یک شرط تحریک برآورده شود.

مهم: مدل GMAC را با استفاده از ابزارهایی مانند RKNN یا ONNX Runtime صادر کنید، نه اینکه آن را از روی تجربه تخمین بزنید. استفاده از حجم کار یک مدل YOLO بزرگ برای اندازه‌گیری یک شبکه VIO سبک می‌تواند نیازهای محاسباتی را به شدت بیش از حد تخمین بزند.

MV11 ما یک پلتفرم محاسباتی تلفیقی بینایی و ناوبری اینرسی با چهار دوربین است که بر اساس پردازنده با کارایی بالای Rockchip RK3576 ساخته شده است. این پلتفرم شامل یک NPU با 6 TOPS و 4 گیگابایت حافظه LPDDR4 است و از همگام‌سازی در سطح میکروثانیه در چهار دوربین پشتیبانی می‌کند. کاربردهای مناسب شامل تشخیص و شناسایی رباتیک، VIO، SLAM و جمع‌آوری داده‌های EGO چند دوربینه است. این پلتفرم می‌تواند به عنوان پلتفرم سخت‌افزاری برای محاسبات سطح برد، پهنای باند و آزمایش‌های زمان‌بندی چند کاناله که در بالا توضیح داده شد، عمل کند. نمونه‌هایی برای ارزیابی اولیه پروژه در دسترس هستند و راه‌حل‌های کامل بینایی را می‌توان برای پشتیبانی از استقرار سفارشی کرد. با ما در [email protected] تماس بگیرید.

۴. محدودیت‌هایی که اغلب عملکرد را قبل از محاسبات NPU محدود می‌کنند

بسیاری از پروژه‌ها در هنگام انتخاب فقط بر روی NPU TOPS تمرکز می‌کنند، سپس در جلسه هیئت مدیره متوجه می‌شوند که سیستم نمی‌تواند با وجود اینکه بیش از نیمی از ظرفیت NPU در دسترس است، به کار خود ادامه دهد. محدودیت‌های زیر، تنگناهای رایج در بینایی تعبیه‌شده هستند.

پهنای باند حافظه DDR 4.1

در طول استنتاج هوش مصنوعی، واحد پردازش عصبی (NPU) به طور مداوم تصاویر و وزن‌های مدل را از حافظه می‌خواند و نقشه‌های ویژگی میانی را به حافظه برمی‌گرداند. پهنای باند DDR سرعت این انتقال‌ها را تعیین می‌کند. وقتی پهنای باند کافی نباشد، حتی یک واحد پردازش عصبی (NPU) با ظرفیت محاسباتی فراوان نیز باید منتظر داده‌ها بماند و از بهبود نرخ فریم جلوگیری کند. در اکثر پروژه‌های چند دوربینه در پلتفرم‌های RK، پهنای باند اشباع می‌شود در حالی که تنها بخش کوچکی از ظرفیت NPU استفاده می‌شود.

۴.۲ ظرفیت حافظه

بافرهای تصویر، وزن‌های مدل هوش مصنوعی و نقشه‌های ویژگی میانی، همگی حافظه مصرف می‌کنند. وقتی چندین کانال به طور همزمان کار می‌کنند، میزان استفاده از حافظه به طور قابل توجهی افزایش می‌یابد. حافظه ناکافی می‌تواند برنامه را از کار بیندازد. دستگاه‌های تعبیه‌شده معمولاً فاقد حافظه مجازی هستند، بنابراین وضعیت کمبود حافظه (OOM) می‌تواند باعث توقف دستگاه شود.

۴.۳ پیش‌پردازش تصویر ISP

تصاویر خام ثبت‌شده توسط دوربین‌ها نیاز به برش، مقیاس‌بندی و تبدیل فضای رنگی دارند. بخشی از پیش‌پردازش‌ها توسط سخت‌افزار ISP انجام می‌شود، در حالی که بخشی از منابع CPU را به کار می‌گیرد. استفاده از چند دوربین، نیاز به پیش‌پردازش را افزایش می‌دهد و می‌تواند حتی زمانی که NPU بیکار است، باعث ایجاد تأخیر در خط لوله شود.

۴.۴ مصرف برق و مدیریت حرارتی

حداکثر مصرف انرژی (TOPS) تبلیغ‌شده توسط یک تراشه، با حداکثر مصرف برق مطابقت دارد. اکثر دستگاه‌های تعبیه‌شده بدون فن هستند و نمی‌توانند بار کامل NPU را برای مدت طولانی تحمل کنند. حتی زمانی که ظرفیت محاسباتی نظری بالا باشد، شرایط حرارتی، ظرفیت موجود برای عملکرد پایدار را محدود می‌کند.

۴.۵ سازگاری اپراتور

اگر یک مدل هوش مصنوعی شامل اپراتورهای خاصی باشد که NPU نتواند آنها را تسریع کند، آنها به اجرای CPU بازمی‌گردند. پردازش هوش مصنوعی روی CPU کند است و حتی زمانی که ظرفیت NPU کافی باشد، می‌تواند خط لوله را به شدت متوقف کند. قبل از انتخاب پلتفرم، پشتیبانی از شتاب اپراتور را تأیید کنید.

۵. یک گردش کار برنامه‌ریزی عملی

۱. خط مبنای حجم کار و حالت عملیاتی را تعیین کنید. خط لوله هوش مصنوعی را تعریف کنید: وضوح، نرخ فریم، تعداد کانال، استراتژی تریگر (پیوسته یا رویداد محور)، اجرای موازی یا اشتراک زمانی، فهرست مدل و دقت استقرار. توجه ویژه‌ای به نحوه برنامه‌ریزی چندین کانال داشته باشید.

۲. حجم کار مدل را کمّی کنید و GMAC/s را استخراج کنید. از ابزارهایی برای استخراج GMAC/s برای هر مدل استفاده کنید و محاسبات شتاب‌دهی‌شده توسط NPU را از پس‌پردازش CPU جدا کنید.

۳. اندازه‌گیری روی برد هدف برای تعیین راندمان اجرا. تبدیل مدل‌ها به فرمت پلتفرم روی SoCهای کاندید مانند RK3576 یا RK3588. اندازه‌گیری زمان استنتاج در هر فریم برای تعیین توان عملیاتی واقعی آن مدل روی آن NPU. این مهمترین گام برای حذف اختلافات در تخمین‌های کاغذی است: همه تخمین‌ها باید به جای فرمول‌های عمومی، در مقایسه با اندازه‌گیری‌های سطح برد کالیبره شوند.

۴. حجم کار چند کاناله را تجمیع کرده و گلوگاه‌های سیستم را ارزیابی کنید. هم عملکرد حالت پایدار عادی و هم اوج بدترین حالت را که در آن همه کانال‌ها به طور همزمان فعال می‌شوند، ارزیابی کنید. پهنای باند DDR و استفاده از حافظه را همزمان بررسی کنید. بسیاری از پروژه‌های چند دوربینه RK پهنای باند را تمام می‌کنند در حالی که ظرفیت محاسباتی همچنان در دسترس است.

۵. فضای کافی را در نظر بگیرید و محدودیت‌هایی را تعیین کنید. برای محصولات کوتاه‌مدت با الگوریتم‌های عمدتاً ثابت، از حاشیه ۱.۱ تا ۱.۲ و برای محصولاتی که انتظار می‌رود به‌روزرسانی‌های مدل دریافت کنند، از حاشیه ۱.۳ تا ۱.۴ استفاده کنید. فضای کافی باید تکامل مدل، سناریوهای اوج و سربار برنامه‌ریزی را پوشش دهد، نه اینکه خودسرانه بیش از حد تأمین شود. همزمان محدودیت‌های هزینه BOM و توان را تعیین کنید.

۶. پنج دام رایج در برنامه‌ریزی ظرفیت NPU

۶.۱ فقط با استفاده از Chip TOPS و نرخ استفاده ثابت

اعمال نرخ ثابت ۴۰٪ برای TOPS تبلیغ‌شده می‌تواند نیازهای محاسباتی را چندین برابر بیش از حد تخمین بزند و به‌طور قابل‌توجهی از شرایط مهندسی واقعی فاصله بگیرد. میزان استفاده در مدل‌ها و معماری‌های NPU به‌طور قابل‌توجهی متفاوت است.

۶.۲ ضرب در تعداد کانال و نادیده گرفتن اشتراک زمانی

در عملیات اشتراک زمانی، واحد پردازش عصبی (NPU) کانال‌ها را به نوبت پردازش می‌کند و ظرفیت محاسباتی آن دوباره استفاده می‌شود. ضرب کردن ساده‌ی تعداد کانال‌ها در تقاضای محاسباتی تک کانال می‌تواند نیازها را به شدت بیش از حد تخمین بزند و در نتیجه یک تراشه‌ی بیش از حد قدرتمند و بی‌جهت پرهزینه ایجاد کند.

۶.۳ ارزیابی محاسبات NPU بدون در نظر گرفتن پهنای باند DDR

گلوگاه‌های پهنای باند در پروژه‌های بینایی چند دوربینی بسیار رایج‌تر از گلوگاه‌های محاسباتی هستند. NPU ممکن است ظرفیت قابل توجهی داشته باشد، اما انتقال داده‌ها نمی‌تواند به اندازه کافی ادامه یابد و نرخ فریم را محدود کند. پهنای باند باید ابتدا در پروژه‌های چند دوربینی ارزیابی شود.

۶.۴ در نظر گرفتن بار متوسط اما نادیده گرفتن پیک‌های گذرا

یک محصول ممکن است بیشتر اوقات با بار کم کار کند، اما وقتی همه دوربین‌ها به طور همزمان هوش مصنوعی را فعال می‌کنند، دچار پیک‌های گذرا شود. طراحی باید این پیک‌ها را در خود جای دهد، اما یک صف وظایف می‌تواند تقاضای گذرا را هموار کند، بنابراین لزوماً نیازی نیست که تراشه مستقیماً متناسب با پیک تقاضای محاسباتی اندازه‌گیری شود.

۶.۵ محاسبه مدل فقط با شمارش و نادیده گرفتن سربار سیستم

بسیاری از تخمین‌ها فقط GMAC ستون فقرات هوش مصنوعی را در نظر می‌گیرند و پیش‌پردازش ISP، کپی کردن تصویر و پس‌پردازش CPU را نادیده می‌گیرند. حتی با ظرفیت کافی NPU، این سربارها تأخیر انتها به انتها را افزایش می‌دهند و مانع از دستیابی به نرخ فریم مورد انتظار می‌شوند.

۷. چک لیست اجرا برای انتخاب پلتفرم

تمام پارامترهای دوربین را فهرست کنید: وضوح، نرخ فریم و تعداد کانال. تأیید کنید که آیا کانال‌ها از زمان‌بندی موازی یا اشتراکی استفاده می‌کنند.

برای هر مدل، GMAC را استخراج کنید و محاسبات NPU را از پس‌پردازش CPU متمایز کنید.

زمان استنتاج تک مدل را روی پلتفرم‌های کاندید اندازه‌گیری کنید تا کارایی اجرای واقعی را تعیین کنید.

حجم کاری چند کاناله را تجمیع کرده و میزان استفاده از محاسبات NPU را در شرایط پایدار و اوج مصرف ارزیابی کنید.

پهنای باند DDR و میزان استفاده از حافظه را اندازه‌گیری کنید تا مشخص شود که آیا پهنای باند عامل گلوگاه است یا خیر.

اعتبارسنجی عملگرهای مدل و تأیید پشتیبانی از شتاب سخت‌افزاری NPU برای جلوگیری از خطای CPU.

طبق نقشه راه به‌روزرسانی محصول، فضای محاسباتی را رزرو کنید و محدودیت‌های هزینه و توان BOM را تعیین کنید.

تست‌های استرس گسترده را با محرک‌های چند کاناله همزمان اجرا کنید. تغییرات نرخ فریم و خرابی‌های ناشی از فرسودگی حافظه را بررسی کنید.

تعیین ظرفیت NPU برای بینایی تعبیه‌شده، یک تمرین ریاضی ساده در اعمال فرمول TOPS نیست. تخمین‌های روی کاغذ فقط یک مرجع برنامه‌ریزی اولیه ارائه می‌دهند. اعتبارسنجی نهایی باید روی برد توسعه تراشه هدف انجام شود.

یک ارزیابی کامل از این ترتیب پیروی می‌کند: تعیین اینکه آیا محاسبات گلوگاه هستند → تأیید زمان‌بندی موازی یا اشتراکی → اندازه‌گیری مدل GMAC → اولویت‌بندی ارزیابی پهنای باند DDR → کالیبراسیون از طریق آزمایش در سطح برد → رزرو فضای محاسباتی مناسب.

هدف، ایجاد تعادل بین عملکرد، مصرف برق و هزینه است. به جای دنبال کردن حداکثر سرعت NPU TOPS بالاتر، ظرفیت کافی برای کار مورد نظر را انتخاب کنید.

MV11 ما یک پلتفرم محاسباتی تلفیقی بینایی و ناوبری اینرسی با چهار دوربین است که بر اساس پردازنده با کارایی بالای Rockchip RK3576 ساخته شده است. این پلتفرم شامل یک NPU با 6 TOPS و 4 گیگابایت حافظه LPDDR4 است و از همگام‌سازی در سطح میکروثانیه در چهار دوربین پشتیبانی می‌کند. کاربردهای مناسب شامل تشخیص و شناسایی رباتیک، VIO، SLAM و جمع‌آوری داده‌های EGO چند دوربینه است. این پلتفرم می‌تواند به عنوان پلتفرم سخت‌افزاری برای محاسبات سطح برد، پهنای باند و آزمایش‌های زمان‌بندی چند کاناله که در بالا توضیح داده شد، عمل کند. نمونه‌هایی برای ارزیابی اولیه پروژه در دسترس هستند و راه‌حل‌های کامل بینایی را می‌توان برای پشتیبانی از استقرار سفارشی کرد. با ما در [email protected] تماس بگیرید.