ظرفیت حافظهٔ DDR مورد نیاز برای سیستم‌های چنددوربینی هوش مصنوعی بینایی چقدر است؟ (با جدول انتخاب RK3576)

با پیشرفت سریع کاربردهای بینایی هوش مصنوعی، راه‌حل‌های چنددوربینی (دو دوربینی، چهار دوربینی و حتی بیشتر) به‌طور گسترده در سناریوهایی مانند جمع‌آوری داده‌ها، نظارت امنیتی، بازرسی صنعتی، ادراک ربات‌ها و محاسبات لبه‌ای به‌کار گرفته شده‌اند. بسیاری از پروژه‌ها در فرآیند انتخاب سخت‌افزار در تله‌ای رایج قرار می‌گیرند: تمرکز صرفاً بر توان پردازشی تراشه و صرف‌نظر کردن از پیکربندی حافظه. این امر در نهایت منجر به مشکلاتی مانند از دست رفتن فریم‌ها، تأخیر در استنتاج هوش مصنوعی و خرابی سیستم می‌شود.

آیا حافظهٔ DDR بزرگ‌تر همیشه بهتر است؟ بله، از دید عملکرد و پایداری. با این حال، معایب آن واضح است — فشار زیادی بر بودجه وارد می‌کند، به‌ویژه با توجه به افزایش اخیر قیمت‌های DDR. در نتیجه، تعادل بین هزینه و نیازهای واقعی پروژه برای انتخاب راه‌حل بسیار حیاتی می‌شود.

بیایید شایع‌ترین اشتباه در تعیین اندازهٔ DDR را بررسی کنیم: مصرف حافظه در شرایط عادی ممکن است کم به نظر برسد، اما در هنگام اجرای همزمان وظایف متعدد، به‌طور ناگهانی افزایش یافته و مستقیماً باعث خرابی سیستم می‌شود. بسیاری از تیم‌ها برای ارزیابی سخت‌افزار از میانگین مصرف حافظه استفاده می‌کنند. به عنوان مثال، سنسور رایج AR0234 را در نظر بگیرید: یک دوربین ۱۰۸۰P در حالت بیداری بدون فعالیت، حافظه‌ای کمی مصرف می‌کند. با این حال، هنگام اجرای کامل خط لولهٔ «ضبط–پردازش تصویر (ISP)–استنتاج هوش مصنوعی–فشرده‌سازی»، حداکثر مصرف حافظهٔ آن می‌تواند به ده‌ها مگابایت در هر کانال برسد. برای یک دوربین ۴K، حداکثر مصرف حافظهٔ هر کانال ممکن است از ۱۰۰ مگابایت فراتر رود. حتی یک درخواست معمولی HTTP نیز برای هر اتصال، چند مگابایت حافظه مصرف می‌کند. این افزایش‌های جزئی به نظر کوچک می‌آیند، اما زمانی که چندین دوربین و وظیفه به‌طور همزمان فعال شوند، به‌سرعت تجمع یافته و ممکن است منجر به خطای OOM (کمبود حافظه) شوند؛ که در نتیجهٔ آن فرآیندها پایان یافته و سیستم دچار خرابی می‌شود.

در سیستم‌های چنددوربینی بینایی مبتنی بر هوش مصنوعی، حافظه در کجا مصرف می‌شود؟

حافظهٔ دستگاه‌های بینایی لبه تنها برای مدل‌های هوش مصنوعی استفاده نمی‌شود. این حافظه توسط فرآیندهای دریافت تصویر، پیش‌پردازش، استنتاج هوش مصنوعی، سرویس‌های سیستم و بارهای کاربردی به اشتراک گذاشته می‌شود. هزینهٔ حافظه با افزودن هر کانال دوربین دیگر افزایش می‌یابد.

۱. بافرهای تصویر (بزرگ‌ترین منبع هزینهٔ حافظه) تصاویر خام، فریم‌های YUV و فریم‌های مقیاس‌شدهٔ تولیدشده توسط هر دوربین، حافظه را اشغال می‌کنند. برای سنسور AR0234 در وضوح ۱۰۸۰P و نرخ ۳۰ فریم بر ثانیه، یک فریم YUV تکی چند مگابایت حافظه مصرف می‌کند. برای جلوگیری از افت فریم، سیستم از بافرهای حلقه‌ای چندفریمی استفاده می‌کند که این امر حجم کلی حافظهٔ مورد نیاز را بیشتر می‌کند. تولید انواع مختلف تصویر (اصلی، بندانگشتی، فریم‌های برش‌خورده) بافرهای اضافی فریم ایجاد می‌کند. هنگامی که چندین دوربین همزمان جریان تصویر ارسال می‌کنند، مصرف حافظه چندین برابر می‌شود.

۲. هزینهٔ پردازش سیگنال تصویر (ISP) و پیش‌پردازش تصویر پردازندهٔ تصویر (ISP) یک شتاب‌دهندهٔ سخت‌افزاری مستقل است که عملیات کاهش نویز، اصلاح رنگ، اصلاح اعوجاج، چرخش، برش و تبدیل فرمت را انجام می‌دهد. این پردازنده تنها دارای حافظهٔ کش داخلی محدودی است و فاقد حافظهٔ قاب با ظرفیت بالا می‌باشد. بنابراین برای بسیاری از عملیات، بافرهای موقت باید در حافظهٔ DDR تخصیص داده شوند. تعداد بیشتر کانال‌های دوربین به معنای بار کاری سنگین‌تر برای ISP و نیاز به ظرفیت بالاتری از حافظهٔ DDR است.

۳. حافظهٔ مورد نیاز برای استنتاج مدل هوش مصنوعی استنتاج هوش مصنوعی حافظه را در دو بخش مصرف می‌کند. اولین بخش وزن‌های مدل است: پارامترهای بزرگ‌تر مدل منجر به مصرف حافظهٔ بیشتر می‌شوند. خوشبختانه وزن‌ها تنها یک‌بار در زمان راه‌اندازی مدل بارگذاری می‌شوند؛ بنابراین اثر آن‌ها بر مصرف حافظه در طول اجرا با افزایش تعداد کانال‌های دوربین یا تغییر سناریوها افزایش نمی‌یابد.

آیا حافظه در طول فاز اجراي استنتاج تحت تأثیر قرار نمی‌گیرد؟ اصلاً خیر. این موضوع ما را به مؤلفهٔ دوم می‌رساند: بافرهای ویژگی میانی که در طول اجرای استنتاج تولید می‌شوند. هر کانال دوربین به بافر محاسباتی جداگانه‌ای نیاز دارد که منجر به افزایش کلی مصرف حافظه می‌شود. اجرای همزمان هوش مصنوعی روی چندین دوربین، نیازمند چندین بافر محاسباتی مستقل است. بنابراین، تعداد بیشتر کانال‌ها، بار اضافی حافظهٔ مربوط به بافرهای استنتاج را افزایش می‌دهد.

۴. سربار سیستم، درایور و میان‌افزار به عنوان مثال، راه‌حل بینایی RK3576 ما را در نظر بگیرید. حافظهٔ پایهٔ سیستم توسط هستهٔ لینوکس، درایورهای رسانه‌ای RK، چارچوب رسانه‌ای RKMPP، درایورهای NPU، سوابق سیستم و فرآیندهای در حال اجرا مصرف می‌شود. در پیاده‌سازی‌های چنددوربینی، چارچوب‌های رسانه‌ای و رمزگذاری ویدئو (ضبط H.264 / H.265) بار حافظه‌ای قابل توجهی ایجاد می‌کنند. فعال‌سازی رمزگذاری و ضبط چندکاناله، افزایش تشدیدشده‌ای در فشار حافظه ایجاد می‌کند.

یادداشت مهم: این اشاره به حافظهٔ کاری (RAM DDR) دارد، نه به ذخیره‌سازی eMMC. eMMC تنها فایل‌های ویدئویی رمزگذاری‌شده را ذخیره می‌کند.

5.کاربرد -لایهٔ حافظهٔ کسب‌وکار منطق برنامه‌ها از جمله تفسیر نتایج استنتاج، ردیابی چندشیء‌ای، گزارش‌دهی داده‌ها، ذخیره‌سازی موقت محلی و ذخیره‌سازی تصاویر لحظه‌ای، مصرف‌کنندهٔ حافظه هستند. به‌عنوان مثال، الگوریتم‌های ردیابی داده‌های هدف را در چندین فریم ذخیره می‌کنند. تعداد بیشتر دوربین‌ها و اشیاءٔ ردیابی‌شده، مجموعه‌داده‌های بزرگ‌تری ایجاد کرده و مصرف حافظه در سطح برنامه را افزایش می‌دهند.

عملکرد عملی حافظه روی پلتفرم RK3576

RK3576 یک پردازندهٔ هوش مصنوعی لبه‌ای داخلی رایج با عملکرد ۶ توپس در واحد پردازش عصبی (NPU) است و برای پیاده‌سازی‌های چنددوربینی هوش مصنوعی بینایی بسیار مناسب است. شرکت ما محصولات بالغ و انبوه متعددی دارد که از ۱ تا ۶ کانال دوربین پشتیبانی می‌کنند تا نیازهای مختلف پروژه‌ها را برآورده سازند. ۴ گیگابایت DDR پیکربندی رایج انبوه است، درحالی‌که اندازه‌های جایگزین DDR نیز برای بارهای کاری متفاوت پشتیبانی می‌شوند.

جدول زیر برای سنسورهای رایج دوربین ۱۰۸۰p تا ۴K در بازار قابل اعمال است:

اگر در مورد پیکربندی مناسب حافظه مطمئن نیستید، لطفاً با آدرس ایمیل [email protected] تماس بگیرید. ما ارزیابی راه‌حل سفارشی‌سازی‌شده‌ای را بر اساس تعداد کانال‌های دوربین، وضوح تصویر، منطق کسب‌وکار و بار کاری زمان اجرا ارائه خواهیم داد.