Колико ДДР меморије је потребан мулти-камера АИ систем визије? (Са табелом за избор РК3576)

Са брзим напредовањем апликација за визију вештачке интелигенције, решења са више камера (стерио, четворокамера и још више канала камера) широко су усвојена у сценаријама као што су стицање података, безбедносни надзор, индустријска инспекција, перцепција робота и рачунска рачунарска опрема. Многи пројекти упадају у заједничку капију током избора хардвера: фокусирајући се искључиво на рачунарску снагу чипа док превиђају конфигурацију меморије. Ово на крају доводи до проблема укључујући губитак кадра, кашњење ИИ закључка и колапсе система.

Да ли је већа ДДР меморија увек боља? Да, са перспективе перформанси и стабилности. Међутим, негативна страна је очигледна тешко за новчаник, посебно с обзиром на недавни пораст цена ДДР-а. Избалансирање трошкова према стварним захтевима пројекта постаје критично за избор решења.

Хајде да погледамо најчешћу капију у ДДР дизајнгу: у нормалним условима, употреба меморије може изгледати ниско, али може се повећати до врхунских вредности током избијања истовремено извршених задатака, што директно изазива колапсе система. Многи тимови користе просечну потрошњу меморије за процену хардвера. Узмите као пример широко коришћени сензор АР0234: једна 1080П камера троши скромну меморију у неактивној стању чекања. Ипак, када се покрене пуна цевина за снимање-ИСП-АИ закључвања-кодирање, његова пикова меморија може достићи десетине МБ по каналу. За 4К камеру, пик коришћења по каналу може бити већи од 100 МБ. Чак и обичан HTTP захтев конзумира неколико МБ по повезивању. Ови појединачни опћенити трошкови изгледају мало, али се брзо повећавају када се више камера и задатци истовремено активирају. Ово може изазвати OOM (Из меморије), што доводи до убијених процеса и неуспеха система.

Где се меморија троши у системима за визију АИ са више камера?

Меморија на уређајима за визуелно визуелисање се не користи искључиво од стране ИИ модела. Дели се на снимању слика, препроцесу, извођењу АИ, системским услугама и радним оптерећењима апликација. Поврхне трошкове меморије се повећавају са сваком додатном каменом.

1.Буфери слика (највећи извор накнаде) Сирови слике, УВ кадри и скалисани кадри који изводи свака камера троше меморију. За AR0234 који ради на 1080P @ 30fps, један једини YUV оквир заузима неколико МБ. Да би се спречили падања кадра, систем одржава буфере са више кадра, што додатно повећава меморијски траг. Генерација више варијанти слике (оригинал, малу слику, резан кадре) ствара додатне буфере кадре. Коришћење меморије се множи када се више камера истовремено емитује.

2.Препрерада ИСП-а и слике ИСП је независан хардверски акцелератор који обавља смањење буке, корекцију боје, корекцију искривљења, ротацију, резање и конверзију формата. ИСП садржи само ограничен кеш на чипу без складиштења фремова великог капацитета. Зато се за многе операције морају додељивати привремени буфери у ДДР-у. Више канала камера значи теже оптерећење ИСП-а и веће захтеве за ДДР капацитетом.

3.Памћење за ИИ модел инфузије ИИ закључак троши меморију у два дела. Прво су тежине модела: већи параметри модела резултирају већом потрошњом меморије. Срећом, тежевине се учитавају једном при иницијализацији модела; њихов меморијски отпечатак не расте са више канала или сценарија током радионика.

Да ли се меморија не утиче током фазе извода? Ни у чему. Ово нас доводи до друге компоненте: промењених буфера карактеристика генерисаних током закључења. Сваки канал камере захтева свој рачунарски буфер, повећавајући укупну употребу меморије. Синхронизована ИИ закључка преко више камера захтева више независних рачунарских буфера. Стога, више канала једнако је већи меморијски накнада за закључне буфере.

4.Систем, возач и средњи софтвер Узмите наше рјешење за визију РК3576 као пример. База системске меморије је потрошена од стране Линукс кернела, РК медија драйвера, РКМПП медија оквира, НПУ драйвера, системских дневника и покретајућих процеса. У распоређивању вишекамера, медијски оквири и видео кодирање (Х.264 / Х.265 снимање) додају значајно оптерећење меморије. Омогућавање вишеканалног кодирања и снимања изазива оштре додатне повећања притиска меморије.

Важно напоменуто: Ово се односи на радну меморију (DDR RAM), а не eMMC складиштење. eMMC чува само кодиране видео датотеке.

5.Примена -Склај пословне меморије Логика апликација, укључујући анализу резултата закључења, праћење више објеката, извештавање података, локално кеш и складиштење тренутних снимака, троши меморију. На пример, алгоритми за праћење чувају вишекадрске циљеве. Више камера и праћених објеката генерише веће скупове података и већу потрошњу меморије на нивоу апликација.

Учинке практичне меморије на платформи RK3576

РК3576 је домаћи процесор са 6 ТОПС-а NPU перформанси, погодан за распоређивање визије са више камера. Наша компанија има више зрелих производа за масовну производњу који подржавају од 1 до 6 канала камере како би одговарали различитим захтевима пројекта. 4 ГБ ДДР је главна конфигурација за масовно производње, док се алтернативне величине ДДР-а подржавају за различите оптерећења.

Следећи табела се односи на уобичајене сензоре 1080p-4K камера на тржишту:

Ако нисте сигурни у одговарајућу конфигурацију меморије, молимо вас да се обратите на [email protected]. Ми ћемо вам пружити прилагођену процену решења на основу броја канала, резолуције, пословне логике и радног оптерећења.