Олон камератай ИИ-харуул системд хэдэн ГБ DDR санах ой шаардагдах вэ? (RK3576-ийн сонголтын хүснэгттэй)

ИИ харах хэрэглээний хурдан хөгжилтэй холбоотойгоор олон камератай шийдлүүд (стерео, дөрвөн камератай, түүн илүү камератай каналууд) өгөгдлүүдийг цуглуулалт, аюулгүй бүсийн хяналт, үйлдвэрийн шинжилгээ, роботын мэдлэг, ирмүүдийн бодолт зэрэг салбаруудад өргөн хэрэглэж буй.

Илүү их DDR санах ой үүрд үүрд сайн вэ? Тийм, үзүүрлүүд болойн хувьд. Гэтэл нүүрсүүр тал нь тодорхой — урт хүртэлх зардал, гачигнай үүрд DDR үнэд үүрд өсөлт бүүрт.

DDR хэмжээний хамгийн түгээмүүр нүүрсүүр талыг үзүүрлүүд: өвөл санах ойн хэрэглээ нь хэвийн нөхцөлд бага мэт санагдаж болох ч зэрэгцэн үйл ажиллагаа явуулах үед дээд хэмжээний хэмжээг нэмэгдүүлж, систем мөхөж болно. Олон баг аппаратны үнэлгээний тулд дундаж санах ойн хэрэглээг ашигладаг. Жишээ нь, өргөн хэрэглэгддэг AR0234 мэдрэгч: 1080P камер нь нэг удаагийн бэлэн байдлын үед бага хэмжээний санах ойн хэрэглээтэй. Гэсэн хэдий ч, олборлолт-ISP-AI дүгнэлт коджуулалтын бүрэн хоолойг ажиллуулахдаа, дээд цэгт нь нэг суваг дээр хэдэн арван МБ хүрч болно. 4K камерын хувьд нэг суваг дахь дээд хэмжээний хэрэглээ 100 МБ-ийг давж болно. Хэдийгээр хэвийн HTTP хүсэлт нь нэг холболт бүрт хэд хэдэн МБ-ийг хэрэглэдэг. Эдгээр нэг нэг зардал бага мэт боловч хэд хэдэн камер, ажил зэрэг зэрэг идэвхжсэн тохиолдолд маш хурдан нэмэгддэг. Энэ нь OOM (Out-of-Memory) -ийг үүсгэж, процессыг устгах, системийн алдааг үүсгэж болно.

Олон камертай хиймэл оюун ухааны үзэл баримтлалын системд санах ойн хэрэглээ хаана байдаг вэ?

Хүчтэй хүрээлэнгүй харах төхөөрөмжүүд дээрх санах ойг зөвхөн ИИ загварууд ашигладаггүй. Түүнийг зургийн бүтээл, урьдчилан боловсруулалт, ИИ-ийн дүгнэлт, системийн үйлчилгээ ба програмын ачаалал хуваалцаж ашиглаж буй.

1. Зургийн буферууд (хамгийн том нэмэлт ачаалал) Нүүрнүүр камеруудаас гарч ирж буй шинэ зургууд, YUV кадрын дараалал ба масштабтлан хувиргасан кадрын дараалал санах ойг шаардаж буй. AR0234 камер 1080P@30fps хурдтай ажиллаж буй үед нэг YUV кадр хэдэн МБ санах ойг шаардаж буй. Кадр алдагдахыг саархуулахын тулд систем олон кадрын цагаан буферуудыг хадгалж буй, үүнээс санах ойн ачаалал нэмэгдэж буй. Олон зургийн хувилбарууд (оригинал, жижигхэн, хүрээлсэн кадрууд) үүсгэх нь нэмэлт кадр буферуудыг үүсгэж буй. Хэд хэдэн камер нэгэн зэрэг урсгалын зургуудыг дамжуулж буй үед санах ойн ашиглалт үржинт өсөж буй.

2. ISP ба зургийн урьдчилан боловсруулалтын нэмэлт ачаалал ISP нь дуу чимээг бууруулах, өнгөг засах, урвалыг засах, эргэлт, ургамал тавих, хэлбэрийг өөрчлөх үүрэгтэй хараат бус техник хангамжийн хурдац юм. ISP нь зөвхөн том хүчин чадалтай фрейм хадгалах боломжгүй хязгаарлагдмал чипэд байдаг. Тиймээс олон үйл ажиллагаанд түр буферүүдийг ДДР-д хуваарилах шаардлагатай. Цахим камерын олон суваг нь ISP-ийн ачаалал их, DDR-ийн хүчин чадал өндөр гэсэн үг юм.

3.Зуух ухаан нь хиймэл оюун ухааны загварын дүгнэлтэд Оюуны хиймэл оюун ухааны дүгнэлт нь санах оюуныг хоёр хэсэгт хувааж хэрэглэдэг. Эхнийх нь загварын жин: загварын томоохон параметр нь илүү өндөр санах ойн хэрэглээг бий болгодог. Дашрамд дурдахад, үлгэрийн эхлүүлэх үед жин нэг удаа ачаалагддаг; тэдгээрийн санах ойн эзлэх хүчин зүйл нь ажиллуулах үед илүү олон камерын суваг эсвэл дүрс төрхтэй өсөхгүй.

Дүгнэлтийн ажиллагааны үед санамсаргүй хүртээмүүр (RAM) хөндлөнгүй үлдмүү? Бүүхүү. Энэ нь бидний хоёрдугаар бүрдүүлэгч рүү шилжинэ: дүгнэлтийн үед үүсгэгдсэн дундаж шинж тэмдэгт буферууд. Нүүрнүүр камерийн хувьд тусдаа бүрлүүр тооцоолох буфер шаардлагатай, үүнээс нийт санамсаргүй хүртээмүүрийн хэрэглээ нэмэгдмүү. Олон камерийн хувьд цаг хугацааны хувьд зөвхөн нийлүүлсэн ИИ дүгнэлт нь олон тусдаа бүрлүүр тооцоолох буфер шаардлагатай. Түүнээс бүрлүүр тоо нэмэгдмүү — дүгнэлтийн буферуудын санамсаргүй хүртээмүүрийн ачаалал нэмэгдмүү.

4. Систем, жолоодогч програм, дундаж хөтөч програмын ачаалал Бидний RK3576 хараа шийдлийг жишээ болгож үзмүү. Үндсэн системийн санамсаргүй хүртээмүүр Linux ядро, RK медиа жолоодогч програмууд, RKMPP медиа хүрээ, НПУ жолоодогч програмууд, системийн бүртгэлүүд ба ажиллаж буй процессын хувьд хэрэглэгдмүү. Олон камерийн суурьлуудад медиа хүрээ ба видео кодировани (H.264 / H.265 бичлэг) нь илүү их санамсаргүй хүртээмүүрийн ачаалал үүсгмүү. Олон хувиргалтын кодировани ба бичлэг идэвхжүүлмүү нь санамсаргүй хүртээмүүрийн ачаалалд хүчтэр нэмэгдүүлмүү.

Чухал тэмдэглэл: Энэ нь ажиллах санамсаргүй хүртээмүүр (DDR RAM), eMMC хадгалах төхөөрөмж бүү.

5.Хэрэглээ - Бизнесийн санах ойн давхаргын Хэрэглээний логик нь дүгнэлт үр дүнгийн шинжилгээ, олон объектын хайлт, мэдээллийн тайланг гаргах, орон нутгийн кэш болон хялбар хувилбарыг хадгалах зэрэг нь санах ойг хэрэглэдэг. Жишээ нь, хайгуулын алгоритм нь олон зургийн зорилтот өгөгдлийг хадгалдаг. Илүү олон камер, хайсан объектууд нь илүү том өгөгдлийн багц, илүү өндөр хэрэглээний хэмжээнд санах ойн хэрэглээг бий болгодог.

RK3576 платформын практикийн санах ойн гүйцэтгэл

RK3576 нь олон камертай AI-vision-ийн нэвтрүүлэгт тохиромжтой 6 TOPS NPU гүйцэтгэлийг хүргэх үндэсний шилжих AI процессор юм. Манай компани нь янз бүрийн төслийн шаардлагыг хангахын тулд 1-6 камерын суваг дэмждэг олон хэмжээний боловсон хүчинтэй цуврал үйлдвэрлэлийн бүтээгдэхүүнтэй. 4 ГБ DDR нь олон нийтийн үйлдвэрлэлийн үндсэн хэлбэр бөгөөд өөр өөр DDR хэмжээг өөр өөр ачаалалд дэмждэг.

Доорх хүснэгт нь зах зээлд байдаг нийтлэг 1080p-4K камерын мэдрэгчдэд хамаарна:

Хэрэв та тохиромжтой санах ойн тохируулгатай холбоотойгоор эргэлзэж байгаа бол [email protected] хаягаар хандаарай. Бид камерын сувгийн тоо, шийдвэрлэх чадвар, бизнесийн логик, ажиллуулах цаг үеийн ачаалал дээр тулгуурлан тохируулсан шийдлийг үнэлэх болно.