Робот, ухаалаг камер, үйлдвэрлэлийн харааны терминал зэрэг олон суулгагдсан төхөөрөмжүүд одоо хиймэл оюун ухааны харааны алгоритмуудыг ажиллуулахын тулд NPU-г ашиглаж байна. NPU нь хиймэл оюун ухааны дүгнэлтэд зориулагдсан чип доторх техник хангамжийн нэгж юм.
Чип сонгохдоо олон багууд эхлээд түүний NPU TOPS үнэлгээг хардаг бөгөөд өндөр тоо нь илүү хүчирхэг чип гэсэн үг гэж үздэг. Практикт бүтээгдэхүүн хөгжүүлэлт нь хоёр ердийн асуудалтай тулгардаг:
Эхнийх нь тооцоолох хүчин чадал хангалтгүй байна. Төхөөрөмж нь бага фрэймийн хурдаар ажилладаг, видео гацдаг, олон камер нэгэн зэрэг ажиллахад фрэймүүд унадаг, мөн хиймэл оюун ухааны танилт ажиллахаа больдог.
Хоёр дахь нь хэт их багтаамж юм. Чип нь үнэтэй, илүү их эрчим хүч зарцуулж, их хэмжээний дулаан ялгаруулдаг. Ашиглагдаагүй тооцоолох хүчин чадал нь ашгийн хэмжээг бууруулдаг.
Инженерийн гол анхаарах зүйл бол олон суулгагдсан харааны төслүүдэд гүйцэтгэл нь NPU тооцооллын хүчин чадлаас илүүтэйгээр дүрс дамжуулалт, санах ойн зурвасын өргөн эсвэл CPU дээр суурилсан доош чиглэсэн боловсруулалтаар хязгаарлагддаг явдал юм.
Тооцооллын төлөвлөлт нь техникийн нэр томьёоны урт жагсаалт шаарддаггүй. Хоёр гол ойлголтыг ялгах нь чипийн үзүүлэлтүүд төөрөгдөлд орохоос сэргийлдэг.
Чип үйлдвэрлэгчдийн сурталчилж буй TOPS тоо нь онолын хувьд хамгийн их тооцооллын гүйцэтгэл юм: NPU нь хамгийн тохиромжтой лабораторийн нөхцөлд бүрэн ачаалалтай үед хүрч чадах хамгийн их боловсруулах чадвар. Бүтээгдэхүүний загварт багтаамж шаардлагатай тул хамгийн их гүйцэтгэлийг хэмжээг тодорхойлоход шууд ашиглах боломжгүй.
Бид хиймэл оюун ухааны загварын тооцооллын ажлын ачааллыг үнэлэхийн тулд GMAC ашигладаг. MAC нь үндсэн үржүүлэх-хуримтлуулах үйлдэл бөгөөд GMAC нь нэг тэрбум ийм үйлдлийг илэрхийлдэг. Энэ нь загвар дахь тооцооллын хэмжээг хэмждэг. GMAC нь ажлын ачааллыг хэмждэг бол GMAC/s нь дамжуулах чадварыг хэмждэг гэдгийг анхаарна уу. Том загварууд нь GMAC-ийн өндөр утгатай байдаг.
NPU ашиглалт нь тогтмол тогтмол биш юм. Энэ нь үр дүнтэй тооцоололд ашигласан NPU багтаамжийн эзлэх хувийг илэрхийлнэ. VIO урд төгсгөлүүд эсвэл хөнгөн илрүүлэх загварууд гэх мэт энгийн мушгирсан сүлжээнүүдийн хувьд энгийн операторууд болон чипийн нарийвчилсан оновчлол нь 60%-80% ашиглалтыг бий болгож чадна. Нарийн төвөгтэй хувиргалт эсвэл Трансформаторын блокуудыг агуулсан загварууд нь давтан хавтанцар гүйцэтгэлийг шаардаж, ашиглалтыг 20% эсвэл бүр багасгаж болно.
40%-ийн тогтмол ашиглалтын түвшинг хэрэглэх нь буруу тооцооллын гол шалтгаан болдог. Нарийвчлал нь ажлын ачаалалд шууд нөлөөлдөг: оролтын зургийн өргөн ба өндрийг хоёр дахин нэмэгдүүлэх нь түүний талбайг дөрөв дахин, ижил загварын тооцооллыг ойролцоогоор дөрөв дахин нэмэгдүүлдэг.
TOPS нь зөвхөн техник хангамжийн дээд хязгаар юм. Загварын GMAC ажлын ачааллаар тооцооллыг эхлүүлж, тэдгээрийг хөгжүүлэлтийн самбар дээрх хэмжилтүүдтэй харьцуулан тохируулна уу. Чипийг зөвхөн онолын оргил гүйцэтгэлээр нь сонгож болохгүй.
Тооцооллын шаардлагыг тооцоолохоос өмнө бүтээгдэхүүний ажлын ачааллыг зураглана уу. Чухал ялгаа нь олон камер зэрэгцээ дүгнэлт эсвэл цаг хугацаагаар хуваалцсан, тойрог хэлбэрийн дүгнэлтийг ашиглах эсэх явдал юм, учир нь энэ нь тэдгээрийн тооцооллын шаардлагыг хэрхэн нэгтгэхийг тодорхойлдог.
Зэрэгцээ горим: Бүх камерууд нэгэн зэрэг хиймэл оюун ухааны дүгнэлтийг ажиллуулдаг тул тэдгээрийн тооцооллын шаардлагыг шууд нэмдэг. Жишээлбэл, суваг бүр дээр секундэд 30 фрэймээр бодит цагийн объект илрүүлэлт хийдэг дөрвөн камертай аюулгүй байдлын төхөөрөмж нь бүх дөрвөн сувгийн ачааллыг нэгтгэдэг.
Цаг хуваалцах горим: NPU нь камерын зургийг дараалан боловсруулдаг, сувгууд дараалалд ээлжлэн орох үед нэг сувгийг нэг дор зохицуулдаг хуваалцсан техник хангамжийн нөөц юм. Rockchip RK платформ дээрх олон камерын харааны хэрэгжүүлэлтүүд энэ аргыг ашигладаг.
Ажлын ачааллыг тодорхойлохдоо дараах мэдээллийг цуглуулна уу.
Камер бүрийн нягтрал болон фрэймийн хурд.
Хиймэл оюун ухааны загваруудын жагсаалт: аль загварууд NPU дээр ажилладаг, аль дараах боловсруулалтын ажлууд CPU дээр ажилладаг.
Квантын нарийвчлал: INT8 нь өндөр дүгнэлтийн үр ашигтай тул суулгагдсан төхөөрөмжүүдийн хувьд гол сонголт юм.
Триггерлэх арга: фрэйм бүр дээр тасралтгүй хиймэл оюун ухааны боловсруулалт, эсвэл нарийн төвөгтэй алгоритмууд зөвхөн триггерийн нөхцөл хангагдсан үед л эхэлдэг үйл явдлаар өдөөгдсөн үйлдэл.
Чухал: GMAC загварыг туршлагаасаа тооцоолж тооцоолохын оронд RKNN эсвэл ONNX Runtime зэрэг хэрэгслүүдийг ашиглан экспортлох. Хөнгөн VIO сүлжээний хэмжээг тодорхойлохын тулд том YOLO загварын ажлын ачааллыг ашиглах нь тооцооллын шаардлагыг хэт өндөр үнэлэхэд хүргэж болзошгүй юм.
Манай MV11 нь өндөр хүчин чадалтай Rockchip RK3576 процессор дээр суурилсан дөрвөн камертай техник хангамжийн синхрончлогдсон хараа болон инерцийн навигацийн нэгдлийн тооцооллын платформ юм. Энэ нь 6 TOPS NPU болон 4 GB LPDDR4 санах ойтой бөгөөд дөрвөн камер хооронд микросекундын түвшний синхрончлолыг дэмждэг. Тохиромжтой хэрэглээнд робот таних, илрүүлэх, VIO, SLAM болон олон камертай EGO өгөгдөл цуглуулах зэрэг орно. Энэ нь дээр дурдсан самбарын түвшний тооцоолол, зурвасын өргөн болон олон сувгийн хуваарь гаргах туршилтын техник хангамжийн платформ болж чадна. Төслийн эрт үнэлгээнд зориулж дээж авах боломжтой бөгөөд бүрэн харааны шийдлүүдийг байршуулалтыг дэмжих зорилгоор өөрчилж болно. [email protected] хаягаар бидэнтэй холбогдоно уу.
Олон төслүүд сонгон шалгаруулалтын үеэр зөвхөн NPU ТОП-уудад анхаарлаа хандуулдаг бөгөөд дараа нь удирдах зөвлөлийн хурлын үеэр NPU-ийн хүчин чадлын талаас илүү хувь нь хэвээр байгаа ч систем хөл нийлүүлж чадахгүй байгааг олж мэддэг. Дараах хязгаарлалтууд нь суулгагдсан харааны нийтлэг саад тотгорууд юм.
Хиймэл оюун ухааны дүгнэлтийн үед NPU нь санах ойгоос зураг болон загварын жинг тасралтгүй уншиж, завсрын онцлог шинж чанарын зургийг санах ой руу буцааж бичдэг. DDR зурвасын өргөн нь эдгээр дамжуулалтын хурдыг тодорхойлдог. Зурвасын өргөн хангалтгүй үед хангалттай тооцоолох хүчин чадалтай NPU ч гэсэн өгөгдлийг хүлээх ёстой бөгөөд энэ нь фрэймийн хурд сайжрахаас сэргийлдэг. RK платформ дээрх ихэнх олон камертай төслүүдэд зурвасын өргөн ханагддаг бол NPU-ийн хүчин чадлын зөвхөн багахан хэсгийг ашигладаг.
Зургийн буфер, хиймэл оюун ухааны загварын жин болон завсрын функцын газрын зураглалууд бүгд санах ойг ашигладаг. Олон суваг нэгэн зэрэг ажиллах үед санах ойн хэрэглээ мэдэгдэхүйц нэмэгддэг. Хангалттай санах ой байхгүй тохиолдолд програмыг гацаж болзошгүй. Суулгагдсан төхөөрөмжүүд ерөнхийдөө виртуал санах ойгүй байдаг тул санах ойгүй болох (OOM) нөхцөл байдал нь төхөөрөмжийг зогсооход хүргэдэг.
Камераар авсан түүхий зургуудыг тайрах, масштаблах, өнгөний орон зайг хөрвүүлэх шаардлагатай. Зарим урьдчилсан боловсруулалтыг ISP-ийн техник хангамж гүйцэтгэдэг бол зарим нь CPU-ийн нөөцийг ашигладаг. Олон камертай худалдан авалт нь урьдчилсан боловсруулалтын эрэлтийг нэмэгдүүлж, NPU идэвхгүй байсан ч дамжуулах хоолойд саатал үүсгэж болзошгүй.
Чипийн зар сурталчилгааны оргил TOPS нь оргил эрчим хүчний хэрэглээтэй тохирч байна. Ихэнх суулгагдсан төхөөрөмжүүд нь сэнсгүй бөгөөд NPU-ийн бүрэн ачааллыг удаан хугацаанд тэсвэрлэж чаддаггүй. Онолын тооцоолох хүчин чадал өндөр байсан ч дулааны нөхцөл байдал нь тогтвортой ажиллах хүчин чадлыг хязгаарладаг.
Хэрэв хиймэл оюун ухааны загвар нь NPU-ийн хурдасгаж чадахгүй тусгай операторуудыг агуулдаг бол тэдгээр нь CPU-ийн гүйцэтгэл рүү шилждэг. CPU дээрх хиймэл оюун ухааны боловсруулалт удаан бөгөөд NPU-ийн багтаамж хангалттай байсан ч дамжуулах хоолойг ноцтойгоор гацааж болзошгүй. Платформ сонгохоосоо өмнө операторын хурдасгуурын дэмжлэгийг шалгана уу.
1. Ажлын ачааллын суурь болон ажиллах горимыг тогтооно. Хиймэл оюун ухааны дамжуулах хоолойг тодорхойлно уу: нягтрал, фрэймийн хурд, сувгийн тоо, триггерийн стратеги (тасралтгүй эсвэл үйл явдалд суурилсан), зэрэгцээ эсвэл цаг хугацаагаар гүйцэтгэл, загварын жагсаалт болон байршуулалтын нарийвчлал. Олон сувгийг хэрхэн хуваарилж байгаад онцгой анхаарал хандуулна уу.
2. Загварын ажлын ачааллыг тоон үзүүлэлтээр тодорхойлж, GMAC/s экспортлох. NPU-хурдасгасан тооцооллыг CPU-ийн дараах боловсруулалтаас тусгаарлаж, загвар бүрийн GMAC/s экспортлох хэрэгслүүдийг ашиглах.
3. Гүйцэтгэлийн үр ашгийг тодорхойлохын тулд зорилтот самбар дээр хэмжилт хийнэ. Загваруудыг RK3576 эсвэл RK3588 гэх мэт нэр дэвшигч SoC дээрх платформ формат руу хөрвүүлнэ. Тухайн NPU дээрх загварын бодит нэвтрүүлэх чадварыг тодорхойлохын тулд хүрээ тус бүрийн дүгнэлтийн хугацааг хэмжинэ. Энэ бол цаасан тооцооллын зөрүүг арилгах хамгийн чухал алхам юм: бүх тооцооллыг ерөнхий томъёоны оронд самбарын түвшний хэмжилтүүдтэй харьцуулан тохируулах ёстой.
4. Олон сувгийн ажлын ачааллыг нэгтгэж, системийн саад бэрхшээлийг үнэлэх. Бүх суваг нэгэн зэрэг ажиллах үед хэвийн тогтвортой төлөвийн ажиллагаа болон хамгийн муу оргил үеийг хоёуланг нь үнэлэх. DDR зурвасын өргөн болон санах ойн ашиглалтыг нэгэн зэрэг шалгах. Олон RK олон камертай төслүүд нь тооцоолох хүчин чадал хэвээр байх үед зурвасын өргөнийг шавхдаг.
5. Зохих хэмжээний зайг нөөцөлж, хязгаарыг тогтооно. Ихэвчлэн тогтмол алгоритмтай богино хугацааны бүтээгдэхүүний хувьд 1.1–1.2, загварын шинэчлэлтийг хүлээн авахаар хүлээгдэж буй бүтээгдэхүүний хувьд 1.3–1.4 гэсэн хязгаарыг ашиглана уу. Хэмжээ нь дур зоргоороо хэт их нөөцлөхийн оронд загварын хувьсал, оргил үеийн хувилбарууд болон нэмэлт зардлыг хуваарилахыг хамрах ёстой. Үндсэн хөрөнгийн зардал болон эрчим хүчний хязгаарыг нэгэн зэрэг тогтооно.
6.1 Зөвхөн чиптэй TOPS болон тогтмол ашиглалтын түвшин ашиглах
Зарлагдсан TOPS-д тогтмол 40%-ийн ашиглалтын түвшинг хэрэглэх нь тооцооллын шаардлагыг хэд дахин хэт үнэлж, бодит инженерийн нөхцлөөс мэдэгдэхүйц ялгаатай байж болно. Ашиглалт нь загвар болон NPU архитектурт харилцан адилгүй байдаг.
6.2 Сувгийн тоогоор үржүүлэх болон цаг хуваалцахыг үл тоомсорлох
Цаг хугацаа хуваалцах үйл ажиллагааны үед NPU нь сувгуудыг ээлжлэн боловсруулдаг бөгөөд түүний тооцоолох хүчин чадлыг дахин ашигладаг. Сувгийн тоог нэг сувгийн тооцоолох эрэлтээр үржүүлэхэд л шаардлагыг хэт өндөр үнэлж, хэт хүчирхэг, шаардлагагүй үнэтэй чип үүсгэдэг.
6.3 NPU тооцооллыг үнэлэх боловч DDR зурвасын өргөнийг үл тоомсорлох
Олон камертай харааны төслүүдэд зурвасын өргөний саад бэрхшээл нь тооцооллын саад бэрхшээлээс хамаагүй илүү түгээмэл байдаг. NPU нь ихээхэн хэмжээний багтаамжтай байж болох ч өгөгдөл дамжуулалт нь гүйцэж чадахгүй тул фрэймийн хурдыг хязгаарладаг. Олон камертай төслүүдэд зурвасын өргөний хэмжээг эхлээд үнэлэх ёстой.
6.4 Дундаж ачааллыг харгалзан үзэх боловч түр зуурын оргилуудыг үл тоомсорлох
Бүтээгдэхүүн ихэнх тохиолдолд бага ачаалалтай ажиллаж болох ч бүх камерууд нэгэн зэрэг хиймэл оюун ухааныг идэвхжүүлэх үед түр зуурын оргил үеийг мэдэрч болно. Дизайн нь эдгээр оргил үеийг харгалзан үзэх ёстой боловч даалгаврын дараалал нь түр зуурын эрэлтийг жигд болгож чаддаг тул чипийг оргил тооцооллын эрэлтэд шууд тохируулах шаардлагагүй.
6.5 Зөвхөн тоолох загварын тооцоолол ба системийн нэмэлт зардлыг үл тоомсорлох
Олон тооцоололд зөвхөн хиймэл оюун ухааны гол тулгуурын GMAC-г тооцдог бөгөөд ISP-ийн урьдчилсан боловсруулалт, зураг хуулбарлах болон CPU-ийн дараах боловсруулалтыг үл тоомсорлодог. Хангалттай NPU хүчин чадалтай байсан ч эдгээр нэмэлт зардал нь төгсгөлөөс төгсгөл хүртэлх хоцрогдолыг нэмэгдүүлж, хүлээгдэж буй фрэймийн хурдад хүрэхээс сэргийлдэг.
Камерын бүх параметрүүдийг жагсаан бичнэ үү: нягтрал, кадрын хурд болон сувгийн тоо. Сувгууд зэрэгцээ эсвэл цаг хуваалцсан хуваарь ашиглаж байгаа эсэхийг баталгаажуулна уу.
Загвар бүрийн GMAC-г экспортлох ба NPU тооцооллыг CPU-ийн дараах боловсруулалтаас ялгах.
Бодит гүйцэтгэлийн үр ашгийг тогтоохын тулд нэр дэвшигч платформууд дээр дан загварын дүгнэлтийн хугацааг хэмжих.
Тогтвортой төлөв болон оргил үеийн нөхцөлд олон сувгийн ажлын ачааллыг нэгтгэж, NPU тооцооллын ашиглалтыг үнэлэх.
Зурвасын өргөн нь саад тотгор болж байгаа эсэхийг тодорхойлохын тулд DDR зурвасын өргөн болон санах ойн хэрэглээг хэмжинэ үү.
CPU-ийн эвдрэлээс зайлсхийхийн тулд загварын операторуудыг баталгаажуулж, NPU техник хангамжийн хурдатгалын дэмжлэгийг баталгаажуулна уу.
Бүтээгдэхүүний шинэчлэлтийн замын зургийн дагуу тооцооллын зайг нөөцөлж, үндсэн хөрөнгийн зардал болон эрчим хүчний хязгаарыг тогтооно уу.
Олон сувгийн триггерүүдтэй нэгэн зэрэг өргөтгөсөн стресс тестүүдийг ажиллуул. Санах ойн хомсдолоос үүдэлтэй фрэймийн хурдны хэлбэлзэл болон гацалтыг шалгана уу.
Суулгагдсан харааны хувьд NPU багтаамжийн хэмжээг тодорхойлох нь TOPS томъёог хэрэглэх энгийн математикийн дасгал биш юм. Цаасан дээрх тооцоо нь зөвхөн эрт төлөвлөлтийн лавлагаа өгдөг. Эцсийн баталгаажуулалтыг зорилтот чипийн хөгжүүлэлтийн самбар дээр хийх ёстой.
Бүрэн үнэлгээг дараах дарааллаар хийнэ: тооцоолол нь саад тотгор эсэхийг тодорхойлох → зэрэгцээ эсвэл цаг хугацаагаар хуваарилагдсан хуваарийг баталгаажуулах → GMAC загварыг хэмжих → DDR зурвасын өргөний үнэлгээг эрэмбэлэх → самбарын түвшний туршилтаар тохируулга хийх → тохирох тооцооллын зайг нөөцлөх.
Зорилго нь гүйцэтгэл, эрчим хүчний хэрэглээ болон өртгийг тэнцвэржүүлэх явдал юм. NPU ТОП-ын оргил үеийг улам өндөр байлгахын оронд уг ажилд хангалттай хүчин чадлыг сонгох.
Манай MV11 нь өндөр хүчин чадалтай Rockchip RK3576 процессор дээр суурилсан дөрвөн камертай техник хангамжийн синхрончлогдсон хараа болон инерцийн навигацийн нэгдлийн тооцооллын платформ юм. Энэ нь 6 TOPS NPU болон 4 GB LPDDR4 санах ойтой бөгөөд дөрвөн камер хооронд микросекундын түвшний синхрончлолыг дэмждэг. Тохиромжтой хэрэглээнд робот таних, илрүүлэх, VIO, SLAM болон олон камертай EGO өгөгдөл цуглуулах зэрэг орно. Энэ нь дээр дурдсан самбарын түвшний тооцоолол, зурвасын өргөн болон олон сувгийн хуваарь гаргах туршилтын техник хангамжийн платформ болж чадна. Төслийн эрт үнэлгээнд зориулж дээж авах боломжтой бөгөөд бүрэн харааны шийдлүүдийг байршуулалтыг дэмжих зорилгоор өөрчилж болно. [email protected] хаягаар бидэнтэй холбогдоно уу.
Дуудлага2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
