रोबोट, स्मार्ट कॅमेरे आणि औद्योगिक व्हिजन टर्मिनल्ससह अनेक एम्बेडेड उपकरणे, आता एआय व्हिजन अल्गोरिदम चालवण्यासाठी एनपीयू वापरतात. एनपीयू हे चिपमधील एक हार्डवेअर युनिट आहे जे एआय इन्फरन्ससाठी समर्पित असते.
चिप निवडताना, अनेक टीम्स प्रथम त्याचे NPU TOPS रेटिंग पाहतात आणि असा समज करून घेतात की जास्त आकडा म्हणजे अधिक शक्तिशाली चिप. प्रत्यक्षात, उत्पादन विकासात दोन सामान्य समस्या येतात:
पहिली गोष्ट म्हणजे अपुरी संगणकीय क्षमता. डिव्हाइस कमी फ्रेम रेटवर चालते, व्हिडिओ अडखळतो, एकाच वेळी अनेक कॅमेरे चालू असताना फ्रेम्स वगळल्या जातात आणि एआय ओळख अयशस्वी होऊ शकते.
दुसरी गोष्ट म्हणजे अतिरिक्त क्षमता. चिप महाग असते, जास्त वीज वापरते आणि मोठ्या प्रमाणात उष्णता निर्माण करते. न वापरलेली संगणकीय क्षमता नफ्याचे प्रमाण कमी करते.
एक प्रमुख अभियांत्रिकी विचार असा आहे की, अनेक एम्बेडेड व्हिजन प्रकल्पांमध्ये, कार्यप्रदर्शन हे NPU च्या संगणकीय क्षमतेऐवजी प्रतिमा हस्तांतरण, मेमरी बँडविड्थ किंवा CPU-आधारित डाउनस्ट्रीम प्रक्रियेमुळे मर्यादित असते.

संगणकीय नियोजनासाठी तांत्रिक संज्ञांच्या लांबलचक यादीची आवश्यकता नसते. दोन प्रमुख संकल्पनांमधील फरक स्पष्ट केल्याने चिपची वैशिष्ट्ये दिशाभूल करणारी होण्यापासून रोखण्यास मदत होते.
चिप विक्रेत्यांद्वारे जाहिरात केलेला TOPS आकडा हा सैद्धांतिक सर्वोच्च संगणकीय कार्यक्षमता असतो: म्हणजेच, आदर्श प्रयोगशाळेतील परिस्थितीत पूर्ण भाराखाली असताना NPU साध्य करू शकणारी कमाल प्रक्रिया क्षमता. उत्पादनाच्या डिझाइनमध्ये अधिक लवचिकतेची आवश्यकता असते, त्यामुळे आकार निश्चित करण्यासाठी सर्वोच्च कार्यक्षमतेचा थेट वापर केला जाऊ शकत नाही.
आम्ही एआय मॉडेलच्या संगणकीय कार्यभाराचे मूल्यांकन करण्यासाठी जीएमएसी (GMAC) वापरतो. एमएसी (MAC) ही एक मूलभूत गुणाकार-संचयन क्रिया आहे, आणि जीएमएसी अशा एक अब्ज क्रिया दर्शवते. ते मॉडेलमधील गणनेचे प्रमाण मोजते. लक्षात घ्या की जीएमएसी कार्यभार मोजते, तर जीएमएसी/सेकंद थ्रुपुट मोजते. मोठ्या मॉडेल्समध्ये जीएमएसीची मूल्ये जास्त असतात.
NPU चा वापर हा एक स्थिर स्थिरांक नाही. तो प्रभावी गणनेसाठी वापरल्या जाणाऱ्या NPU क्षमतेचे प्रमाण दर्शवतो. VIO फ्रंट एंड्स किंवा लाइटवेट डिटेक्शन मॉडेल्ससारख्या साध्या कन्व्होल्यूशनल नेटवर्क्ससाठी, साधे ऑपरेटर्स आणि संपूर्ण चिप ऑप्टिमायझेशनमुळे ६०%–८०% पर्यंत वापर मिळू शकतो. जटिल ट्रान्सफॉर्मेशन्स किंवा ट्रान्सफॉर्मर ब्लॉक्स असलेल्या मॉडेल्सना वारंवार टाइल्ड एक्झिक्यूशनची आवश्यकता भासू शकते, ज्यामुळे वापर २०% किंवा त्याहूनही कमी होतो.
४०% चा निश्चित वापर दर लागू करणे हे चुकीच्या अंदाजांचे एक प्रमुख कारण आहे. रिझोल्यूशनचा देखील वर्कलोडवर थेट परिणाम होतो: इनपुट इमेजची रुंदी आणि उंची दोन्ही दुप्पट केल्यास तिचे क्षेत्रफळ चौपट होते आणि त्याच मॉडेलसाठी लागणारी गणना देखील अंदाजे चौपट होते.
TOPS ही केवळ हार्डवेअरची कमाल मर्यादा आहे. मॉडेलच्या GMAC वर्कलोडनुसार गणनेचे अंदाज सुरू करा आणि डेव्हलपमेंट बोर्डवरील मोजमापांच्या आधारे ते कॅलिब्रेट करा. केवळ सैद्धांतिक सर्वोच्च कामगिरीच्या आधारावर चिपची निवड करू नका.
संगणकीय गरजांचा अंदाज लावण्यापूर्वी, उत्पादनाच्या कार्यभाराची रूपरेषा तयार करा. महत्त्वाचा फरक हा आहे की अनेक कॅमेरे समांतर अनुमान (parallel inference) वापरतात की वेळ-सामायिक, फेरी-रॉबिन अनुमान (time-shared, round-robin inference), कारण यावरूनच त्यांच्या संगणकीय गरजा कशा एकत्रित केल्या जातील हे ठरते.
पॅरलल मोड: सर्व कॅमेरे एकाच वेळी एआय इन्फरन्स चालवतात, त्यामुळे त्यांच्या संगणकीय गरजा थेट जोडल्या जातात. उदाहरणार्थ, चार कॅमेऱ्यांचे एक सुरक्षा उपकरण, जे प्रत्येक चॅनलवर प्रति सेकंद ३० फ्रेम्सच्या वेगाने रिअल-टाइम ऑब्जेक्ट डिटेक्शन करते, ते चारही चॅनल्सचा भार एकत्रित करते.
टाइम-शेअर्ड मोड: एनपीयू (NPU) हे एक सामायिक हार्डवेअर संसाधन आहे जे कॅमेऱ्याच्या प्रतिमांवर अनुक्रमे प्रक्रिया करते, ज्यामध्ये चॅनल्स रांगेत पाळीपाळीने एका वेळी एक चॅनल हाताळले जाते. रॉकचिप आरके (Rockchip RK) प्लॅटफॉर्मवरील अनेक मल्टी-कॅमेरा व्हिजन अंमलबजावणीमध्ये हा दृष्टिकोन वापरला जातो.
कार्यभार निश्चित करताना खालील माहिती गोळा करा:
प्रत्येक कॅमेऱ्याचे रिझोल्यूशन आणि फ्रेम रेट.
एआय मॉडेलची यादी: कोणते मॉडेल एनपीयूवर चालतात आणि कोणती पोस्ट-प्रोसेसिंग कार्ये सीपीयूवर चालतात.
क्वांटायझेशन प्रिसीजन: INT8 हा त्याच्या उच्च इन्फरन्स कार्यक्षमतेमुळे एम्बेडेड डिव्हाइसेससाठी एक मुख्य पर्याय आहे.
ट्रिगरिंग पद्धत: प्रत्येक फ्रेमवर सतत एआय प्रक्रिया, किंवा इव्हेंट-ट्रिगर ऑपरेशन ज्यामध्ये ट्रिगर अट पूर्ण झाल्यावरच जटिल अल्गोरिदम सुरू होतात.
महत्वाचे: अनुभवावरून अंदाज लावण्याऐवजी, RKNN किंवा ONNX रनटाइम सारख्या साधनांचा वापर करून मॉडेल GMAC निर्यात करा. मोठ्या YOLO मॉडेलच्या वर्कलोडचा वापर करून लाइटवेट VIO नेटवर्कचा आकार निश्चित केल्यास संगणकीय गरजांचा मोठ्या प्रमाणात अतिअंदाज येऊ शकतो.

आमचे MV11 हे उच्च-कार्यक्षमतेच्या रॉकचिप RK3576 प्रोसेसरवर आधारित, चार-कॅमेरा हार्डवेअर-सिंक्रोनाइझ्ड व्हिजन आणि इनर्शियल-नॅव्हिगेशन फ्यूजन कॉम्प्युटिंग प्लॅटफॉर्म आहे. यात 6 TOPS NPU आणि 4 GB LPDDR4 मेमरी समाविष्ट आहे आणि ते चारही कॅमेऱ्यांमध्ये मायक्रोसेकंद-स्तरीय सिंक्रोनाइझेशनला समर्थन देते. रोबोटिक ओळख आणि शोध, VIO, SLAM आणि मल्टी-कॅमेरा EGO डेटा संकलन यांसारख्या अनुप्रयोगांसाठी हे उपयुक्त आहे. वर वर्णन केलेल्या बोर्ड-स्तरीय कॉम्प्युट, बँडविड्थ आणि मल्टी-चॅनल शेड्युलिंग चाचण्यांसाठी हे हार्डवेअर प्लॅटफॉर्म म्हणून काम करू शकते. प्रकल्पाच्या सुरुवातीच्या मूल्यांकनासाठी नमुने उपलब्ध आहेत आणि उपयोजनास समर्थन देण्यासाठी संपूर्ण व्हिजन सोल्यूशन्स सानुकूलित केले जाऊ शकतात. आमच्याशी [email protected] वर संपर्क साधा.
अनेक प्रकल्प निवडीच्या वेळी केवळ NPU TOPS वर लक्ष केंद्रित करतात, आणि नंतर बोर्ड ब्रिंग-अप दरम्यान त्यांच्या लक्षात येते की, अर्ध्याहून अधिक NPU क्षमता उपलब्ध असूनही सिस्टम वेग राखू शकत नाही. एम्बेडेड व्हिजनमध्ये खालील मर्यादा सामान्य अडथळे आहेत.
एआय इन्फरन्स दरम्यान, एनपीयू मेमरीमधून सतत इमेजेस आणि मॉडेल वेट्स वाचतो आणि इंटरमीडिएट फीचर मॅप्स परत मेमरीमध्ये लिहितो. या ट्रान्सफरचा वेग डीडीआर बँडविड्थ ठरवते. जेव्हा बँडविड्थ अपुरी असते, तेव्हा पुरेशी कम्प्युट क्षमता असलेल्या एनपीयूला सुद्धा डेटासाठी थांबावे लागते, ज्यामुळे फ्रेम-रेटमध्ये सुधारणा होण्यास अडथळा येतो. आरके प्लॅटफॉर्मवरील बहुतेक मल्टी-कॅमेरा प्रोजेक्ट्समध्ये, एनपीयू क्षमतेचा केवळ एक छोटासा भाग वापरला जात असतानाच बँडविड्थ संपृक्त होते.
इमेज बफर्स, एआय मॉडेल वेट्स आणि इंटरमीडिएट फीचर मॅप्स हे सर्व मेमरी वापरतात. जेव्हा एकाच वेळी अनेक चॅनल्स कार्यरत असतात, तेव्हा मेमरीचा वापर लक्षणीयरीत्या वाढतो. अपुऱ्या मेमरीमुळे ॲप्लिकेशन क्रॅश होऊ शकते. एम्बेडेड डिव्हाइसेसमध्ये सामान्यतः व्हर्च्युअल मेमरी नसते, त्यामुळे मेमरी संपल्यास (OOM) डिव्हाइस थांबू शकते.
कॅमेऱ्यांनी टिपलेल्या रॉ इमेजेसना क्रॉपिंग, स्केलिंग आणि कलर-स्पेस रूपांतरणाची आवश्यकता असते. काही प्रीप्रोसेसिंग आयएसपी हार्डवेअरद्वारे केले जाते, तर काही सीपीयू संसाधनांचा वापर करते. मल्टी-कॅमेरा ॲक्विझिशनमुळे प्रीप्रोसेसिंगची मागणी वाढते आणि एनपीयू निष्क्रिय असतानाही संपूर्ण पाइपलाइनमध्ये लेटन्सी येऊ शकते.
चिपची घोषित केलेली कमाल TOPS ही कमाल वीज वापराशी संबंधित असते. बहुतेक एम्बेडेड उपकरणे फॅनविरहित असतात आणि ती दीर्घ कालावधीसाठी पूर्ण NPU लोड टिकवून ठेवू शकत नाहीत. सैद्धांतिक संगणकीय क्षमता जास्त असली तरी, औष्णिक परिस्थितीमुळे दीर्घकाळ चालणाऱ्या कार्यासाठी उपलब्ध क्षमतेवर मर्यादा येतात.
जर एखाद्या AI मॉडेलमध्ये असे विशेष ऑपरेटर असतील ज्यांना NPU गती देऊ शकत नाही, तर ते CPU द्वारे कार्यान्वित केले जातात. CPU वरील AI प्रक्रिया मंद असते आणि NPU क्षमता पुरेशी असली तरीही ती पाइपलाइनला गंभीरपणे थांबवू शकते. प्लॅटफॉर्म निवडण्यापूर्वी ऑपरेटर ॲक्सेलरेशन सपोर्टची पडताळणी करा.
१. वर्कलोड बेसलाइन आणि ऑपरेटिंग मोड स्थापित करा. एआय पाइपलाइन परिभाषित करा: रिझोल्यूशन, फ्रेम रेट, चॅनेल संख्या, ट्रिगर स्ट्रॅटेजी (सतत किंवा इव्हेंट-चालित), समांतर किंवा टाइम-शेअर्ड एक्झिक्यूशन, मॉडेल सूची आणि डिप्लॉयमेंट अचूकता. एकाधिक चॅनेल कसे शेड्यूल केले जातात याकडे विशेष लक्ष द्या.
२. मॉडेलच्या कार्यभाराचे परिमाणीकरण करा आणि GMAC/s निर्यात करा. NPU-त्वरित गणनेला CPU पोस्ट-प्रोसेसिंगपासून वेगळे करून, प्रत्येक मॉडेलसाठी GMAC/s निर्यात करण्याकरिता साधनांचा वापर करा.
३. अंमलबजावणीची कार्यक्षमता निश्चित करण्यासाठी लक्ष्य बोर्डवर मोजमाप करा. RK3576 किंवा RK3588 सारख्या संभाव्य SoCs वर मॉडेल्सना प्लॅटफॉर्म फॉरमॅटमध्ये रूपांतरित करा. त्या NPU वर त्या मॉडेलचा वास्तविक थ्रुपुट निश्चित करण्यासाठी प्रति फ्रेम इन्फरन्स वेळेचे मोजमाप करा. कागदावरील अंदाजांमधील विसंगती दूर करण्यासाठी ही सर्वात महत्त्वाची पायरी आहे: सर्व अंदाज सामान्य सूत्रांऐवजी बोर्ड-स्तरीय मोजमापांच्या आधारे कॅलिब्रेट केले पाहिजेत.
४. मल्टी-चॅनल वर्कलोड एकत्रित करा आणि सिस्टममधील अडथळ्यांचे मूल्यांकन करा. सामान्य स्थिर-स्थितीतील कार्यप्रणाली आणि सर्व चॅनल एकाच वेळी सुरू झाल्यावर येणाऱ्या सर्वात वाईट शिखर स्थितीचे, या दोन्हींचे मूल्यांकन करा. त्याच वेळी DDR बँडविड्थ आणि मेमरीचा वापर तपासा. अनेक RK मल्टी-कॅमेरा प्रकल्पांमध्ये, संगणकीय क्षमता उपलब्ध असतानाही बँडविड्थ पूर्णपणे वापरली जाते.
५. योग्य अतिरिक्त तरतूद राखून ठेवा आणि मर्यादा निश्चित करा. बहुतांशी निश्चित अल्गोरिदम असलेल्या अल्प-मुदतीच्या उत्पादनांसाठी १.१–१.२ चे मार्जिन वापरा आणि ज्या उत्पादनांमध्ये मॉडेल अपडेट्स अपेक्षित आहेत त्यांच्यासाठी १.३–१.४ चे मार्जिन वापरा. ही अतिरिक्त तरतूद अनियंत्रित अतिरिक्त तरतूद करण्याऐवजी मॉडेलमधील बदल, उच्च मागणीची परिस्थिती आणि शेड्युलिंगमधील अतिरिक्त भार यांना सामावून घेणारी असावी. त्याच वेळी बीओएम (BOM) खर्च आणि ऊर्जेच्या मर्यादा निश्चित करा.
६.१ केवळ चिप टॉप्स आणि निश्चित उपयोगिता दराचा वापर करणे
जाहिरात केलेल्या TOPS ला ४०% चा निश्चित उपयोगिता दर लागू केल्यास संगणकीय गरजांचा अनेक पटींनी अतिअंदाज येऊ शकतो आणि तो वास्तविक अभियांत्रिकी परिस्थितीपासून लक्षणीयरीत्या विचलित होऊ शकतो. मॉडेल्स आणि NPU आर्किटेक्चरनुसार उपयोगिता मोठ्या प्रमाणात बदलते.
६.२ चॅनेल संख्येने गुणाकार करणे आणि वेळ वाटपाकडे दुर्लक्ष करणे
टाइम-शेअर्ड ऑपरेशनमध्ये, NPU एकामागून एक चॅनेलवर प्रक्रिया करते आणि तिच्या संगणकीय क्षमतेचा पुनर्वापर केला जातो. केवळ चॅनेलच्या संख्येला एकल-चॅनेल संगणकीय मागणीने गुणल्यास गरजांचा खूप जास्त अंदाज येऊ शकतो, ज्यामुळे गरजेपेक्षा जास्त क्षमतेची आणि अनावश्यकपणे महागडी चिप तयार होते.
६.३ डीडीआर बँडविड्थकडे दुर्लक्ष करून एनपीयू कंप्यूटचे मूल्यांकन करणे
मल्टी-कॅमेरा व्हिजन प्रकल्पांमध्ये कम्प्युट बॉटलनेकपेक्षा बँडविड्थ बॉटलनेक अधिक सामान्य आहेत. एनपीयूमध्ये (NPU) बरीच क्षमता शिल्लक असू शकते, परंतु डेटा ट्रान्सफर त्या गतीने होऊ शकत नाहीत, ज्यामुळे फ्रेम रेट मर्यादित होतो. मल्टी-कॅमेरा प्रकल्पांमध्ये सर्वप्रथम बँडविड्थचे मूल्यांकन करणे आवश्यक आहे.
६.४ सरासरी भार विचारात घेणे परंतु क्षणिक शिखरांकडे दुर्लक्ष करणे
एखादे उत्पादन बहुतेक वेळा कमी लोडवर काम करू शकते, परंतु जेव्हा सर्व कॅमेरे एकाच वेळी AI ला ट्रिगर करतात तेव्हा त्यात तात्पुरती वाढ होऊ शकते. डिझाइनला या वाढीला सामावून घ्यावे लागते, परंतु टास्क क्यू तात्पुरत्या मागणीला स्थिर करू शकते, त्यामुळे चिपचा आकार थेट सर्वोच्च संगणकीय मागणीनुसार ठेवण्याची आवश्यकता नसते.
६.५ केवळ मॉडेल गणनेची गणना करणे आणि सिस्टम ओव्हरहेडकडे दुर्लक्ष करणे
अनेक अंदाजांमध्ये केवळ एआय बॅकबोनच्या जीएमएसीची गणना केली जाते आणि आयएसपी प्रीप्रोसेसिंग, इमेज कॉपीइंग व सीपीयू पोस्ट-प्रोसेसिंगकडे दुर्लक्ष केले जाते. पुरेशी एनपीयू क्षमता असूनही, या अतिरिक्त भारांमुळे एंड-टू-एंड लेटन्सी वाढते आणि अपेक्षित फ्रेम रेट साध्य होण्यास अडथळा येतो.
कॅमेऱ्याचे सर्व पॅरामीटर्स सूचीबद्ध करा: रिझोल्यूशन, फ्रेम रेट आणि चॅनेलची संख्या. चॅनेल पॅरलल की टाइम-शेअर्ड शेड्युलिंग वापरतात याची खात्री करा.
प्रत्येक मॉडेलसाठी GMAC निर्यात करा आणि NPU गणना व CPU उत्तर-प्रक्रिया यांमधील फरक स्पष्ट करा.
प्रत्यक्ष अंमलबजावणी कार्यक्षमता निश्चित करण्यासाठी संभाव्य प्लॅटफॉर्मवरील सिंगल-मॉडेल इन्फरन्स वेळेचे मोजमाप करा.
मल्टी-चॅनल वर्कलोड एकत्रित करा आणि स्थिर तसेच उच्चतम परिस्थितीत NPU संगणकीय वापराचे मूल्यांकन करा.
बँडविड्थ ही अडचण आहे की नाही हे ठरवण्यासाठी DDR बँडविड्थ आणि मेमरी वापराचे मोजमाप करा.
CPU फॉलबॅक टाळण्यासाठी मॉडेल ऑपरेटर प्रमाणित करा आणि NPU हार्डवेअर ॲक्सेलरेशन समर्थनाची खात्री करा.
उत्पादन अद्यतन रोडमॅपनुसार संगणकीय क्षमतेची मर्यादा राखून ठेवा आणि बीओएम खर्च व ऊर्जेच्या मर्यादा निश्चित करा.
एकाच वेळी अनेक चॅनल ट्रिगर्ससह विस्तारित स्ट्रेस टेस्ट चालवा. फ्रेम-रेटमधील बदल आणि मेमरी संपल्यामुळे होणारे क्रॅश तपासा.

एम्बेडेड व्हिजनसाठी एनपीयू क्षमतेचा आकार निश्चित करणे हे TOPS सूत्र वापरून केलेले एक सोपे गणितीय काम नाही. कागदावरील अंदाज केवळ प्राथमिक नियोजनासाठी एक संदर्भ म्हणून उपयोगी पडतात. अंतिम पडताळणी लक्ष्य चिपच्या डेव्हलपमेंट बोर्डवरच केली पाहिजे.
संपूर्ण मूल्यांकन खालील क्रमाने केले जाते: संगणकीय क्षमता हा अडथळा आहे का ते निश्चित करणे → समांतर किंवा वेळ-सामायिक वेळापत्रकाची पुष्टी करणे → मॉडेल GMAC मोजणे → DDR बँडविड्थ मूल्यांकनाला प्राधान्य देणे → बोर्ड-स्तरीय चाचणीद्वारे कॅलिब्रेट करणे → योग्य संगणकीय क्षमता राखीव ठेवणे.
कार्यक्षमता, वीज वापर आणि खर्च यांच्यात संतुलन साधणे हे उद्दिष्ट आहे. सतत वाढणाऱ्या NPU TOPS च्या मागे लागण्याऐवजी, कामासाठी पुरेशी क्षमता निवडावी.


आमचे MV11 हे उच्च-कार्यक्षमतेच्या रॉकचिप RK3576 प्रोसेसरवर आधारित, चार-कॅमेरा हार्डवेअर-सिंक्रोनाइझ्ड व्हिजन आणि इनर्शियल-नॅव्हिगेशन फ्यूजन कॉम्प्युटिंग प्लॅटफॉर्म आहे. यात 6 TOPS NPU आणि 4 GB LPDDR4 मेमरी समाविष्ट आहे आणि ते चारही कॅमेऱ्यांमध्ये मायक्रोसेकंद-स्तरीय सिंक्रोनाइझेशनला समर्थन देते. रोबोटिक ओळख आणि शोध, VIO, SLAM आणि मल्टी-कॅमेरा EGO डेटा संकलन यांसारख्या अनुप्रयोगांसाठी हे उपयुक्त आहे. वर वर्णन केलेल्या बोर्ड-स्तरीय कॉम्प्युट, बँडविड्थ आणि मल्टी-चॅनल शेड्युलिंग चाचण्यांसाठी हे हार्डवेअर प्लॅटफॉर्म म्हणून काम करू शकते. प्रकल्पाच्या सुरुवातीच्या मूल्यांकनासाठी नमुने उपलब्ध आहेत आणि उपयोजनास समर्थन देण्यासाठी संपूर्ण व्हिजन सोल्यूशन्स सानुकूलित केले जाऊ शकतात. आमच्याशी [email protected] वर संपर्क साधा.
गरम बातम्या 2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12