एका बहु-कॅमेरा एआय व्हिजन प्रणालीला किती डीडीआर मेमरीची आवश्यकता असते? (आरके३५७६ निवड सारणीसह)

एआय व्हिजन अ‍ॅप्लिकेशन्सच्या वेगवान प्रगतीसह, एकाधिक कॅमेरा उपाय (स्टीरिओ, क्वॉड-कॅमेरा आणि अधिक कॅमेरा चॅनेल्ससह) डेटा गोळा करणे, सुरक्षा निरीक्षण, औद्योगिक तपासणी, रोबोट प्रत्यक्षीकरण आणि एज कॉम्प्युटिंग अशा परिस्थितींमध्ये व्यापकपणे वापरले जात आहेत. बर्‍याच प्रकल्पांमध्ये हार्डवेअर निवडीदरम्यान एक सामान्य चुकीचा मार्ग अनुसरला जातो: फक्त चिपच्या गणना क्षमतेवर लक्ष केंद्रित करणे आणि मेमरी कॉन्फिगरेशनला दुर्लक्षित करणे. यामुळे शेवटी फ्रेम गमावणे, एआय इन्फरन्समध्ये थांबणे आणि सिस्टम क्रॅश अशा समस्या निर्माण होतात.

मोठी डीडीआर मेमरी नेहमीच चांगली आहे का? होय, कामगिरी आणि स्थिरतेच्या दृष्टिकोनातून. तथापि, त्याचा तोटा स्पष्ट आहे — तो खर्चिक आहे, विशेषत: डीडीआरच्या किमतींमध्ये अलीकडच्या वाढीच्या पार्श्वभूमीवर. म्हणूनच, उपाय निवडीसाठी खर्च आणि वास्तविक प्रकल्पाच्या आवश्यकता यांच्यात संतुलन राखणे महत्त्वाचे ठरते.

डीडीआर आकारामध्ये सर्वात सामान्य चुकीच्या मार्गाकडे एक नजर टाकूया: सामान्य परिस्थितींमध्ये स्मृतीचा वापर कमी दिसू शकतो, परंतु एकाच वेळी चालणाऱ्या कार्यांच्या तीव्र वाढीदरम्यान तो शिखरावर पोहोचू शकतो, ज्यामुळे सीस्टम क्रॅश होऊ शकतात. बरेच गट साधने मूल्यमापनासाठी सरासरी स्मृती वापराचा वापर करतात. व्यापकपणे वापरल्या जाणाऱ्या AR0234 सेन्सरचे उदाहरण घ्या: एका 1080P कॅमेराचा निष्क्रिय प्रतीक्षा अवस्थेत स्मृतीचा वापर थोडाच असतो. तथापि, कॅप्चर-आयएसपी-एआय इन्फरन्स-एन्कोडिंग या संपूर्ण पाईपलाईनच्या चालवल्यावर, प्रत्येक चॅनेलसाठी त्याची शिखर स्मृती दहा मेगाबाइट्सपर्यंत पोहोचू शकते. 4K कॅमेरासाठी, प्रत्येक चॅनेलसाठी शिखर वापर १०० मेगाबाइट्सपेक्षा जास्त होऊ शकतो. एक सामान्य HTTP विनंतीही प्रत्येक कनेक्शनसाठी काही मेगाबाइट्स स्मृती वापरते. हे वैयक्तिक भार कमी दिसतात, परंतु जेव्हा अनेक कॅमेरे आणि कार्ये एकाच वेळी सक्रिय होतात, तेव्हा ते लवकरच एकत्रित होतात. यामुळे OOM (आउट-ऑफ-मेमरी) ट्रिगर होऊ शकते, ज्यामुळे प्रक्रिया बंद होतात आणि सीस्टम अपयशी ठरतो.

बहु-कॅमेरा एआय व्हिजन प्रणालींमध्ये स्मृतीचा वापर कुठे होतो?

एज व्हिजन डिव्हाइसेसवरील मेमरी फक्त एआय मॉडेल्ससाठी वापरली जात नाही. ती छायाचित्रे कॅप्चर करणे, पूर्व-प्रक्रिया, एआय इन्फेरन्स, सिस्टम सेवा आणि अॅप्लिकेशन कार्यभार यासाठी सामायिक केली जाते. प्रत्येक अतिरिक्त कॅमेरा चॅनेलसह मेमरी ओव्हरहेड वाढते.

१. इमेज बफर्स (ओव्हरहेडचा सर्वात मोठा स्रोत) प्रत्येक कॅमेराद्वारे निर्माण केलेली कच्ची छायाचित्रे, वाययूव्ही फ्रेम्स आणि स्केल केलेल्या फ्रेम्स यांना मेमरीची गरज असते. १०८०पी@३०fps वर कार्यरत असलेल्या एआर००२३४ साठी, एकाच वाययूव्ही फ्रेममध्ये काही मेगाबाइट्स मेमरी वापरली जाते. फ्रेम ड्रॉप्स टाळण्यासाठी, सिस्टम बहु-फ्रेम रिंग बफर्स ठेवतो, ज्यामुळे मेमरीचा वापर आणखी वाढतो. अनेक प्रकारची छायाचित्रे (मूळ, थंबनेल, क्रॉप केलेली फ्रेम्स) तयार करण्यामुळे अतिरिक्त फ्रेम बफर्स निर्माण होतात. जेव्हा अनेक कॅमेरे एकाच वेळी स्ट्रीम करतात, तेव्हा मेमरीचा वापर गुणाकाराने वाढतो.

२. आयएसपी आणि छायाचित्र पूर्व-प्रक्रिया ओव्हरहेड आयएसपी हा एक स्वतंत्र हार्डवेअर अॅक्सेलरेटर आहे जो शोर कमी करणे, रंग सुधारणा, विकृती सुधारणा, फिरवणे, कापणे आणि स्वरूप रूपांतरण यासारख्या कार्यांचे प्रदर्शन करतो. आयएसपी मध्ये मोठ्या क्षमतेचे फ्रेम स्टोरेज नसून फक्त मर्यादित ऑन-चिप कॅश असते. म्हणूनच, अनेक कार्यांसाठी तात्पुरते बफर डीडीआर मध्ये वाटप करावे लागतात. जास्त कॅमेरा चॅनेल्स म्हणजे भाराचे आयएसपी कार्यभार आणि उच्च डीडीआर क्षमता आवश्यकता.

३. एआय मॉडेल इन्फरन्ससाठी मेमरी एआय इन्फरन्ससाठी मेमरी दोन भागांमध्ये वापरली जाते. पहिला भाग मॉडेल वेट्स आहे: मोठ्या मॉडेल पॅरामीटर्समुळे मेमरीचा वापर जास्त होतो. भाग्याने, वेट्स मॉडेलच्या प्रारंभी एकदाच लोड केले जातात; त्यांचा मेमरी वापर चालू वेळी जास्त कॅमेरा चॅनेल्स किंवा परिस्थितींसह वाढत नाही.

मेमरी इन्फरन्स रनटाइम फेजदरम्यान प्रभावित होत नाही का? बिलकुल नाही. हे आपल्याला दुसऱ्या घटकाकडे घेऊन जाते: इन्फरन्सदरम्यान निर्माण झालेले मध्यवर्ती फीचर बफर्स. प्रत्येक कॅमेरा चॅनेलला स्वतःचा गणना बफर आवश्यक असतो, ज्यामुळे एकूण मेमरी वापर वाढतो. अनेक कॅमेर्यांवर सिंक्रोनाइज्ड एआय इन्फरन्ससाठी अनेक स्वतंत्र गणना बफर्सची आवश्यकता असते. म्हणून, जास्त चॅनेल्स म्हणजे इन्फरन्स बफर्ससाठी जास्त मेमरी ओव्हरहेड.

४. सिस्टम, ड्राइव्हर आणि मिडलवेअर ओव्हरहेड आमच्या RK3576 व्हिजन सोल्यूशनचे उदाहरण घ्या. बेस सिस्टम मेमरी लिनक्स कर्नेल, RK मीडिया ड्राइव्हर्स, RKMPP मीडिया फ्रेमवर्क, NPU ड्राइव्हर्स, सिस्टम लॉग्स आणि चालू असलेल्या प्रक्रियांद्वारे वापरली जाते. बहु-कॅमेरा तैनातमध्ये, मीडिया फ्रेमवर्क्स आणि व्हिडिओ एन्कोडिंग (H.264 / H.265 रेकॉर्डिंग) यामुळे मोठ्या प्रमाणात मेमरी लोड वाढतो. बहु-चॅनेल एन्कोडिंग आणि रेकॉर्डिंग सक्षम करण्यामुळे मेमरी दबावात तीव्र वाढ होते.

महत्त्वाचा टीप: हे कार्यरत मेमरी (DDR RAM) ला संदर्भित करते, eMMC स्टोरेज नाही. eMMC केवळ एन्कोड केलेल्या व्हिडिओ फाइल्स साठवते.

5.अनुप्रयोग -थर व्यवसाय स्मृती अनुमान परिणामांचे विश्लेषण, बहु-वस्तू ट्रॅकिंग, डेटा अहवाल, स्थानिक कॅशिंग आणि स्नॅपशॉट स्टोरेज सारख्या अ‍ॅप्लिकेशन लॉजिकमुळे स्मृतीचा वापर होतो. उदाहरणार्थ, ट्रॅकिंग अल्गोरिदम्स मल्टी-फ्रेम टार्गेट डेटा साठवतात. जास्त कॅमेरे आणि ट्रॅक केलेल्या वस्तूंमुळे मोठे डेटासेट आणि अधिक अ‍ॅप्लिकेशन-स्तरीय स्मृती वापर निर्माण होतो.

RK3576 प्लॅटफॉर्मवरील व्यावहारिक स्मृती कार्यक्षमता

RK3576 हा एक प्रमुख देशी एज एआय प्रोसेसर आहे, जो ६ TOPS NPU कार्यक्षमता प्रदान करतो आणि बहु-कॅमेरा एआय-दृष्टी अंमलबजावणीसाठी योग्य आहे. आमच्या कंपनीकडे १ ते ६ कॅमेरा चॅनेल्स समर्थित करणारी अनेक परिपक्व मास-उत्पादन उत्पादने आहेत, जी विविध प्रकल्प आवश्यकतांना जुळवतात. ४ जीबी DDR ही मास-उत्पादनासाठी प्रमुख व्यवस्था आहे, तर विविध कार्यभारांसाठी पर्यायी DDR आकार सुद्धा समर्थित आहेत.

खालील कोष्टक बाजारातील सामान्य १०८०p-४K कॅमेरा सेन्सर्सवर लागू होते:

जर तुम्हाला योग्य स्मृती विन्यासाबाबत शंका असेल, तर कृपया [email protected] या ईमेलवर संपर्क साधा. आम्ही तुमच्या कॅमेरा वाहिन्या, रिझोल्यूशन, व्यवसाय तर्क आणि चालू वापराच्या भाराच्या आधारे सानुकूलित उपायाचे मूल्यांकन प्रदान करू.