एक बहु-कैमरा एआई विज़न सिस्टम को कितनी DDR मेमोरी की आवश्यकता होती है? (RK3576 चयन तालिका के साथ)

एआई विज़न अनुप्रयोगों के तेज़ी से विकास के साथ, बहु-कैमरा समाधान (स्टीरियो, चार-कैमरा और यहाँ तक कि अधिक कैमरा चैनल) का उपयोग डेटा अधिग्रहण, सुरक्षा निगरानी, औद्योगिक निरीक्षण, रोबोट धारणा और एज कंप्यूटिंग जैसे परिदृश्यों में व्यापक रूप से किया जा रहा है। कई परियोजनाएँ हार्डवेयर चयन के दौरान एक सामान्य भूल में फँस जाती हैं: केवल चिप की गणना शक्ति पर ध्यान केंद्रित करना, जबकि मेमोरी कॉन्फ़िगरेशन को अनदेखा करना। इसके परिणामस्वरूप फ्रेम ड्रॉप, धीमा एआई अनुमान और सिस्टम क्रैश जैसी समस्याएँ उत्पन्न होती हैं।

क्या बड़ी डीडीआर मेमोरी हमेशा बेहतर होती है? हाँ, प्रदर्शन और स्थिरता के दृष्टिकोण से। हालाँकि, इसका नुकसान स्पष्ट है — यह बटुए पर भारी पड़ता है, विशेष रूप से डीडीआर की कीमतों में हाल ही में आई तेज़ी को देखते हुए। समाधान के चयन के लिए लागत और वास्तविक परियोजना आवश्यकताओं के बीच संतुलन बनाना महत्वपूर्ण हो जाता है।

आइए डीडीआर आकार निर्धारण में सबसे आम भूल पर एक नज़र डालें: सामान्य परिस्थितियों में मेमोरी उपयोग कम दिख सकता है, लेकिन समानांतर कार्यों के बरस्ट के दौरान यह शिखर मानों तक अचानक बढ़ सकता है, जिससे सीधे सिस्टम क्रैश हो जाते हैं। कई टीमें हार्डवेयर मूल्यांकन के लिए औसत मेमोरी खपत का उपयोग करती हैं। व्यापक रूप से उपयोग किए जाने वाले AR0234 सेंसर को उदाहरण के रूप में लें: एकल 1080P कैमरा निष्क्रिय प्रतीक्षा अवस्था में मामूली मेमोरी का उपयोग करता है। फिर भी, कैप्चर-आईएसपी-एआई अनुमान-एन्कोडिंग के पूर्ण पाइपलाइन को चलाने पर, इसकी शिखर मेमोरी प्रति चैनल दसियों एमबी तक पहुँच सकती है। एक 4K कैमरा के लिए, प्रति चैनल शिखर उपयोग १०० एमबी से अधिक हो सकता है। यहाँ तक कि एक सामान्य HTTP अनुरोध भी प्रति कनेक्शन कई एमबी की खपत करता है। ये व्यक्तिगत अतिरिक्त भार छोटे लग सकते हैं, लेकिन एक बार जब कई कैमरे और कार्य एक साथ सक्रिय हो जाते हैं, तो ये तेज़ी से जुड़ जाते हैं। इससे OOM (आउट-ऑफ-मेमोरी) ट्रिगर हो सकता है, जिसके परिणामस्वरूप प्रक्रियाएँ समाप्त हो जाती हैं और सिस्टम विफल हो जाता है।

बहु-कैमरा एआई दृष्टि प्रणालियों में मेमोरी का उपयोग कहाँ होता है?

किनारे पर दृष्टि उपकरणों में स्मृति का उपयोग केवल कृत्रिम बुद्धिमत्ता मॉडलों द्वारा नहीं किया जाता है। यह छवि प्राप्त करना, पूर्व-संसाधन, कृत्रिम बुद्धिमत्ता अनुमान, प्रणाली सेवाएँ और अनुप्रयोग कार्यभार के बीच साझा की जाती है। प्रत्येक अतिरिक्त कैमरा चैनल के साथ स्मृति अधिभार में वृद्धि होती है।

१. छवि बफ़र (अधिभार का सबसे बड़ा स्रोत) प्रत्येक कैमरा द्वारा उत्पादित कच्ची छवियाँ, YUV फ्रेम और स्केल किए गए फ्रेम स्मृति का उपयोग करते हैं। 1080P@30fps पर काम कर रहे AR0234 के लिए, एक एकल YUV फ्रेम कई मेगाबाइट घेरता है। फ्रेम गिरावट को रोकने के लिए, प्रणाली बहु-फ्रेम रिंग बफ़र बनाए रखती है, जिससे स्मृति का उपयोग और अधिक बढ़ जाता है। कई छवि संस्करणों (मूल, थंबनेल, कटी हुई फ्रेम) का उत्पादन अतिरिक्त फ्रेम बफ़र बनाता है। जब कई कैमरा एक साथ स्ट्रीम करते हैं, तो स्मृति का उपयोग गुणा हो जाता है।

२. ISP और छवि पूर्व-संसाधन अधिभार आईएसपी एक स्वतंत्र हार्डवेयर त्वरक है जो शोर कम करना, रंग सुधार, विकृति सुधार, घुमाना, काटना और प्रारूप परिवर्तन करता है। आईएसपी में केवल सीमित ऑन-चिप कैश होता है, जिसमें बड़ी क्षमता वाला फ्रेम भंडारण नहीं होता है। इसलिए कई संचालनों के लिए अस्थायी बफर डीडीआर में आवंटित करने होते हैं। अधिक कैमरा चैनलों का अर्थ है भारी आईएसपी कार्यभार और उच्च डीडीआर क्षमता आवश्यकताएँ।

3. एआई मॉडल अनुमान के लिए मेमोरी एआई अनुमान मेमोरी के दो भागों का उपयोग करता है। पहला भाग मॉडल के वजन हैं: बड़े मॉडल पैरामीटर्स के कारण मेमोरी की अधिक खपत होती है। सौभाग्य से, वजन मॉडल के प्रारंभीकरण के समय एक बार लोड किए जाते हैं; उनका मेमोरी फुटप्रिंट रनटाइम के दौरान अधिक कैमरा चैनलों या परिदृश्यों के साथ नहीं बढ़ता है।

क्या अनुमानन समय के दौरान स्मृति प्रभावित नहीं होती है? बिल्कुल नहीं। इससे हम दूसरे घटक पर पहुँचते हैं: अनुमानन के दौरान उत्पन्न होने वाले मध्यवर्ती विशेषता बफ़र। प्रत्येक कैमरा चैनल को अपना स्वतंत्र गणना बफ़र आवश्यक होता है, जिससे कुल स्मृति उपयोग बढ़ जाता है। कई कैमरों पर समकालिक कृत्रिम बुद्धिमत्ता अनुमानन के लिए कई स्वतंत्र गणना बफ़र की आवश्यकता होती है। अतः अधिक चैनलों का अर्थ है अनुमानन बफ़र के लिए उच्चतर स्मृति अतिभार।

४. प्रणाली, ड्राइवर और मिडलवेयर अतिभार हमारे RK3576 दृष्टि समाधान को उदाहरण के रूप में लीजिए। आधार प्रणाली स्मृति Linux कर्नेल, RK मीडिया ड्राइवर, RKMPP मीडिया फ्रेमवर्क, NPU ड्राइवर, प्रणाली लॉग और चल रही प्रक्रियाओं द्वारा उपभुक्त की जाती है। बहु-कैमरा तैनाती में, मीडिया फ्रेमवर्क और वीडियो एन्कोडिंग (H.264 / H.265 रिकॉर्डिंग) स्मृति भार में महत्वपूर्ण वृद्धि करते हैं। बहु-चैनल एन्कोडिंग और रिकॉर्डिंग को सक्षम करने से स्मृति दबाव में तीव्र वृद्धि हो जाती है।

महत्वपूर्ण नोट: यह कार्यशील स्मृति (DDR RAM) को संदर्भित करता है, eMMC भंडारण नहीं। eMMC केवल एन्कोड किए गए वीडियो फ़ाइलों को संग्रहित करता है।

5.उपयोग -स्तर व्यापार स्मृति अनुप्रयोग तर्क, जिसमें अनुमान परिणाम का विश्लेषण, बहु-वस्तु ट्रैकिंग, डेटा रिपोर्टिंग, स्थानीय कैशिंग और स्नैपशॉट भंडारण शामिल हैं, स्मृति का उपयोग करता है। उदाहरण के लिए, ट्रैकिंग एल्गोरिदम बहु-फ्रेम लक्ष्य डेटा को संग्रहीत करते हैं। अधिक कैमरे और ट्रैक की गई वस्तुएँ बड़े डेटासेट और उच्च अनुप्रयोग-स्तरीय स्मृति खपत का उत्पादन करती हैं।

आरके३५७६ मंच पर व्यावहारिक स्मृति प्रदर्शन

आरके३५७६ एक प्रमुख घरेलू एज एआई प्रोसेसर है जो ६ टॉप्स के एनपीयू प्रदर्शन के साथ बहु-कैमरा एआई-दृष्टि तैनाती के लिए अच्छी तरह से उपयुक्त है। हमारी कंपनी के पास १ से ६ कैमरा चैनलों का समर्थन करने वाले कई परिपक्व बड़े पैमाने पर उत्पादन उत्पाद हैं, जो विविध परियोजना आवश्यकताओं के अनुरूप हैं। ४ जीबी डीडीआर मुख्यधारा के बड़े पैमाने पर उत्पादन के लिए मानक विन्यास है, जबकि विभिन्न कार्यभारों के लिए वैकल्पिक डीडीआर आकारों का भी समर्थन किया जाता है।

नीचे दी गई तालिका बाजार में आम १०८०पी-४के कैमरा सेंसर पर लागू होती है:

यदि आप उचित मेमोरी कॉन्फ़िगरेशन के बारे में अनिश्चित हैं, तो कृपया [email protected] पर संपर्क करें। हम आपकी कैमरा चैनल संख्या, रिज़ॉल्यूशन, व्यापार तर्क और रनटाइम वर्कलोड के आधार पर अनुकूलित समाधान मूल्यांकन प्रदान करेंगे।