एम्बेडेड विज़न उत्पादों के लिए एनपीयू कंप्यूट क्षमता का आकार कैसे निर्धारित करें

1. समस्या को समझना: एनपीयू क्षमता योजना क्या सुलझाती है

कई एम्बेडेड उपकरण—जैसे रोबोट, स्मार्ट कैमरा और औद्योगिक विज़न टर्मिनल—अब एआई विज़न एल्गोरिदम चलाने के लिए एनपीयू का उपयोग करते हैं। एनपीयू एक चिप के भीतर एक हार्डवेयर इकाई है जो एआई अनुमान (इन्फरेंस) के लिए समर्पित है।

चिप का चयन करते समय, कई टीमें पहले उसकी एनपीयू टॉप्स रेटिंग देखती हैं और यह मान लेती हैं कि उच्च संख्या का अर्थ अधिक शक्तिशाली चिप है। व्यवहार में, उत्पाद विकास के दौरान दो सामान्य समस्याओं का सामना करना पड़ता है:

पहली समस्या अपर्याप्त कंप्यूट क्षमता की है। उपकरण कम फ्रेम दर पर चलता है, वीडियो अटकता है, कई कैमरों के एक साथ संचालन के दौरान फ्रेम गिर जाते हैं, और एआई पहचान विफल हो सकती है।

Dusra karan adhik kshamata hai. Chip mehnga hai, adhik shakti ka upyog karta hai aur prachur garmi paida karta hai. Upyog na kiya gaya ganan kshamata labh ke marjin ko kam kar deta hai.

Ek mukhy ingineering vichar yah hai ki, bahut saare antargit drishti (embedded vision) pariyojanaon mein, pradarshan chitra sthanantar, smriti bandwidth ya CPU aadharit adhodisha prasanskar ke karan seemit hota hai, NPU ganan kshamata ke karan nahi.

2. Mool avadharan aur do mool maapan

Ganan yojana ke liye tecniki shabdavali ka lamba soochi ki aavashyakta nahi hoti hai. Do mukhy avadharanon ko alag karna chip ke visheshataon ko bhramadanak banane se rokne mein madad karta hai.

Chip bechne wale dwara vyaparit TOPS ank siddhantik shikhar ganan pradarshan hai: yah NPU dwara poorn bharav ke samay aadarsh prayaogashala sthitiyon ke antargat prapt ki ja sakti hai sabse adhik prasarjan kshamata. udhyog uchit sthitiyan pradan karne ke liye sthitiyan rakhte hain, isliye shikhar pradarshan ka upyog aakar nirnay ke liye saral roop se nahi kiya ja sakta hai.

हम एक एआई मॉडल के संगणना भार का आकलन करने के लिए जीएमएसी का उपयोग करते हैं। एक एमएसी एक मूल गुणा-संचयित संक्रिया है, और जीएमएसी ऐसी एक अरब संक्रियाओं को दर्शाता है। यह किसी मॉडल में संगणना की मात्रा को मापता है। ध्यान दें कि जीएमएसी भार को मापता है, जबकि जीएमएसी/सेकंड प्रवाह दर को मापता है। बड़े मॉडलों के लिए जीएमएसी मान अधिक होते हैं।

एनपीयू उपयोग एक स्थिर स्थिरांक नहीं है। यह एनपीयू क्षमता के वह भाग को दर्शाता है जो प्रभावी संगणना के लिए उपयोग किया जाता है। सरल कन्वोल्यूशनल नेटवर्क्स, जैसे वीआईओ फ्रंट एंड्स या हल्के डिटेक्शन मॉडल्स के लिए, सरल ऑपरेटर्स और चिप के व्यापक अनुकूलन से ६०%–८०% उपयोग प्राप्त किया जा सकता है। जटिल परिवर्तनों या ट्रांसफॉर्मर ब्लॉक्स वाले मॉडल्स के लिए बार-बार टाइल्ड निष्पादन की आवश्यकता हो सकती है, जिससे उपयोग २०% या उससे भी कम हो सकता है।

निश्चित उपयोग दर 40% का उपयोग गलत अनुमानों का प्रमुख कारण है। संकल्प भार को भी सीधे प्रभावित करता है: इनपुट छवि की चौड़ाई और ऊँचाई दोनों को दोगुना करने से उसका क्षेत्रफल चार गुना हो जाता है और समान मॉडल के लिए गणना भी लगभग चार गुना हो जाती है।

टॉप्स (TOPS) केवल हार्डवेयर की अधिकतम सीमा है। गणना के अनुमान शुरू करें मॉडल के जीमैक (GMAC) भार से, और उन्हें विकास बोर्ड पर किए गए मापन के आधार पर समायोजित करें। किसी चिप का चयन केवल उसके सैद्धांतिक शिखर प्रदर्शन के आधार पर न करें।

3. परिभाषित करें आवेदन आवश्यकताएँ और बहु-कैमरा निर्धारण

गणना आवश्यकताओं का अनुमान लगाने से पहले, उत्पाद के कार्यभार को सुस्पष्ट रूप से नक्शा बनाएँ। महत्वपूर्ण अंतर यह है कि क्या कई कैमरों का उपयोग समानांतर अनुमान (पैरलल इन्फरेंस) के लिए किया जाता है या समय-साझा, गोल-रॉबिन अनुमान (टाइम-शेयर्ड, राउंड-रॉबिन इन्फरेंस) के लिए किया जाता है, क्योंकि यह निर्धारित करता है कि उनकी गणना आवश्यकताओं को कैसे संयोजित किया जाए।

समानांतर मोड: सभी कैमरे एक साथ एआई अनुमान चलाते हैं, इसलिए उनकी गणना आवश्यकताएँ सीधे जोड़ी जाती हैं। उदाहरण के लिए, चार कैमरों वाला एक सुरक्षा उपकरण, जो प्रत्येक चैनल पर प्रति सेकंड ३० फ्रेम की दर से वास्तविक समय में वस्तु पहचान करता है, चारों चैनलों के भार को संयोजित करता है।

समय-साझा मोड: एनपीयू एक साझा हार्डवेयर संसाधन है जो कैमरा छवियों को क्रमिक रूप से संसाधित करता है, जिसमें चैनल एक-एक करके कतार में बारी-बारी से संसाधित होते हैं। रॉकचिप आरके मंचों पर कई बहु-कैमरा दृष्टि कार्यान्वयन इस दृष्टिकोण का उपयोग करते हैं।

कार्यभार परिभाषित करते समय निम्नलिखित जानकारी एकत्र करें:

प्रत्येक कैमरा के लिए रिज़ॉल्यूशन और फ्रेम दर।

एआई मॉडल सूची: कौन से मॉडल एनपीयू पर चलते हैं और कौन से पोस्ट-प्रोसेसिंग कार्य सीपीयू पर चलते हैं।

मात्रात्मक शुद्धता: एम्बेडेड उपकरणों के लिए आईएनटी८ एक प्रमुख विकल्प है क्योंकि यह उच्च अनुमान दक्षता प्रदान करता है।

ट्रिगरिंग विधि: प्रत्येक फ्रेम पर निरंतर एआई प्रसंस्करण, या घटना-ट्रिगर्ड संचालन जिसमें जटिल एल्गोरिदम केवल तभी शुरू होते हैं जब कोई ट्रिगर स्थिति पूरी हो जाती है।

महत्वपूर्ण: अनुभव के आधार पर अनुमान लगाने के बजाय RKNN या ONNX Runtime जैसे उपकरणों का उपयोग करके GMAC मॉडल का निर्यात करें। एक बड़े YOLO मॉडल के कार्यभार का उपयोग हल्के VIO नेटवर्क के आकार का निर्धारण करने के लिए करने से गणना आवश्यकताओं का गंभीर रूप से अतिमूल्यांकन हो सकता है।

हमारा MV11 उच्च-प्रदर्शन रॉकचिप RK3576 प्रोसेसर पर आधारित एक चार-कैमरा हार्डवेयर-समकालिक दृष्टि और जड़त्वीय नेविगेशन फ्यूजन कंप्यूटिंग प्लेटफॉर्म है। इसमें 6 TOPS NPU और 4 GB LPDDR4 मेमोरी शामिल है, तथा यह चारों कैमरों के बीच माइक्रोसेकंड-स्तरीय समकालन का समर्थन करता है। इसके उपयुक्त अनुप्रयोगों में रोबोटिक पहचान और डिटेक्शन, VIO, SLAM तथा बहु-कैमरा EGO डेटा संग्रह शामिल हैं। यह ऊपर वर्णित बोर्ड-स्तरीय कंप्यूट, बैंडविड्थ और बहु-चैनल अनुसूचना परीक्षणों के लिए हार्डवेयर प्लेटफॉर्म के रूप में कार्य कर सकता है। प्रारंभिक परियोजना मूल्यांकन के लिए नमूने उपलब्ध हैं, और तैनाती का समर्थन करने के लिए पूर्ण दृष्टि समाधानों को अनुकूलित किया जा सकता है। कृपया हमसे [email protected] पर संपर्क करें।

4. ऐसी बाधाएँ जो अक्सर NPU गणना से पहले प्रदर्शन को सीमित कर देती हैं

कई परियोजनाएँ चयन के दौरान केवल एनपीयू टॉप्स पर ध्यान केंद्रित करती हैं, फिर बोर्ड ब्रिंग-अप के दौरान पाती हैं कि सिस्टम अभी भी पीछे रह जाता है, भले ही एनपीयू क्षमता का आधा से अधिक हिस्सा अभी भी उपलब्ध हो। निम्नलिखित सीमाएँ एम्बेडेड विज़न में सामान्य बोटलनेक हैं।

४.१ डीडीआर मेमोरी बैंडविड्थ

एआई इन्फरेंस के दौरान, एनपीयू लगातार छवियों और मॉडल वेट्स को मेमोरी से पढ़ता है और मध्यवर्ती फीचर मैप्स को मेमोरी में वापस लिखता है। डीडीआर बैंडविड्थ इन स्थानांतरणों की गति निर्धारित करती है। जब बैंडविड्थ अपर्याप्त होती है, तो भले ही एनपीयू में पर्याप्त कंप्यूट क्षमता हो, उसे डेटा की प्रतीक्षा करनी पड़ती है, जिससे फ्रेम-दर में सुधार रुक जाता है। आरके प्लेटफॉर्म पर अधिकांश बहु-कैमरा परियोजनाओं में, एनपीयू क्षमता का केवल एक छोटा सा हिस्सा उपयोग में लाए जाने के बावजूद बैंडविड्थ संतृप्त हो जाती है।

४.२ मेमोरी क्षमता

छवि बफ़र, एआई मॉडल के वज़न और मध्यवर्ती विशेषता मानचित्र सभी मेमोरी का उपयोग करते हैं। जब कई चैनल एक साथ संचालित होते हैं, तो मेमोरी का उपयोग काफ़ी बढ़ जाता है। अपर्याप्त मेमोरी से एप्लिकेशन क्रैश हो सकता है। एम्बेडेड उपकरणों में आमतौर पर वर्चुअल मेमोरी नहीं होती है, इसलिए मेमोरी ओवरफ़्लो (OOM) की स्थिति में उपकरण रुक सकता है।

४.३ आईएसपी छवि पूर्व-प्रसंस्करण

कैमरों द्वारा कैप्चर की गई कच्ची छवियों को क्रॉपिंग, स्केलिंग और रंग-स्थान परिवर्तन की आवश्यकता होती है। कुछ पूर्व-प्रसंस्करण आईएसपी हार्डवेयर द्वारा किया जाता है, जबकि कुछ के लिए सीपीयू संसाधनों का उपयोग किया जाता है। बहु-कैमरा प्राप्ति पूर्व-प्रसंस्करण की मांग बढ़ा देती है और यहां तक कि एनपीयू निष्क्रिय होने पर भी पाइपलाइन में देरी पैदा कर सकती है।

४.४ शक्ति खपत और तापीय प्रबंधन

किसी चिप का विज्ञापित शिखर टॉप्स शिखर शक्ति खपत के अनुरूप होता है। अधिकांश एम्बेडेड उपकरण फ़ैनरहित होते हैं और लंबे समय तक पूर्ण एनपीयू लोड को बनाए रखने में सक्षम नहीं होते हैं। यहां तक कि जब सैद्धांतिक कंप्यूट क्षमता उच्च हो, तो भी तापीय स्थितियां निरंतर संचालन के लिए उपलब्ध क्षमता को सीमित कर देती हैं।

४.५ ऑपरेटर संगतता

यदि कोई एआई मॉडल विशेष ऑपरेटर्स को शामिल करता है जिन्हें एनपीयू त्वरित नहीं कर सकता, तो वे सीपीयू निष्पादन पर वापस चले जाते हैं। सीपीयू पर एआई प्रोसेसिंग धीमी होती है और यहाँ तक कि तब भी पाइपलाइन को गंभीर रूप से अवरुद्ध कर सकती है जब एनपीयू क्षमता पर्याप्त हो। प्लेटफ़ॉर्म का चयन करने से पहले ऑपरेटर त्वरण समर्थन की पुष्टि करें।

५. एक व्यावहारिक योजना बनाने की कार्यप्रवाह

१. कार्यभार का आधाररेखा और संचालन मोड स्थापित करें। एआई पाइपलाइन को परिभाषित करें: रिज़ॉल्यूशन, फ़्रेम दर, चैनल संख्या, ट्रिगर रणनीति (निरंतर या घटना-संचालित), समानांतर या समय-साझा निष्पादन, मॉडल सूची और तैनाती की परिशुद्धता। विशेष रूप से ध्यान दें कि कई चैनलों को कैसे नियोजित किया जाता है।

२. मॉडल कार्यभार को मापें और जीएमएसी/सेकंड में निर्यात करें। प्रत्येक मॉडल के लिए जीएमएसी/सेकंड निर्यात करने के लिए उपकरणों का उपयोग करें, जिसमें एनपीयू-त्वरित गणना को सीपीयू पोस्ट-प्रोसेसिंग से अलग किया गया हो।

3. निष्पादन की कार्यक्षमता निर्धारित करने के लिए लक्ष्य बोर्ड पर माप करें। RK3576 या RK3588 जैसे उम्मीदवार SoC पर मॉडल्स को प्लेटफ़ॉर्म प्रारूप में परिवर्तित करें। उस मॉडल के लिए उस NPU पर प्रति फ़्रेम अनुमानित समय को मापें, ताकि वास्तविक प्रवाह क्षमता का निर्धारण किया जा सके। यह कागज़ों में दिए गए अनुमानों में असंगतियों को दूर करने के लिए सबसे महत्वपूर्ण कदम है: सभी अनुमानों को सामान्य सूत्रों के बजाय बोर्ड-स्तरीय मापन के आधार पर समायोजित किया जाना चाहिए।

4. बहु-चैनल कार्यभार को समूहित करें और प्रणाली की संकीर्णताओं का आकलन करें। सामान्य स्थायी ऑपरेशन के साथ-साथ सभी चैनलों के एक साथ सक्रिय होने पर घटित होने वाली अधिकतम भार स्थिति का भी मूल्यांकन करें। DDR बैंडविड्थ और स्मृति उपयोग दोनों की जाँच एक साथ करें। कई RK बहु-कैमरा परियोजनाएँ गणना क्षमता अभी भी उपलब्ध होने के बावजूद बैंडविड्थ को समाप्त कर देती हैं।

5. उचित शीर्ष स्थान (हेडरूम) का आरक्षण करें और सीमाएँ निर्धारित करें। अधिकांशतः स्थिर एल्गोरिदम वाले अल्पकालिक उत्पादों के लिए 1.1–1.2 का मार्जिन और मॉडल अपडेट प्राप्त करने की उम्मीद वाले उत्पादों के लिए 1.3–1.4 का मार्जिन उपयोग करें। हेडरूम को मॉडल के विकास, चरम परिदृश्यों और शेड्यूलिंग ओवरहेड को शामिल करना चाहिए, न कि कोई मनमाना अतिरिक्त प्रोविज़निंग। बीओएम लागत और शक्ति सीमाओं को एक साथ निर्धारित करें।

6. एनपीयू क्षमता योजना बनाने की पाँच सामान्य गलतियाँ

6.1 केवल चिप टॉप्स और एक निश्चित उपयोग दर का उपयोग करना

घोषित टॉप्स पर एक निश्चित 40% उपयोग दर लागू करने से गणना आवश्यकताओं का कई गुना अतिमूल्यांकन हो सकता है और वास्तविक इंजीनियरिंग परिस्थितियों से काफी भिन्नता हो सकती है। उपयोग दर मॉडलों और एनपीयू आर्किटेक्चर दोनों के अनुसार काफी भिन्न होती है।

6.2 चैनल गिनती से गुणा करना और समय साझाकरण को अनदेखा करना

समय-साझेदारी विधि में, एनपीयू चैनलों को एक के बाद एक संसाधित करता है और उसकी गणना क्षमता का पुनः उपयोग किया जाता है। केवल चैनल संख्या को एकल-चैनल गणना आवश्यकता से गुणा करना आवश्यकताओं का अत्यधिक अनुमान लगा सकता है, जिससे एक अत्यधिक शक्तिशाली और अनावश्यक रूप से महंगा चिप बन जाती है।

6.3 एनपीयू गणना का मूल्यांकन करना, लेकिन डीडीआर बैंडविड्थ को अनदेखा करना

बहु-कैमरा दृष्टि परियोजनाओं में, गणना की तुलना में बैंडविड्थ की सीमाएँ कहीं अधिक सामान्य होती हैं। एनपीयू में अभी भी पर्याप्त क्षमता शेष हो सकती है, लेकिन डेटा स्थानांतरण आवश्यक गति से नहीं हो पाते, जिससे फ्रेम दर सीमित हो जाती है। बहु-कैमरा परियोजनाओं में बैंडविड्थ का मूल्यांकन सर्वप्रथम करना आवश्यक है।

6.4 औसत भार को ध्यान में रखना, लेकिन क्षणिक चोटियों को अनदेखा करना

एक उत्पाद अधिकांश समय निम्न भार पर कार्य कर सकता है, लेकिन जब सभी कैमरे एक साथ कृत्रिम बुद्धिमत्ता को सक्रिय करते हैं, तो क्षणिक चोटियाँ आ सकती हैं। डिज़ाइन को इन चोटियों को संभालने के लिए तैयार होना आवश्यक है, लेकिन एक कार्य कतार इन क्षणिक आवश्यकताओं को समतल कर सकती है, अतः चिप को आवश्यकता से सीधे चोटि गणना आवश्यकता के अनुसार आकारित करने की आवश्यकता नहीं होती।

6.5 केवल मॉडल गणना की गिनती करना और प्रणाली अतिरिक्त भार को अनदेखा करना

कई अनुमान केवल एआई बैकबोन के जीएमएसी की गणना करते हैं और आईएसपी प्रीप्रोसेसिंग, छवि कॉपी करना और सीपीयू पोस्ट-प्रोसेसिंग को अनदेखा कर देते हैं। यहाँ तक कि पर्याप्त एनपीयू क्षमता होने पर भी, ये अतिरिक्त ओवरहेड समग्र विलंबता बढ़ा देते हैं और अपेक्षित फ्रेम दर प्राप्त करने में बाधा डालते हैं।

7. प्लेटफ़ॉर्म चयन के लिए कार्यान्वयन जाँच सूची

सभी कैमरा पैरामीटर्स की सूची बनाएँ: रिज़ॉल्यूशन, फ्रेम दर और चैनल संख्या। पुष्टि करें कि क्या चैनल्स समानांतर या समय-साझा शेड्यूलिंग का उपयोग करते हैं।

प्रत्येक मॉडल के लिए जीएमएसी निर्यात करें और एनपीयू गणना को सीपीयू पोस्ट-प्रोसेसिंग से अलग करें।

उम्मीदवार प्लेटफ़ॉर्म्स पर एकल-मॉडल अनुमान समय को मापें ताकि वास्तविक निष्पादन दक्षता स्थापित की जा सके।

बहु-चैनल कार्यभार को संकलित करें और स्थिर-अवस्था और शिखर स्थितियों के तहत एनपीयू गणना उपयोग का आकलन करें।

डीडीआर बैंडविड्थ और मेमोरी उपयोग को मापें ताकि यह निर्धारित किया जा सके कि क्या बैंडविड्थ बोटलनेक है।

मॉडल ऑपरेटर्स को सत्यापित करें और एनपीयू हार्डवेयर त्वरण समर्थन की पुष्टि करें ताकि सीपीयू फॉलबैक से बचा जा सके।

उत्पाद अपडेट रोडमैप के अनुसार कंप्यूट शेडरूम का आरक्षण करें और बिल ऑफ मटेरियल (बीओएम) लागत तथा शक्ति सीमाएँ निर्धारित करें।

एक साथ कई चैनलों के ट्रिगर के साथ विस्तारित तनाव परीक्षण चलाएँ। फ्रेम-दर में उतार-चढ़ाव और मेमोरी की कमी के कारण होने वाले क्रैश की जाँच करें।

एम्बेडेड विज़न के लिए एनपीयू क्षमता का आकार निर्धारित करना कोई सरल गणितीय कार्य नहीं है जिसमें टॉप्स सूत्र का उपयोग किया जाता हो। पेपर अनुमान केवल प्रारंभिक योजना निर्माण के लिए एक संदर्भ प्रदान करते हैं। अंतिम मान्यीकरण को लक्ष्य चिप के विकास बोर्ड पर किया जाना चाहिए।

एक पूर्ण मूल्यांकन इस क्रम का अनुसरण करता है: यह निर्धारित करना कि क्या कंप्यूट बोटलनेक है → समानांतर या समय-साझा शेड्यूलिंग की पुष्टि करना → मॉडल के जीएमएसी को मापना → डीडीआर बैंडविड्थ मूल्यांकन को प्राथमिकता देना → बोर्ड-स्तरीय परीक्षण के माध्यम से कैलिब्रेशन करना → उचित कंप्यूट शेडरूम का आरक्षण करना।

लक्ष्य प्रदर्शन, शक्ति खपत और लागत के बीच संतुलन बनाए रखना है। कार्य के लिए पर्याप्त क्षमता का चयन करें, बजाय लगातार बढ़ते शिखर एनपीयू टॉप्स के पीछे भागने के।

हमारा MV11 उच्च-प्रदर्शन रॉकचिप RK3576 प्रोसेसर पर आधारित एक चार-कैमरा हार्डवेयर-समकालिक दृष्टि और जड़त्वीय नेविगेशन फ्यूजन कंप्यूटिंग प्लेटफॉर्म है। इसमें 6 TOPS NPU और 4 GB LPDDR4 मेमोरी शामिल है, तथा यह चारों कैमरों के बीच माइक्रोसेकंड-स्तरीय समकालन का समर्थन करता है। इसके उपयुक्त अनुप्रयोगों में रोबोटिक पहचान और डिटेक्शन, VIO, SLAM तथा बहु-कैमरा EGO डेटा संग्रह शामिल हैं। यह ऊपर वर्णित बोर्ड-स्तरीय कंप्यूट, बैंडविड्थ और बहु-चैनल अनुसूचना परीक्षणों के लिए हार्डवेयर प्लेटफॉर्म के रूप में कार्य कर सकता है। प्रारंभिक परियोजना मूल्यांकन के लिए नमूने उपलब्ध हैं, और तैनाती का समर्थन करने के लिए पूर्ण दृष्टि समाधानों को अनुकूलित किया जा सकता है। कृपया हमसे [email protected] पर संपर्क करें।