RK3576 लिनक्स कैमरा ब्रिंग-अप: सेंसर ड्राइवर से पहले फ्रेम तक

RK3576 ek processor hai jise Rockchip ne industrial vision, smart security, aur AI vision terminals ke liye viksit kiya gaya hai. Ismein ISP V3.9 image signal processor (jo 16 MP tak ko support karta hai) aur teen MIPI CSI-2 receiver modules (do D-PHY V2.0 modules aur ek C/D-PHY module) shamil hain. Har D-PHY lane adhikatam 4.5 Gbps ki dar se kaam kar sakta hai, har C-PHY trio 2.5 Gsps ko support karta hai, aur har CSI port chaar virtual channels ko support karta hai.

RK3576 camera solution Linux Media framework aur V4L2-subdev subdevice model ke aas-paas design kiya gaya hai. Poora data path yeh hai: image sensor → MIPI CSI receiver controller → VICAP video capture unit → ISP V3.9. Sensor ek swatantra subdevice ke roop mein kaam karta hai aur MIPI CSI, VICAP, aur ISP ke saath milkar ek poora image acquisition pipeline banata hai.

हालाँकि RK3576 तीन MIPI CSI रिसीवर चैनल प्रदान करता है और VICAP एक साथ कई छवि स्ट्रीम प्राप्त कर सकता है, ISP V3.9 एकल-चैनल हार्डवेयर है और केवल एक छवि स्ट्रीम पर ही ISP एल्गोरिदम प्रोसेसिंग को निष्पादित कर सकता है।

प्रोजेक्ट डीबगिंग के दौरान समस्याओं में असामान्य I2C संचार, अस्थिर MIPI लिंक या मीडिया पाइपलाइन की स्थापना में विफलता शामिल हो सकती है, जिसके परिणामस्वरूप पहला छवि फ्रेम आउटपुट नहीं किया जा सकता है। यह लेख इंजीनियरिंग कार्यान्वयन के दृष्टिकोण से एक पूर्ण डीबगिंग दृष्टिकोण प्रस्तुत करता है और एम्बेडेड विज़न डीबगिंग के लिए एक संदर्भ के रूप में कार्य कर सकता है।

1. हार्डवेयर और कर्नेल तैयारी: डीबगिंग से पहले निम्न-स्तरीय हार्डवेयर समस्याओं को दूर करना

ड्राइवर डीबगिंग में, हमारे द्वारा सामना किए जाने वाले अधिकांश समस्याएँ ड्राइवर कोड स्वयं के कारण नहीं होती हैं, बल्कि हार्डवेयर वायरिंग, पावर सीक्वेंसिंग या अनुपलब्ध कर्नेल कॉन्फ़िगरेशन जैसी निचले स्तर की समस्याओं के कारण होती हैं। अतः सेंसर ड्राइवर विकास शुरू करने से पहले, मूल हार्डवेयर और कर्नेल वातावरण की जाँच और सत्यापन पहले कर लेना चाहिए।

मुख्य हार्डवेयर जाँचों में सेंसर की विद्युत आपूर्ति रेलें, I2C बस, MIPI डिफरेंशियल लिंक्स और रीसेट/पावर-नियंत्रण GPIO पिन शामिल हैं।

सेंसर की पावर-अप सीक्वेंसिंग डीबगिंग का सबसे महत्वपूर्ण हिस्सा है। AVDD, DOVDD और DVDD जैसी कई पावर रेलें सेंसर द्वारा निर्दिष्ट पावर-अप क्रम का सख्ती से पालन करनी चाहिएं। अत्यधिक वोल्टेज विचलन या गलत पावर-अप/पावर-डाउन समय सीमा सीधे I2C संचार विफलताओं और सेंसर के असामान्य संचालन का कारण बन सकती हैं।

I2C बस: पिन-मल्टीप्लेक्सिंग कॉन्फ़िगरेशन और सेंसर स्लेव पते की जाँच करें, और यह पुष्टि करें कि I2C पुल-अप प्रतिरोधक सही ढंग से लगाए गए हैं।

MIPI: हार्डवेयर द्वारा उपयोग किए जाने वाले CSI चैनल, MIPI लेन्स की संख्या और अंतर सिग्नल लाइनों पर प्रतिबाधा मिलान की पुष्टि करें। साथ ही, RK3576 से निकलने वाले सेंसर संदर्भ घड़ी (XVCLK) के सही काम करने की पुष्टि करें।

रीसेट/पावर-डाउन नियंत्रण पिन: सक्रिय-स्तर तर्क (सक्रिय उच्च/सक्रिय निम्न) निर्धारित करें, और सुनिश्चित करें कि GPIO कॉन्फ़िगरेशन स्कीमैटिक के अनुरूप हो।

कर्नेल कॉन्फ़िगरेशन: मीडिया उपप्रणाली, V4L2-सबडिवाइस उप-उपकरण, MIPI CSI नियंत्रक और PHY ड्राइवर, VICAP और ISP V3.9 के लिए कर्नेल विकल्पों की जाँच करें। यदि कोई आवश्यक घटक कर्नेल में नहीं बनाया गया है, या मॉड्यूल के रूप में बनाया गया है लेकिन सही ढंग से लोड नहीं हो पाता है, तो मीडिया पाइपलाइन कैमरा हार्डवेयर की पहचान नहीं कर पाएगी। कर्नेल के निर्माण और फ्लैश करने के बाद, सबसे पहले प्रत्येक ड्राइवर मॉड्यूल के लोड होने की स्थिति की जाँच करें। dmesg लॉग की समीक्षा करें और पुष्टि करें कि कोई त्रुटि—जैसे लापता मॉड्यूल या प्रारंभीकरण विफलता—नहीं है।

2. डिवाइस ट्री (DTS) कॉन्फ़िगरेशन: डिवाइस के बीच कनेक्शन स्थापित करना

RK3576 कैमरा डिवाइस ट्री: यह हार्डवेयर संसाधनों का वर्णन करता है और सेंसर, MIPI CSI, VICAP और ISP के बीच छवि पाइपलाइन कड़ियों को बांधने के लिए पोर्ट और एंडपॉइंट नोड्स का उपयोग करता है।

सेंसर नोड को संबंधित I2C बस नोड के तहत संलग्न किया जाता है और इसमें I2C स्लेव पता, रीसेट पिन, पावर-डाउन नियंत्रण पिन और सेंसर संदर्भ घड़ी को परिभाषित किया जाता है। गुणों को CSI PHY हार्डवेयर तैयार होने तक सेंसर प्रारंभीकरण को विलंबित करने के लिए कॉन्फ़िगर किया जा सकता है, जिससे अतैयार PHY के कारण उत्पन्न होने वाली समय संबंधित प्रतिस्पर्धाओं से बचा जा सकता है। सेंसर नोड के पोर्ट के अंदर का एंडपॉइंट MIPI CSI इनपुट की ओर इशारा करता है और MIPI डेटा लेन्स की संख्या को निर्दिष्ट करता है।

एमआईपीआई सीएसआई नियंत्रक नोड में दो पोर्ट होते हैं: इनपुट छवि सेंसर से जुड़ा होता है, और आउटपुट वीआईकैप यूनिट से जुड़ा होता है। इसके बाद वीआईकैप छवि डेटा को आईएसपी वी३.९ को भेजता है। ध्यान रखें कि एंडपॉइंट्स को एक-दूसरे को द्विदिशात्मक रूप से संदर्भित करना आवश्यक है, और दोनों सिरों पर रिमोट-एंडपॉइंट गुणों का एक-से-एक संगत होना चाहिए। यदि द्विदिशात्मक बाइंडिंग मेल नहीं खाती है, तो मीडिया फ्रेमवर्क पूर्ण डेटा पथ को पहचान नहीं पाता है। डीटीएस को संशोधित, संकलित और फ्लैश करने के बाद, सबसे पहले डीमेस्ग लॉग की समीक्षा करें ताकि पुष्टि की जा सके कि सभी डिवाइस नोड्स सामान्य स्थिति में हैं और कोई स्थायी विलंबित-प्रोब त्रुटि नहीं हो रही है। बार-बार होने वाली विलंबित प्रोबिंग आमतौर पर गलत जीपीआईओ, घड़ी या बिजली-संसाधन कॉन्फ़िगरेशन को इंगित करती है।

३. सेंसर सबडिवाइस ड्राइवर विकास: वी४एल२-सबडिवाइस मॉडल

आरके3576 प्लेटफ़ॉर्म सेंसर ड्राइवर को वी4एल2-सबडिवाइस फ्रेमवर्क के आधार पर विकसित किया गया है। सेंसर ड्राइवर कोई /dev/video नोड नहीं बनाता; यह केवल एक मीडिया सबडिवाइस एंटिटी के रूप में मौजूद होता है। इसके मुख्य दायित्वों में सेंसर रजिस्टर कॉन्फ़िगरेशन, बिजली और रीसेट प्रबंधन, छवि-प्रारूप कॉन्फ़िगरेशन और स्ट्रीम शुरू/रोक नियंत्रण शामिल हैं।

ड्राइवर मुख्य रूप से पाँच मॉड्यूलों में विभाजित है: आई2सी प्रोब, बिजली/रीसेट नियंत्रण, मोड रजिस्टर टेबल, पैड-प्रारूप कॉन्फ़िगरेशन और स्ट्रीम शुरू/रोक नियंत्रण।

ड्राइवर के प्रोब चरण के दौरान, सेंसर चिप आईडी को आई2सी के माध्यम से पढ़ा जाता है ताकि यह सुनिश्चित किया जा सके कि चिप को सही ढंग से पहचाना गया है। यदि आईडी पढ़ने में विफलता होती है, तो ट्रबलशूटिंग को सीधे आई2सी, बिजली आपूर्ति और रीसेट से संबंधित हार्डवेयर दोषों पर केंद्रित किया जा सकता है। बिजली आपूर्ति/रीसेट कार्य पूर्ण सेंसर पावर-अप और पावर-डाउन क्रम को लागू करते हैं: पावर-अप के दौरान, प्रत्येक आपूर्ति रेल को क्रम में सक्रिय किया जाता है, रीसेट पिन को निर्दिष्ट देरी के लिए सक्रिय किया जाता है, फिर रीसेट को जारी किया जाता है और सेंसर को आंतरिक रूप से स्थिर होने के लिए समय दिया जाता है। पावर-डाउन क्रम विपरीत कार्यों को करता है।

मोड रजिस्टर टेबल्स विभिन्न रिज़ॉल्यूशन, फ्रेम दरों और MIPI दरों के लिए पूर्ण सेंसर रजिस्टर कॉन्फ़िगरेशन को संग्रहीत करती हैं। जब ऊपरी परत कैप्चर पैरामीटर्स को स्विच करती है, तो ड्राइवर संबंधित पूर्ण रजिस्टर सेट को लिखता है। पैड-फॉर्मेट इंटरफ़ेस मीडिया-बस छवि प्रारूप को कॉन्फ़िगर करता है, जो सेंसर द्वारा उत्पादित बायर प्रारूप (जैसे BGGR या RGGB) के साथ पूर्णतः मेल खाना चाहिए। गलत कॉन्फ़िगरेशन सीधे छवि के रंग त्रुटियों का कारण बनता है। स्ट्रीम-नियंत्रण इंटरफ़ेस stream_on का उपयोग करके रजिस्टर कमांड लिखता है जो सेंसर के MIPI छवि आउटपुट को सक्षम करते हैं, जबकि stream_off छवि संचरण को रोक देता है। ड्राइवर के कार्यान्वयन के बाद, कर्नेल Kconfig और Makefile में बिल्ड विकल्प जोड़े जाते हैं ताकि ड्राइवर को या तो कर्नेल में निर्मित किया जा सके या लोड करने योग्य कर्नेल मॉड्यूल के रूप में संकलित किया जा सके।

4. चरणबद्ध डीबगिंग: पहला फ्रेम चरण-दर-चरण प्राप्त करना

छवि कैप्चर का प्रयास तुरंत करने की सिफारिश नहीं की जाती है। तीन चरणों में स्तरित ट्रबलशूटिंग दृष्टिकोण का उपयोग करें: ड्राइवर प्रोब की सफलता की पुष्टि करें → मीडिया पाइपलाइन के पूर्ण रूप से कनेक्ट होने की पुष्टि करें → V4L2 के साथ कच्ची छवियाँ कैप्चर करें।

चरण 1: सेंसर ड्राइवर प्रोब की सफलता की पुष्टि करें

सिस्टम बूट होने के बाद, dmesg की समीक्षा करें और सेंसर ड्राइवर द्वारा प्रिंट किए गए लॉग संदेशों की खोज करें। i2cdetect का उपयोग करके संबंधित I2C बस का स्कैन करें और यह पुष्टि करें कि क्या सेंसर स्लेव पता पहचाना गया है।

• यदि कोई I2C डिवाइस पहचाना नहीं गया है: सेंसर शक्ति, रीसेट तर्क, I2C हार्डवेयर सोल्डरिंग और पिन मल्टीप्लेक्सिंग की जाँच करें।
• यदि I2C पता पहचाना जा सकता है, लेकिन चिप आईडी पठन असामान्य है: I2C हार्डवेयर पथ काम कर रहा है, और समस्या संभवतः गलत रजिस्टर पते या सेंसर-मॉडल मिलान न होने की है।

चरण 2: मीडिया फ्रेमवर्क पाइपलाइन की पुष्टि करें

मीडिया-सीटीएल का उपयोग मीडिया डिवाइस एंटिटीज़ की सूची देखने के लिए करें। सामान्य परिस्थितियों में, सेंसर, माइपी_सीएसआई, वीआईकैप और आईएसपी39 जैसी सबडिवाइस एंटिटीज़ दिखाई देनी चाहिए, और प्रत्येक पैड पोर्ट को सही ढंग से पहचाना जाना चाहिए।

• यदि सेंसर एंटिटी दिखाई नहीं देती है: तो सेंसर ड्राइवर प्रोब विफल हो गया है।
• यदि एंटिटीज़ मौजूद हैं लेकिन लिंक डिस्कनेक्टेड है: तो डीटीएस में एंडपॉइंट द्विदिशिक जोड़ीकरण गलत है।

डिबगिंग के दौरान, मीडिया-सीटीएल का उपयोग पूरे पाइपलाइन को मैनुअल रूप से कॉन्फ़िगर करने के लिए किया जा सकता है: एंटिटीज़ के बीच लिंक स्थापित करना और प्रत्येक सबडिवाइस चरण के लिए छवि प्रारूप, रिज़ॉल्यूशन और लेन कॉन्फ़िगरेशन सेट करना। मीडिया-सीटीएल से त्रुटियाँ आमतौर पर लेन गिनती, मीडिया-बस प्रारूप या रिज़ॉल्यूशन पैरामीटर के कारण होती हैं जो सेंसर की हार्डवेयर क्षमताओं से अधिक होते हैं। सफल मीडिया-सीटीएल कॉन्फ़िगरेशन का अर्थ है कि सेंसर से आईएसपी तक का सॉफ़्टवेयर पाथ स्थापित कर लिया गया है।

चरण 3: वी4एल2 के साथ एक छवि कैप्चर करना और पहला रॉ फ्रेम प्राप्त करना

वीआईसीएपी/आईएसपी डिवाइस नोड /dev/video उत्पन्न करता है, जो छवि कैप्चर के लिए यूज़र-स्पेस प्रवेश बिंदु के रूप में कार्य करता है। छवि पिक्सेल प्रारूप सेट करने के लिए v4l2-ctl का उपयोग करें, mmap के माध्यम से एकल फ्रेम कैप्चर करें, और बायर रॉ डेटा को सहेज़ें। यदि उत्पन्न रॉ फ़ाइल का आकार सैद्धांतिक अपेक्षा के अनुरूप है, तो पहला छवि फ्रेम सफलतापूर्वक कैप्चर कर लिया गया है। इसके बाद रॉ फ़ाइल को मूल बायर छवि की जाँच के लिए एक पेशेवर छवि विश्लेषण उपकरण के साथ देखा जा सकता है।

५. सामान्य ट्रबलशूटिंग दृष्टिकोण

• लिंक कॉन्फ़िगर करते समय media-ctl एक त्रुटि रिपोर्ट करता है: सबसे पहले द्विदिशिक डीटीएस एंडपॉइंट बाइंडिंग की जाँच करें, फिर मीडिया-बस प्रारूप, रिज़ॉल्यूशन और लेन-काउंट पैरामीटर्स की पुष्टि करें।
• वी४एल२ फ्रेम कैप्चर समय समाप्त हो जाता है और कोई छवि डेटा आउटपुट नहीं होता है: यह पुष्टि करें कि ड्राइवर के अंदर stream_on सही ढंग से निष्पादित किया गया है, सीएसआई फिज़िकल लेयर ने क्लॉक लॉक प्राप्त कर लिया है, और सेंसर वास्तव में एमआईपीआई डेटा स्ट्रीम उत्पन्न कर रहा है।
• क्षतिग्रस्त छवियाँ या धारीदार शोर: संभावित कारणों में गलत MIPI घड़ी दर, गलत लेन गिनती, बायर पैटर्न में असंगति, या सेंसर शक्ति आपूर्ति पर अत्यधिक तरंगना शामिल हो सकती है।
• अस्थायी छवि आउटपुट या अनियमित फ्रेम ड्रॉप: सेंसर के शक्ति-चालू/रीसेट समय की आवश्यकताओं को पूरा नहीं किया जा सकता है, या हार्डवेयर शक्ति आपूर्ति पर्याप्त रूप से स्थिर नहीं हो सकती है।

हमारे पास एक परिपक्व RK3576 समाधान है और कस्टम विकास, हार्डवेयर अनुकूलन और बड़े पैमाने पर उत्पादन के कार्यान्वयन में व्यावसायिक क्षमताएँ हैं। विभिन्न छवि सेंसरों और रिज़ॉल्यूशन/फ्रेम-दर आवश्यकताओं के लिए, हम हार्डवेयर संशोधन, ड्राइवर डीबगिंग और पूर्ण-प्रणाली अनुकूलन प्रदान कर सकते हैं, जो औद्योगिक दृष्टि, स्मार्ट सुरक्षा, AI दृष्टि टर्मिनल और अन्य अनुप्रयोगों में कस्टम परियोजनाओं का कुशलतापूर्ण समर्थन करता है। हमसे संपर्क करें [email protected].