RK3576 लिनक्स कॅमेरा ब्रिंग-अप: सेन्सर ड्राइव्हरपासून पहिल्या फ्रेमपर्यंत

RK3576 हा रॉकचिप द्वारे औद्योगिक दृष्टी, स्मार्ट सुरक्षा आणि एआय दृष्टी टर्मिनल्ससाठी विकसित केलेला प्रोसेसर आहे. त्यात ISP V3.9 इमेज सिग्नल प्रोसेसर (कमाल १६ एमपी समर्थित) आणि तीन MIPI CSI-2 रिसीव्हर मॉड्यूल्स (दोन D-PHY V2.0 मॉड्यूल्स आणि एक C/D-PHY मॉड्यूल) एकत्रित केले आहेत. प्रत्येक D-PHY लेन ४.५ जीबीपीएस पर्यंतचा दर समर्थित करतो, प्रत्येक C-PHY ट्रिओ २.५ जीएसपीएस समर्थित करतो आणि प्रत्येक CSI पोर्ट चार व्हर्चुअल चॅनेल्स समर्थित करतो.

RK3576 कॅमेरा सोल्यूशन लिनक्स मीडिया फ्रेमवर्क आणि V4L2-सबडिव्हाइस सबडिव्हाइस मॉडेलवर आधारित आहे. संपूर्ण डेटा पाथ असा आहे: इमेज सेन्सर → MIPI CSI रिसीव्हर कंट्रोलर → VICAP व्हिडिओ कॅप्चर युनिट → ISP V3.9. सेन्सर स्वतंत्र सबडिव्हाइस म्हणून कार्य करतो आणि MIPI CSI, VICAP आणि ISP यांच्यासोबत कार्य करून संपूर्ण इमेज अॅक्विझिशन पाईपलाइन तयार करतो.

जरी RK3576 मध्ये तीन MIPI CSI प्राप्त करणारी चॅनेल्स आहेत आणि VICAP एकावेळी अनेक प्रतिमा स्ट्रीम्स घेऊ शकतो, तरीही ISP V3.9 हे एक-चॅनेल हार्डवेअर आहे आणि ते एकावेळी फक्त एका प्रतिमा स्ट्रीमवरच ISP अल्गोरिदम प्रक्रिया करू शकते.

प्रकल्पाच्या डिबगिंगदरम्यान, समस्या म्हणून असामान्य I2C संवाद, अस्थिर MIPI लिंक किंवा मीडिया पाइपलाइन स्थापित करण्यात अयशस्वी होणे यांचा समावेश असू शकतो, ज्यामुळे शेवटी पहिला प्रतिमा फ्रेम बाहेर पडणे रोखले जाते. हा लेख अभियांत्रिकी अंमलबजावणीच्या दृष्टिकोनातून एक संपूर्ण डिबगिंग पद्धत स्पष्ट करतो आणि एम्बेडेड व्हिजन डिबगिंगसाठी संदर्भ म्हणून वापरला जाऊ शकतो.

१. हार्डवेअर आणि कर्नेल तयारी: डिबगिंगपूर्वी कमी-स्तरीय हार्डवेअर समस्या दूर करा

ड्राइव्हर डिबगिंगमध्ये, आपण जे बहुतेक समस्या पाहतो त्या सामान्यतः ड्राइव्हर कोडमुळे नसून, हार्डवेअर वायरिंग, पॉवर सीक्वेन्सिंग किंवा कर्नेल कॉन्फिगरेशनच्या अभावासारख्या कमी-स्तरीय समस्यांमुळे निर्माण होतात. म्हणून, सेन्सर ड्राइव्हर विकास सुरू करण्यापूर्वी, मूलभूत हार्डवेअर आणि कर्नेल वातावरणाची तपासणी आणि पुष्टी करणे आवश्यक आहे.

महत्त्वाच्या हार्डवेअर तपासण्यामध्ये सेन्सरच्या पॉवर रेल्स, I2C बस, MIPI डिफरेन्शियल लिंक्स आणि रीसेट/पॉवर-कंट्रोल GPIO पिन्स यांचा समावेश आहे.

सेन्सर पॉवर-अप सीक्वेन्सिंग ही डिबगिंगमधील सर्वात महत्त्वाच्या भागांपैकी एक आहे. AVDD, DOVDD आणि DVDD सारख्या अनेक पॉवर रेल्सना सेन्सरद्वारे निर्दिष्ट केलेल्या पॉवर-अप सीक्वेन्सचे कडकपणे पालन करावे लागते. पुरेशा पुरवठा-व्होल्टेज विचलन किंवा चुकीची पॉवर-अप/पॉवर-डाऊन वेळ यामुळे सीधेच I2C संवाद अपयशी ठरू शकतो आणि सेन्सरचे कार्य असामान्य होऊ शकते.

I2C बस: पिन-मल्टीप्लेक्सिंग कॉन्फिगरेशन आणि सेन्सर स्लेव्ह अ‍ॅड्रेसची तपासणी करा आणि I2C पुल-अप रेझिस्टर्स योग्यरित्या लावले गेले आहेत की नाही याची पुष्टी करा.

MIPI: हार्डवेअरद्वारे वापरल्या जाणाऱ्या CSI चॅनेलची, MIPI लेन्सची संख्या आणि डिफरेन्शियल सिग्नल लाइन्सवरील इम्पिडन्स मॅचिंगची पुष्टी करा. तसेच, RK3576 पासून बाहेर पडणारा सेन्सर रेफरन्स क्लॉक (XVCLK) योग्यरित्या कार्यरत आहे की नाही याची पुष्टी करा.

रीसेट/पॉवर-डाऊन नियंत्रण पिन्स: सक्रिय-स्तर लॉजिक (सक्रिय उच्च/सक्रिय कमी) ठरवा आणि GPIO कॉन्फिगरेशन स्कीमॅटिकशी जुळत असल्याची खात्री करा.

कर्नेल कॉन्फिगरेशन: मीडिया सबसिस्टम, V4L2-सबडिव्हाइस सबडिव्हाइसेस, MIPI CSI कंट्रोलर आणि PHY ड्राइव्हर्स, VICAP आणि ISP V3.9 साठी कर्नेल पर्याय तपासा. जर कोणताही आवश्यक घटक कर्नेलमध्ये बिल्ट-इन नसेल किंवा मॉड्यूल म्हणून बिल्ट-इन असेल पण योग्यरित्या लोड होऊ शकत नसेल, तर मीडिया पाईपलाइन कॅमेरा हार्डवेअर ओळखू शकणार नाही. कर्नेल बिल्ड करून फ्लॅश केल्यानंतर, प्रथम प्रत्येक ड्राइव्हर मॉड्यूलची लोडिंग स्थिती तपासा. dmesg लॉग पाहा आणि गहाळ मॉड्यूल्स किंवा प्रारंभीकरण अयशस्वी झाल्यासारख्या त्रुटी नसल्याची पुष्टी करा.

२. डिव्हाइस ट्री (DTS) कॉन्फिगरेशन: डिव्हाइसेसमध्ये संपर्क स्थापित करणे

RK3576 कॅमेरा डिव्हाइस ट्री: ती हार्डवेअर संसाधनांचे वर्णन करते आणि सेन्सर, MIPI CSI, VICAP आणि ISP यांच्यातील इमेज पाईपलाईन लिंक्स बांधण्यासाठी पोर्ट आणि एंडपॉइंट नोड्स वापरते.

सेन्सर नोड हा संबंधित I2C बस नोड खाली जोडला जातो आणि I2C स्लेव्ह पत्ता, रीसेट पिन, पॉवर-डाऊन नियंत्रण पिन आणि सेन्सर संदर्भ घड्याळ यांची व्याख्या करतो. गुणधर्मांचे कॉन्फिगरेशन करून सेन्सर प्रारंभीकरण तोपर्यंत थांबवता येते जोपर्यंत CSI PHY हार्डवेअर तयार नसेल, ज्यामुळे अतयार PHY मुळे होणाऱ्या वेळेच्या स्पर्धा (टाइमिंग रेसेस) टाळल्या जातात. सेन्सर नोडच्या पोर्ट आतील एंडपॉइंट MIPI CSI इनपुटकडे निर्देशित करतो आणि MIPI डेटा लेन्सची संख्या निर्दिष्ट करतो.

एमआयपीआय सीएसआय नियंत्रक नोडमध्ये दोन पोर्ट्स असतात: इनपुट हा छायाचित्र सेन्सरशी जोडलेला असतो, आणि आउटपुट हा व्हीआयकॅप युनिटशी जोडलेला असतो. नंतर व्हीआयकॅप छायाचित्र डेटा आयएसपी व्ही३.९ मध्ये पाठवतो. लक्षात घ्या की एंडपॉइंट्स एकमेकांचा दोन्ही दिशांनी संदर्भ देणे आवश्यक आहे, आणि दोन्ही टोकांवरील रिमोट-एंडपॉइंट गुणधर्मांची एक-एक जुळणी असणे आवश्यक आहे. जर दोन्ही दिशांनीची बांधणी जुळत नसेल, तर मीडिया फ्रेमवर्क पूर्ण डेटा मार्ग ओळखू शकत नाही. डीटीएसमध्ये बदल करून, त्याचे संकल्पन करून आणि फ्लॅश करून झाल्यानंतर, सर्व डिव्हाइस नोड्स सामान्य स्थितीत आहेत की नाही आणि कोणतेही सतत विलंबित-प्रोब त्रुटी निर्माण होत नाहीत की नाही याची पुष्टी करण्यासाठी प्रथम डीमेस्ग लॉग पाहा. पुनरावृत्त विलंबित प्रोबिंग सामान्यतः चुकीच्या जीपीआयओ, क्लॉक किंवा पॉवर-संसाधन कॉन्फिगरेशनचे सूचक असते.

३. सेन्सर सबडिव्हाइस ड्राइव्हर विकास: वी४एल२-सबडिव्हाइड मॉडेल

RK3576 प्लॅटफॉर्म सेन्सर ड्राइव्हर V4L2-सबडिव्हाइस फ्रेमवर्कवर आधारित विकसित केला आहे. सेन्सर ड्राइव्हर /dev/video नोड तयार करत नाही; तो केवळ मीडिया सबडिव्हाइस एंटिटी म्हणून अस्तित्वात आहे. त्याची मुख्य जबाबदारी सेन्सर रजिस्टर कॉन्फिगरेशन, पॉवर आणि रीसेट व्यवस्थापन, इमेज-फॉरमॅट कॉन्फिगरेशन आणि स्ट्रीम स्टार्ट/स्टॉप नियंत्रण यांचा समावेश करते.

ड्राइव्हर मुख्यत्वे पाच मॉड्यूलमध्ये विभागला गेला आहे: I2C प्रोब, पॉवर/रीसेट नियंत्रण, मोड रजिस्टर टेबल्स, पॅड-फॉरमॅट कॉन्फिगरेशन आणि स्ट्रीम स्टार्ट/स्टॉप नियंत्रण.

चालकाच्या तपासणी टप्प्यादरम्यान, चिपची ओळख योग्यरित्या केली गेली आहे की नाही हे तपासण्यासाठी सेन्सर चिप आयडी आय-टू-सी (I2C) वरून वाचली जाते. जर आयडी वाचण्यात अडचण आली, तर त्रुटी शोधण्याची प्रक्रिया थेट आय-टू-सी, पॉवर आणि रीसेट संबंधित हार्डवेअर त्रुटींवर केंद्रित करता येते. पॉवर/रीसेट कार्ये संपूर्ण सेन्सर पॉवर-अप आणि पॉवर-डाऊन क्रमाची अंमलबजावणी करतात: पॉवर-अप दरम्यान, प्रत्येक पॉवर रेल अनुक्रमे सक्रिय केली जाते, रीसेट पिन निर्दिष्ट विलंबासाठी सक्रिय केला जातो, नंतर रीसेट मुक्त केला जातो आणि सेन्सरला आतंतरिकरित्या स्थिर होण्यासाठी वेळ दिला जातो. पॉवर-डाऊन क्रमामध्ये विरुद्ध क्रिया केल्या जातात.

मोड रजिस्टर टेबल्स वेगवेगळ्या रिझोल्यूशन्स, फ्रेम रेट्स आणि MIPI रेट्ससाठी संपूर्ण सेन्सर रजिस्टर कॉन्फिगरेशन्स साठवतात. जेव्हा वरच्या पदरावरील लेयर कॅप्चर पॅरामीटर्स बदलते, तेव्हा ड्राइव्हर संबंधित संपूर्ण रजिस्टर सेट लिहितो. पॅड-फॉरमॅट इंटरफेस मीडिया-बस इमेज फॉरमॅट कॉन्फिगर करतो, जो सेन्सरद्वारे निर्माण केलेल्या बायर फॉरमॅटशी (उदा. BGGR किंवा RGGB) कडकपणे जुळावा लागतो. चुकीची कॉन्फिगरेशन थेट इमेजच्या रंगातील त्रुटींना कारणीभूत ठरते. स्ट्रीम-कंट्रोल इंटरफेसमध्ये stream_on वापरून रजिस्टर कमांड्स लिहिल्या जातात ज्यामुळे सेन्सरचे MIPI इमेज आउटपुट सक्षम होते, तर stream_off इमेज ट्रान्समिशन थांबवतो. ड्राइव्हर लागू केल्यानंतर, कर्नेल Kconfig आणि Makefile मध्ये बिल्ड पर्याय जोडले जातात जेणेकरून ड्राइव्हर कर्नेलमध्ये थेट बिल्ड करता येईल किंवा लोड करता येणाऱ्या कर्नेल मॉड्यूल म्हणून कंपाइल करता येईल.

४. टप्प्यावार डिबगिंग: पहिला फ्रेम टप्प्याटप्प्याने मिळवा

प्रतिमा कॅप्चर करण्याचा प्रयत्न लगेच करणे शिफारस केलेला नाही. तीन टप्प्यांमध्ये थरांच्या समस्या निराकरण पद्धतीचा वापर करा: ड्राइव्हर प्रोब यशस्वी झाला आहे की नाही हे पुष्टी करा → मीडिया पाईपलाईन पूर्णपणे कनेक्टेड आहे की नाही हे तपासा → V4L2 वापरून कच्च्या प्रतिमा कॅप्चर करा.

टप्पा १: सेन्सर ड्राइव्हर प्रोब्स यशस्वी झाले आहेत की नाही हे तपासा

सिस्टम बूट झाल्यानंतर, dmesg पाहा आणि सेन्सर ड्राइव्हरद्वारे मुद्रित केलेल्या लॉग संदेशांचा शोध घ्या. i2cdetect वापरून संबंधित I2C बस स्कॅन करा आणि सेन्सर स्लेव पत्ता ओळखला गेला आहे की नाही हे पुष्टी करा.

• जर कोणताही I2C डिव्हाइस ओळखला गेला नसेल तर: सेन्सर पॉवर, रीसेट लॉजिक, I2C हार्डवेअरची सोल्डरिंग आणि पिन मल्टीप्लेक्सिंग तपासा.
• जर I2C पत्ता ओळखला जाऊ शकत असेल पण चिप आयडी वाचन अनियमित असेल तर: I2C हार्डवेअर पथ कार्यरत आहे आणि समस्या संभवितपणे चुकीचा रजिस्टर पत्ता किंवा सेन्सर-मॉडेल मिसमॅच असू शकते.

टप्पा २: मीडिया फ्रेमवर्क पाईपलाईन तपासा

मीडिया डिव्हाइस एंटिटीजची यादी पाहण्यासाठी मीडिया-ctl वापरा. सामान्य परिस्थितीत, सेन्सर, मिपी_सीएसआय, व्हीकॅप आणि आयएसपी39 अशा सबडिव्हाइस एंटिटीज दिसून येतील, आणि प्रत्येक पॅड पोर्ट योग्यरित्या ओळखला जाईल.

• जर सेन्सर एंटिटी दिसत नसेल तर: सेन्सर ड्राइव्हर प्रोब अपयशी ठरला आहे.
• जर एंटिटीज अस्तित्वात असतील पण लिंक विच्छेदित असेल तर: डीटीएसमधील एंडपॉइंट द्विदिशात्मक जोडणी चुकीची आहे.

डिबगिंगदरम्यान, मीडिया-ctl वापरून संपूर्ण पाईपलाइनची हाताने कॉन्फिगरेशन करता येते: एंटिटीजमध्ये लिंक्स स्थापित करणे आणि प्रत्येक सबडिव्हाइस स्टेजसाठी छायाचित्राचा स्वरूप, रिझोल्यूशन आणि लेन कॉन्फिगरेशन सेट करणे. मीडिया-ctl पासून येणाऱ्या त्रुटींचे सामान्य कारण म्हणजे लेन संख्या, मीडिया-बस स्वरूप किंवा रिझोल्यूशन पॅरामीटर हे सेन्सरच्या हार्डवेअर क्षमतेपेक्षा जास्त असणे. यशस्वी मीडिया-ctl कॉन्फिगरेशन हे सेन्सरपासून आयएसपीपर्यंतचा सॉफ्टवेअर मार्ग स्थापित झाला आहे याचे सूचन करते.

स्टेज ३: वी4एल2 वापरून छायाचित्र कॅप्चर करा आणि पहिला रॉ फ्रेम मिळवा

व्हिकॅप/इस्प हे /डेव्ह/व्हिडिओ नोड तयार करते, जे छायाचित्र घेण्यासाठी वापरकर्ता-स्पेस प्रवेशबिंदू म्हणून कार्य करते. व्हिडिओ फॉरमॅट सेट करण्यासाठी v4l2-ctl वापरा, mmap मार्फत एका फ्रेमची छायांकन करा आणि बेयर रॉ डेटा सेव्ह करा. जर तयार झालेल्या रॉ फाइलचा आकार सैद्धांतिक अपेक्षित आकाराशी जुळत असेल, तर पहिला छायाचित्र फ्रेम यशस्वीरित्या घेतला गेला आहे. नंतर रॉ फाइल एका व्यावसायिक छायाचित्र विश्लेषण साधनाद्वारे पाहता येते जेणेकरून मूळ बेयर छायाचित्राची तपासणी करता येईल.

५. सामान्य त्रुटी निराकरण पद्धती

• लिंक कॉन्फिगर करताना मीडिया-कंट्रोल त्रुटी अहवालित करतो: प्रथम द्विदिशात्मक डीटीएस एंडपॉइंट बांधणीची तपासणी करा, नंतर मीडिया-बस फॉरमॅट, रिझोल्यूशन आणि लेन-काउंट पॅरामीटर्सची पुष्टी करा.
• वी४एल२ फ्रेम कॅप्चर वेळेची मुदत संपली आणि कोणतेही छायाचित्र डेटा आउटपुट झाले नाही: ड्राइव्हरमध्ये stream_on योग्यरित्या कार्यान्वित केले गेले आहे की नाही हे पुष्टी करा, सीएसआय फिजिकल लेयरने क्लॉक लॉक प्राप्त केले आहे की नाही हे तपासा आणि सेन्सर खरोखरच मिपी डेटा स्ट्रीम बाहेर पाठवत आहे की नाही हे सुद्धा तपासा.
• क्षुण्ण प्रतिमा किंवा पट्टीदार शोर: संभाव्य कारणांमध्ये चुकीची MIPI घड्याळ दर, चुकीची लेन संख्या, बेयर पॅटर्न मिसमॅच किंवा सेन्सर पॉवर सप्लायवर जास्त रिपल समाविष्ट आहेत.
• अव्यवस्थित प्रतिमा आउटपुट किंवा अव्यवस्थित फ्रेम ड्रॉप: सेन्सर पॉवर-अप/रीसेट टाइमिंग आवश्यकता पूर्ण करू शकत नाही किंवा हार्डवेअर पॉवर सप्लाय पुरेसे स्थिर नसू शकतो.

आमच्याकडे परिपक्व RK3576 उपाय आहे आणि सानुकूल विकास, हार्डवेअर अनुकूलन आणि मास-प्रोडक्शन अंमलबजावणीमध्ये व्यावसायिक क्षमता आहे. विविध इमेज सेन्सर्स आणि रिझोल्यूशन/फ्रेम-रेट आवश्यकतांसाठी, आम्ही हार्डवेअर सुधारणा, ड्राइव्हर डिबगिंग आणि संपूर्ण-सिस्टम ऑप्टिमायझेशन प्रदान करू शकतो, ज्यामुळे औद्योगिक व्हिजन, स्मार्ट सुरक्षा, AI व्हिजन टर्मिनल्स आणि इतर अनुप्रयोगांमध्ये सानुकूलित प्रकल्पांना कार्यक्षमपणे समर्थन देता येईल. आमच्याशी संपर्क साधा [email protected].