RK3576 Linux Camera Bring-Up: Από τον οδηγό αισθητήρα μέχρι το πρώτο πλαίσιο

Το RK3576 είναι επεξεργαστής που ανέπτυξε η Rockchip για βιομηχανικές εφαρμογές όρασης, έξυπνη ασφάλεια και τερματικά AI όρασης. Διαθέτει ενσωματωμένο επεξεργαστή σήματος εικόνας (ISP) V3.9 (που υποστηρίζει μέχρι 16 MP) και τρεις δέκτες MIPI CSI-2 (δύο D-PHY V2.0 και έναν C/D-PHY). Κάθε γραμμή D-PHY υποστηρίζει μέγιστο ρυθμό 4,5 Gbps, κάθε τριάδα C-PHY υποστηρίζει 2,5 Gsps και κάθε θύρα CSI υποστηρίζει τέσσερις εικονικά κανάλια.

Η λύση κάμερας RK3576 σχεδιάστηκε με βάση το πλαίσιο Linux Media και το μοντέλο υποσυσκευής V4L2-subdev. Η πλήρης διαδρομή δεδομένων είναι: αισθητήρας εικόνας → ελεγκτής δέκτη MIPI CSI → μονάδα λήψης βίντεο VICAP → ISP V3.9. Ο αισθητήρας λειτουργεί ως ανεξάρτητη υποσυσκευή και λειτουργεί σε συνεργασία με το MIPI CSI, τη VICAP και το ISP για να δημιουργήσει μια πλήρη διαδρομή απόκτησης εικόνας.

Παρόλο που ο RK3576 παρέχει τρεις δέκτες καναλιών MIPI CSI και το VICAP μπορεί να λαμβάνει πολλαπλές ροές εικόνας ταυτόχρονα, η ISP V3.9 είναι υλικό μονού καναλιού και μπορεί να εκτελεί επεξεργασία αλγορίθμων ISP σε μία μόνο ροή εικόνας κάθε φορά.

Κατά τη διάρκεια της αποσφαλμάτωσης του έργου, πιθανά προβλήματα περιλαμβάνουν ανώμαλη επικοινωνία I2C, ασταθή σύνδεση MIPI ή αποτυχία δημιουργίας του Media pipeline, με αποτέλεσμα τελικά να μην εξάγεται η πρώτη καρέ εικόνας. Αυτό το άρθρο παρουσιάζει μια ολοκληρωμένη μεθοδολογία αποσφαλμάτωσης από μηχανική οπτική και μπορεί να χρησιμεύσει ως αναφορά για την αποσφαλμάτωση ενσωματωμένων συστημάτων όρασης.

1. Προετοιμασία Υλικού και Πυρήνα: Εξάλειψη Προβλημάτων Χαμηλού Επιπέδου Υλικού Πριν από την Αποσφαλμάτωση

Κατά την αποσφαλμάτωση του οδηγού, οι περισσότερες προβληματικές καταστάσεις που συναντάμε δεν οφείλονται στον ίδιο τον κώδικα του οδηγού, αλλά σε θέματα χαμηλού επιπέδου, όπως η καλωδίωση του υλικού, η σειρά ενεργοποίησης της τροφοδοσίας ή η έλλειψη κατάλληλης διαμόρφωσης του πυρήνα. Ως εκ τούτου, πριν αρχίσει η ανάπτυξη του οδηγού αισθητήρα, πρέπει να ελεγχθεί και να επιβεβαιωθεί πρώτα το υποκείμενο υλικό και το περιβάλλον του πυρήνα.

Οι βασικοί έλεγχοι υλικού περιλαμβάνουν τις γραμμές τροφοδοσίας του αισθητήρα, το δίκτυο I2C, τις διαφορικές συνδέσεις MIPI και τις ακίδες GPIO ελέγχου επανεκκίνησης/τροφοδοσίας.

Η σειρά ενεργοποίησης της τροφοδοσίας του αισθητήρα αποτελεί ένα από τα κρισιμότερα σημεία της αποσφαλμάτωσης. Πολλαπλές γραμμές τροφοδοσίας, όπως AVDD, DOVDD και DVDD, πρέπει να ακολουθούν αυστηρά τη σειρά ενεργοποίησης που καθορίζεται από τον αισθητήρα. Υπερβολικές αποκλίσεις της τάσης τροφοδοσίας ή λανθασμένη χρονική σειρά ενεργοποίησης/απενεργοποίησης μπορούν να προκαλέσουν απευθείας αποτυχίες επικοινωνίας I2C και ανώμαλη λειτουργία του αισθητήρα.

Δίκτυο I2C: Ελέγξτε τη διαμόρφωση πολυπλεξίας των ακίδων και τη διεύθυνση slave του αισθητήρα, και επιβεβαιώστε ότι οι αντιστάσεις ανύψωσης I2C έχουν τοποθετηθεί σωστά.

MIPI: Επιβεβαιώστε το κανάλι CSI που χρησιμοποιείται από το υλικό, τον αριθμό των γραμμών MIPI και την ταίριαση αντίστασης στις διαφορικές γραμμές σήματος. Επιβεβαιώστε επίσης ότι η ρολόι αναφοράς του αισθητήρα (XVCLK) που εξέρχεται από τον επεξεργαστή RK3576 λειτουργεί σωστά.

Ακροδέκτες ελέγχου επαναφοράς/απενεργοποίησης τροφοδοσίας: Καθορίστε τη λογική ενεργού επιπέδου (ενεργό υψηλό/ενεργό χαμηλό) και βεβαιωθείτε ότι η διαμόρφωση του GPIO αντιστοιχεί στο σχηματικό διάγραμμα.

Διαμόρφωση του πυρήνα: Ελέγξτε τις επιλογές του πυρήνα για το υποσύστημα Media, τις υποσυσκευές V4L2-subdev, τους οδηγούς ελεγκτή MIPI CSI και PHY, το VICAP και το ISP V3.9. Αν ένα απαιτούμενο στοιχείο δεν έχει ενσωματωθεί στον πυρήνα ή έχει ενσωματωθεί ως module αλλά δεν φορτώνεται σωστά, η διαδρομή Media δεν θα μπορεί να αναγνωρίσει το υλικό της κάμερας. Μετά τη δημιουργία και την εγκατάσταση του πυρήνα, ελέγξτε πρώτα την κατάσταση φόρτωσης κάθε module οδηγού. Αναλύστε το αρχείο καταγραφής dmesg και επιβεβαιώστε ότι δεν υπάρχουν σφάλματα, όπως απουσία modules ή αποτυχίες αρχικοποίησης.

2. Διαμόρφωση Δέντρου Συσκευών (DTS): Εγκαθίδρυση συνδέσεων μεταξύ συσκευών

Δέντρο συσκευών κάμερας RK3576: Περιγράφει τους πόρους υλικού και χρησιμοποιεί κόμβους θυρών και σημείων τερματισμού για να συνδέσει τις διαδρομές εικόνας μεταξύ του αισθητήρα, του MIPI CSI, του VICAP και του ISP.

Ο κόμβος αισθητήρα είναι συνδεδεμένος κάτω από τον αντίστοιχο κόμβο διαύλου I2C και ορίζει τη διεύθυνση slave I2C, τον ακροδέκτη επαναφοράς, τον ακροδέκτη ελέγχου απενεργοποίησης τροφοδοσίας και το αναφοράς ρολόι του αισθητήρα. Οι ιδιότητες μπορούν να ρυθμιστούν ώστε να καθυστερήσουν την αρχικοποίηση του αισθητήρα μέχρις ότου το υλικό CSI PHY είναι έτοιμο, αποφεύγοντας έτσι ανταγωνισμούς χρονισμού που προκαλούνται από ένα μη έτοιμο PHY. Το σημείο τερματισμού εντός της θύρας του κόμβου αισθητήρα δείχνει στην είσοδο MIPI CSI και καθορίζει τον αριθμό των διαύλων δεδομένων MIPI.

Ο κόμβος ελεγκτή MIPI CSI περιέχει δύο θύρες: η είσοδος συνδέεται με τον αισθητήρα εικόνας και η έξοδος συνδέεται με τη μονάδα VICAP. Η VICAP στη συνέχεια εξάγει δεδομένα εικόνας στο ISP V3.9. Σημειώστε ότι τα endpoints πρέπει να αναφέρονται αμοιβαία, και οι ιδιότητες remote-endpoint στα δύο άκρα πρέπει να αντιστοιχούν ένα προς ένα. Εάν η αμοιβαία σύνδεση δεν ταιριάζει, το πλαίσιο Media δεν μπορεί να αναγνωρίσει την πλήρη διαδρομή δεδομένων. Μετά την τροποποίηση, τη μεταγλώττιση και την εγκατάσταση του DTS, ελέγξτε πρώτα το αρχείο καταγραφής dmesg για να επιβεβαιώσετε ότι όλοι οι κόμβοι συσκευών βρίσκονται σε φυσιολογική κατάσταση και ότι δεν προκύπτουν επαναλαμβανόμενα σφάλματα deferred-probe.

3. Ανάπτυξη οδηγού υποσυσκευής αισθητήρα: Μοντέλο V4L2-subdev

Ο οδηγός αισθητήρα της πλατφόρμας RK3576 αναπτύσσεται με βάση το πλαίσιο V4L2-subdev. Ο οδηγός αισθητήρα δεν δημιουργεί κόμβο /dev/video· υπάρχει αποκλειστικά ως εντός-μέσων (Media) υποσυσκευή. Οι κύριες ευθύνες του περιλαμβάνουν τη διαμόρφωση καταχωρημάτων αισθητήρα, τη διαχείριση τροφοδοσίας και επαναφοράς, τη διαμόρφωση μορφής εικόνας και τον έλεγχο ενεργοποίησης/απενεργοποίησης ροής.

Ο οδηγός διαιρείται κυρίως σε πέντε ενότητες: ανίχνευση I2C, έλεγχος τροφοδοσίας/επαναφοράς, πίνακες καταχωρημάτων λειτουργίας, διαμόρφωση μορφής pad και έλεγχος ενεργοποίησης/απενεργοποίησης ροής.

Κατά τη φάση διερεύνησης από τον οδηγό, η ταυτότητα του μικροελεγκτή του αισθητήρα (Chip ID) διαβάζεται μέσω I2C για να επιβεβαιωθεί ότι ο μικροελεγκτής αναγνωρίζεται σωστά. Εάν η ανάγνωση της ταυτότητας αποτύχει, η διάγνωση προβλημάτων μπορεί να εστιαστεί απευθείας σε υλικά προβλήματα σχετικά με το I2C, την παροχή ρεύματος και την επανεκκίνηση. Οι λειτουργίες παροχής ρεύματος/επανεκκίνησης εφαρμόζουν την πλήρη ακολουθία ενεργοποίησης και απενεργοποίησης του αισθητήρα: κατά την ενεργοποίηση, κάθε γραμμή τροφοδοσίας ενεργοποιείται διαδοχικά, η ακροδέκτης επανεκκίνησης (reset pin) ενεργοποιείται για την καθορισμένη καθυστέρηση, στη συνέχεια η επανεκκίνηση απενεργοποιείται και δίνεται στον αισθητήρα χρόνος για εσωτερική σταθεροποίηση. Η ακολουθία απενεργοποίησης εκτελεί τις αντίστροφες ενέργειες.

Οι πίνακες καταχωρητών λειτουργίας αποθηκεύουν πλήρεις διαμορφώσεις καταχωρητών αισθητήρα για διαφορετικές αναλύσεις, ρυθμούς καρέ και ρυθμούς MIPI. Όταν η ανώτερη επίπεδο αλλάζει τις παραμέτρους λήψης, ο οδηγός γράφει το αντίστοιχο πλήρες σύνολο καταχωρητών. Η διεπαφή pad-format διαμορφώνει τη μορφή εικόνας του μέσου-λεωφόρου (media-bus), η οποία πρέπει να ταιριάζει αυστηρά με τη μορφή Bayer που εξάγει ο αισθητήρας (όπως BGGR ή RGGB). Μια λανθασμένη διαμόρφωση προκαλεί απευθείας σφάλματα χρωμάτων στην εικόνα. Η διεπαφή ελέγχου ροής (stream-control) χρησιμοποιεί την εντολή stream_on για να γράψει εντολές καταχωρητών που ενεργοποιούν την εξαγωγή εικόνας MIPI από τον αισθητήρα, ενώ η stream_off διακόπτει τη μετάδοση εικόνας. Μετά την υλοποίηση του οδηγού, προστίθενται επιλογές δημιουργίας στο αρχείο Kconfig και στο αρχείο Makefile του πυρήνα, ώστε ο οδηγός να μπορεί να συμπεριληφθεί είτε στον πυρήνα είτε να μεταγλωττιστεί ως φορτώσιμο πρόσθετο πρόγραμμα πυρήνα (loadable kernel module).

4. Διαδοχική αποσφαλμάτωση: Λήψη του πρώτου καρέ βήμα προς βήμα

Δεν συνιστάται να προσπαθήσετε να κάνετε λήψη εικόνας αμέσως. Χρησιμοποιήστε μια στρωματοποιημένη μέθοδο αντιμετώπισης προβλημάτων σε τρεις φάσεις: επαληθεύστε ότι η ανίχνευση του οδηγού επιτυγχάνεται → διασφαλίστε ότι η διαδρομή Media είναι πλήρως συνδεδεμένη → κάντε λήψη ακατέργαστων εικόνων με το V4L2.

Φάση 1: Επαλήθευση της επιτυχούς ανίχνευσης του οδηγού αισθητήρα

Μετά την εκκίνηση του συστήματος, ελέγξτε το dmesg και αναζητήστε τα μηνύματα καταγραφής που εκτυπώνει ο οδηγός αισθητήρα. Χρησιμοποιήστε το i2cdetect για να σαρώσετε το αντίστοιχο I2C δίκτυο και να επαληθεύσετε αν εντοπίζεται η διεύθυνση slave του αισθητήρα.

• Αν δεν εντοπιστεί καμία συσκευή I2C: ελέγξτε την τροφοδοσία του αισθητήρα, τη λογική επαναφοράς, την κολλητική σύνδεση του υλικού I2C και την πολυπλεξία ακροδεκτών.
• Αν η διεύθυνση I2C εντοπίζεται, αλλά η ανάγνωση του Chip ID είναι ανώμαλη: η υλική διαδρομή I2C λειτουργεί σωστά, και το πρόβλημα οφείλεται πιθανότατα σε λανθασμένη διεύθυνση καταχωρήματος ή σε αντιστοιχία με λανθασμένο μοντέλο αισθητήρα.

Φάση 2: Επαλήθευση της διαδρομής Media Framework

Χρησιμοποιήστε το media-ctl για να δείτε τη λίστα των οντοτήτων Media συσκευής. Υπό κανονικές συνθήκες, οι οντότητες υποσυσκευών, όπως ο αισθητήρας, το mipi_csi, το vicap και το isp39, πρέπει να είναι ορατές, με κάθε θύρα pad να αναγνωρίζεται σωστά.

• Εάν η οντότητα του αισθητήρα δεν είναι ορατή: η διαδικασία εντοπισμού του οδηγού αισθητήρα απέτυχε.
• Εάν οι οντότητες υπάρχουν αλλά η σύνδεση είναι αποσυνδεδεμένη: η δικατευθυντική αντιστοίχιση endpoint στο DTS είναι λανθασμένη.

Κατά τη διαδικασία αποσφαλμάτωσης, το media-ctl μπορεί να χρησιμοποιηθεί για να ρυθμίσει χειροκίνητα ολόκληρη τη διαδρομή: να δημιουργήσει συνδέσεις μεταξύ των οντοτήτων και να ορίσει τη μορφή εικόνας, την ανάλυση και τη διαμόρφωση των γραμμών για κάθε στάδιο υποσυσκευής. Τα σφάλματα από το media-ctl οφείλονται συνήθως σε αριθμό γραμμών, μορφή media-bus ή παράμετρο ανάλυσης που υπερβαίνει τις υλικοτεχνικές δυνατότητες του αισθητήρα. Μια επιτυχημένη ρύθμιση με το media-ctl υποδηλώνει ότι η λογισμική διαδρομή από τον αισθητήρα μέχρι το ISP έχει εγκατασταθεί.

Στάδιο 3: Λήψη εικόνας με V4L2 και απόκτηση του πρώτου raw frame

Το VICAP/ISP δημιουργεί τον κόμβο /dev/video, ο οποίος λειτουργεί ως σημείο εισόδου χώρου χρήστη για τη λήψη εικόνας. Χρησιμοποιήστε το εργαλείο v4l2-ctl για να ορίσετε τη μορφή εικονοστοιχείων (pixel format), να λάβετε ένα μοναδικό πλαίσιο μέσω mmap και να αποθηκεύσετε τα δεδομένα Bayer RAW. Εάν το μέγεθος του παραγόμενου αρχείου RAW συμφωνεί με τη θεωρητική προσδοκία, η πρώτη καρέ έχει ληφθεί επιτυχώς. Το αρχείο RAW μπορεί στη συνέχεια να προβληθεί με επαγγελματικό εργαλείο ανάλυσης εικόνας για να εξεταστεί η αρχική εικόνα Bayer.

5. Συνηθισμένες προσεγγίσεις επίλυσης προβλημάτων

• το media-ctl αναφέρει σφάλμα κατά τη διαμόρφωση της σύνδεσης: Πρώτα ελέγξτε τη δικατευθυντική δέσμευση των σημείων τερματικού (endpoint) στο DTS, στη συνέχεια επαληθεύστε τη μορφή media-bus, την ανάλυση και τον αριθμό των γραμμών (lane-count).
• Η λήψη πλαισίου V4L2 χάνει το χρονικό όριο χωρίς να παράγει δεδομένα εικόνας: Επιβεβαιώστε ότι η εντολή stream_on εκτελείται σωστά μέσα στον οδηγό, ότι το CSI PHY έχει επιτύχει συγχρονισμό ρολογιού (clock lock) και ότι ο αισθητήρας πράγματι εκπέμπει ροή δεδομένων MIPI.
• Εικόνες με σφάλματα ή ζωνοειδής θόρυβος: Πιθανές αιτίες περιλαμβάνουν λανθασμένη συχνότητα ρολογιού MIPI, λανθασμένο αριθμό καναλιών, αντιστοίχιση προτύπου Bayer ή υπερβολική ταλάντωση στην τροφοδοσία του αισθητήρα.
• Διαλείπουσα εξαγωγή εικόνας ή ενδεχόμενη απώλεια καρέ: Ο χρόνος ενεργοποίησης/επαναφοράς του αισθητήρα ενδέχεται να μην πληροί τις απαιτήσεις, ή η υλικοτεχνική τροφοδοσία ενδέχεται να μην είναι επαρκώς σταθερή.

Διαθέτουμε ένα ώριμο λύση RK3576 και επαγγελματικές ικανότητες σε προσαρμοστική ανάπτυξη, υλικοτεχνική προσαρμογή και υλοποίηση μαζικής παραγωγής. Για διαφορετικούς αισθητήρες εικόνας και διαφορετικές απαιτήσεις ανάλυσης/ρυθμού καρέ, μπορούμε να προσφέρουμε αναθεωρήσεις υλικού, αποσφαλμάτωση οδηγών και βελτιστοποίηση ολόκληρου του συστήματος, προκειμένου να υποστηρίξουμε αποτελεσματικά προσαρμοσμένα έργα σε εφαρμογές βιομηχανικής όρασης, έξυπνης ασφάλειας, τερματικών AI όρασης και άλλων. Επικοινωνήστε μαζί μας στο [email protected].