Πόση μνήμη DDR απαιτεί ένα πολυκάμερα σύστημα AI όρασης; (Με πίνακα επιλογής RK3576)

Με τη γρήγορη πρόοδο των εφαρμογών AI όρασης, οι λύσεις πολλαπλών καμερών (στερεοσκοπικές, τετρακάμερες και ακόμη και με περισσότερα κανάλια καμερών) έχουν ευρέως υιοθετηθεί σε σενάρια όπως η συλλογή δεδομένων, η ασφαλής παρακολούθηση, ο βιομηχανικός έλεγχος, η αντίληψη ρομπότ και οι υπολογισμοί στο edge. Πολλά έργα πέφτουν σε ένα κοινό παγίδι κατά την επιλογή υλικού: επικεντρώνονται αποκλειστικά στην υπολογιστική ισχύ του chip, παραβλέποντας τη διαμόρφωση της μνήμης. Αυτό οδηγεί τελικά σε προβλήματα όπως χαμένα πλαίσια, καθυστερημένη AI εξαγωγή συμπερασμάτων και κατάρρευση του συστήματος.

Είναι πάντα καλύτερη μεγαλύτερη μνήμη DDR; Ναι, από την άποψη της απόδοσης και της σταθερότητας. Ωστόσο, η αρνητική πλευρά είναι προφανής — επιβαρύνει το πορτοφόλι, ιδιαίτερα λαμβάνοντας υπόψη την πρόσφατη έντονη αύξηση των τιμών της DDR. Η ισορροπία μεταξύ κόστους και των πραγματικών απαιτήσεων του έργου γίνεται κρίσιμη για την επιλογή της λύσης.

Ας εξετάσουμε το πιο συνηθισμένο παγίδι στον καθορισμό του μεγέθους της DDR: η χρήση της μνήμης μπορεί να φαίνεται χαμηλή σε συνήθεις συνθήκες, αλλά μπορεί να αυξηθεί απότομα σε μέγιστες τιμές κατά τη διάρκεια εκρήξεων συγχρόνων εργασιών, προκαλώντας άμεσα αποτυχίες του συστήματος. Πολλές ομάδες χρησιμοποιούν τη μέση κατανάλωση μνήμης για την αξιολόγηση του υλικού. Πάρτε ως παράδειγμα τον ευρέως χρησιμοποιούμενο αισθητήρα AR0234: μία μόνο κάμερα 1080P καταναλώνει μικρή ποσότητα μνήμης σε κατάσταση αδράνειας. Ωστόσο, όταν εκτελείται ολόκληρη η διαδικασία (λήψη–ISP–AI inference–κωδικοποίηση), η μέγιστη κατανάλωση μνήμης μπορεί να φτάσει δεκάδες MB ανά κανάλι. Για μία κάμερα 4K, η μέγιστη κατανάλωση ανά κανάλι μπορεί να υπερβεί τα 100 MB. Ακόμη και μία συνηθισμένη αίτηση HTTP καταναλώνει αρκετά MB ανά σύνδεση. Αυτά τα μεμονωμένα επιπλέον φορτία φαίνονται ασήμαντα, αλλά συσσωρεύονται γρήγορα μόλις πολλαπλές κάμερες και εργασίες ενεργοποιηθούν ταυτόχρονα. Αυτό μπορεί να προκαλέσει OOM (Out-of-Memory), με αποτέλεσμα την αναγκαστική διακοπή διεργασιών και την αποτυχία του συστήματος.

Πού καταναλώνεται η μνήμη στα πολυκάμερα συστήματα AI όρασης;

Η μνήμη στις συσκευές όρασης edge δεν χρησιμοποιείται αποκλειστικά από μοντέλα τεχνητής νοημοσύνης. Μοιράζεται μεταξύ της λήψης εικόνων, της προεπεξεργασίας, της εξαγωγής συμπερασμάτων από τεχνητή νοημοσύνη (AI inference), των υπηρεσιών του συστήματος και των φορτίων εφαρμογών. Η κατανάλωση μνήμης αυξάνεται με κάθε επιπλέον κανάλι κάμερας.

1. Ενισχυτικοί μνήμης εικόνας (Μεγαλύτερη πηγή υπερβολικής κατανάλωσης) Οι ακατέργαστες εικόνες, οι καρέ YUV και τα κλιμακωμένα καρέ που παράγει κάθε κάμερα καταναλώνουν μνήμη. Για μία AR0234 που λειτουργεί σε ανάλυση 1080P@30fps, ένα μόνο καρέ YUV καταλαμβάνει αρκετά MB. Για να αποφευχθεί η απώλεια καρέ, το σύστημα διατηρεί ενισχυτικούς μνήμης κυκλικού τύπου για πολλαπλά καρέ, με αποτέλεσμα να αυξάνεται περαιτέρω η κατανάλωση μνήμης. Η δημιουργία πολλαπλών εκδόσεων εικόνας (πρωτότυπη, μικρογραφία, περικομμένα καρέ) δημιουργεί επιπλέον ενισχυτικούς μνήμης καρέ. Η κατανάλωση μνήμης πολλαπλασιάζεται όταν πολλαπλές κάμερες μεταδίδουν εικόνες ταυτόχρονα.

2. Υπερβολική κατανάλωση μνήμης από τον ISP και την προεπεξεργασία εικόνας Ο ISP είναι ένας ανεξάρτητος υλικοτεχνικός επιταχυντής που εκτελεί μείωση θορύβου, διόρθωση χρώματος, διόρθωση παραμόρφωσης, περιστροφή, περικοπή και μετατροπή μορφής. Ο ISP περιέχει μόνο περιορισμένη ενσωματωμένη μνήμη cache, χωρίς αποθηκευτικό χώρο μεγάλης χωρητικότητας για πλαίσια. Επομένως, πρέπει να δεσμευθούν προσωρινά buffer στη μνήμη DDR για πολλές λειτουργίες. Περισσότερα κανάλια κάμερας σημαίνουν μεγαλύτερο φορτίο εργασίας για τον ISP και υψηλότερες απαιτήσεις σε χωρητικότητα DDR.

3. Μνήμη για συμπεράσματα AI μοντέλων Η εκτέλεση συμπερασμάτων AI καταναλώνει μνήμη σε δύο μέρη. Το πρώτο είναι τα βάρη του μοντέλου: μεγαλύτερες παράμετροι μοντέλου οδηγούν σε υψηλότερη κατανάλωση μνήμης. Ευτυχώς, τα βάρη φορτώνονται μία φορά κατά την αρχικοποίηση του μοντέλου· η μνημονική τους αποτύπωση δεν αυξάνεται με την προσθήκη περισσότερων καναλιών κάμερας ή σεναρίων κατά την εκτέλεση.

Η μνήμη δεν επηρεάζεται κατά τη διάρκεια της φάσης εκτέλεσης συμπεράσματος; - Όχι, καθόλου. Αυτό μας φέρνει στο δεύτερο στοιχείο: τα ενδιάμεσα buffers χαρακτηριστικών που δημιουργούνται κατά τη διάρκεια της συμπεράσεως. Κάθε κανάλι κάμερας απαιτεί το δικό του υπολογιστικό μπουφέρ, αυξάνοντας τη συνολική χρήση μνήμης. Η συγχρονισμένη συμπερίληψη AI σε πολλές κάμερες απαιτεί πολλαπλά ανεξάρτητα μπουφέρα υπολογισμού. Ως εκ τούτου, περισσότερα κανάλια ισοδυναμούν με υψηλότερο κόστος μνήμης για τα μπουφέρα συμπεράσματος.

4.Επίπεδο δαπανών για το σύστημα, το driver και το middleware Πάρτε το RK3576 ως παράδειγμα. Η μνήμη βασικού συστήματος καταναλώνεται από τον πυρήνα του Linux, τους οδηγοί RK media, το πλαίσιο RKMPP media, τους οδηγοί NPU, τα αρχεία καταγραφής συστήματος και τις διεργασίες εκτέλεσης. Σε εφαρμογές πολλαπλών καμερών, τα πλαίσια μέσων ενημέρωσης και η κωδικοποίηση βίντεο (ηχογράφηση H.264/H.265) προσθέτουν σημαντικό φόρτο μνήμης. Η ενεργοποίηση της πολυκαναλικής κωδικοποίησης και καταγραφής προκαλεί απότομες περαιτέρω αυξήσεις της πίεσης της μνήμης.

Σημαντική σημείωση: Αυτό αναφέρεται στη λειτουργική μνήμη (DDR RAM), όχι στη μνήμη eMMC. Η eMMC αποθηκεύει μόνο κωδικοποιημένα αρχεία βίντεο.

5.Εφαρμογή -Επίπεδο Επιχειρηματικής Μνήμης Η λογική εφαρμογής, συμπεριλαμβανομένης της ανάλυσης των αποτελεσμάτων συμπερασμού, της παρακολούθησης πολλαπλών αντικειμένων, της αναφοράς δεδομένων, της τοπικής μνήμης και της αποθήκευσης στιγμιοτύπων, καταναλώνει μνήμη. Για παράδειγμα, οι αλγόριθμοι παρακολούθησης αποθηκεύουν δεδομένα στόχων από πολλαπλά πλαίσια. Περισσότερες κάμερες και περισσότερα παρακολουθούμενα αντικείμενα δημιουργούν μεγαλύτερα σύνολα δεδομένων και υψηλότερη κατανάλωση μνήμης σε επίπεδο εφαρμογής.

Πρακτική Απόδοση Μνήμης στην Πλατφόρμα RK3576

Το RK3576 είναι ένας κυρίαρχος εγχώριος επακραίνων επεξεργαστής AI με απόδοση NPU 6 TOPS, ιδανικός για εγκαταστάσεις πολυκάμερας AI-όρασης. Η εταιρεία μας διαθέτει πολλά ώριμα προϊόντα μαζικής παραγωγής που υποστηρίζουν 1 έως 6 κανάλια κάμερας, προκειμένου να καλύψουν διάφορες απαιτήσεις έργων. Τα 4 GB DDR αποτελούν την κυρίαρχη διάταξη μαζικής παραγωγής, ενώ υποστηρίζονται εναλλακτικά μεγέθη DDR για διαφορετικά φορτία εργασίας.

Ο παρακάτω πίνακας ισχύει για κοινούς αισθητήρες καμερών 1080p–4K στην αγορά:

Εάν δεν είστε βέβαιοι για την κατάλληλη διαμόρφωση μνήμης, επικοινωνήστε με το [email protected]. Θα σας παράσχουμε αξιολόγηση προσαρμοσμένης λύσης βάσει του αριθμού καναλιών κάμερας, της ανάλυσης, της επιχειρησιακής λογικής και του φορτίου εργασίας κατά την εκτέλεση.