×
Πολλές ενσωματωμένες συσκευές, συμπεριλαμβανομένων ρομπότ, έξυπνων καμερών και βιομηχανικών ορατικών τερματικών, χρησιμοποιούν σήμερα NPUs για την εκτέλεση αλγορίθμων τεχνητής νοημοσύνης για όραση. Η NPU είναι μια υλική μονάδα εντός ενός chip που αφιερώνεται αποκλειστικά στην εκτέλεση (inference) τεχνητής νοημοσύνης.
Κατά την επιλογή ενός chip, πολλές ομάδες εξετάζουν πρώτα την τιμή TOPS της NPU και υποθέτουν ότι ένας υψηλότερος αριθμός σημαίνει πιο ισχυρό chip. Στην πράξη, η ανάπτυξη προϊόντων αντιμετωπίζει δύο τυπικά προβλήματα:
Το πρώτο είναι η ανεπαρκής υπολογιστική ισχύς. Η συσκευή λειτουργεί με χαμηλό ρυθμό καρέ, το βίντεο παρουσιάζει διακοπές, χάνονται καρέ όταν λειτουργούν ταυτόχρονα πολλές κάμερες και η αναγνώριση με τεχνητή νοημοσύνη μπορεί να αποτύχει.
Το δεύτερο είναι η υπερβολική χωρητικότητα. Το τσιπ είναι ακριβό, καταναλώνει περισσότερη ενέργεια και παράγει σημαντική θερμότητα. Η μη χρησιμοποιούμενη υπολογιστική χωρητικότητα μειώνει τα περιθώρια κέρδους.
Ένα βασικό μηχανικό ζήτημα είναι ότι, σε πολλά έργα ενσωματωμένης όρασης, η απόδοση περιορίζεται από τις μεταφορές εικόνων, το εύρος ζώνης της μνήμης ή την επεξεργασία σε επίπεδο CPU για επόμενα στάδια, παρά από την υπολογιστική χωρητικότητα της NPU.
Η σχεδίαση της υπολογιστικής ισχύος δεν απαιτεί μακρύ κατάλογο τεχνικών όρων. Η διάκριση δύο βασικών εννοιών βοηθά να αποφευχθεί η παραπλανητική ερμηνεία των προδιαγραφών των τσιπ.
Το σχήμα TOPS που διαφημίζουν οι κατασκευαστές τσιπ αντιπροσωπεύει τη θεωρητική μέγιστη υπολογιστική απόδοση: τη μέγιστη δυνατή ικανότητα επεξεργασίας που μπορεί να επιτύχει μια NPU υπό πλήρους φόρτισης και ιδανικών εργαστηριακών συνθηκών. Οι σχεδιασμοί προϊόντων απαιτούν περιθώριο ασφαλείας, επομένως η μέγιστη απόδοση δεν μπορεί να χρησιμοποιηθεί απευθείας για τον καθορισμό των διαστάσεων.
Χρησιμοποιούμε το GMAC για να αξιολογήσουμε το υπολογιστικό φορτίο ενός μοντέλου τεχνητής νοημοσύνης. Ένα MAC είναι μια βασική πράξη πολλαπλασιασμού-πρόσθεσης, και το GMAC αντιπροσωπεύει ένα δισεκατομμύριο τέτοιες πράξεις. Μετράει την ποσότητα υπολογισμών σε ένα μοντέλο. Σημειώστε ότι το GMAC μετράει το φορτίο εργασίας, ενώ το GMAC/s μετράει την απόδοση. Τα μεγαλύτερα μοντέλα έχουν υψηλότερες τιμές GMAC.
Η χρησιμοποίηση της NPU δεν είναι σταθερή σταθερά. Αντιπροσωπεύει το ποσοστό της ικανότητας της NPU που χρησιμοποιείται για αποτελεσματικούς υπολογισμούς. Για απλά συνελικτικά δίκτυα, όπως τα προηγμένα στάδια VIO ή ελαφριά μοντέλα ανίχνευσης, απλοί τελεστές και εξοντωτική βελτιστοποίηση του chip μπορούν να οδηγήσουν σε χρησιμοποίηση 60%–80%. Μοντέλα που περιέχουν περίπλοκους μετασχηματισμούς ή μπλοκ Transformer μπορεί να απαιτούν επαναλαμβανόμενη εκτέλεση σε πλακίδια (tiled execution), μειώνοντας έτσι τη χρησιμοποίηση στο 20% ή ακόμα και λιγότερο.
Η εφαρμογή σταθερού ποσοστού χρησιμοποίησης 40% αποτελεί κύρια αιτία ανακριβών εκτιμήσεων. Η ανάλυση επηρεάζει επίσης άμεσα το φορτίο εργασίας: η διπλασιασμός τόσο του πλάτους όσο και του ύψους της εισερχόμενης εικόνας τετραπλασιάζει το εμβαδόν της και προσεγγιστικά τετραπλασιάζει τον υπολογισμό για το ίδιο μοντέλο.
Τα TOPS αποτελούν απλώς το θεωρητικό οροφή της υλικής υποδομής. Ξεκινήστε τις εκτιμήσεις υπολογιστικής επιφόρτισης με το φορτίο εργασίας GMAC του μοντέλου και βαθμονομήστε τις με βάση μετρήσεις σε πλακέτα ανάπτυξης. Μην επιλέγετε μια μονάδα επεξεργασίας αποκλειστικά με βάση τη θεωρητική της πικ επίδοση.
Πριν από την εκτίμηση των υπολογιστικών απαιτήσεων, καταγράψτε το φορτίο εργασίας του προϊόντος. Η κρίσιμη διάκριση είναι εάν πολλαπλές κάμερες χρησιμοποιούν παράλληλη εξαγωγή συμπερασμάτων ή εναλλασσόμενη, κυκλική εξαγωγή συμπερασμάτων, διότι αυτό καθορίζει τον τρόπο με τον οποίο συνδυάζονται οι υπολογιστικές τους απαιτήσεις.
Λειτουργία παράλληλη: Όλες οι κάμερες εκτελούν την AI υπολογιστική εξαγωγή ταυτόχρονα, οπότε οι απαιτήσεις υπολογισμού τους προστίθενται απευθείας. Για παράδειγμα, μια συσκευή ασφαλείας με τέσσερις κάμερες που εκτελούν ανίχνευση αντικειμένων σε πραγματικό χρόνο με 30 καρέ ανά δευτερόλεπτο σε κάθε κανάλι συνδυάζει το φορτίο όλων των τεσσάρων καναλιών.
Λειτουργία κοινής χρήσης του χρόνου: Η NPU είναι μια κοινή υλικοτεχνική πόρος που επεξεργάζεται διαδοχικά τις εικόνες των καμερών, χειρίζοντας ένα κανάλι κάθε φορά, καθώς τα κανάλια εναλλάσσονται σε ουρά. Πολλές υλοποιήσεις πολυκάμερας όρασης σε πλατφόρμες Rockchip RK χρησιμοποιούν αυτήν την προσέγγιση.
Συλλέξτε τις ακόλουθες πληροφορίες κατά τον ορισμό του φορτίου εργασίας:
Ανάλυση και ρυθμός καρέ για κάθε κάμερα.
Κατάλογος μοντέλων AI: ποια μοντέλα εκτελούνται στην NPU και ποιες εργασίες μετα-επεξεργασίας εκτελούνται στην CPU.
Ακρίβεια κβαντοποίησης: Το INT8 είναι μια κυρίαρχη επιλογή για ενσωματωμένες συσκευές λόγω της υψηλότερης απόδοσής του στην εξαγωγή.
Μέθοδος ενεργοποίησης: συνεχής επεξεργασία AI σε κάθε καρέ, ή λειτουργία ενεργοποιημένη από γεγονός, όπου περίπλοκοι αλγόριθμοι ξεκινούν μόνο όταν πληρούται μια συνθήκη ενεργοποίησης.
Σημαντικό: Εξάγετε το μοντέλο GMAC χρησιμοποιώντας εργαλεία όπως το RKNN ή το ONNX Runtime, αντί να το εκτιμάτε με βάση την εμπειρία. Η χρήση του φορτίου εργασίας ενός μεγάλου μοντέλου YOLO για την εκτίμηση των απαιτήσεων υπολογισμού ενός ελαφρού δικτύου VIO μπορεί να οδηγήσει σε σοβαρή υπερεκτίμηση.
Το MV11 της εταιρείας μας είναι μια πλατφόρμα υπολογισμού συγχωνεύσεως όρασης και αδρανειακής πλοήγησης με τέσσερις συγχρονισμένες υλικοτεχνικά κάμερες, βασισμένη στον υψηλής απόδοσης επεξεργαστή Rockchip RK3576. Περιλαμβάνει μια NPU 6 TOPS και 4 GB μνήμης LPDDR4 και υποστηρίζει συγχρονισμό σε επίπεδο μικροδευτερολέπτου για τις τέσσερις κάμερες. Κατάλληλες εφαρμογές περιλαμβάνουν αναγνώριση και ανίχνευση ρομπότ, VIO, SLAM και συλλογή πολυκάμερα EGO δεδομένων. Μπορεί να λειτουργήσει ως υλική πλατφόρμα για τις παραπάνω δοκιμές επιτραπέζιου υπολογισμού, εύρους ζώνης και πολυκαναλικού προγραμματισμού. Δείγματα είναι διαθέσιμα για πρώιμη αξιολόγηση έργων, ενώ πλήρη λύσεις όρασης μπορούν να προσαρμοστούν για να υποστηρίξουν την εγκατάσταση. Επικοινωνήστε μαζί μας στο [email protected].
Πολλά έργα επικεντρώνονται αποκλειστικά στα NPU TOPS κατά την επιλογή, και στη συνέχεια ανακαλύπτουν κατά την εκκίνηση της πλακέτας ότι το σύστημα δεν μπορεί να ακολουθήσει τον ρυθμό, παρόλο που παραμένει διαθέσιμη πάνω από το μισό της συνολικής ισχύος του NPU. Οι παρακάτω περιορισμοί αποτελούν συνηθισμένα «στενά σημεία» στην ενσωματωμένη όραση.
Κατά την εκτέλεση AI εξαγωγής συμπερασμάτων (inference), το NPU διαβάζει συνεχώς εικόνες και βάρη μοντέλου από τη μνήμη και γράφει πίσω στη μνήμη τους ενδιάμεσους χάρτες χαρακτηριστικών (feature maps). Η ταχύτητα μεταφοράς δεδομένων της DDR καθορίζει την ταχύτητα αυτών των μεταφορών. Όταν η ταχύτητα μεταφοράς δεν είναι επαρκής, ακόμα και ένα NPU με πλούσια υπολογιστική ισχύ αναγκάζεται να περιμένει τα δεδομένα, γεγονός που αποτρέπει τη βελτίωση του ρυθμού καρέ. Στα περισσότερα έργα πολλαπλών καμερών σε πλατφόρμες RK, η ταχύτητα μεταφοράς δεδομένων της DDR φτάνει στο όριό της ενώ χρησιμοποιείται μόνο μικρό μέρος της συνολικής ισχύος του NPU.
Οι ενδιάμεσες μνήμες εικόνων, τα βάρη των μοντέλων AI και οι ενδιάμεσοι χάρτες χαρακτηριστικών καταναλώνουν όλοι μνήμη. Η κατανάλωση μνήμης αυξάνεται σημαντικά όταν πολλαπλά κανάλια λειτουργούν ταυτόχρονα. Η ανεπαρκής μνήμη μπορεί να προκαλέσει την απότομη διακοπή της εφαρμογής. Τα ενσωματωμένα συστήματα δεν διαθέτουν συνήθως εικονική μνήμη, οπότε μια κατάσταση εξάντλησης μνήμης (OOM) μπορεί να οδηγήσει στη διακοπή λειτουργίας της συσκευής.
Οι ακατέργαστες εικόνες που λαμβάνονται από τις κάμερες απαιτούν περικοπή, κλιμάκωση και μετατροπή χώρου χρωμάτων. Ορισμένες προεπεξεργασίες εκτελούνται από το υλικό του ISP, ενώ άλλες χρησιμοποιούν πόρους της CPU. Η λήψη εικόνων από πολλαπλές κάμερες αυξάνει το φορτίο προεπεξεργασίας και μπορεί να εισάγει καθυστέρηση σε όλη τη διαδικασία, ακόμα και όταν η NPU είναι αδρανής.
Η δηλωθείσα αιχμή TOPS ενός chip αντιστοιχεί στην αιχμή κατανάλωσης ισχύος. Τα περισσότερα ενσωματωμένα συστήματα είναι χωρίς ανεμιστήρα και δεν μπορούν να διατηρήσουν πλήρη φόρτωση της NPU για μεγάλα χρονικά διαστήματα. Ακόμα και όταν η θεωρητική υπολογιστική ισχύς είναι υψηλή, οι θερμικές συνθήκες περιορίζουν την ισχύ που είναι διαθέσιμη για συνεχή λειτουργία.
Εάν ένα μοντέλο τεχνητής νοημοσύνης περιέχει ειδικούς τελεστές που η NPU δεν μπορεί να επιταχύνει, αυτοί εκτελούνται στην CPU. Η επεξεργασία τεχνητής νοημοσύνης στην CPU είναι αργή και μπορεί να προκαλέσει σοβαρή καθυστέρηση στον σωλήνα επεξεργασίας, ακόμα και όταν η χωρητικότητα της NPU είναι επαρκής. Επαληθεύστε την υποστήριξη επιτάχυνσης για κάθε τελεστή πριν επιλέξετε την πλατφόρμα.
1. Καθορίστε τη βασική επιφόρτιση εργασίας και το λειτουργικό καθεστώς. Ορίστε τον σωλήνα επεξεργασίας τεχνητής νοημοσύνης: ανάλυση, ρυθμό καρέ, αριθμό καναλιών, στρατηγική ενεργοποίησης (συνεχής ή βασισμένη σε γεγονότα), εκτέλεση παράλληλη ή κοινή χρήση χρόνου, κατάλογο μοντέλων και ακρίβεια εγκατάστασης. Δώστε ιδιαίτερη προσοχή στον τρόπο με τον οποίο διαχειρίζονται πολλαπλά κανάλια.
2. Ποσοτικοποιήστε τις επιφορτίσεις εργασίας των μοντέλων και εξαγάγετε τις GMAC/s. Χρησιμοποιήστε εργαλεία για να εξαγάγετε τις GMAC/s για κάθε μοντέλο, διαχωρίζοντας τους υπολογισμούς που επιταχύνονται από την NPU από την επεξεργασία μετά την εκτέλεση στην CPU.
3. Μετρήστε στον στόχο πίνακα για να καθορίσετε την αποδοτικότητα εκτέλεσης. Μετατρέψτε τα μοντέλα στη μορφή πλατφόρμας σε υποψήφιες SoC όπως η RK3576 ή η RK3588. Μετρήστε τον χρόνο συμπερασμού ανά καρέ για να καθορίσετε την πραγματική απόδοση αυτού του μοντέλου σε αυτήν την NPU. Αυτό είναι το πιο σημαντικό βήμα για την εξάλειψη αποκλίσεων στις εκτιμήσεις εργασιών: όλες οι εκτιμήσεις πρέπει να βαθμονομηθούν με βάση μετρήσεις σε επίπεδο πίνακα, αντί για γενικές τύπους.
4. Συγκεντρώστε πολυκαναλικά φορτία εργασίας και αξιολογήστε τα σημεία στένωσης του συστήματος. Αξιολογήστε τόσο την κανονική σταθερή λειτουργία όσο και τη χειρότερη περίπτωση κορύφωσης, όταν όλα τα κανάλια ενεργοποιούνται ταυτόχρονα. Ελέγξτε το εύρος ζώνης DDR και τη χρήση μνήμης ταυτόχρονα. Πολλά πολυκάμερα έργα RK εξαντλούν το εύρος ζώνης ενώ η υπολογιστική ισχύς παραμένει διαθέσιμη.
5. Διατηρήστε κατάλληλο περιθώριο ασφαλείας και ορίστε όρια. Χρησιμοποιήστε συντελεστή 1,1–1,2 για βραχυπρόθεσμα προϊόντα με κυρίως σταθερούς αλγορίθμους και 1,3–1,4 για προϊόντα που αναμένεται να λάβουν ενημερώσεις μοντέλου. Το περιθώριο ασφαλείας πρέπει να καλύπτει την εξέλιξη του μοντέλου, ακραία σενάρια και το υπερβολικό φόρτο του προγραμματισμού, όχι όμως αυθαίρετη υπερπρομήθεια. Ορίστε ταυτόχρονα τα όρια κόστους BOM και ισχύος.
6.1 Χρήση μόνο των TOPS του chip και σταθερού ποσοστού αξιοποίησης
Η εφαρμογή σταθερού ποσοστού αξιοποίησης 40 % στα διαφημιζόμενα TOPS μπορεί να υπερεκτιμήσει τις απαιτήσεις υπολογιστικής ισχύος κατά πολλαπλάσιο και να αποκλίνει σημαντικά από τις πραγματικές μηχανικές συνθήκες. Το ποσοστό αξιοποίησης διαφέρει σημαντικά ανάλογα με το μοντέλο και την αρχιτεκτονική NPU.
6.2 Πολλαπλασιασμός με τον αριθμό των καναλιών και αγνόηση της κοινής χρήσης χρόνου
Σε λειτουργία με κοινή χρήση του χρόνου, η NPU επεξεργάζεται διαδοχικά τα κανάλια και η υπολογιστική της ισχύς επαναχρησιμοποιείται. Απλή πολλαπλασιαστική εκτίμηση των απαιτήσεων υπολογισμού με βάση τον αριθμό των καναλιών και την απαίτηση ανά κανάλι μπορεί να οδηγήσει σε υπερβολική υπερεκτίμηση, προκαλώντας επιλογή υπερδυναμικού και αναγκαίως ακριβού chip.
6.3 Αξιολόγηση της υπολογιστικής ισχύος της NPU χωρίς λογαριασμό του εύρους ζώνης της DDR
Οι βαθμονομικοί περιορισμοί εύρους ζώνης είναι πολύ πιο συχνοί από τους περιορισμούς υπολογιστικής ισχύος σε πολυκάμερα οπτικά έργα. Η NPU μπορεί να διαθέτει σημαντική υπολογιστική ισχύ που παραμένει ανεκμετάλλευτη, αλλά οι μεταφορές δεδομένων δεν μπορούν να ακολουθήσουν τον ρυθμό, περιορίζοντας τον ρυθμό καρέ. Το εύρος ζώνης πρέπει να αξιολογείται πρώτα σε πολυκάμερα έργα.
6.4 Λήψη υπόψη του μέσου φορτίου χωρίς λογαριασμό των στιγμιαίων κορυφών
Ένα προϊόν μπορεί να λειτουργεί κατά το μεγαλύτερο μέρος του χρόνου υπό χαμηλό φορτίο, αλλά να αντιμετωπίζει στιγμιαίες κορυφές όταν όλες οι κάμερες ενεργοποιούν ταυτόχρονα την τεχνητή νοημοσύνη. Ο σχεδιασμός πρέπει να λαμβάνει υπόψη αυτές τις κορυφές, ωστόσο μια ουρά εργασιών μπορεί να εξομαλύνει τη στιγμιαία ζήτηση, οπότε το chip δεν χρειάζεται αναγκαστικά να είναι διαστασιολογημένο απευθείας βάσει της κορυφαίας υπολογιστικής ζήτησης.
6.5 Μέτρηση μόνο των υπολογισμών του μοντέλου και παράβλεψη της συνολικής επιβάρυνσης του συστήματος
Πολλές εκτιμήσεις λαμβάνουν υπόψη μόνο τις GMAC της AI υποδομής και αγνοούν την προεπεξεργασία του ISP, την αντιγραφή εικόνας και την επεξεργασία μετά την εκτέλεση από την CPU. Ακόμα και με επαρκή χωρητικότητα NPU, αυτά τα επιπρόσθετα φορτία αυξάνουν την καθυστέρηση από άκρου σε άκρο και εμποδίζουν την επίτευξη του αναμενόμενου ρυθμού καρέ.
Καταγράψτε όλες τις παραμέτρους της κάμερας: ανάλυση, ρυθμό καρέ και αριθμό καναλιών. Επιβεβαιώστε εάν τα κανάλια χρησιμοποιούν παράλληλη ή κοινή κατά χρόνο κατανομή.
Εξάγετε τις GMAC για κάθε μοντέλο και διαχωρίστε την υπολογιστική επεξεργασία του NPU από την επεξεργασία μετά την εκτέλεση από την CPU.
Μετρήστε τον χρόνο εκτέλεσης ενός μοντέλου στις υποψήφιες πλατφόρμες για να καθορίσετε την πραγματική απόδοση.
Συνδυάστε τα φορτία πολλαπλών καναλιών και αξιολογήστε τη χρήση της υπολογιστικής ισχύος του NPU σε συνθήκες σταθερής λειτουργίας και κορυφαίας φόρτισης.
Μετρήστε το εύρος ζώνης της DDR και τη χρήση της μνήμης για να καθορίσετε εάν το εύρος ζώνης αποτελεί το στενό σημείο.
Επαληθεύστε τους τελεστές του μοντέλου και επιβεβαιώστε την υποστήριξη υλικού επιτάχυνσης από το NPU για να αποφύγετε την επαναφορά στην CPU.
Διατηρήστε επαρκές περιθώριο υπολογιστικής ισχύος σύμφωνα με το χρονοδιάγραμμα ενημέρωσης του προϊόντος και ορίστε τα όρια κόστους BOM και ισχύος.
Εκτελέστε εκτεταμένα τεστ τάσης με ταυτόχρονους πολυκαναλικούς ενεργοποιητές. Ελέγξτε τη μεταβολή του ρυθμού καρέ και τις αποτυχίες που προκαλούνται από εξάντληση μνήμης.
Η διάσταση της υπολογιστικής ισχύος της NPU για ενσωματωμένη όραση δεν είναι απλή μαθηματική άσκηση εφαρμογής μιας τύπου TOPS. Οι εκτιμήσεις σε επιστημονικά άρθρα παρέχουν μόνο πρώιμη αναφορά για σχεδιασμό. Η τελική επικύρωση πρέπει να πραγματοποιηθεί στην πλακέτα ανάπτυξης του στόχου chip.
Μια πλήρης αξιολόγηση ακολουθεί αυτήν την ακολουθία: καθορίστε εάν η υπολογιστική ισχύς αποτελεί το «στενό σημείο» → επιβεβαιώστε εάν η χρονοδρομολόγηση είναι παράλληλη ή κοινή χρήση χρόνου → μετρήστε τα GMAC του μοντέλου → προτεραιοποιήστε την αξιολόγηση του εύρους ζώνης της DDR → βαθμονομήστε μέσω δοκιμών σε επίπεδο πλακέτας → διατηρήστε κατάλληλο περιθώριο υπολογιστικής ισχύος.
Ο στόχος είναι η ισορροπία μεταξύ απόδοσης, κατανάλωσης ισχύος και κόστους. Επιλέξτε επαρκή υπολογιστική ισχύ για το συγκεκριμένο έργο, αντί να επιδιώκετε συνεχώς υψηλότερες κορυφαίες τιμές NPU TOPS.
Το MV11 της εταιρείας μας είναι μια πλατφόρμα υπολογισμού συγχωνεύσεως όρασης και αδρανειακής πλοήγησης με τέσσερις συγχρονισμένες υλικοτεχνικά κάμερες, βασισμένη στον υψηλής απόδοσης επεξεργαστή Rockchip RK3576. Περιλαμβάνει μια NPU 6 TOPS και 4 GB μνήμης LPDDR4 και υποστηρίζει συγχρονισμό σε επίπεδο μικροδευτερολέπτου για τις τέσσερις κάμερες. Κατάλληλες εφαρμογές περιλαμβάνουν αναγνώριση και ανίχνευση ρομπότ, VIO, SLAM και συλλογή πολυκάμερα EGO δεδομένων. Μπορεί να λειτουργήσει ως υλική πλατφόρμα για τις παραπάνω δοκιμές επιτραπέζιου υπολογισμού, εύρους ζώνης και πολυκαναλικού προγραμματισμού. Δείγματα είναι διαθέσιμα για πρώιμη αξιολόγηση έργων, ενώ πλήρη λύσεις όρασης μπορούν να προσαρμοστούν για να υποστηρίξουν την εγκατάσταση. Επικοινωνήστε μαζί μας στο [email protected].
Σημαντικά Νέα2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
