Veel ingebedde apparaten, waaronder robots, slimme camera’s en industriële visionterminals, gebruiken nu NPUs om AI-visionalgoritmen uit te voeren. Een NPU is een hardware-eenheid binnen een chip die specifiek is ontworpen voor AI-inferentie.
Bij het kiezen van een chip kijken veel teams eerst naar de NPU-TOPS-waardering en gaan ervan uit dat een hoger getal een krachtigere chip betekent. In de praktijk stuiten productontwikkelingsteams op twee typische problemen:
Het eerste probleem is onvoldoende rekenkracht. Het apparaat draait met een lage beeldfrequentie, video’s haken, beeldframes gaan verloren wanneer meerdere camera’s tegelijkertijd actief zijn en AI-herkenning kan mislukken.
Het tweede probleem is overmatige capaciteit. De chip is duur, verbruikt meer stroom en genereert aanzienlijke warmte. Ongebruikte rekenkracht verlaagt de winstmarges.
Een belangrijke technische overweging is dat de prestaties bij veel ingebedde visieprojecten beperkt worden door afbeeldingsoverdrachten, geheugenbandbreedte of CPU-gebaseerde downstreamverwerking, in plaats van door de rekenkracht van de NPU.
Berekeningsplanning vereist geen lange lijst technische termen. Het onderscheid tussen twee sleutelbegrippen helpt voorkomen dat chipspecificaties misleidend worden.
Het TOPS-cijfer dat chipleveranciers adverteren, is de theoretische piekprestatie: de maximale verwerkingscapaciteit die een NPU onder ideale laboratoriumomstandigheden bij volledige belasting kan bereiken. Productontwerpen hebben marge nodig, dus de piekprestatie kan niet direct worden gebruikt voor dimensionering.
We gebruiken GMAC om de rekenbelasting van een AI-model te beoordelen. Een MAC is een basisbewerking voor vermenigvuldigen en optellen, en GMAC staat voor één miljard dergelijke bewerkingen. Het meet de hoeveelheid berekening in een model. Let op: GMAC meet de belasting, terwijl GMAC/s de doorvoersnelheid meet. Grotere modellen hebben hogere GMAC-waarden.
De NPU-gebruiksfactor is geen vaste constante. Hij geeft het aandeel van de NPU-capaciteit aan dat wordt gebruikt voor effectieve berekeningen. Voor eenvoudige convolutienetwerken, zoals VIO-frontends of lichtgewicht detectiemodellen, kunnen eenvoudige operatoren en grondige chipoptimalisatie een gebruiksfactor van 60–80% opleveren. Modellen die complexe transformaties of Transformer-blokken bevatten, vereisen mogelijk herhaalde getegelde uitvoering, waardoor de gebruiksfactor daalt tot 20% of zelfs lager.
Het toepassen van een vaste bezettingsgraad van 40% is een belangrijke oorzaak van onnauwkeurige schattingen. De resolutie beïnvloedt de werklast ook direct: als zowel de breedte als de hoogte van de ingangsafbeelding wordt verdubbeld, wordt het oppervlak verviervoudigd en wordt de berekeningsbelasting voor hetzelfde model bij benadering ook verviervoudigd.
TOPS is slechts het hardwareplafond. Begin met schattingen van de rekenkracht aan de hand van de GMAC-werklast van het model, en kalibreer deze aan de hand van metingen op een ontwikkelbord. Selecteer een chip niet uitsluitend op basis van zijn theoretische piekprestaties.
Voordat u de rekenvereisten schat, stelt u de werklast van het product in kaart. Het cruciale onderscheid is of meerdere camera’s parallelle inferentie of tijdsgedeelde, round-robin-inferentie gebruiken, aangezien dit bepaalt hoe hun rekenbehoeften worden gecombineerd.
Parallelle modus: Alle camera’s voeren AI-inferentie tegelijkertijd uit, dus hun rekenvereisten worden direct opgeteld. Bijvoorbeeld: een beveiligingsapparaat met vier camera’s dat in realtime objectdetectie uitvoert met 30 frames per seconde op elk kanaal, combineert de belasting van alle vier de kanalen.
Tijddelingsmodus: De NPU is een gedeelde hardwarebron die camera-afbeeldingen sequentieel verwerkt, waarbij één kanaal tegelijk wordt afgehandeld terwijl de kanalen om beurten in een wachtrij staan. Veel multicanalavisie-implementaties op Rockchip RK-platforms gebruiken deze aanpak.
Verzamel de volgende informatie bij het definiëren van de werkbelasting:
Resolutie en beeldfrequentie voor elke camera.
Lijst met AI-modellen: welke modellen op de NPU draaien en welke postverwerkingstaken op de CPU worden uitgevoerd.
Kwantiseringsnauwkeurigheid: INT8 is een veelgebruikte keuze voor ingebedde apparaten vanwege de hogere inferentie-efficiëntie.
Activeringsmethode: continue AI-verwerking op elk frame, of gebeurtenisgestuurde werking waarbij complexe algoritmen alleen worden gestart zodra aan een activeringsvoorwaarde is voldaan.
Belangrijk: Exporteer het GMAC-model met behulp van tools zoals RKNN of ONNX Runtime, in plaats van het op basis van ervaring te schatten. Het gebruik van de werkbelasting van een groot YOLO-model om een lichtgewicht VIO-netwerk te dimensioneren, kan de rekenvereisten ernstig overschatten.
Onze MV11 is een vier-camera hardware-gebaseerd gesynchroniseerd visie- en traagheidsnavigatie-fusiecomputatieplatform, gebaseerd op de hoogwaardige Rockchip RK3576-processor. Het omvat een 6 TOPS NPU en 4 GB LPDDR4-geheugen en ondersteunt microseconden-nauwkeurige synchronisatie over vier camera’s heen. Geschikte toepassingen omvatten robotherkenning en -detectie, VIO, SLAM en multi-camera EGO-gegevensverzameling. Het kan dienen als hardwareplatform voor de hierboven beschreven board-level reken-, bandbreedte- en multikanaalplanningstests. Monsters zijn beschikbaar voor vroege projectevaluatie, en complete visieoplossingen kunnen worden afgestemd op implementatiebehoeften. Neem contact met ons op via [email protected].
Veel projecten richten zich tijdens de selectie uitsluitend op NPU TOPS en ontdekken pas tijdens het opstarten van de printplaat dat het systeem niet bij kan houden, ondanks dat meer dan de helft van de NPU-capaciteit nog beschikbaar is. De volgende beperkingen zijn veelvoorkomende knelpunten in ingebedde visie.
Tijdens AI-inferentie leest de NPU voortdurend afbeeldingen en modelgewichten uit het geheugen en schrijft tussentijdse kenmerkkaarten terug naar het geheugen. De DDR-bandbreedte bepaalt de snelheid van deze overdrachten. Wanneer de bandbreedte ontoereikend is, moet zelfs een NPU met voldoende rekenkracht wachten op gegevens, waardoor verbetering van de beeldfrequentie wordt verhinderd. Bij de meeste multicamera-projecten op RK-platforms raakt de bandbreedte verzadigd terwijl slechts een klein deel van de NPU-capaciteit wordt benut.
Afbeeldingsbuffers, AI-modelgewichten en tussentijdse kenmerkenkaarten gebruiken allemaal geheugen. Het geheugengebruik stijgt aanzienlijk wanneer meerdere kanalen tegelijkertijd actief zijn. Onvoldoende geheugen kan leiden tot een crash van de toepassing. Ingebouwde apparaten beschikken over het algemeen niet over virtueel geheugen, dus een out-of-memory- (OOM-) situatie kan ervoor zorgen dat het apparaat stilvalt.
Ruwe beelden die door camera’s worden vastgelegd, moeten worden bijgesneden, geschaald en omgezet naar een andere kleurruimte. Een deel van deze voorverwerking wordt uitgevoerd door de ISP-hardware, terwijl een ander deel CPU-bronnen gebruikt. Bij het gebruik van meerdere camera’s neemt de vraag naar voorverwerking toe en kan dit latentie in de verwerkingspijplijn veroorzaken, zelfs wanneer de NPU niet actief is.
De aangekondigde piek-TOPS van een chip correspondeert met het piekstroomverbruik. De meeste ingebouwde apparaten zijn fanloos en kunnen een volledige NPU-belasting niet langdurig onderhouden. Zelfs wanneer de theoretische rekenkracht hoog is, beperken thermische omstandigheden de beschikbare capaciteit voor duurzame werking.
Als een AI-model speciale operatoren bevat die de NPU niet kan versnellen, worden deze teruggevallen naar uitvoering op de CPU. AI-verwerking op de CPU is traag en kan de verwerkingspijplijn ernstig vertragen, zelfs wanneer de NPU-capaciteit voldoende is. Controleer de ondersteuning voor operatortversnelling voordat u het platform kiest.
1. Stel de werklastbasislijn en de bedrijfsmodus vast. Definieer de AI-pijplijn: resolutie, beeldfrequentie, aantal kanalen, activeringsstrategie (continu of gebeurtenisgestuurd), parallelle of tijdgedeelde uitvoering, lijst met modellen en implementatieprecisie. Besteed bijzondere aandacht aan de manier waarop meerdere kanalen worden ingepland.
2. Kwantificeer de modelwerklasten en exporteer GMAC/s. Gebruik hulpmiddelen om GMAC/s voor elk model te exporteren, waarbij NPU-versnelde berekeningen worden gescheiden van CPU-nabewerking.
3. Meet op het doelbord om de uitvoeringsefficiëntie te bepalen. Converteer modellen naar het platformformaat op kandidaat-SoC’s zoals de RK3576 of RK3588. Meet de inferentietijd per frame om de werkelijke doorvoersnelheid van dat model op die NPU te bepalen. Dit is de belangrijkste stap om afwijkingen in papierachtige schattingen te elimineren: alle schattingen moeten worden gekalibreerd aan de hand van metingen op bordniveau, niet aan de hand van algemene formules.
4. Aggregeer werkbelastingen van meerdere kanalen en beoordeel systeembottlenecks. Evalueer zowel de normale stationaire werking als het ergste geval van piekbelasting, wanneer alle kanalen tegelijkertijd worden geactiveerd. Controleer tegelijkertijd de DDR-bandbreedte en het geheugengebruik. Veel RK-projecten met meerdere camera’s bereiken de bandbreedtegrens terwijl er nog rekenkracht beschikbaar is.
5. Reserveer voldoende marge en stel limieten vast. Gebruik een marge van 1,1–1,2 voor kortetermijnproducten met grotendeels vaste algoritmes, en 1,3–1,4 voor producten die modelupdates zullen ontvangen. De marge moet rekening houden met modelontwikkeling, piekscenarios en planningsoverhead, niet met willekeurige overdimensionering. Stel BOM-kosten- en stroomverbruikslimieten tegelijkertijd vast.
6.1 Uitsluitend chip-TOPS en een vaste bezettingsgraad gebruiken
Het toepassen van een vaste bezettingsgraad van 40% op de geadverteerde TOPS kan de rekenvereisten meervoudig overschatten en sterk afwijken van werkelijke technische omstandigheden. De bezettingsgraad varieert aanzienlijk tussen modellen en NPU-architecturen.
6.2 Vermenigvuldigen met het aantal kanalen en tijdverdeling negeren
Bij tijdsgedeeld gebruik verwerkt de NPU kanalen achtereenvolgens en wordt zijn rekenkracht hergebruikt. Simpelweg het aantal kanalen vermenigvuldigen met de rekenbehoeften per kanaal kan de vereisten sterk overschatten, wat leidt tot een overkrachtige, onnodig dure chip.
6.3 NPU-rekenkracht beoordelen, maar DDR-bandbreedte negeren
Bandbreedteknelpunten komen veel vaker voor dan rekenknelpunten in multilens-visieprojecten. De NPU kan nog aanzienlijke capaciteit hebben, maar de gegevensoverdracht kan niet bijhouden, waardoor de beeldfrequentie wordt beperkt. Bandbreedte moet bij multilensprojecten altijd als eerste worden beoordeeld.
6.4 Alleen het gemiddelde belastingsniveau in aanmerking nemen, maar piekbelastingen negeren
Een product kan meestal op laag vermogen werken, maar tijdelijke piekbelastingen ondervinden wanneer alle camera’s tegelijkertijd AI-triggers activeren. Het ontwerp moet deze pieken kunnen opvangen, maar een taakwachtrij kan de tijdelijke vraag gladstrijken, zodat de chip niet noodzakelijkerwijs rechtstreeks op basis van de piekrekenkracht hoeft te worden uitgevoerd.
6.5 Alleen modelberekeningen tellen, maar systeemoverhead negeren
Veel schattingen tellen alleen de GMAC van de AI-backbone en negeren ISP-preprocessing, beeldkopiëren en CPU-post-processing. Zelfs met voldoende NPU-capaciteit verhogen deze overheads de end-to-end latentie en voorkomen dat de verwachte framefrequentie wordt bereikt.
Geef alle cameraparameters op: resolutie, framefrequentie en kanaalaantal. Bevestig of kanalen parallel of tijdgedeeld worden gepland.
Exporteer de GMAC voor elk model en onderscheid NPU-berekeningen van CPU-post-processing.
Meet de inferentietijd per model op de kandidaatplatforms om de werkelijke uitvoeringsefficiëntie vast te stellen.
Aggregeer werkbelastingen van meerdere kanalen en beoordeel het NPU-rekengebruik onder stationaire en piekvoorwaarden.
Meet de DDR-bandbreedte en het geheugengebruik om te bepalen of de bandbreedte de bottelnek is.
Valideer modeloperatoren en bevestig de hardwareversnellingssupport van de NPU om CPU-fallback te voorkomen.
Reserveer rekenkrachtreserve volgens de product-updateroadmap en stel BOM-kosten- en stroomverbruikslimieten vast.
Voer uitgebreide belastingstests uit met gelijktijdige triggers op meerdere kanalen. Controleer variatie in beeldfrequentie en crashes veroorzaakt door geheugentekort.
Het dimensioneren van NPU-capaciteit voor ingebedde visie is geen eenvoudige wiskundige oefening waarbij een TOPS-formule wordt toegepast. Schattingen op papier bieden slechts een eerste richtlijn voor planning. De definitieve validatie moet worden uitgevoerd op de ontwikkelingsboard van de doelchip.
Een volledige beoordeling volgt deze volgorde: bepaal of rekenkracht de bottelnek is → bevestig parallelle of tijdsgedeelde planning → meet het model GMAC → geef prioriteit aan beoordeling van DDR-bandbreedte → kalibreer via boardniveau-testen → reserveer een passende rekenkrachtreserve.
Het doel is om prestaties, stroomverbruik en kosten in evenwicht te brengen. Kies voldoende capaciteit voor de taak in plaats van steeds hogere piek-NPU-TOPS na te streven.
Onze MV11 is een vier-camera hardware-gebaseerd gesynchroniseerd visie- en traagheidsnavigatie-fusiecomputatieplatform, gebaseerd op de hoogwaardige Rockchip RK3576-processor. Het omvat een 6 TOPS NPU en 4 GB LPDDR4-geheugen en ondersteunt microseconden-nauwkeurige synchronisatie over vier camera’s heen. Geschikte toepassingen omvatten robotherkenning en -detectie, VIO, SLAM en multi-camera EGO-gegevensverzameling. Het kan dienen als hardwareplatform voor de hierboven beschreven board-level reken-, bandbreedte- en multikanaalplanningstests. Monsters zijn beschikbaar voor vroege projectevaluatie, en complete visieoplossingen kunnen worden afgestemd op implementatiebehoeften. Neem contact met ons op via [email protected].
Actueel nieuws2026-10-24
2026-10-23
2026-10-20
2026-10-19
2026-10-16
2026-10-12
EN
