RK3576-veiledning for kamerasensor-kompatibilitet: Hva som må bekreftes før hardvaredesign

Ved valg av kamerasensor og hardwareutforming for RK3576-plattformen må flere kritiske punkter fastsettes før skjemaarbeidet starter. Disse beslutningene påvirker direkte bildekvaliteten og muligheten for å realisere den foreslåtte hardwareutformingen.

RK3576 CSI/PHY og ISP-begrensninger

RK3576 tilbyr en fleksibel arkitektur for kameragrensesnitt, men konfigurasjonen må planlegges ut fra prosjektkravene allerede fra begynnelsen.

Støtte for grensesnitt: SoC-en støtter både MIPI CSI-2 og DVP-kameragrensesnitt, der MIPI CSI-2 gir de viktigste fordelene for nåværende design.

RK3576 tilbyr ett C/D-PHY-grensesnitt med opptil fire kanaler samt to D-PHY-grensesnitt. De tilgjengelige PHY-resursene kan konfigureres enten som to 4-kanals D-PHY-porter eller som fire 2-kanals D-PHY-porter. Dette gjør det mulig å utforme systemer med flere kameraer, inkludert flervinkelsystemer som ofte brukes i sikkerhets- og robotikanvendelser.

Notater:

• For en flerkamera-design, tilordne PHY- og lane-ressursene tidlig.
• Én RK3576 CSI-port kan konfigureres som C-PHY eller D-PHY. I D-PHY-modus støtter den opptil 4,5 Gbps per lane; i C-PHY-modus støtter den opptil 2,5 Gsps per trio. De resterende D-PHY-kanalene støtter opptil 2,5 Gbps per lane. Et praktisk hardwaredesign bør reservere ca. 20 % av båndbredden. Når den effektive dataraten nærmer seg eller overskrider grensen for grensesnittet, øker sannsynligheten for korrupte bilder, tapt bilde og andre bildefeil.
• SoC-en støtter også et parallelt DVP-kameragrensesnitt for eldre, lavoppløselige sensorer. Siden DVP- og MIPI-funksjoner deler noen pinner, må pinntilordningen fastsettes tidlig nok for å unngå ressurskonflikter.

RK3576 ISP-spesifikasjoner og behandlingsbegrensninger

• RK3576 integrerer en enkelt hardware-ISP-motor som støtter bildebehandling opp til 16 MP og en HDR-dynamisk rekkevidde på opptil 120 dB. I et flerkamera-system betyr imidlertid å rute flere RAW-strømmer gjennom ISP at den samlede oppløsningen og den effektive bildefrekvensen er begrenset av både ISP-kapasiteten og MIPI CSI-2-mottakerbåndbredden. Hvis sensorer sender ut YUV direkte og omgår ISP, flyttes de viktigste begrensningene til MIPI-grensesnittets båndbredde og minnebåndbredden.

Eksempel på flerkamera-konfigurasjon: 1 × 8 MP (4K ved 30 bilder per sekund) + 2 × 2 MP (1080p ved 30 bilder per sekund).

• Flerkamera-applikasjoner krever også en tidlig beslutning om bildeframesynkronisering. Flervisningsopptak og stereomåling kan kreve maskinvarebasert VSYNC-synkronisering. Bekreft om maskinvaresynkronisering skal aktiveres og om SoC har nok eksterne utløserpinner for det planlagte antallet kameraer.

Sjekkliste for valg av sensor

• Utgangsgrensesnitt og -modus: Bekreft om MIPI CSI-2 eller DVP brukes, samt antall MIPI-linjer (1, 2 eller 4 linjer).
• Dataformat: På RK3576-plattformen støtter VICAP-inngangen RAW, RGB888 og utvalgte YUV-formater. Den innebygde ISP-en behandler RAW-data og konverterer dem til YUV for den nedstrømsrettede behandlingspipelinen. RGB- og YUV-strømmer som fanges direkte, går ikke gjennom ISP-en.
• Oppløsning og bildefrekvens: Sjekk kravene til hver enkelt sensor, og bekreft deretter den kombinerte driftsmodusen når flere kameraer kjører samtidig. Den totale arbeidslasten må forbli innenfor ISP-ens grense for sanntidsbehandling.
• Strømforsyningskompatibilitet: En typisk sensor bruker tre strømforsyninger: AVDD for den analoge kretsen, DVDD for den digitale kjernen og DOVDD for I/O-spenningnivået. RK3576 MIPI PHY bruker en fast 1,8 V-strømforsyning, så en 1,8 V-sensor-DOVDD foretrekkes vanligvis. Hvis sensorens DOVDD-nivå ikke samsvarer med vertsens I2C I/O-spenningnivå, kan en nivåomsetter legges til på kontrollbussen for lav hastighet. Ikke plasser en ekstern nivåomsetter på de høyhastighetsdifferensielle MIPI-signalene. Maskinvaren må følge strømoppstart- og strømavslagsekvensen som er spesifisert av sensortilverkeren. Programvareinitialiseringen avhenger av denne sekvensen; feil tidtaking kan hindre sensoren i å initialiseres eller produsere et bilde. Topppstrømmen på AVDD, DVDD og DOVDD må også beregnes slik at hver integrert LDO har tilstrekkelig kapasitet og designmargin.
• Kontrollbuss: Bekreft sensorens I2C-adresse. For et flerkamera-system, plan hvordan duplikate adresser skal håndteres, enten ved å endre adressene i programvaren der støtte finnes, eller ved å bruke en ekstern I2C-bryter.
• Klokkeinngang: RK3576 tilbyr flere uavhengig konfigurerbare sensor-MCLK-utganger. Hver klokke genereres fra en intern SoC-klokkekilde og sendes til sensoren via en multiplexet GPIO; hver utgang kan aktiveres og konfigureres separat. Det typiske programvarekonfigurerbare området for én MCLK er 6 til 48 MHz. Hvis en sensor krever en klokke utenfor dette området, må en dedikert ekstern oscillator brukes. Flerekamerasystemer må også sjekkes for konflikter knyttet til pin-multiplexing.
• Strøm- og termisk design: Sensorer med høy oppløsning og høy bildefrekvens trekker mer strøm. Vurder strømbelastningen på kortnivå og produktets termiske vei før maskinvaren er ferdigstilt.
• Linse, IR-kuttfilter og belysningskontroll: Bekreft at det er tilstrekkelig med GPIO-ressurser for hver påkrevd aktuator og driver.
• HDR-moduskompatibilitet: RK3576 støtter DOL HDR, trappetrinn-HDR og fler-ramme-HDR. Før du velger en sensor, bekreft at dens HDR-dataformat og tidssynkronisering er kompatible med RK3576s ISP og VICAP.

Hvor det er mulig, start med en sensor som allerede er validert av plattformens fellesskap eller modulleverandøren. Dette kan redusere risikoen knyttet til drivertilpasning og oppstart betydelig.

Sensorer vi allerede har integrert inkluderer Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP) og IMX662 (2 MP), samt onsemi AR0234 (2,3 MP) og OMNIVISION OG02C1B (2 MP). Hvis prosjektet ditt krever en annen bilde-sensor, kontakt [email protected] for å diskutere egentilpasset integrasjon og avstemming.

Nøkkelmomenter for PCB-design

• MIPI CSI-ruting: Kontroller differensiell impedans til 100 ohm ±10 %. Hold P/N-lengdeforskjellen innenfor hver differensielle par under 5 mil, og hold banetil-bane-forskjellen innenfor samme CSI-port under 200 mil. Ruter MIPI-signaler bort fra høyhastighets-klokker, DDR og strømledninger med høy strøm. Ikke ruter dem over sprekker i referanseplanet. Hold ledningene så korte som mulig, helst under 15 cm; jo lengre rutingen er, jo lavere maksimal datahastighet kan opprettholdes pålitelig.
• MCLK er en høyhastighets, enkeltendede klokke. Oppretthold avstand fra MIPI-differensielle par og unngå lange parallelle løp for å redusere kryssforstyrrelser.
• Hold høyhastighets MIPI-rutinger borte fra sterke støykilder som bryterstrømforsyninger og DDR-buser, og gi god skjerming og jording der utlegget krever det.
• Strømfiltrering: Plasser 0,1 µF- og 1 µF-avkoblingskondensatorer nær hver sensors strømforsyningspinne. En ferrittperle kan legges til på AVDD for å isolere den analoge spenningsrailen fra digitalstøy.
• Høyoppløselige sensorer som opererer ved høye bildefrekvenser kan forbruke betydelig effekt. Økende temperatur kan øke bildstøy og føre til fargeforskyvning, så varmeløsningen bør vurderes allerede under maskinvaredesignet – ikke først etter oppstart.
• Pinnemultiplikasjonsvurdering: Sjekk alle MIPI-, DVP-, I2C-, MCLK- og GPIO-tilordninger for konflikter knyttet til delte funksjoner.

Programvare og bildebehandlingspipeline

• Maskinvareakselerasjon: RK3576 inkluderer en RGA 2D-grafikkakselerator for operasjoner som bildeformatkonvertering (for eksempel YUV til RGB), skalering og rotasjon. Bruk av RGA i stedet for CPU-basert behandling kan redusere CPU-belastningen betydelig og er avgjørende for å opprettholde stabil drift med høy bildefrekvens, for eksempel 1080p ved 30 bilder per sekund.
• NPU-datastrømplanlegging: Når en AI-modell kjører på RK3576s integrerte 6 TOPS NPU, er en typisk vei kamerakapring, ISP-behandling, RGA-formatkonvertering og skalering, NPU-inferens og visningsutdata. Forsinkelsen i hver fase bør vurderes under systemdesign for å sikre at det ferdige produktet oppnår sitt sanntidsmål.

De følgende referansekonfigurasjonene illustrerer hvordan de tilgjengelige kameragrensesnittene kan allokeres for flere vanlige applikasjoner.