Ghid de compatibilitate pentru senzorii de cameră RK3576: Ce trebuie verificat înainte de proiectarea hardware

Pentru selecția senzorilor de cameră și proiectarea hardware pe platforma RK3576, mai multe puncte esențiale trebuie stabilite înainte de începerea lucrului la schema electrică. Aceste decizii afectează direct performanța de imagine și viabilitatea proiectării hardware.

Restricțiile CSI/PHY și ISP ale RK3576

RK3576 oferă o arhitectură flexibilă de interfață pentru camere, dar configurarea trebuie planificată din start în funcție de cerințele proiectului.

Suportul pentru interfață: SoC-ul suportă atât interfețele MIPI CSI-2, cât și cele DVP pentru camere, iar MIPI CSI-2 oferă avantajul principal în proiectele actuale.

RK3576 oferă o interfață C/D-PHY cu până la patru lane, plus două interfețe D-PHY. Resursele PHY disponibile pot fi configurate fie ca două porturi D-PHY cu câte patru lane fie ca patru porturi D-PHY cu câte două lane. Acest lucru face posibile proiectările cu mai multe camere, inclusiv sistemele cu mai multe unghiuri de vizualizare, frecvent utilizate în aplicații de securitate și robotică.

Note:

• Pentru o concepție cu mai multe camere, alocați resursele PHY și ale canalelor la început. Un singur senzor nu poate acoperi două PHY-uri.
• Un port CSI RK3576 poate fi configurat ca C-PHY sau D-PHY. În modul D-PHY, acesta suportă până la 4,5 Gbps pe canal; în modul C-PHY, suportă până la 2,5 Gsps pe trio. Celelalte canale D-PHY suportă până la 2,5 Gbps pe canal. O concepție practică de hardware ar trebui să păstreze aproximativ 20% din lățimea de bandă ca rezervă. Atunci când rata efectivă de date se apropie de limita interfeței sau o depășește, probabilitatea apariției cadrelor corupte, a cadrelor pierdute și a altor defecțiuni ale imaginii crește.
• SoC-ul suportă, de asemenea, o interfață paralelă pentru camere DVP, destinată senzorilor mai vechi, cu rezoluție mai scăzută. Deoarece funcțiile DVP și MIPI împart unele pini, atribuirea pinilor trebuie finalizată suficient de devreme pentru a evita conflictele de resurse.

Specificații ISP RK3576 și limite de procesare

• RK3576 integrează un singur motor hardware ISP care suportă procesarea imaginilor până la 16 MP și o gamă dinamică HDR de până la 120 dB. Într-un sistem cu mai multe camere, însă, rutarea mai multor fluxuri RAW prin ISP înseamnă că rezoluția combinată și rată cadrelor eficientă sunt limitate atât de capacitatea ISP, cât și de lățimea de bandă de recepție MIPI CSI-2. Dacă senzorii emit direct YUV și ocolesc ISP, principalele constrângeri se deplasează către lățimea de bandă a interfeței MIPI și către lățimea de bandă a memoriei.

Exemplu de configurație multi-cameră: 1 × 8 MP (4K la 30 fps) + 2 × 2 MP (1080p la 30 fps).

• Aplicațiile multi-cameră necesită, de asemenea, o decizie timpurie privind sincronizarea cadrelor. Captarea multi-vizualizare și măsurarea stereo pot necesita sincronizare hardware VSYNC. Verificați dacă sincronizarea hardware va fi activată și dacă SoC dispune de suficiente pini externi de declanșare pentru numărul planificat de camere.

Verificare selecție senzori

• Interfață de ieșire și mod de funcționare: Confirmați utilizarea MIPI CSI-2 sau DVP, precum și numărul de canale MIPI (1, 2 sau 4 canale).
• Formatul datelor: Pe platforma RK3576, intrarea VICAP acceptă formatele RAW, RGB888 și anumite formate YUV. ISP-ul integrat prelucrează datele RAW și le convertește în YUV pentru fluxul ulterior. Fluxurile RGB și YUV capturate direct nu trec prin ISP.
• Rezoluția și rata cadrelor: Verificați cerințele fiecărui senzor individual, apoi validați modul de funcționare combinat atunci când mai multe camere rulează simultan. Încărcarea totală trebuie să rămână în limitele de procesare în timp real ale ISP-ului.
• Compatibilitatea cu sursele de alimentare: Un senzor tipic folosește trei surse de alimentare: AVDD pentru circuitele analogice, DVDD pentru nucleul digital și DOVDD pentru nivelul de tensiune al I/O. Interfața MIPI PHY a procesorului RK3576 utilizează o sursă de alimentare fixă de 1,8 V, astfel încât se preferă în general un nivel DOVDD de 1,8 V pentru senzor. Dacă nivelul DOVDD al senzorului nu corespunde nivelului I/O al magistralei I2C gazdă, se poate adăuga un convertitor de nivel pe magistrala de comandă cu viteză scăzută. Nu se plasează un convertitor de nivel extern pe semnalele diferențiale MIPI cu viteză ridicată. Hardware-ul trebuie să respecte secvența de pornire și oprire specificată de producătorul senzorului. Inițializarea software depinde de această secvență; o sincronizare incorectă poate împiedica inițializarea senzorului sau generarea unei imagini. De asemenea, trebuie calculate curenții de vârf pe AVDD, DVDD și DOVDD, astfel încât fiecare reglator LDO integrat să aibă capacitatea și marja de proiectare necesare.
• Magistrală de comandă: Confirmați adresa I2C a senzorului. Pentru un sistem cu mai multe camere, planificați modul în care vor fi gestionate adresele duplicate, fie prin modificarea adreselor în software, acolo unde este suportat, fie prin utilizarea unui comutator I2C extern.
• Intrare ceas: RK3576 oferă mai multe ieșiri MCLK pentru senzori, configurabile independent. Fiecare ceas este generat dintr-o sursă internă de ceas SoC și direcționat către senzor printr-un GPIO multiplexat; fiecare ieșire poate fi activată și configurată separat. Intervalul tipic configurabil prin software pentru un MCLK este de la 6 la 48 MHz. Dacă un senzor necesită un ceas în afara acestui interval, utilizați un oscilator extern dedicat. De asemenea, în proiectele cu mai multe camere trebuie verificate conflictele de multiplexare pe pini.
• Proiectare energetică și termică: Senzorii de înaltă rezoluție și înaltă rată de cadre consumă mai multă energie. Evaluați sarcina energetică la nivel de placă și calea termică a produsului înainte de finalizarea hardware-ului.
• Controlul lentilei, al filtrului IR-cut și al iluminatorului: Verificați dacă sunt disponibile suficiente resurse GPIO pentru fiecare actuator și driver necesar.
• Compatibilitatea cu modul HDR: RK3576 suportă HDR DOL, HDR în cascadă și HDR pe mai multe cadre. Înainte de a selecta un senzor, verificați dacă formatul datelor HDR și temporizarea acestuia sunt compatibile cu ISP-ul și VICAP-ul RK3576.

În măsura posibilului, începeți cu un senzor care a fost deja validat de comunitatea platformei sau de furnizorul de module. Acest lucru poate reduce semnificativ riscurile legate de dezvoltarea driver-ului și de punerea în funcțiune.

Senzorii pe care i-am integrat deja includ Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4,1 MP) și IMX662 (2 MP), precum și onsemi AR0234 (2,3 MP) și OMNIVISION OG02C1B (2 MP). Dacă proiectul dumneavoastră necesită un alt senzor de imagine, contactați [email protected] pentru a discuta integrarea personalizată și ajustarea.

Puncte cheie privind proiectarea PCB

• Rutarea MIPI CSI: Controlați impedanța diferențială la 100 ohmi ±10%. Mențineți diferența de lungime între conductoarele P/N din fiecare pereche diferențială sub 5 mil, iar diferența de lungime între canale în cadrul aceluiași port CSI sub 200 mil. Rutarea semnalelor MIPI trebuie să se facă departe de ceasurile cu viteză mare, de magistralele DDR și de traseele de alimentare cu curent mare. Nu le rutăți peste zonele de separare din planul de referință. Mențineți traseele cât mai scurte posibil, de preferință sub 15 cm; cu cât traseul este mai lung, cu atât rată maximă de date care poate fi menținută în mod fiabil este mai mică.
• MCLK este un ceas unipolar cu viteză mare. Mențineți distanța față de perechile diferențiale MIPI și evitați traseele paralele lungi pentru a reduce diafonia.
• Mențineți traseele MIPI cu viteză mare departe de surse puternice de zgomot, cum ar fi sursele de alimentare comutate și magistralele DDR, și asigurați o ecranare și o legare la pământ corespunzătoare acolo unde layout-ul o cere.
• Filtrare putere: Plasați condensatori de decuplare de 0,1 µF și 1 µF în apropierea fiecărei pini de alimentare a senzorilor. O bilă de ferită poate fi adăugată pe AVDD pentru a izola rail-ul analogic de zgomotul circuitelor digitale.
• Senzoarele cu rezoluție înaltă, care funcționează la rate ridicate de cadre, pot disipa o cantitate considerabilă de putere. Creșterea temperaturii poate mări zgomotul imaginii și poate provoca o deviere cromatică; prin urmare, soluția termică trebuie evaluată în faza de proiectare hardware, nu după punerea în funcțiune.
• Verificarea multiplexării pinilor: Verificați toate atribuirile MIPI, DVP, I2C, MCLK și GPIO pentru eventuale conflicte de funcții partajate.

Software și flux de procesare imagine

• Accelerare hardware: RK3576 include un accelerator grafic 2D RGA pentru operații precum conversia formatului imaginii (de exemplu, YUV în RGB), scalarea și rotația. Utilizarea RGA în locul prelucrării bazate pe CPU poate reduce semnificativ sarcina CPU și este esențială pentru menținerea unei funcționări stabile la rate ridicate de cadre, cum ar fi 1080p la 30 fps.
• Planificarea fluxului de date NPU: Când un model de inteligență artificială rulează pe NPU-ul integrat de 6 TOPS al RK3576, o cale tipică este captarea imaginii de la cameră, procesarea ISP, conversia formatului și scalarea RGA, inferența NPU și afișarea rezultatului. Latența de la fiecare etapă trebuie evaluată în timpul proiectării sistemului pentru a se asigura că întregul produs îndeplinește ținta de timp real.

Următoarele configurații de referință ilustrează modul în care interfețele disponibile pentru camere pot fi alocate unor aplicații comune.