Gabay sa Pagkakasundo ng Sensor ng Kamera na RK3576: Ano ang Dapat I-verify Bago ang Disenyo ng Hardware

Para sa pagpili ng sensor ng camera at disenyo ng hardware sa platform ng RK3576, ilang mahahalagang punto ang dapat na tapusin bago magsimula ang trabaho sa schematic. Ang mga desisyong ito ay direktang nakaaapekto sa pagganap ng imaging at sa kakayahang maisagawa ang disenyo ng hardware.

Mga Limitasyon ng RK3576 sa CSI/PHY at ISP

Ang RK3576 ay nag-aalok ng flexible na arkitektura ng interface ng camera, ngunit ang konpigurasyon ay kailangang maplanuhan batay sa mga kinakailangan ng proyekto mula pa sa simula.

Suporta sa interface: Ang SoC ay sumusuporta sa parehong MIPI CSI-2 at DVP na interface ng camera, kung saan ang MIPI CSI-2 ang nagbibigay ng pangunahing kalamangan para sa kasalukuyang mga disenyo.

Ang RK3576 ay nagbibigay ng isang C/D-PHY interface na may hanggang apat na lane, pati na rin ng dalawang D-PHY interface. Ang mga magagamit na PHY resource ay maaaring i-konpigurang dalawang 4-lane D-PHY port o apat na 2-lane D-PHY port. Dahil dito, posible ang multi-camera na disenyo, kabilang ang mga multi-view system na karaniwang ginagamit sa mga aplikasyon sa seguridad at robotics.

Mga Talatala:

• Para sa disenyo na may maraming kamera, i-assign ang mga PHY at lane resources nang maaga. Ang isang sensor ay hindi maaaring sumaklaw sa dalawang PHY.
• Ang isang RK3576 CSI port ay maaaring i-configure bilang C-PHY o D-PHY. Sa D-PHY mode, suportado nito ang hanggang 4.5 Gbps bawat lane; sa C-PHY mode, suportado nito ang hanggang 2.5 Gsps bawat trio. Ang natitirang D-PHY channels ay sumusuporta ng hanggang 2.5 Gbps bawat lane. Ang isang praktikal na hardware design ay dapat magpanatili ng humigit-kumulang 20% na bandwidth bilang reserba. Kapag ang epektibong data rate ay umaapproach o lumalampas sa interface limit, mas malamang na mangyari ang corrupted frames, dropped frames, at iba pang mga problema sa imahe.
• Ang SoC ay sumusuporta rin ng parallel DVP camera interface para sa mga lumang sensor na may mas mababang resolusyon. Dahil ang ilang pins ay pinagbabahagian ng DVP at MIPI functions, kailangan na ma-finalize ang pin assignment nang maaga upang maiwasan ang resource conflicts.

Mga Tiyak na Katangian at Limitasyon sa Paggamit ng RK3576 ISP

• Ang RK3576 ay may isang hardware ISP engine na sumusuporta sa pagproseso ng imahe hanggang 16 MP at HDR dynamic range hanggang 120 dB. Sa isang multi-camera system, gayunpaman, ang pagdaan ng ilang RAW streams sa ISP ay nangangahulugan na ang kabuuang resolusyon at epektibong frame rate ay limitado ng kapasidad ng ISP at ng MIPI CSI-2 receive bandwidth. Kung ang mga sensor ay nag-o-output ng YUV nang direkta at hindi ginagamit ang ISP, ang pangunahing mga limitasyon ay lumilipat sa MIPI interface bandwidth at memory bandwidth.

Halimbawa ng multi-camera configuration: 1 x 8 MP (4K sa 30 fps) + 2 x 2 MP (1080p sa 30 fps).

• Ang mga application na may maraming camera ay nangangailangan din ng maagang desisyon tungkol sa frame synchronization. Ang multi-view capture at stereo ranging ay maaaring kailanganin ang hardware VSYNC synchronization. Kumpirmahin kung ang hardware synchronization ay i-e-enable at kung ang SoC ay may sapat na external trigger pins para sa bilang ng mga camera na nakaplanong ikonekta.

Sensor Selection Checklist

• Output interface at mode: Kumpirmahin ang MIPI CSI-2 o DVP, kasama ang bilang ng MIPI lanes (1, 2, o 4 lanes).
• Format ng data: Sa platform na RK3576, ang input ng VICAP ay sumusuporta sa mga format na RAW, RGB888, at ilang napiling YUV. Ang built-in na ISP ay nagpoproseso ng data na RAW at kinokonberti ito sa YUV para sa downstream pipeline. Ang mga stream na RGB at YUV na nakuha nang direkta ay hindi dumaan sa ISP.
• Resolusyon at bilis ng frame: Suriin ang mga kinakailangan ng bawat indibidwal na sensor, pagkatapos ay i-validate ang pinagsamang mode ng operasyon kapag maraming camera ang tumatakbo nang sabay-sabay. Ang kabuuang workload ay dapat manatili sa loob ng real-time processing limit ng ISP.
• Kakayahan ng power-rail na magkasya: Ang karaniwang sensor ay gumagamit ng tatlong suplay: ang AVDD para sa analog circuitry, ang DVDD para sa digital core, at ang DOVDD para sa antas ng I/O voltage. Ang RK3576 MIPI PHY ay gumagamit ng nakatakda na 1.8 V supply, kaya ang 1.8 V sensor DOVDD ang karaniwang pinipili. Kung ang antas ng DOVDD ng sensor ay hindi tugma sa antas ng I2C I/O ng host, maaaring idagdag ang isang level shifter sa low-speed control bus. Huwag ilagay ang panlabas na level shifter sa high-speed MIPI differential signals. Ang hardware ay dapat sumunod sa tinukoy na power-up at power-down sequence ng tagagawa ng sensor. Ang software initialization ay umaasa sa nasabing sequence; ang maling timing ay maaaring pigilan ang sensor na i-initialize o lumikha ng imahe. Dapat din kwentahin ang peak current sa AVDD, DVDD, at DOVDD upang ang bawat onboard LDO ay may sapat na kapasidad at design margin.
• Control bus: Kumpirmahin ang I2C address ng sensor. Para sa isang multi-camera system, balakinhin kung paano haharapin ang mga duplicate na address—sa pamamagitan ng pagbabago ng address sa software kung suportado, o sa pamamagitan ng paggamit ng panlabas na I2C switch.
• Clock input: Ang RK3576 ay nagbibigay ng ilang hiwalay na nakakonfigurang MCLK output para sa sensor. Ang bawat clock ay nabubuo mula sa panloob na SoC clock source at inireroute patungo sa sensor sa pamamagitan ng multiplexed GPIO; ang bawat output ay maaaring i-enable at i-configure nang hiwalay. Ang karaniwang saklaw na nakakonfigura sa software para sa isang MCLK ay 6 hanggang 48 MHz. Kung ang isang sensor ay nangangailangan ng clock na nasa labas ng saklaw na iyon, gamitin ang nakatuon na panlabas na oscillator. Dapat ding suriin ang mga multi-camera design para sa mga pin-multiplexing conflict.
• Power at thermal design: Ang mga mataas na resolusyon at mataas na frame-rate na sensor ay kumukuha ng higit na kapangyarihan. Suriin ang power load sa antas ng board at ang thermal path ng produkto bago matapos ang hardware.
• Pagsasaayos ng lens, IR-cut filter, at illuminator: Tiyaking sapat ang mga available na GPIO resources para sa bawat kailangang actuator at driver.
• Kakayahang magamit ang HDR mode: Ang RK3576 ay sumusuporta sa DOL HDR, staggered HDR, at multi-frame HDR. Bago piliin ang isang sensor, tiyaking compatible ang format ng HDR data nito at ang timing nito sa RK3576 ISP at VICAP.

Kung maaari, simulan muna sa isang sensor na na-verify na ng platform community o ng supplier ng module. Maaari itong makabawas nang malaki sa panganib sa pagbuo ng driver at sa proseso ng bring-up.

Ang mga sensor na na-integrate na namin ay kinabibilangan ng Sony IMX415 (8 MP), IMX566 (8 MP), IMX678 (8 MP), IMX464 (4.1 MP), at IMX662 (2 MP), kasama na rin ang onsemi AR0234 (2.3 MP) at OMNIVISION OG02C1B (2 MP). Kung ang iyong proyekto ay nangangailangan ng ibang image sensor, mangyaring makipag-ugnayan sa [email protected] para talakayin ang custom integration at tuning.

Mahahalagang Punto para sa PCB Design

• MIPI CSI routing: Kontrolin ang differential impedance sa 100 ohms +/-10%. Panatilihin ang P/N length mismatch sa loob ng bawat differential pair sa ilalim ng 5 mil, at panatilihin ang lane-to-lane mismatch sa loob ng parehong CSI port sa ilalim ng 200 mil. I-route ang MIPI signals palayo sa mataas-na-bilis na mga clock, DDR, at mataas-na-kurrenteng power traces. Huwag i-route ang mga ito sa pamamagitan ng mga split sa reference plane. Panatilihin ang mga trace nang maikli hangga't maaari, na kadalasan ay nasa ilalim ng 15 cm; mas mahaba ang ruta, mas mababa ang maximum data rate na maaaring mapanatili nang maaasahan.
• Ang MCLK ay isang mataas-na-bilis na single-ended clock. Panatilihin ang distansya mula sa MIPI differential pairs at iwasan ang mahabang parallel runs upang bawasan ang crosstalk.
• Panatilihin ang mataas-na-bilis na MIPI routes palayo sa malakas na mga source ng ingay tulad ng switching power supplies at DDR buses, at magbigay ng epektibong shielding at grounding kung kinakailangan ito ng layout.
• Pagsasala ng kapangyarihan: Ilagay ang 0.1 uF at 1 uF na decoupling capacitors malapit sa bawat supply pin ng sensor. Maaaring idagdag ang ferrite bead sa AVDD upang hiwalayin ang analog rail mula sa digital-circuit noise.
• Ang mga high-resolution na sensor na gumagana sa mataas na frame rates ay maaaring magpalabas ng malaking halaga ng kapangyarihan. Ang pagtaas ng temperatura ay maaaring pataasin ang image noise at magdulot ng color shift, kaya dapat suriin ang thermal solution habang nasa hardware design pa lamang, hindi pagkatapos ng bring-up.
• Pagsusuri ng pin-multiplexing: Suriin ang lahat ng MIPI, DVP, I2C, MCLK, at GPIO assignments para sa mga conflict sa shared-function.

Software at Image-Processing Pipeline

• Hardware acceleration: Ang RK3576 ay may kasamang RGA 2D graphics accelerator para sa mga operasyon tulad ng conversion ng image format (halimbawa, YUV papunta sa RGB), scaling, at rotation. Ang paggamit ng RGA imbes na CPU-based processing ay maaaring makabawas nang malaki sa CPU load at mahalaga para mapanatili ang matatag na mataas na frame rate, tulad ng 1080p sa 30 fps.
• Pangplan ng daloy ng datos ng NPU: Kapag tumatakbo ang isang modelo ng AI sa 6 TOPS na NPU na naka-integrate sa RK3576, ang karaniwang landas ay ang pagkuha mula sa kamera, proseso ng ISP, pagbabago ng format at pag-scale gamit ang RGA, inferensya ng NPU, at output sa display. Dapat suriin ang latency sa bawat yugto habang dinisenyo ang sistema upang matiyak na ang buong produkto ay nakakamit ang kanyang layunin sa real-time.

Ang mga sumusunod na konfigurasyong pang-referensya ay nagpapakita kung paano maaaring i-allocate ang mga magagamit na interface ng kamera para sa ilang karaniwang aplikasyon.