راه‌اندازی دوربین در لینوکس با RK3576: از درایور سنسور تا اولین فریم

RK3576 پردازنده‌ای است که توسط شرکت راکچیپ برای کاربردهای بینایی صنعتی، امنیت هوشمند و ترمینال‌های بینایی مبتنی بر هوش مصنوعی طراحی شده است. این پردازنده شامل یک پردازندهٔ سیگنال تصویری (ISP) نسخهٔ ۳٫۹ با قابلیت پشتیبانی از سنسورهای تا ۱۶ مگاپیکسل و سه ماژول دریافت‌کنندهٔ MIPI CSI-2 (دو ماژول D-PHY نسخهٔ ۲٫۰ و یک ماژول C/D-PHY) می‌شود. هر خط D-PHY حداکثر نرخ انتقال ۴٫۵ گیگابیت بر ثانیه، هر گروه سه‌تایی C-PHY تا ۲٫۵ گیگاسامپل بر ثانیه و هر پورت CSI از چهار کانال مجازی پشتیبانی می‌کند.

راه‌حل دوربین RK3576 بر پایهٔ چارچوب رسانه‌ای لینوکس (Linux Media framework) و مدل زیردستگاه‌های V4L2-subdev طراحی شده است. مسیر کامل انتقال داده به این صورت است: سنسور تصویر → کنترلر دریافت‌کنندهٔ MIPI CSI → واحد ضبط ویدئویی VICAP → ISP نسخهٔ ۳٫۹. سنسور به‌عنوان یک زیردستگاه مستقل عمل می‌کند و در کنار ماژول‌های MIPI CSI، VICAP و ISP، یک خط لولهٔ کامل جمع‌آوری تصویر را تشکیل می‌دهد.

اگرچه RK3576 سه کانال دریافت‌کننده MIPI CSI فراهم می‌کند و VICAP قادر به دریافت همزمان چندین جریان تصویر است، اما ISP نسخهٔ ۳٫۹ سخت‌افزار تک‌کاناله است و تنها می‌تواند الگوریتم‌های پردازش ISP را روی یک جریان تصویر در هر زمان اجرا کند.

در طول عیب‌یابی پروژه، مشکلات ممکن شامل ارتباط غیرطبیعی I2C، اتصال MIPI ناپایدار یا شکست در ایجاد خط لوله رسانه‌ای است که در نهایت مانع از خروجی‌شدن اولین فریم تصویر می‌شود. این مقاله رویکردی کامل عیب‌یابی را از دیدگاه اجرای مهندسی ارائه می‌دهد و می‌تواند به‌عنوان مرجعی برای عیب‌یابی سیستم‌های بینایی تعبیه‌شده مورد استفاده قرار گیرد.

۱. آماده‌سازی سخت‌افزار و هسته: حذف مشکلات سطح پایین سخت‌افزاری پیش از عیب‌یابی

در اشکال‌زدایی درایور، بیشتر مشکلاتی که با آن‌ها روبرو می‌شویم ناشی از خود کد درایور نیست، بلکه از مسائل سطح پایین‌تری مانند اتصالات سخت‌افزاری، ترتیب روشن‌شدن منابع تغذیه یا پیکربندی ناقص هستهٔ سیستم عامل ناشی می‌شوند. بنابراین، پیش از شروع توسعهٔ درایور حسگر، باید ابتدا سخت‌افزار زیربنایی و محیط هستهٔ سیستم عامل را بررسی و تأیید کرد.

بررسی‌های کلیدی سخت‌افزاری شامل ریل‌های تغذیهٔ حسگر، اتوبوس I2C، لینک‌های دیفرانسیلی MIPI و پین‌های GPIO کنترل‌کنندهٔ ریست و تغذیه است.

ترتیب روشن‌شدن حسگر یکی از مهم‌ترین بخش‌های اشکال‌زدایی است. چندین ریل تغذیه مانند AVDD، DOVDD و DVDD باید به‌طور دقیق ترتیب روشن‌شدن تعیین‌شده توسط حسگر را رعایت کنند. انحراف بیش از حد ولتاژ تغذیه یا زمان‌بندی نادرست روشن‌شدن و خاموش‌شدن می‌تواند مستقیماً منجر به شکست ارتباط I2C و عملکرد غیرطبیعی حسگر شود.

اتوبوس I2C: پیکربندی چندکاره‌سازی پین‌ها و آدرس اسلیو حسگر را بررسی کنید و اطمینان حاصل کنید که مقاومت‌های کشش بالا (pull-up) I2C به‌درستی نصب شده‌اند.

می‌پی: تأیید کانال سی‌اس‌آی که توسط سخت‌افزار استفاده می‌شود، تعداد خطوط می‌پی و تطبیق امپدانس در خطوط سیگنال دیفرانسیل. همچنین تأیید اینکه ساعت مرجع سنسور (اکس‌وی‌سی‌ال‌کی) که از آرکی۳۵۷۶ خارج می‌شود، به‌درستی کار می‌کند.

پین‌های کنترل ریست/خاموش‌کردن: تعیین منطق سطح فعال (فعال در سطح بالا/فعال در سطح پایین) و اطمینان از اینکه پیکربندی جی‌پی‌او با شماتیک مطابقت دارد.

پیکربندی هسته: بررسی گزینه‌های هسته برای زیرسیستم رسانه، زیردستگاه‌های وی‌۴‌ال۲-سابدِو، راننده‌های کنترلر و فیزیکال لایه می‌پی سی‌اس‌آی، ویکَپ و آی‌اس‌پی نسخه ۳٫۹. اگر مؤلفه‌ای ضروری در هسته ساخته نشده باشد یا به‌صورت ماژول ساخته شده اما بارگذاری صحیح نشود، خط لوله رسانه نمی‌تواند سخت‌افزار دوربین را شناسایی کند. پس از ساخت و فلش کردن هسته، ابتدا وضعیت بارگذاری هر ماژول راننده را بررسی کنید. لاگ دی‌مِس‌ج را بررسی کرده و از عدم وجود خطاهایی مانند ماژول‌های از قلم‌افتاده یا شکست در روند اولیه‌سازی اطمینان حاصل کنید.

۲. پیکربندی درخت دستگاه (دی‌تی‌اس): ایجاد اتصالات بین دستگاه‌ها

درخت دستگاه دوربین RK3576: این درخت منابع سخت‌افزاری را توصیف می‌کند و از گره‌های پورت و نقطه پایانی برای اتصال لینک‌های خط تصویر بین سنسور، MIPI CSI، VICAP و ISP استفاده می‌کند.

گره سنسور زیر گره مربوط به اتوبوس I2C قرار می‌گیرد و آدرس شیوه‌گیرنده I2C، پین ریست، پین کنترل خاموش‌سازی توان و ساعت مرجع سنسور را تعریف می‌کند. ویژگی‌ها را می‌توان برای تأخیر در راه‌اندازی سنسور تا زمان آماده‌شدن سخت‌افزار PHY CSI تنظیم کرد تا از رقابت‌های زمانی ناشی از عدم آماده‌بودن PHY جلوگیری شود. نقطه پایانی داخل گره پورت سنسور به ورودی MIPI CSI اشاره دارد و تعداد خطوط داده MIPI را مشخص می‌کند.

گرهٔ کنترل‌کنندهٔ MIPI CSI دو پورت دارد: ورودی به سنسور تصویر متصل است و خروجی به واحد VICAP متصل می‌شود. سپس VICAP داده‌های تصویری را به ISP نسخهٔ ۳٫۹ ارسال می‌کند. توجه داشته باشید که نقاط پایانی باید به‌صورت دوسویه به یکدیگر ارجاع دهند و ویژگی‌های remote-endpoint در هر دو انتهای اتصال باید دقیقاً یک‌به‌یک مطابقت داشته باشند. اگر این اتصال دوسویه صحیح نباشد، چارچوب رسانه‌ای (Media framework) نمی‌تواند مسیر دادهٔ کامل را شناسایی کند. پس از ویرایش، کامپایل و فلش کردن فایل DTS، ابتدا لاگ dmesg را بررسی کنید تا از وضعیت عادی تمام گره‌های دستگاه و عدم وقوع خطاهای تأخیری مداوم deferred-probe اطمینان حاصل شود. تکرار این تأخیرها معمولاً نشان‌دهندهٔ تنظیمات نادرست منابع GPIO، کلاک یا تغذیه است.

۳. توسعهٔ درایور زیردستگاه سنسور: مدل V4L2-subdev

درایور سنسور پلتفرم RK3576 بر اساس چارچوب V4L2-subdev توسعه داده شده است. این درایور سنسور گره‌ای در /dev/video ایجاد نمی‌کند؛ بلکه تنها به‌عنوان یک موجودیت زیرسیستم رسانه (Media subdevice) وجود دارد. وظایف اصلی آن شامل پیکربندی ثبات‌های سنسور، مدیریت تغذیه و ریست، پیکربندی فرمت تصویر و کنترل شروع و توقف جریان داده است.

این درایور عمدتاً به پنج ماژول تقسیم می‌شود: بررسی I2C، کنترل تغذیه و ریست، جداول ثبات حالت، پیکربندی فرمت پد و کنترل شروع و توقف جریان داده.

در مرحلهٔ بررسی راننده، شناسهٔ تراشهٔ سنسور از طریق اتصال I2C خوانده می‌شود تا اطمینان حاصل گردد که تراشه به‌درستی شناسایی شده است. در صورت شکست در خواندن این شناسه، عیب‌یابی می‌تواند مستقیماً بر روی نقص‌های سخت‌افزاری مربوط به I2C، تغذیه و ریست متمرکز شود. عملکردهای تغذیه و ریست، دنبالهٔ کامل روشن‌شدن و خاموش‌شدن سنسور را پیاده‌سازی می‌کنند: در هنگام روشن‌شدن، هر ریل تغذیه به‌ترتیب فعال می‌شود، پین ریست برای مدت زمان مشخصی فعال می‌گردد، سپس ریست آزاد می‌شود و به سنسور زمانی داده می‌شود تا از نظر داخلی پایدار شود. دنبالهٔ خاموش‌شدن، عملیات معکوس را انجام می‌دهد.

جدول‌های ثبت حالت، پیکربندی‌های کامل ثبت‌گر سنسور را برای وضوح‌ها، نرخ‌های فریم و نرخ‌های میپی مختلف ذخیره می‌کنند. هنگامی که لایه بالاتر پارامترهای ضبط را تغییر می‌دهد، درایور مجموعه کامل مربوطه از ثبت‌گرها را می‌نویسد. رابط قالب پد، قالب تصویر اُرِس-بَس را پیکربندی می‌کند که باید دقیقاً با قالب بایر خروجی سنسور (مانند بی‌جی‌جی‌آر یا آر‌جی‌جی‌بی) مطابقت داشته باشد. پیکربندی نادرست به‌طور مستقیم باعث خطاهای رنگ تصویر می‌شود. رابط کنترل جریان از دستور استریم-آن برای نوشتن دستورات ثبت‌گر استفاده می‌کند تا خروجی تصویر میپی سنسور را فعال کند، در حالی که استریم-آف انتقال تصویر را متوقف می‌کند. پس از پیاده‌سازی درایور، گزینه‌های ساخت به کانفیگ-کرنل و فایل-ساخت اضافه می‌شوند تا درایور بتواند یا درون کرنل ساخته شود یا به‌صورت ماژول قابل بارگذاری کرنل کامپایل گردد.

۴. عیب‌یابی مرحله‌ای: بدست آوردن اولین فریم به‌صورت گام‌به‌گام

توصیه نمی‌شود بلافاصله سعی در ثبت تصویر کنید. از رویکرد عیب‌یابی لایه‌ای در سه مرحله استفاده کنید: تأیید موفقیت‌آمیز بودن بررسی راننده → تأیید اتصال کامل خط انتقال رسانه‌ای → ثبت تصاویر خام با V4L2.

مرحلهٔ ۱: تأیید موفقیت‌آمیز بودن بررسی رانندهٔ سنسور

پس از راه‌اندازی سیستم، خروجی دستور dmesg را بررسی کرده و پیام‌های سجل‌شده توسط رانندهٔ سنسور را جستجو کنید. از ابزار i2cdetect برای ا barrسی اتوبوس I2C مربوطه استفاده کرده و تشخیص آدرس دستگاه فرعی سنسور را تأیید کنید.

• اگر هیچ دستگاه I2C‌ای شناسایی نشد: منبع تغذیهٔ سنسور، منطق ریست، لحیم‌کاری سخت‌افزاری I2C و چندکاره‌سازی پین‌ها را بررسی کنید.
• اگر آدرس I2C قابل تشخیص باشد اما خواندن شناسهٔ تراشه غیرطبیعی باشد: مسیر سخت‌افزاری I2C سالم است و احتمالاً مشکل ناشی از نادرست بودن آدرس رجیستر یا عدم تطابق مدل سنسور است.

مرحلهٔ ۲: تأیید خط انتقال چارچوب رسانه‌ای

از media-ctl برای مشاهدهٔ فهرست موجودیت‌های دستگاه رسانه‌ای استفاده کنید. در شرایط عادی، موجودیت‌های زیردستگاه مانند سنسور، mipi_csi، vicap و isp39 باید قابل مشاهده باشند و هر پورت پد به‌درستی شناسایی شود.

• اگر موجودیت سنسور قابل مشاهده نباشد: روند اسکن درایور سنسور با شکست مواجه شده است.
• اگر موجودیت‌ها وجود داشته باشند اما اتصال بین آن‌ها قطع باشد: جفت‌سازی دوطرفهٔ نقطهٔ پایانی در DTS نادرست است.

در حین عیب‌یابی، media-ctl را می‌توان برای پیکربندی دستی کل خط لوله به‌کار برد: ایجاد اتصال بین موجودیت‌ها و تنظیم قالب تصویر، وضوح و پیکربندی لِین‌ها برای هر مرحلهٔ زیردستگاه. خطاهای ایجادشده توسط media-ctl عموماً ناشی از تعداد لِین‌ها، قالب media-bus یا پارامتر وضوحی است که از قابلیت‌های سخت‌افزاری سنسور فراتر رفته است. پیکربندی موفق media-ctl نشان‌دهندهٔ ایجاد مسیر نرم‌افزاری از سنسور تا ISP است.

مرحلهٔ ۳: ثبت تصویر با V4L2 و دریافت اولین فریم خام

ویکَپ/آی‌اس‌پی گرهٔ /dev/video را تولید می‌کند که به‌عنوان نقطهٔ ورودی فضای کاربر برای دریافت تصویر عمل می‌کند. از v4l2-ctl برای تنظیم قالب پیکسل تصویر، دریافت یک فریم تکی از طریق mmap و ذخیرهٔ داده‌های خام بایر استفاده کنید. اگر اندازهٔ فایل خام تولیدشده با انتظار نظری همخوانی داشته باشد، اولین فریم تصویر با موفقیت دریافت شده است. سپس این فایل خام را می‌توان با یک ابزار حرفه‌ای تحلیل تصویر مشاهده کرد تا تصویر اصلی بایر بررسی شود.

۵. رویکردهای رایج عیب‌یابی

• وقتی media-ctl خطایی در پیکربندی پیوند گزارش می‌دهد: ابتدا اتصال دوطرفهٔ نقطهٔ پایانی دی‌تی‌اس را بررسی کنید، سپس قالب ارتباط رسانه‌ای، وضوح و پارامتر تعداد لِین‌ها را تأیید نمایید.
• دریافت فریم V4L2 با زمان‌بندی‌شدن به‌پایان می‌رسد و هیچ دادهٔ تصویری خروجی ارائه نمی‌شود: مطمئن شوید که دستور stream_on در درایور به‌درستی اجرا شده است، فیزیکی CSI به قفل کردن ساعت دست یافته است و سنسور واقعاً جریان دادهٔ MIPI را خروجی می‌دهد.
• تصاویر خراب یا نویز خط‌دار: علل احتمالی شامل نرخ ساعت MIPI نادرست، تعداد لانه‌های نادرست، عدم تطابق الگوی بایر یا ریپل بیش از حد در منبع تغذیه سنسور است.
• خروجی تصویر متغیر یا افت دوره‌ای فریم‌ها: زمان‌بندی روشن‌شدن/ریست سنسور ممکن است با الزامات مطابقت نداشته باشد یا منبع تغذیه سخت‌افزاری به اندازه کافی پایدار نباشد.

ما راه‌حل بالغ RK3576 و توانایی‌های حرفه‌ای در توسعه سفارشی، انطباق سخت‌افزاری و اجرای تولید انبوه داریم. برای سنسورهای تصویر مختلف و نیازهای متفاوت به وضوح و نرخ فریم، می‌توانیم بازبینی‌های سخت‌افزاری، اشکال‌زدایی درایورها و بهینه‌سازی کامل سیستم را ارائه دهیم تا پروژه‌های سفارشی در حوزه‌های بینایی صنعتی، امنیت هوشمند، ترمینال‌های بینایی مبتنی بر هوش مصنوعی و سایر کاربردها را به‌طور کارآمد پشتیبانی کنیم. با ما تماس بگیرید در [email protected].