הפעלת מצלמה על RK3576 תחת לינוקס: מהדרייבר של החיישן עד התמונה הראשונה

RK3576 הוא מעבד שפותח על ידי Rockchip ליישומים בתעשיית הראייה, אבטחה חכמה וטרמינלים של ראייה מבוססת בינה מלאכותית. הוא כולל מעבד אותות תמונה (ISP) גרסה V3.9 (תומך עד 16 מגה-פיקסלים) ושלושה מודולי קבלת MIPI CSI-2 (שני מודולים מסוג D-PHY גרסה 2.0 ומודול אחד מסוג C/D-PHY). כל מסלול D-PHY תומך בקצב מקסימלי של 4.5 ג'יגה-ביט לשנייה, כל שלישיה של C-PHY תומכת בקצב של 2.5 ג'יגה-סימבולים לשנייה, וכל יציאת CSI תומכת בארבעה ערוצים וירטואליים.

הפתרון למצלמה של RK3576 מתוכנן סביב מסגרת המדיה של לינוקס (Linux Media framework) ומודל תת-הרכיבים של V4L2 (V4L2-subdev). הנתיב המלא של הנתונים הוא: חיישן תמונה → בקר קבלת MIPI CSI → יחידת לכידה וידאו VICAP → ISP גרסה V3.9. החיישן פועל כרכיב עצמאי ובאשכול עם MIPI CSI, VICAP וה-ISP כדי ליצור צינור לאיסוף תמונות שלם.

למרות ש־RK3576 מספק שלושה ערוצים לקולט MIPI CSI ו־VICAP יכול לקבל מספר זרמי תמונות בו־זמנית, חומרת ה־ISP גרסה 3.9 היא חד־ערוצית ואינה יכולה לבצע עיבוד אלגוריתמי של ISP על יותר מזרם תמונה אחד בבת אחת.

במהלך ניפוי התקלות בפרויקט, עשויות להופיע בעיות כגון תקשורת I2C לא תקינה, קישור MIPI לא יציב או כשל בהקמת צינור המדיה, מה שבסופו של דבר מונע את פליטת הפריים הראשון של התמונה. מאמר זה מציג גישה מלאה לניפוי תקלות מנקודת מבט של יישום הנדסי, והוא יכול לשמש כמקור הפניה עבור ניפוי תקלות חזותיות משובצות.

1. הכנה חומרתית וליבה: הסרת בעיות חומרה ברמה נמוכה לפני ניפוי תקלות

בניפוי תקלות של הדרייבר, רוב הבעיות שאנו נתקלים בהן אינן נגרמות על ידי קוד הדרייבר עצמו, אלא על ידי בעיות ברמה נמוכה יותר, כגון חיווט חומרה, סדר הפעלת מתח או הגדרת ליבה חסרה. לכן, לפני התחלת פיתוח דרייבר של חיישן, יש לבדוק ולאמת תחילה את החומרה הבסיסית וסביבת הליבה.

בדיקות חומרה עיקריות כוללות את מסילות המתח של החיישן, אוטובוס ה-I2C, קישורים דיפרנציאליים של MIPI ופיני GPIO לאיפוס/שליטה במתח.

סדר הפעלת המתח של החיישן הוא אחד החלקים הקריטיים ביותר בניפוי תקלות. מסילות מתח מרובות, כגון AVDD, DOVDD ו-DVDD, חייבות לעקוב بدقة אחר סדר הפעלת המתח שצוין על ידי החיישן. סטייה מוגזמת במתח הזנה או זמן לא נכון להפעלה/כיבוי מתח עלולים לגרום ישירות לתקלות בתקשורת I2C ולתפקוד לא תקין של החיישן.

אובוס ה-I2C: בדקו את תצורת הריבוב של הפינים ואת כתובת המשרת של החיישן, והבטיחו שההתנגדויות המושכות למעלה של I2C מותקנות כראוי.

MIPI: לאשר את ערוץ ה-CSI שמשתמש בו החומרה, את מספר מסלולי ה-MIPI ואת התאמת האימפדנס על קווי האות הדיפרנציאליים. כמו כן, לאשר שהשעון المرجعي של הסנסור (XVCLK) שיוצא מה-RK3576 פועל כראוי.

פיני בקרת איפוס/כיבוי מתח: לקבוע את הלוגיקה של הרמה הפעילה (פעילה בגובה/פעילה בנמוך), ולדאוג שתצורת ה-GPIO תואמת את הסכימה.

תצורת הליבה: לבדוק את אפשרויות הליבה עבור תת-מערכת המדיה, תת-הרכיבים של V4L2, מנהלי ה-MIPI CSI וה-PHY, VICAP ו-ISP גרסה 3.9. אם רכיב נדרש אינו נבנה בתוך הליבה, או שנבנה כמודול אך נכשל בהטעינה שלו, צינור המדיה לא יוכל לזהות את חומרת המצלמה. לאחר בניית הליבה והטיעון שלה, יש לבדוק ראשית את סטטוס הטעינה של כל מודול נהיגה. יש לעיין ביומן dmesg ולאשר שלא קיימים שגיאות כגון מודולים חסרים או כשלים באתחול.

2. תצורת עץ ההתקן (DTS): הקמת חיבורים בין ההתקנים

עץ התקן המצלמה RK3576: מתאר את משאבי החומרה ומשתמש בצמתים של פורט ונקודת קצה לקישור צינורות התמונה בין החיישן, MIPI CSI, VICAP ו-ISP.

צומת החיישן מחובר לצומת אוטובוס ה-I2C המתאים וกำหนด את כתובת העבד I2C, את פין האיפוס, את פין בקרת כיבוי ההספק ואת שעון ההפניה של החיישן. ניתן להגדיר תכונות כדי לעכב את האתחול של החיישן עד שהחומרה של PHY ה-CSI תהיה מוכנה, ובכך למנוע תחרויות זמנים הנגרמות על ידי PHY שאינו מוכן. נקודת הקצה בתוך הצומת של הפורט של החיישן מצביעה על קלט ה-MIPI CSI וקובעת את מספר מסילות הנתונים של ה-MIPI.

צומת בקר ה־MIPI CSI מכיל שני יציאות: הכניסה מחוברת לחיישן התמונה והיציאה מחוברת ליחידה VICAP. לאחר מכן, VICAP מוציאה את נתוני התמונה ל־ISP V3.9. שים לב כי קצות המסלול חייבים להתייחס זה לזה באופן דו-כיווני, והתכונות remote-endpoint בשני הקצוות חייבות להתאים אחת לאחת. אם הקשר הדו-כיווני אינו תואם, מסגרת ה־Media לא תוכל לזהות את מסלול הנתונים המלא. לאחר השינוי, ההידור וההעלאה של ה־DTS, יש לעיין ראשית ביומן dmesg כדי לוודא שכולל צמתים של ההתקן נמצאים במצב תקין ולא מופיעים שגיאות deferred-probe מתמשכות. בדיקות deferred חוזרות על עצמן מצביעות בדרך כלל על תצורת GPIO, שעון או משאב חשמל שגויה.

3. פיתוח מנהל תת-התקן של החיישן: מודל V4L2-subdev

מפענח 센סור הפלטפורמה RK3576 מתפתח על בסיס מסגרת V4L2-subdev. מפענח הסנсор לא יוצר צומת /dev/video; הוא קיים רק כישות תת-התקן מדיה. האחריות העיקרית שלו כוללת תצורת רגיסטרים של הסנسور, ניהול כוח ואיפוס, תצורת פורמט תמונה, ובקרת התחלה/עצירה של זרם.

המפענח מחולק בעיקר לחמישה מודולים: חקירה דרך I2C, בקרת כוח/איפוס, טבלאות רגיסטרים של מצבים, תצורת פורמט פד, ובקרת התחלה/עצירה של זרם.

בשלב הסריקה של הנהג, מזהה המפתח (Chip ID) נקרא דרך ממשק I2C כדי לוודא שהמפתח מזוהה כראוי. אם קריאת המזהה נכשלה, ניתן למקד את פעולות האבחון ישירות בתקלות חומרה הקשורות ל־I2C, לחשמל וללחצן איפוס. פונקציות החשמל/איפוס מממשות את סדרת ההפעלה והכיבוי המלאה של המפתח: במהלך ההפעלה, כל מסילת הזנה מופעלת לפי סדר, דרגת האיפוס מאופסת למשך הזמן המוגדר, לאחר מכן האיפוס משוחרר והמפתח מקבל זמן להתייצב מבפנים. סדרת הכיבוי מבצעת את הפעולות ההפוכות.

טבלאות רישום הโหมด מאחסנות את תצורות הרישום המלאות של החיישן עבור פתרונות, קצבי פריימים וקצבי MIPI שונים. כאשר השכבה העליונה משנה את פרמטרי ההקלטה, הדרייבר כותב את סט הרישומים המתאים במלואו. ממשק פורמט ה-פַּד מגדיר את פורמט התמונה על אוטובוס המדיה, אשר חייב להתאים בדיוק לפורמט בייר שמייצר החיישן (למשל BGGR או RGGB). הגדרה שגויה גורמת ישירות לשגיאות צבע בתמונה. ממשק בקרת הזרם משתמש ב- stream_on כדי לכתוב פקודות רישום המפעילות את פליטת התמונה ב-MIPI מהחיישן, בעוד ש- stream_off עוצרת את העברת התמונה. לאחר יישום הדרייבר, מתווספות אפשרויות בנייה לקובץ Kconfig ולקובץ Makefile של הליבה, כך שניתן לבנות את הדרייבר בתוך הליבה או להרכיב אותו כמודול ליבה ניתן טעינה.

4. ניפוי באשכולות: קבלת הפריים הראשון שלב אחר שלב

איננו ממליצים לנסות לצלם תמונה מיד. יש להשתמש בגישה שיטתית של אבחון תקלות בשלושה שלבים: לאשר שהסנקר מצליח לגלות את הנהג → לאשר שהנתיב המדיה מחובר במלואו → לצלם תמונות גולמיות באמצעות V4L2.

שלב 1: לאשר שהנהג של הסנקר מצליח לגלות

לאחר שהמערכת נטענת, יש לעיין ביומן dmesg ולבדוק את ההודעות המודפסות על ידי נהג הסנקר. יש להשתמש ב־i2cdetect כדי לסרוק את אוטובוס ה־I2C המתאים ולבדוק אם כתובת העבד של הסנקר נמצאה.

• אם לא נמצאה מכונה I2C: יש לבדוק את האספקת החשמל לסנקר, את הלוגיקה לאיפוס, את החיבורים הפיזיים של חומרת ה־I2C ואת התאמת הפלטפורמה של הרגליים.
• אם כתובת ה־I2C נמצאת אך קריאת מזהה השבב (Chip ID) אינה תקינה: נתיב חומרת ה־I2C פועל כראוי, והבעיה כנראה נובעת מכתובת רגיסטר שגויה או מתאימות לקלה בין דגם הסנקר לנהג.

שלב 2: לאשר את נתיב מסגרת המדיה

השתמשו ב־media-ctl כדי להציג את רשימת יסודות ההתקן הערתי. בתנאים רגילים, יש לראות יסודות תת-התקן כגון חיישן, mipi_csi, vicap ו־isp39, כאשר כל יציאת פד מזוהה כראוי.

• אם יסוד החיישן אינו נראה: ניסיון האתחול של מנהל החיישן נכשל.
• אם היסודות קיימים אך הקישור נותק: זיווג דו־כיווני של נקודות הסיום ב־DTS שגוי.

במהלך איתור תקלות, ניתן להשתמש ב־media-ctl כדי לכוון את כל הזרם ידנית: לקבוע קישורים בין היסודות ולשנות את תבנית התמונה, הפתרון וההגדרת המסלולים בשלב כל תת־התקן. שגיאות מ־media-ctl נובעות בדרך כלל ממספר מסלולים, מתבנית media-bus או מפרמטר פתרון שמעליכים את היכולות החומריות של החיישן. הגדרה מוצלחת של media-ctl מעידה על כך שהנתיב התוכנתי מהחיישן אל ה־ISP הוקם.

שלב 3: צילום תמונה באמצעות V4L2 והשגת הפריים הראשוני ברו

VICAP/ISP יוצר את צומת ה-/dev/video, אשר משמש כנקודת הכניסה לשליפת התמונות במרחב המשתמש. יש להשתמש ב-v4l2-ctl כדי לקבוע את פורמט הפיקסלים של התמונה, לצלם מסגרת אחת באמצעות mmap ולשמור את נתוני ה-RAW בבויר. אם גודל קובץ ה-RAW שנוצר תואם את הציפייה התיאורטית, מסגרת התמונה הראשונה נלכדה בהצלחה. ניתן להציג את קובץ ה-RAW בעזרת כלי אנליזת תמונות מקצועי כדי לבדוק את תמונת הבויר המקורית.

5. שיטות נפוצות לאבחון תקלות

• הפקודה media-ctl מדווחת על שגיאה בעת הגדרת הקישור: ראשית יש לבדוק את הקשר הדו-כיווני בין נקודות הסיום ב-DTS, ולאחר מכן לאשר את פורמט ה-media-bus, את הרזולוציה ואת מספר ה-lane.
• תהליך לכידת מסגרת V4L2 מתעכב ומסתיים ללא נתוני תמונה: יש לאשר שהפקודה stream_on הופעלה כראוי בתוך ה-driver, שה-CSI PHY השיג נעילת שעון, ושחישוף המצלמה אכן שולח זרם נתונים מסוג MIPI.
• תמונות פגומות או רעשים בצורות של פסים: הסיבות האפשריות כוללות קצב שעון MIPI לא תקין, מספר מסלולים לא תקין, אי התאמה בדפוס בייר או גליות מופרזות באספקת החשמל של החיישן.
• פלט תמונות לא קבוע או אובדן מסגרות מזדמן: זמן ההפעלה/איפוס של החיישן עלול שלא לקיים את הדרישות, או שאספקת החשמל החומרית עלולה להיות לא יציבה מספיק.

יש לנו פתרון מבוגר ל-RK3576 וכישורים מקצועיים בפיתוח מותאם אישית, התאמה חומרתית ותפעול ייצור המוני. עבור חיישני תמונה שונים ודרישות שונות בנוגע לרזולוציה ולקצב המסגרות, אנו יכולים לספק עדכונים חומרתיים, ניפוי שגיאות במנועי ההתקן ותפעול אופטימלי של המערכת השלמה כדי לתמוך באופן יעיל בפרויקטים מותאמים אישית בתחומי הראייה התעשייתית, האבטחה החכמה, טרמינלים של ראייה מבוססת בינה מלאכותית ואפליקציות אחרות. צרו איתנו קשר ב- [email protected].