כמה זיכרון DDR דורש מערכת ראייה בינה מלאכותית עם מספר מצלמות? (עם טבלת בחירה של RK3576)

עם ההתקדמות המהירה של יישומי ראייה בינה מלאכותית, פתרונות עם מספר מצלמות (סטריאו, ארבע מצלמות ואפילו יותר קניונים של מצלמות) אומצו באופן נרחב במגוון תחומים כגון איסוף נתונים, שימור ביטחון, בדיקות תעשייתיות, תפיסה על ידי רובוטים ומעבדים קצה.

האם זיכרון DDR גדול יותר תמיד עדיף? כן, מבחינת ביצועים ויציבות. עם זאת, החסרון ברור — מחיר גבוה, במיוחד בהתחשב בעליית המחירים האחרונה של זיכרון DDR. לכן, השוואה בין עלות לבידור הפרויקט היא קריטית לבחירת הפתרון.

בואו נבחן את הטעות הנפוצה ביותר בגודל זיכרון DDR: תפוקת הזיכרון עלולה להראות נמוכה בתנאים רגילים, אך יכולה לקפוץ לערכים מרביים בעת התפרצויות של משימות במקביל, מה שגורם ישירות לקריסת המערכת. קבוצות רבות משתמשות בממוצע צריכת הזיכרון כדי לערוך הערכת חומרה. ניקח לדוגמה את חיישן ה-AR0234 הנפוץ: מצלמה אחת ברזולוציה 1080P צורכת כמות מתונה של זיכרון במצב ממתין. עם זאת, בעת הפעלת כל צינור התמונה – לכידה, עיבוד תמונה (ISP), הסקת מסקנות בינה מלאכותית (AI inference) וקידוד – הצריכה המרבית של הזיכרון עלולה להגיע לעשרות מגה-ไ-bytes לערוץ אחד. למצלמה ברזולוציה 4K, הצריכה המרבית לערוץ עלולה לעלות על 100 מגה-ไ-bytes. אפילו בקשת HTTP רגילה צורכת מספר מגה-ไ-bytes לכל חיבור. עומסי העבודה הפרטניים האלה נראים זעירים, אך הם מצטברים במהרה כאשר מספר מצלמות ומשימות מופעלות בו זמנית. זה עלול להוביל למצב OOM (Out-of-Memory), שיגרום לסיום תהליכים ולכישלון המערכת.

באילו מקומות נצרך הזיכרון במערכות ראייה בינה מלאכותית רב-מצלמות?

הזיכרון במכשירי ראייה קצה אינו משמש באופן ייחודי מודלים של בינה מלאכותית. הוא משותף בין לכידת התמונות, לעיבוד מקדים, להסקת מסקנות בינה מלאכותית, לשירותי המערכת ולמשימות היישום. עומס הזיכרון עולה עם כל ערוץ מצלמה נוסף.

1. מאגרי זיכרון לתמונות (המקור הגדול ביותר לעומס) תמונות גולמיות, מסגרות YUV ומסגרות מוקטנות שיוצאות מכל מצלמה צורכות זיכרון. עבור המצלמה AR0234 שפועלת ב-1080P@30fps, מסגרת YUV אחת תופסת מספר מגה-ไ-bytes. כדי למנוע אובדן מסגרות, המערכת שומרת על מאגרי מסגרות מעגליים מרובי מסגרות, מה שמגביר עוד יותר את נפח השימוש בזיכרון. יצירת גרסת תמונות רבות (מקורית, תמונה מוקטנת, מסגרות מוגזרות) יוצרת מאגרי מסגרות נוספים. צריכת הזיכרון מכפילה עצמה כאשר מספר מצלמות שואבות בו זמנית.

2. עומס של ISP והעיבוד המקדים של התמונות ה-ISP הוא מאיץ חומרה עצמאי המבצע הפחתת רעש, התאמת צבעים, תיקון עיוותים, סיבוב, גזירה והמרת תבניות. ה-ISP מכיל זיכרון מטמון פנימי מוגבל בלבד, ללא אחסון מסגרות בקיבולת גדולה. לכן יש להקצות זיכרונות זמניים ב-DDR עבור פעולות רבות.

3. זיכרון להסקת מודלים של בינה מלאכותית הסקת מודלים של בינה מלאכותית דורשת זיכרון בשני חלקים. החלק הראשון הוא משקלי המודל: פרמטרים גדולים יותר של המודל גורמים לצריכה גבוהה יותר של זיכרון. למזלם, המשקלים נטענים פעם אחת בלבד בעת אתחול המודל; עקב כך עקירת הזיכרון שלהם אינה גדלה עם מספר ערוצי המצלמה או עם הסצנות הנוספות במהלך הפעולה.

האם הזיכרון לא מושפע בשלב ריצה של הסקת המסקנות? בכלל לא. זה מביא אותנו לרכיב השני: מאגרי התכונות הבינוניים שנוצרים במהלך הסקת המסקנות. לכל ערוץ מצלמה יש צורך במאגר חישוב משלו, מה שמעלה את צריכת הזיכרון הכוללת. הסקת מסקנות מבוססת בינה מלאכותית מסונכרנת על פני מספר מצלמות דורשת מספר מאגרי חישוב עצמאיים. לכן, יותר ערוצים פירושם עומס זיכרון גבוה יותר עבור מאגרי הסקת המסקנות.

4. מערכת, ניווט ותשתית בינונית קחו כדוגמה את פתרון הראייה שלנו RK3576. זיכרון המערכת הבסיסי נצרך על ידי ליבת לינוקס, ניווטי המדיה של RK, מסגרת המדיה RKMPP, ניווטי ה-NPU, יומנים של המערכת והתהליכים הרצים. בהתקנות מרובה מצלמות, מסגרות המדיה וקידוד וידאו (הקלטה של H.264‏/H.265) מוסיפים עומס זיכרון משמעותי. הפעלת קידוד והקלטה מרובה ערוצים גורמת לעלייה חדה נוספת בעומס הזיכרון.

הערה חשובה: זהו זיכרון פעיל (DDR RAM), ולא אחסון eMMC. eMMC מאחסן רק קבצי וידאו מקודדים.

5.יישום -שכבה עסקית של זיכרון לוגיקת היישום, הכוללת ניתוח תוצאות הסקה, מעקב אחר מספר עצמים, דיווח נתונים, מטמון מקומי ואחסון תמונות רגע, צורכת זיכרון. לדוגמה, אלגוריתמי המעקב מאחסנים נתונים של עצמים מרובה מסגרות. יותר מצלמות ועצמים שנעקבים יוצרים קבצי נתונים גדולים יותר וצורך גבוה יותר בזיכרון ברמה היישומית.

ביצועי הזיכרון הפרקטיים על פלטפורמת RK3576

RK3576 הוא מעבד בינה מלאכותית קצה מקומי נפוץ המספק ביצועי NPU של 6 טרה-אופס, והוא מתאים היטב להצבות ראייה בינה מלאכותית עם מספר מצלמות. לחברתנו יש מספר מוצרים בשלבי ייצור המוני מוכנים, התומכים ב-1 עד 6 ערוצי מצלמה כדי להתאים לצרכים פרויקטיים מגוונים. 4 ג'יגה-בייט DDR הם התצורה הנפוצה בייצור המוני, בעוד שגדלים חלופיים של DDR נתמכים עבור עומסי עבודה שונים.

הטבלה שלהלן מתאימה לחיישני מצלמה נפוצים בשוק, בדרגות פיקסל מ-1080p ועד 4K:

אם אינכם בטוחים באיזו תצורת זיכרון מתאימה, יש לפנות לכתובת [email protected]. נספק הערכה של פתרון מותאם אישית בהתבסס על מספר הערוצים של המצלמה, הפתרון, הלוגיקה העסקית והעומס בזמן הריצה.