כיצד לקבוע את גודל קיבולת החישוב של NPU עבור מוצרי ראייה משובצים

1. הבנת הבעיה שתכנון קיבולת NPU פותר

התקנים משובצים רבים, כולל רובוטים, מצלמות חכמות ומסופי ראייה תעשייתיים, משתמשים כיום ביחידות NPU כדי להפעיל אלגוריתמי ראייה מבוססי בינה מלאכותית. NPU היא יחידת חומרה בתוך שבב המוקדשת להסקת מסקנות של בינה מלאכותית.

כאשר בוחרים שבב, צוותים רבים בוחנים תחילה את דירוג ה-NPU TOPS שלו ומניחים שמספר גבוה יותר פירושו שבב חזק יותר. בפועל, פיתוח מוצרים נתקל בשתי בעיות אופייניות:

הראשון הוא קיבולת חישוב לא מספקת. המכשיר פועל בקצב פריימים נמוך, הווידאו מגמגם, פריימים נשמטים כאשר מספר מצלמות פועלות בו זמנית, וזיהוי בינה מלאכותית עלול להיכשל.

השנייה היא קיבולת מופרזת. השבב יקר, צורך יותר חשמל ומייצר חום משמעותי. קיבולת חישוב שאינה מנוצלת מפחיתה את שולי הרווח.

שיקול הנדסי מרכזי הוא שבפרויקטים רבים של ראייה משובצת, הביצועים מוגבלים על ידי העברות תמונה, רוחב פס זיכרון או עיבוד במורד הזרם מבוסס מעבד ולא על ידי קיבולת מחשוב מעבדי (NPU).

2. מושגים בסיסיים ושני מדדים מרכזיים

תכנון חישוב אינו דורש רשימה ארוכה של מונחים טכניים. הבחנה בין שני מושגים מרכזיים מסייעת במניעת מטעות של מפרטי שבבים.

נתון ה-TOPS שמפורסם על ידי ספקי שבבים הוא ביצועי מחשוב שיא תיאורטיים: יכולת העיבוד המקסימלית שמעבד מעבדה יחידה (NPU) יכולה להשיג בעומס מלא בתנאי מעבדה אידיאליים. עיצובי מוצרים זקוקים למרווח גובה, ולכן לא ניתן להשתמש בביצועי שיא ישירות לקביעת גודל.

אנו משתמשים ב-GMAC כדי להעריך את עומס העבודה החישובי של מודל בינה מלאכותית. MAC היא פעולה בסיסית של צבירה מרובה, ו-GMAC מייצג מיליארד פעולות כאלה. הוא מודד את כמות החישוב במודל. שימו לב ש-GMAC מודד עומס עבודה, בעוד ש-GMAC/s מודד תפוקה. לדגמים גדולים יותר יש ערכי GMAC גבוהים יותר.

ניצול NPU אינו קבוע. הוא מייצג את חלקו של קיבולת ה-NPU המשמש לחישוב יעיל. עבור רשתות קונבולוציוניות פשוטות, כגון רשתות VIO front-end או מודלים של זיהוי קל משקל, אופרטורים פשוטים ואופטימיזציה יסודית של שבבים יכולים להניב ניצול של 60%-80%. מודלים המכילים טרנספורמציות מורכבות או בלוקי Transformer עשויים לדרוש ביצוע חוזר של אריחים, מה שמפחית את הניצול ל-20% או אפילו פחות.

החלת שיעור ניצול קבוע של 40% היא סיבה עיקרית להערכות לא מדויקות. רזולוציה משפיעה ישירות גם על עומס העבודה: הכפלת הרוחב והגובה של תמונת הקלט מגדילה את שטחה פי ארבעה ומגדילה בקירוב פי ארבעה את החישוב עבור אותו מודל.

TOPS הוא רק תקרת החומרה. התחילו לחשב הערכות עם עומס העבודה של GMAC של המודל, וכיילו אותן מול מדידות על לוח פיתוח. אל תבחרו שבב אך ורק על סמך ביצועי השיא התיאורטיים שלו.

3. הגדר יישום דרישות ותזמון מרובה מצלמות

לפני הערכת דרישות המחשוב, יש למפות את עומס העבודה של המוצר. ההבדל הקריטי הוא האם מספר מצלמות משתמשות בהסקה מקבילה או בהסקה משולבת בזמן, מכיוון שזה קובע כיצד דרישות המחשוב שלהן משולבות.

מצב מקבילי: כל המצלמות מריצות הסקה של בינה מלאכותית בו זמנית, כך שדרישות החישוב שלהן מתווספות ישירות. לדוגמה, מכשיר אבטחה עם ארבע מצלמות המבצעות זיהוי אובייקטים בזמן אמת בקצב של 30 פריימים לשנייה בכל ערוץ משלב את העומס של כל ארבעת הערוצים.

מצב שיתוף זמן: ה-NPU הוא משאב חומרה משותף שמעבד תמונות מצלמה ברצף, ומטפל בערוץ אחד בכל פעם כאשר ערוצים מתחלפים בתור. יישומים רבים של ראייה מרובת מצלמות בפלטפורמות Rockchip RK משתמשים בגישה זו.

אסוף את המידע הבא בעת הגדרת עומס העבודה:

רזולוציה וקצב פריימים עבור כל מצלמה.

רשימת מודלי הבינה המלאכותית: אילו מודלים פועלים על ה-NPU ואילו משימות עיבוד לאחר העיבוד פועלות על ה-CPU.

דיוק כימות: INT8 היא בחירה נפוצה עבור התקנים משובצים בגלל יעילות ההסקה הגבוהה יותר שלה.

שיטת טריגר: עיבוד בינה מלאכותית רציף בכל פריים, או פעולה מופעלת על ידי אירוע שבה אלגוריתמים מורכבים מתחילים רק כאשר מתקיים תנאי טריגר.

חשוב: ייצוא מודל GMAC באמצעות כלים כמו RKNN או ONNX Runtime במקום להעריך אותו מניסיון. שימוש בעומס העבודה של מודל YOLO גדול כדי לקבוע את גודל רשת VIO קלת משקל עלול להפריז באופן משמעותי בדרישות המחשוב.

ה-MV11 שלנו היא פלטפורמת מחשוב היתוך של ראייה וניווט אינרציאלי עם ארבע מצלמות המסונכרנות בחומרה, המבוססת על מעבד Rockchip RK3576 בעל הביצועים הגבוהים. היא כוללת 6 TOPS NPU ו-4 ג'יגה-בייט של זיכרון LPDDR4 ותומכת בסנכרון ברמת מיקרו-שניות בין ארבע מצלמות. יישומים מתאימים כוללים זיהוי וגילוי רובוטיים, איסוף נתוני VIO, SLAM ו-EGO מרובי מצלמות. היא יכולה לשמש כפלטפורמת חומרה עבור בדיקות חישוב ברמת הלוח, רוחב פס ותזמון רב-ערוצי שתוארו לעיל. דוגמאות זמינות להערכת פרויקט מוקדמת, וניתן להתאים אישית פתרונות ראייה מלאים לתמיכה בפריסה. צרו קשר בכתובת [email protected].

4. אילוצים שלעתים קרובות מגבילים ביצועים לפני שמחשוב NPU עושה זאת

פרויקטים רבים מתמקדים רק ב-NPU TOPS במהלך הבחירה, ואז מגלים במהלך העלאת הלוח שהמערכת אינה יכולה לעמוד בקצב למרות שיותר ממחצית קיבולת ה-NPU נותרה זמינה. האילוצים הבאים הם צווארי בקבוק נפוצים בראייה משובצת.

4.1 רוחב פס של זיכרון DDR

במהלך הסקת מסקנות באמצעות בינה מלאכותית, ה-NPU קורא ברציפות תמונות ומשקלי מודל מהזיכרון וכותב מפות תכונות ביניים בחזרה לזיכרון. רוחב הפס של DDR קובע את מהירות ההעברות הללו. כאשר רוחב הפס אינו מספיק, אפילו NPU עם קיבולת חישוב מספקת חייב להמתין לנתונים, מה שמונע שיפורים בקצב הפריימים. ברוב הפרויקטים מרובי המצלמות בפלטפורמות RK, רוחב הפס הופך לרווי בעוד שרק חלק קטן מקיבולת ה-NPU מנוצל.

4.2 קיבולת זיכרון

מאגרי תמונות, משקלי מודלים של בינה מלאכותית ומפות תכונות ביניים - כולם צורכים זיכרון. ניצול הזיכרון עולה באופן משמעותי כאשר מספר ערוצים פועלים בו זמנית. זיכרון לא מספיק עלול לקרוס את היישום. להתקנים משובצים בדרך כלל חסר זיכרון וירטואלי, כך שמצב של חוסר זיכרון (OOM) עלול לגרום לעצירת ההתקן.

4.3 עיבוד מקדים של תמונה של ספק שירותי האינטרנט

תמונות גולמיות (RAW) שצולמו על ידי מצלמות דורשות חיתוך, שינוי קנה מידה והמרה של מרחב צבעים. חלק מהעיבוד המקדים מתבצע על ידי חומרת ספק שירותי האינטרנט, בעוד שחלקם משתמשים במשאבי CPU. רכישת מצלמות מרובות מגדילה את דרישת העיבוד המקדים ויכולה לגרום להשהייה לאורך הצינור גם כאשר ה-NPU אינו פעיל.

4.4 צריכת חשמל וניהול תרמי

שיא צריכת החשמל (TOPS) המפורסם של שבב מתאים לשיא צריכת החשמל. רוב ההתקנים המשובצים הם ללא מאוורר ואינם יכולים לעמוד בעומס מלא של ה-NPU לאורך תקופות ארוכות. אפילו כאשר קיבולת החישוב התיאורטית גבוהה, תנאים תרמיים מגבילים את הקיבולת הזמינה לפעולה בת קיימא.

4.5 תאימות מפעילים

אם מודל בינה מלאכותית מכיל אופרטורים מיוחדים שה-NPU אינו יכול להאיץ, הם יחזרו לביצוע ה-CPU. עיבוד ה-AI על ה-CPU איטי ויכול לעצור קשות את הצינור גם כאשר קיבולת ה-NPU מספיקה. יש לוודא את תמיכת האצת המפעילים לפני בחירת הפלטפורמה.

5. תהליך עבודה תכנון מעשי

1. קביעת קו בסיס של עומס העבודה ומצב הפעולה. הגדירו את צינור הבינה המלאכותית: רזולוציה, קצב פריימים, ספירת ערוצים, אסטרטגיית טריגר (רציפה או מונעת אירועים), ביצוע מקבילי או משותף בזמן, רשימת מודלים ודיוק פריסה. שימו לב במיוחד לאופן שבו ערוצים מרובים מתוזמנים.

2. כימות עומסי עבודה של מודלים וייצוא GMAC/s. השתמש בכלים לייצוא GMAC/s עבור כל מודל, תוך הפרדת חישוב מואץ על ידי NPU מעיבוד לאחר העיבוד של המעבד.

3. מדדו על לוח היעד כדי לקבוע את יעילות הביצוע. המירו מודלים לפורמט הפלטפורמה על SoCs מועמדים כגון RK3576 או RK3588. מדדו את זמן ההסקה לכל פריים כדי לקבוע את התפוקה בפועל של מודל זה על אותו NPU. זהו הצעד החשוב ביותר לביטול פערים בהערכות נייר: יש לכייל את כל ההערכות מול מדידות ברמת הלוח ולא מול נוסחאות גנריות.

4. צבירת עומסי עבודה מרובי ערוצים והערכת צווארי בקבוק במערכת. הערכת פעולה רגילה במצב יציב ואת שיא המקרה הגרוע ביותר כאשר כל הערוצים מופעלים בו זמנית. בדיקת רוחב פס DDR וניצול זיכרון בו זמנית. פרויקטים מרובי מצלמות RK רבים ממציאים את רוחב הפס בעוד שקיבולת המחשוב נותרת זמינה.

5. שמרו מרווח הפעלה מתאים וקבעו מגבלות. השתמשו במרווח של 1.1-1.2 עבור מוצרים לטווח קצר עם אלגוריתמים קבועים במידה רבה, וב-1.3-1.4 עבור מוצרים הצפויים לקבל עדכוני מודל. מרווח ההפעלה צריך לכסות את התפתחות המודל, תרחישי שיא ותקורות תזמון ולא הקצאת יתר שרירותית. קבעו מגבלות עלות והספק של מפרט המוצרים בו זמנית.

6. חמש מלכודות נפוצות בתכנון קיבולת של NPU

6.1 שימוש רק ב-Chip TOPS ובשיעור ניצול קבוע

החלת שיעור ניצול קבוע של 40% על TOPS המפורסם עלולה להפריז בדרישות המחשוב פי כמה ולסטות משמעותית מתנאי ההנדסה האמיתיים. ניצול משתנה באופן משמעותי בין מודלים וארכיטקטורות NPU.

6.2 הכפלה בספירת ערוצים והתעלמות משיתוף זמן

בפעולה משותף בזמן, ה-NPU מעבד ערוצים בתורם וקיבולת החישוב שלו מנוצלת מחדש. הכפלת ספירת הערוצים בדרישת החישוב של ערוץ בודד עלולה להגזים באופן חמור בדרישות, וכתוצאה מכך ליצור שבב בעל עוצמה גבוהה ויקר שלא לצורך.

6.3 הערכת מחשוב NPU תוך התעלמות מרוחב פס DDR

צווארי בקבוק ברוחב פס נפוצים הרבה יותר מצווארי בקבוק במחשוב בפרויקטים מרובי מצלמות. ייתכן שנותרה קיבולת משמעותית של ה-NPU, אך העברת הנתונים לא יכולה לעמוד בקצב, מה שמגביל את קצב הפריימים. יש להעריך תחילה את רוחב הפס בפרויקטים מרובי מצלמות.

6.4 התחשבות בעומס ממוצע אך התעלמות משכי עומס חולפים

מוצר עשוי לפעול בעומס נמוך רוב הזמן, אך לחוות שיאים חולפים כאשר כל המצלמות מפעילות בינה מלאכותית בו זמנית. התכנון חייב להתאים לשיאים אלה, אך תור משימות יכול להחליק את הביקוש החולף, כך שהשבב לא בהכרח צריך להיות מותאם ישירות לביקוש המחשוב השיא.

6.5 ספירה בלבד של חישוב מודל והתעלמות מתקורת המערכת

הערכות רבות כוללות רק את קצב הפריימים הצפוי (GMAC) של עמוד השדרה של הבינה המלאכותית ומתעלמות מעיבוד מקדים של ספקי שירותי האינטרנט, העתקת תמונות ועיבוד לאחר מכן של המעבד. אפילו עם קיבולת מספקת של מעבד ה-NPU, עלויות אלו מגבירות את ההשהיה מקצה לקצה ומונעות את השגת קצב הפריימים הצפוי.

7. רשימת בדיקה ליישום לבחירת פלטפורמה

רשום את כל פרמטרי המצלמה: רזולוציה, קצב פריימים וספירת ערוצים. ודא האם ערוצים משתמשים בתזמון מקבילי או בתזמון משותף.

ייצוא GMAC עבור כל דגם והבחנה בין חישוב NPU לבין עיבוד לאחר העיבוד של המעבד.

מדוד את זמן ההסקה של מודל יחיד בפלטפורמות מועמדות כדי לקבוע את יעילות הביצוע בפועל.

צבירת עומסי עבודה רב-ערוציים והערכת ניצול מחשוב NPU בתנאי מצב יציב ושיא.

מדוד את רוחב הפס של DDR ואת ניצול הזיכרון כדי לקבוע האם רוחב הפס הוא צוואר הבקבוק.

אימות אופרטורי מודל ואימות תמיכה בהאצת חומרה של NPU כדי למנוע גיבוי של המעבד.

שמור מרווח מחשוב בהתאם למפת הדרכים לעדכון המוצר וקבע מגבלות עלות וצריכת חשמל של BOM.

הפעל מבחני מאמץ מורחבים עם טריגרים מרובי ערוצים בו זמנית. בדוק שינויים בקצב פריימים וקריסות הנגרמות כתוצאה מתשישות זיכרון.

קביעת גודל קיבולת ה-NPU עבור ראייה משובצת אינה תרגיל מתמטי פשוט ביישום נוסחת TOPS. הערכות נייר מספקות רק נקודת ייחוס מוקדמת לתכנון. יש לבצע אימות סופי על לוח הפיתוח של שבב היעד.

הערכה מלאה עוקבת אחר הרצף הבא: קבעו האם המחשוב הוא צוואר הבקבוק → אישור תזמון מקבילי או משותף בזמן → מדידת מודל GMAC → תעדפו הערכת רוחב פס DDR → כיול באמצעות בדיקות ברמת הלוח → שמירת מרווח מחשוב מתאים.

המטרה היא לאזן בין ביצועים, צריכת חשמל ועלות. בחר קיבולת מספקת למשימה במקום לשאוף לשיאי NPU גבוהים יותר ויותר.

ה-MV11 שלנו היא פלטפורמת מחשוב היתוך של ראייה וניווט אינרציאלי עם ארבע מצלמות המסונכרנות בחומרה, המבוססת על מעבד Rockchip RK3576 בעל הביצועים הגבוהים. היא כוללת 6 TOPS NPU ו-4 ג'יגה-בייט של זיכרון LPDDR4 ותומכת בסנכרון ברמת מיקרו-שניות בין ארבע מצלמות. יישומים מתאימים כוללים זיהוי וגילוי רובוטיים, איסוף נתוני VIO, SLAM ו-EGO מרובי מצלמות. היא יכולה לשמש כפלטפורמת חומרה עבור בדיקות חישוב ברמת הלוח, רוחב פס ותזמון רב-ערוצי שתוארו לעיל. דוגמאות זמינות להערכת פרויקט מוקדמת, וניתן להתאים אישית פתרונות ראייה מלאים לתמיכה בפריסה. צרו קשר בכתובת [email protected].