הסקה וייעול AI ב-Google Coral: פריסה על Edge TPU

הסקה על CPU נתקעת בזמן השהיה: מה משנה Google Coral

בפריפריה המודל לא עומד בתקציב זמן התגובה: פריים מגיע מהר יותר משהמסלול מספיק להפיק תוצאה, והתור גדל. המאגר מתמלא, ההתקן מתחיל להשליך פריימים או לחשב לפי תמונה מיושנת, והתגובה מגיעה באיחור של כמה מחזורים.

קריאה לענן לא פותרת את הבעיה, אלא מוסיפה תלות בערוץ התקשורת: הערוץ נחלש — כל הלוגיקה נעצרת, כולל תרחישי חירום. לכן אנחנו בוחנים מאיץ הסקה בפריפריה — Google Coral הוא אחד מהאפשרויות שנבחנות כאן.

המאיץ מעביר פעולות מטריצה מהמעבד המרכזי ליחידה נפרדת. המשאבים של המעבד המשובץ מתפנים לקליטת פריים, עיבוד מקדים והעברת התוצאה — לעבודה שהוא מבצע באופן צפוי וללא תחרות על יחידות החישוב.

השהיית התגובה של המודל נעשית אחידה: הזמן הממוצע פחות חשוב כאן מאשר האחוזון העליון, ובדיוק הוא מפסיק לזלוג בעומס שיא. עיבוד הפריימים בהתקן מתבצע מקומית, ולכן איכות ערוץ התקשורת כבר לא קובעת אם התרחיש עובד.

על סטנד הבדיקה התוצאה נבדקת בצורה מדידה: שיעור הפריימים שאבדו בגלל הצפת המאגר, פיזור ההשהיה בין פריימים, המשטר התרמי של המארז בעבודה רציפה. מדידות לפני ואחרי ההעברה מראות היכן צוואר הבקבוק נעלם והיכן הוא נשאר — למשל, אם העיבוד המקדים של הפריים בעצמו אוכל את תקציב הזמן. בהמשך נבחן כיצד זה נסגר בפועל.

מה נותן העברת ההסקה לפריפריה: אפקטים מדידים

העברת הסקת המודל לפריפריה משנה לא כל כך את המהירות אלא את פרופיל הכשלים: המערכת מפסיקה להיות תלויה בערוץ התקשורת ובשירותים חיצוניים. Google Coral — אחת מהאפשרויות של פלטפורמה כזו, והאפקט עליה נראה בגדלים מדידים.

זמן תגובה בסדרי עשרות מילישניות

האות מעובד במקום, ולכן ההשהיה נקבעת רק על ידי החישוב ואינה גדלה בעומס יתר של הרשת. עבור מסלול מיון או קו בקרה זה ההבדל בין עצירת חירום של המנגנון לבין בלימה חלקה.

עבודה אוטונומית של ההתקן

המודל, המשקלים וכללי הסינון נמצאים על אמצעי אחסון לצד המאיץ, ולכן הזיהוי ממשיך גם כשהערוץ החיצוני מנותק לחלוטין. לאחר שחזור הקשר המאגר נשלח למעלה בחבילה — בלי אובדן אירועים ובלי השוואה ידנית.

עיבוד נתונים מקומי

זרם הווידאו והטלמטריה אינם יוצאים מהפרימטר: החוצה יוצאים רק מטא-נתונים ונתונים מצטברים. זה מסיר את העומס העיקרי מערוץ התקשורת ומפשט את העבודה עם נתונים רגישים.

עמידות לניתוק הערוץ

נעלם מעמד שלם של אירועים: ניתוק הקשר, עומס יתר ברשת וחוסר זמינות של שירות חיצוני כבר לא עוצרים את הזיהוי. שיעור הכשלים הקשורים לערוץ מצטמצם לאפס — נשארים רק כשלים של הציוד עצמו, שמאובחנים מקומית.

ארבעת האפקטים האלה הם הקריטריון שלפיו כדאי להעריך העברת עיבוד לפריפריה: אם לפחות אחד מהם לא מאושר במדידות באתר שלכם, הפתרון לא מחזיר את ההשקעה בסיבוך.

Google Coral: מצבי חיבור והשוואת אפשרויות

מאיצי Google Coral מיוצרים בכמה תצורות, והבחירה ביניהם נעשית לא לפי מהירות ההסקה אלא לפי אופן השיבוץ בהתקן מוגמר. הפרקטיקה נתקעת בשלושה דברים: רוחב הפס של הממשק, מגבלות הזיכרון עבור מודל מסוים והתאמה לבקר בצד המארח.

מודול הרחבה: מינימום התערבות בחומרה

מותקן מעל מחשב קיים, ולכן הצומת נבנה מהר ובלי להרכיב מחדש את המארז. את התקרה כאן קובע האפיק: אם הוא משותף עם המצלמה, המאיץ עומד בחוסר מעש והפריימים הולכים לאיבוד. אנחנו בודקים זאת בהרצת עומס לפני שמזמינים את המכניקה.

מודול חד-לוחי: צפיות במקום גמישות

כאן הזיכרון והממשקים מולחמים על ידי היצרן, ולכן התנהגות הצומת חוזרת על עצמה ממופע למופע. הצד השני — יהיה צריך להכניס את המודל לתקציב זיכרון נתון מראש, והרחבה אפשרית רק דרך ממשקים חיצוניים. אפשרות כזו נבחרת כאשר המוצר מיוצר בכמויות ולא נבנה במופע בודד.

בין הקצוות הבחירה מצטמצמת לשאלה אחת: היכן בצומת צוואר הבקבוק — באפיק, בזיכרון או בבקר.

שלבי ההטמעה: מביקורת המודל ועד מסירה לתפעול

פריסה על Edge TPU היא לא «צרבת ושכחת»: המאיץ רגיש לאופן שבו המודל נבנה ולאופן שבו הנתונים מגיעים אליו. אנחנו מתקדמים בשלבים שכל אחד נשען על התוצאה של הקודם, ולכן לאתר מגיעה גרסה בדוקה ולא ניסוי.

1. ביקורת המודל. מפרקים את הארכיטקטורה שכבה-שכבה: מה המאיץ מחשב בחומרה ומה יהיה צריך להשאיר על המעבד המרכזי. בפלט — מפת צווארי בקבוק ותחזית להשהיית התגובה.
2. הכנת מערך הנתונים. מסירים כפילויות ופערים בתיוג, משלימים מחלקות נדירות. מזה תלוי עד כמה הוגנת תהיה הערכת האיכות לאחר הקוונטיזציה.
3. תרשים הפריסה. מחשבים תקציב זיכרון והספק, בוחרים מארז, קירור ואופן חיבור המצלמות. קובעים מה מעובד בזמן אמת ומה עובר לתור נדחה.
4. הגדרת המאיץ. מקמפלים את המודל לפורמט שהלוח Google Coral מבין, ממירים את החישובים לצורה שלמה ומכיילים על פריימים מהאתר. משווים את האיכות לפני ואחרי הקוונטיזציה: הפער נשאר בגבולות המוסכמים.
5. בדיקות באתר. מריצים את המערכת על זרם חי: תאורה, תנועה, חסימות, חימום המארז. מסתכלים לא על מדדים ממוצעים אלא על שיעור ההפעלות הנכונות ומספר אזעקות השווא במשמרת.
6. הדרכת הצוות. מראים למפעילים כיצד לקרוא אירועים, מה לעשות בעת תקלה וכיצד להפעיל מחדש את הצומת כראוי. משאירים הוראה בת עמוד אחד.
7. מסירה לתפעול. מוסרים נוהל עדכון המודל, תרשים הסטנד ובדיקות לקבלה. מלווים את מחזור העדכון הראשון, ומכאן והלאה הצוות עובד באופן עצמאי.

מה מוסרים לידיים: תצורות, תרשימים ונהלים

לאחר המסירה נשארים לצוות הלקוח לא רק התקנים עובדים על Google Coral, אלא גם ארטיפקטים שלפיהם אפשר לשחזר את המערכת, לתחזק אותה ולהעביר אותה לקבלן אחר. בלעדיהם כל שינוי הופך לבירור של מה והיכן הוגדר, ולכן אנחנו מקבעים ומסכמים את הערכה לפני ההתחלה.

• תצורת ההתקן — פרופיל הקושחה, פרמטרי הקוונטיזציה של המודל, מצב ההאצה במעבד המשנה, הגדרות המתח וההפעלה מחדש האוטומטית לאחר תקלה.
• תרשימי חיבור ופריסה — תוכנית התקנה עם פריסת מתח ורשת, נקודות עיגון ודרישות אוורור: המשטר התרמי משפיע ישירות על יציבות ההסקה.
• מדיניות גישה — מי ובאיזה ערוץ מעדכן את המודל, למי זמינה הטלמטריה, כיצד נשללים מפתחות ומה קורה בעזיבת בעל התפקיד.
• נוהל תחזוקה — תדירות הבדיקות, סדר עדכון המודל והחזרה לגרסה קודמת, סימני הידרדרות באיכות שמפעילים בירור.
• תיעוד המערכת — תרשים ארכיטקטורה, תיאור זרמי הנתונים, יומן שינויים והוראות לצוות המשמרות: מה לעשות בעצירה וכיצד להעלות את המסלול מחדש.
• מטריצת האחריות — לכל צומת מצוינים הבעלים, סדר ההסלמה וזמן התגובה לאירוע.

כל ארטיפקט נמצא במאגר הקוד לצד הקוד ומבוקר גרסאות יחד איתו — בעת המסירה לצוות לא צריך לשחזר את ההקשר מהתכתובות. את הרכב הערכה והפורמט אנחנו מסכמים כבר בהתחלה, כדי שבשלב המסירה לא יתברר שחצי מההחלטות קיימות רק בהסכמה שבעל פה.

מקרה בוחן: בקרת איכות על הקו ומדדים לפני ואחרי

על קו האריזה בקרת האיכות הוויזואלית הוחזקה על ידי שני מפעילים במשמרת: הם השוו סימון, שלמות התפר ודוגמת האריזה בעין.

שיעור הפגמים שהוחמצו עמד על כ-שלושה אחוזים וגדל באופן ניכר לקראת סוף המשמרת, וכל אזעקת שווא עצרה את הזרימה — את היחידה השנויה במחלוקת הוציאו ובדקו ידנית, ותוכנית הייצור למשמרת לא הושלמה.

העברנו את הבקרה להסקה ממש ליד המסלול: מצלמה, מודל מאומן ומאיץ Google Coral במארז מוגן לצד הקו. הפריימים לא יוצאים מהאתר, ואין צורך בקשר עם שירותים חיצוניים.

לאחר הכיול מחדש שיעור הפגמים שהוחמצו ירד לעשיריות האחוז, מספר אזעקות השווא — בערך בחצי, וזמן התגובה על הקו התקצר לשברי שנייה. הקו עובד ללא מפעיל: המשמרת מתחילה בבדיקה עצמית של המצלמה ובהשוואה לפריים ייחוס, ופער מיד מרים אות התראה.

מגבלות שאנחנו מזהירים עליהן מיד

הפתרון רגיש לתאורה ולגאומטריית הפריים: כאשר מחליפים מק"ט של אריזה, אוספים מחדש את הייחוס והספים יחד עם המודל, אחרת אזעקות השווא גדלות. פגם שמפעיל תפס במגע — דפורמציה בלי סימנים ויזואליים — המערכת לא תכסה.

לכן אנחנו מחזיקים ארכיון גרסאות של המודל וכלל החזרה לאחור: אם לאחר העדכון המדדים על מנת בקרה יורדים, הקו חוזר לגרסה הקודמת בפעולה אחת.

במה שונה קימפול למאיץ מייצוא רגיל?

ייצוא רגיל מוסר את המודל בפורמט שמעבד כללי מחשב: הגרף נשאר כפי שהוא, והשכבות עובדות בנקודה צפה. קימפול של המודל עבור Google Coral — תהליך אחר: את הגרף מפרקים לפעולות שהמאיץ מבצע באופן מקורי, ואת השאר משכתבים בהחלפה שקולה או משאירים למעבד.

ההבדל המרכזי — קוונטיזציה של המשקלים: המשקלים וההפעלות מובאים לצורה שלמה, והסקלות נבחרות בכיול על מדגם מייצג של נתונים אמיתיים. טעות בשלב הזה כמעט ואינה מורגשת: הקימפול עובר, אבל הדיוק יורד נקודתית — במחלקות מסוימות ובנתוני קלט נדירים.

המהדר לא מקבל ארכיטקטורה שרירותית. הפעלות לא סטנדרטיות, צורות דינמיות ואופרטורים אקזוטיים — או שאינם נתמכים, או שנתמכים בהסתייגויות; אז הגרף נקרע למקטעים עם מעברים בין המאיץ למעבד. לכן העבודה מתחילה לא בקימפול אלא במפה של השכבות הנתמכות.

לאחר ההמרה מריצים את מערך הייחוס ומשווים למודל המקורי — לא רק את המדד הסופי אלא גם את הפערים בכל מחלקה. מחשבים את שיעור הדוגמאות שבהן ההחלטה השתנתה: המדד הכולל יכול להישאר במקום, והשגיאות — להחליף מקומות.

מצב גיבוי אנחנו מחזיקים תמיד: אותו גרף בנקודה צפה על המעבד או הגרסה המקומפלת הקודמת עם פרמטרים מקובעים. המעבר מתבצע על ידי תצורה, בלי קימפול מחדש של האפליקציה — כיסוי למקרה שבו בנתונים אמיתיים מופיעה מחלקה שלא הייתה במדגם הכיול.

דיוק לאחר קוונטיזציה, עדכוני מודלים, משטר תרמי

קוונטיזציה ל-Edge TPU — המאיץ Google Coral — כמעט תמיד מזיזה את הדיוק, והשאלה היא רק בכמה והיכן. אנחנו משווים לא את המדד הממוצע אלא את התפלגות השגיאות לפי מחלקות: הירידה הממוצעת לעתים קרובות מסתירה נפילה במחלקה נדירה.

להלן — הספקות שעולים בשלב הקבלה: מה לעשות עם הדיוק, כיצד להחליף מודל בהתקן, כיצד מתנהג המודול בארון מחומם ומה נשאר ביומן בעת תקלות.

כיצד לעדכן מודל בהתקן בלי לעצור את הלולאה?

הארטיפקט של המודל נע עם גרסה וחתימה, ההתקן מושך אותו מהשרת ומחיל אותו לאחר בדיקה עצמית על מדגם הכיול. על הפלאש חיות שתי גרסאות, ולכן החזרה לאחור היא פקודה אחת.

מה יקרה כשהארון יתחמם?

המאיץ עובר ל-throttling: זמן התגובה גדל, התור מצטבר, ובלי הגבלת קצב מתחילים להופיע פריימים שהוחמצו. בלולאה מובנים בקרת טמפרטורה ותקציב זמן תגובה — בעת התחממות יתר הזרם מושהה או מועבר לצומת שכן.

תאימות לאחור ותיעוד תקלות ביומן

את פורמט הקלט והפלט מקבעים בחוזה: מודל חדש לא דורש עדכון קושחה, והתקנים ישנים עובדים איתו. כל תקלה נרשמת ביומן עם גרסת המודל, הטמפרטורה והסיבה — אפשר לראות אם זו הידרדרות או חריגה חד-פעמית.

נדון במשימה: מה נדרש להערכה ולתוכנית עבודה

כדי שההערכה ותוכנית העבודה יישענו על עובדות ולא על הנחות, אנחנו צריכים נתוני בסיס על האתר — אלה שקובעים את בחירת מודול החישוב, את מצב העבודה של המודל ואת מרווח החום. הפיזור בנתוני הקלט לעתים קרובות מכריע אם המשימה תיכנס במאיץ קומפקטי אחד כמו Google Coral או תדרוש תצורה אחרת. להלן — מה כדאי לשלוח בהודעה הראשונה, כדי שנחזור עם חישוב ולא עם שאלות הבהרה.

• סוג המשימה והמודל. זיהוי, סיווג, סגמנטציה או מעקב — כמה מחלקות, מה נפח נתוני הקלט, האם יש כבר מודל מאומן ובאיזה פורמט הוא שמור.
• סכמת העיבוד הנוכחית. היכן ובמה מחשבים כיום: בשרת, במודול משובץ או ידנית; כיצד הנתונים נכנסים למערכת ובאיזה פורמט.
• דרישות לזמן התגובה. איזה זמן תגובה נחשב סביר, האם נדרש עיבוד זרם בזמן אמת או שמקובל עיבוד באצוות; מה קורה כשמחמיצים אירוע.
• תנאי ההפעלה. טמפרטורה, אבק, רעידות, לחות, גישה לאוורור — מזה תלויים המשטר התרמי ותדירות ה-throttling בעומס.
• מתח ומארז. קו המתח הזמין, היציבות שלו, מידות המארז, נקודות העיגון והאפשרות לתחזק בלי לפרק את המבנה.
• רשת ואינטגרציה. כיצד התוצאות עוברות למערכת הניהול: רשת מקומית, חיבור אלחוטי, ממשק טורי; אילו פרוטוקולים כבר מקובלים באתר.
• מדדי איכות יעד. השיעור המותר של החמצות ואזעקות שווא, האם נדרשת תיעוד לוגים וייצוא מקרים מפוקפקים לאימון נוסף.

תארו את המשימה בצורה חופשית — גם אם חלק מהסעיפים עדיין לא ידועים, זה יספיק כדי לזהות את צווארי הבקבוק ולחזור עם הערכה ותוכנית עבודה.