זיהוי VRU לתחבורה אוטונומית: הולכי רגל, רוכבי אופניים

זיהוי הולכי רגל: היכן המודל נשבר בזרימת תנועה

זרימה צפופה שוברת את זיהוי הולכי הרגל לא משום שהמודל «לא רואה אדם», אלא משום שבפריים יש בו-זמנית 15-20 אובייקטים ורובם חסומים. הולך רגל, שחסום על ידי רכב חונה, שיח או הולך רגל אחר, מזוהה לפי שבר של צללית — והביטחון יורד מתחת לסף העבודה.

בסופו של דבר, החמצות של אובייקטים מתרכזות לא היכן שהוא בפריפריה, אלא דווקא במקומות שבהם מחיר הטעות הוא המקסימלי: בצמתים, ליד תחנות אוטובוס וביציאות מחניונים.

ראות לקויה מחסלת את מה שנשאר. בלילה, בגשם, באור נגדי מפנסים, המאפיינים שעליהם נשען הזיהוי — מתאר, תנוחה, אופי התנועה — מיטשטשים, והחזרי אור על אספלט רטוב יוצרים התראות שווא.

המודל «רואה» בביטחון זהה הולך רגל בצל של עמוד ומאבד אדם בבגדים כהים על רקע כהה, משום שהניגודיות מקומית ולא גלובלית.

קטגוריה נפרדת — תרחישים לא סטנדרטיים: אדם על קורקינט או עם אופניים рядом, ילד מתחת לגובה מכסה המנוע, קבוצה שמתמזגת לכתם אחד, אדם יושב או שוכב. בנתוני האימון מקרים כאלה מיוצגים בשברירי אחוז, והמודל מתנהג בהם באופן בלתי צפוי — לא «טועה», אלא ממש בלתי צפוי, וזה גרוע יותר לתפעול.

שורש הבעיה — סף ביטחון אחיד. מורידים אותו כדי לא להחמיץ אנשים — מקבלים בלימות שווא על צללים וסימוני דרך; מעלים כדי להסיר שווא — גדלות החמצות של אובייקטים.

פריים אחד לא נותן הקשר כדי לפתור את הסתירה הזו, לכן צוואר הבקבוק של המודל אינו בזיהוי, אלא באופן שבו ההחלטה מתקבלת בזמן — לפי רצף פריימים, תוך התחשבות במסלול ובכיוון התנועה.

מבחינת תפעול זה מתבטא בשני סוגי כשלים: משתתף תנועה שהוחמץ ובלימה על כביש ריק. הראשון — שאלת בטיחות, השני — שאלת אמון: מפעיל או מוקדן, שעייף מהתראות שווא, מתחיל להתעלם מאותות. נפרט כיצד זה נסגר ברמת הנתונים, הספים והגיון האישור.

אפקט מדיד: פחות החמצות והתראות שווא

לפני השדרוג, שלמות הזיהוי נפלה בתרחישים מסוימים: לילה, גשם, אור נגדי, הולך רגל מאחורי רכב חונה, רוכב אופניים בצומת. דווקא הם נתנו את עיקר ההחמצות, ואילו בתרחישי יום המדד נראה תקין והסתיר את הבעיה.

סימנו תרחישים חלשים בנפרד, הוספנו אותם לאימון עם משקל מוגבר למחלקות נדירות, והבדיקה בוצעה על סט בדיקה נפרד שלא השתתף באימון — לפי מתודולוגיה קרובה ל-nuScenes. שלמות זיהוי הולכי הרגל בתרחישים מורכבים עלתה מכ-0.82 לכ-0.94 באותו סף הפעלה.

החצי השני של המשימה — התראות שווא: אם המודל מגיב להחזר אור או השתקפות בשלולית, התחבורה בולמת בלי סיבה, לוח הזמנים נשבר והאמון של המפעיל יורד. מקרים כאלה סומנו כמחלקת שגיאות נפרדת והוספנו בדיקת השערה לפי רצף פריימים — אנומליה בודדת כבר לא נחשבת לאובייקט. תדירות התראות השווא לשעת נסיעה ירדה מ-6–8 ל-1–2.

זמן תיקון השגיאה הפך לניהולי: תקלה מנותחת לפי לוגים והקלטות חיישנים, מקרה שסומן נכנס לאימון משלים, גרסת לילה מריצה סט רגרסיה ומגלגלת עדכון תחילה לחלק מהצי. בעבר חלפו שבועות עד התיקון, כעת פגם טיפוסי נסגר תוך 2–3 ימים.

יחד זה מקצר את זמן ההשבתה של התחבורה לצורך בירור: רוב ההתראות מוסרות מרחוק, בלי להוציא את הרכב מפעילות. המדדים — שלמות הזיהוי, התראות שווא וזמן עד לתיקון — מרוכזים בלוח אחד ונראים לכל מסלול.

מצבי עבודה ואפשרויות אינטגרציה בתחבורה

מצב העבודה נבחר לא לפי מודל הזיהוי, אלא לפי המקום שבו החישוב יכול פיזית לפעול: על גבי הרכב, בשרת או בשילוב. לאחר מכן את ההחלטה קובעים שלושה אילוצים — יציבות ערוץ התקשורת, השיהוי המותר לתגובת בלימה ודרישות הפרטיות לפריימים מהמצלמות.

סיפור נפרד — אינטגרציה עם מערכת הרכב שכבר מותקנת במכונית. כאן חשוב לא הסטאק שלנו, אלא עתודת העומס של המחשב המותקן, הגישה לזרמי הווידאו והאופן שבו המערכת מוציאה אות לאפיק הבקרה. אנחנו מתחילים במיפוי: מחצית מהפרויקטים נשברים לא בזיהוי הולכי רגל, אלא בחוסר התאמה למה שכבר מותקן.

את הבחירה אנחנו מקבעים לא לפי הבטחות על הנייר, אלא בהרצה של הקלטות אמת מהמסלול: בודקים איך האפשרות מחזיקה לילה, גשם וזרימה צפופה. לאחר מכן משווים את עלות התחזוקה ורק אז עוברים לתכנון המערכת.

איך מתנהל הפרויקט: מביקורת נתונים ועד מסירה

העבודה מתנהלת לא כ«אימון מודל», אלא כרצף מנוהל, שלכל שלב בו יש ארטיפקט שניתן לבדוק. השלבים לא מוחלפים: ביקורת נתונים שהוחמצה צפה בקבלה, כשהתיקון עולה ביוקר.

1. ביקורת נתונים ותרחישים. מפרקים הקלטות לפי תנאים: תאורה, מזג אוויר, צפיפות תנועה, סוגי כבישים. מתעדים מקרים נדירים ומסוכנים — הולך רגל בבגדים כהים בלילה, רוכב אופניים מאחורי רכב גדול — ובונים מפת פערים עם תוכנית לסגירתם.

2. סכימת הפתרון. קובעים היכן הזיהוי משתלב במערך התפיסה הכולל, מה נכנס פנימה ומה יוצא החוצה. כאן גם מגדירים מדדי יעד: שיעור החמצות מותר ותדירות מותרת של התראות שווא.

3. סימון ואימון. מתאמים כללי סימון אחידים כדי שגבולות המחלקות לא «יזרמו» בין מבצעים, ומאמנים את המודל על סט שמכסה את מפת התרחישים, ולא רק מקרים שכיחים.

4. בדיקה על מדגם מוחזק. מדגם הבדיקה נאסף לפי תרחישים, ולא באופן אקראי: הוא כולל את אותם קטעי לילה, גשם ותנועה צפופה. מסתכלים לא על המדד הממוצע, אלא על הפיזור לפי תנאים — דווקא הוא מראה היכן הפתרון יקרוס.

5. קבלת התוצאה. מריצים את הפתרון על סט תרחישים מוסכם ומשווים לספים מהשלב השני. הקבלה מתבצעת לפי פרוטוקול שהמזמין יכול לשחזר בעצמו.

6. מסירה ותחזוקה. מוסרים קונפיגורציות, סדר שחזור הבדיקות ודוח על ההתנהגות במקרים מורכבים. לאחר מכן — נוהל אימון משלים על נתונים חדשים.

ארטיפקטים של הפרויקט: סימון, סכימות, נהלים

פרויקט לזיהוי הולכי רגל ורוכבי אופניים מסתיים לא בהרצה ראווה, אלא בערכה שלפיה הצוות שלכם יכול להמשיך לעבוד בלעדינו. כל מה שנצבר באימון ובנסיעות שטח מתועד בארטיפקטים — מסימון ייחוס ועד נוהל לניתוח תקלות.

• סימון ייחוס — סט פריימים מאומת עם הולכי רגל, רוכבי אופניים ומקרי גבול: חפיפה חלקית, לילה, גשם, החזרי אור מפנסים, ניגודיות נמוכה. עם כללי שיוך והוראות למסמנים, כדי שנתונים חדשים ייכנסו לאותו פורמט בלי לבנות מחדש את המדגם.
• סכימות תרחישים — מטריצת מצבים: מעבר מחוץ למעבר חצייה, קבוצת אנשים, ילד מאחורי מכשול, רוכב קורקינט במהירות. לכל אחת — האם היא מכוסה בבדיקות, על אילו נתונים אושרה והיכן עובר גבול הישימות.
• קונפיגורציות של מערך הזיהוי — ספי הפעלה, אזורי עניין, תדירות עיבוד פריימים והגיון איחוד תוצאות לפי זמן. עם הסבר מדוע נבחרו דווקא הערכים האלה ומה משתנה כשמזיזים אותם.
• סכימת חיבור למערכת הרכב — פורמטי החלפה, שיהויים, התנהגות בעת אובדן אות, דרישות למחשב וסדר דעיכה אם אין די נתונים.
• נוהל לניתוח תקלות — מה לתעד באירוע, איזה מינימום נתונים לשמור לשחזור וכיצד לסווג את השגיאה: החמצה, התראת שווא או השהיית תגובה.
• תיעוד המודל — תחום הישימות, מדדים על מדגם מוחזק, מגבלות ידועות ותנאים שבהם נדרש אימון משלים על נתונים חדשים.
• רשימת בדיקה לשחזור — סביבה, סדר הפעלה, שלבי אימון מחדש וקבלה, כדי שהתוצאה תשוחזר לא רק בידי מחבר המודל.

הערכה הופכת את האיכות לניתנת לבדיקה: המדדים מקושרים לתרחישים ספציפיים, לכל מגבלה מצוין המקור, וניתוח תקלה חדשה מתבצע לפי נוהל אחד, ולא לפי הזיכרון של המפתח.

מקרה בוחן: צמצמנו החמצות במסלולי לילה

הלקוח — ספק של מערכות נהיגה אוטונומית.

ביום זיהוי הולכי הרגל נשמר ברמה מקובלת, אבל במסלולי לילה החלו החמצות: במעברי חצייה לא מוארים, באור נגדי מפנסים ובגשם שלמות הזיהוי ירדה ל-0.78 בהולכי רגל ול-0.69 ברוכבי אופניים, והתראות השווא הגיעו ל-41 לאלף פריימים — המערכת הגיבה להחזרי אור, השתקפויות ושיחים בצד הדרך.

ביקורת הסימון הסבירה את הסיבה: צלליות כהות סומנו כמחלקה אחת «הולך רגל», אובייקטים בחפיפה חלקית ובגבול לא סומנו כלל, וקטעי לילה בסט הבקרה היו פחות מעשירית.

סכימת המחלקות עובדה מחדש — קטגוריות נפרדות לאנשים בבגדים כהים, לצלליות במעבר חצייה ולרוכבי אופניים מאחורי רכב; הושלמו הקלטות לילה ונוסף ערוץ תרמי FLIR, שבו הצללית נקראת ללא תלות בתאורה.

לאחר סימון מחדש ואימון מחדש, השלמות בהולכי רגל עלתה ל-0.94, ברוכבי אופניים — ל-0.92, והתראות השווא ירדו ל-8 לאלף פריימים. חלקם של תרחישי הלילה בסט הבקרה עלה ל-40%: המדדים החלו להימדד במקום שבו קודם פשוט לא שמו לב לכשל. חזרה לגרסה קודמת זמינה לפי נקודות ביקורת — ירידה בקטע מסוים מטופלת בלי לעצור את הניסויים.

מה עובר לפרויקטים אחרים

סדר העבודה ניתן לשחזור: ניתוח שגיאות לפי תרחישים, אחר כך סכימת מחלקות, איזון המדגם ורק לאחר מכן ספים בנפרד לכל מחלקה. בפרויקטים אחרים הוא נותן שיפור דומה בשלמות בזכות נתונים, ולא בשל סיבוך המודל.

מה לעשות אם זיהוי הולכי רגל כבר פרוס?

אם הזיהוי כבר פרוס, לא תמיד נדרשת הרצה מחדש. אנחנו מפרידים בין שלושה תרחישים: שדרוג המודל הקיים על נתונים שלכם, העברתו למערך חישוב חדש ובנייה מחדש של צינור העיבוד, כשמשתנה הרכב החיישנים או הגיון ההפעלה. נקודת ייחוס להערכה — תרחישי Euro NCAP למשתמשי דרך פגיעים: לפיהם רואים אילו מקרים בדיוק חסרים למודל.

שדרוג בלי לעצור את המערכת — הדרך השכיחה ביותר. מבצעים אימון משלים על סימון מקרים נדירים, מדייקים ספי הפעלה, ובודקים בנפרד הולכי רגל בחפיפה חלקית.

התאמה למערכת הנוכחית נבדקת מהר: אותו פורמט קלט, אותו ממשק פלט — המודל מוחלף תוך כדי תנועה, והתנהגות הגרסה הישנה והחדשה מושווית על אותה הקלטה.

לבנות מחדש צריך כשמשתנה סדר העיבוד: כיול, סנכרון ערוצים, כללי שילוב נתוני מצלמה ולידאר. זה כבר לא החלפת משקלים, אלא צינור חדש עם ולידציה נפרדת.

את הבחירה עושים לפי אילוצים ולוחות זמנים: משווים אפשרויות על המדגם שלכם — שיעור הולכי הרגל שהוחמצו, בלימות שווא והיקף הסימון לכל אחת.

ספקות לגבי נתונים, מזג אוויר ותרחישים נדירים

בכביש לא הממוצע קובע, אלא התנהגות המודל בפריים נדיר: הולך רגל בבגדים כהים בשוליים, רוכב אופניים יוצא מאחורי ואן חונה, סימון רטוב אחרי גשם. להלן הספקות שנשמעים לרוב בעת הגנת הפתרון, ואיך אנחנו סוגרים כל אחד.

כיצד מתנהג הזיהוי בגשם, שלג ובלילה?

כל תנאי נבדק בתת-קבוצה משלו: אספלט רטוב יוצר החזרי אור והשתקפויות שהמודל מחשיב לאובייקטים; שלג מטשטש גבולות ומשנה את הצללית; בלילה הניגודיות יורדת וגדל חלק הסנוור מפנסים.

בשלב האימון מוסיפים עיוותים מבוקרים של בהירות, ניגודיות, טשטוש ורעש, ואת הקבלה מחשבים לפי תת-קבוצות תנאים, ולא לפי מספר כולל אחד. כך הדעיכה נראית מיד ונסגרת ממוקדות באימון משלים על החתך הנדרש.

מה יקרה כשנבצע אימון משלים של המודל בעצמנו לאחר מסירת הפרויקט?

אנחנו מוסרים תיאור של סכימת הסימון, סקריפטים לאימון ולבדיקה, רשימת בדיקה לקבלת נתונים חדשים וכללי ניהול גרסאות. המדגם והמודל מקובעים לפי גרסאות, הגרסה הקודמת נשמרת — חזרה אחורה אפשרית בכל שלב. הרצה חדשה מושווית על אותו חתך ולידציה כמו הקודמת, לכן רואים מה בדיוק השתפר ומה ירד.

אם צריך, אנחנו מלווים את מחזורי האימון המשלים הראשונים ומנתחים פריימים שנויים במחלוקת יחד עם הצוות שלכם.

נדון במשימה ונחזור עם הערכה ותוכנית

כדי לחזור עם הערכת פרויקט ולא עם כללי אצבע, צריך מינימום נתוני פתיחה על תרחיש התנועה שלכם. שלחו את מה שכבר קיים: בשלב הזה שלמות חשובה יותר מדיוק.

• ייעוד: היכן נוסע התחבורה — חצרות, חניונים, כבישים ראשיים, זרימה מעורבת;
• הקלטות מחיישנים, כולל מקרים מורכבים — דמדומים, גשם, חפיפות, קורקינטים, ילדים;
• דרישות לשלמות זיהוי הולכי רגל ורוכבי אופניים ולשיעור המותר של התראות שווא;
• אילוצי המחשב ברכב: מה כבר מותקן בפלטפורמה;
• סכימת אינטגרציה — למי יוצא האות: למתכנן המסלול, לתת-מערכת הבלימה, לטלמטריה;
• זמינות ואיכות הסימון, דרישות לאחסון הקלטות.

בתגובה אנחנו שולחים מסמך, ולא התכתבות: בו הרכב העבודות, תוכנית עבודה לפי שלבים, לוחות זמנים לשלבים ונקודות קבלה עם מדדים. הערכת הפרויקט נבנית על הנתונים שלכם, לכן מקומות שנויים במחלוקת מסומנים בנפרד — מיד רואים היכן נדרש גישה למגרש הניסויים.

• אילו מחלקות אובייקטים אנחנו מזהים ובאילו מרחקים;
• כיצד בודקים את התוצאה: תרחישי קבלה וספים לפי מדדים;
• מה עושים עם מחלקות נדירות והסימון עבורן;
• כיצד בנוי האימון המשלים כשבזרימה מופיעים סוגים חדשים של משתתפים.

תארו את המשימה — נחזור עם הערכה ותוכנית.