כיוונון עדין של מודלים להערכת תנוחה עבור סצנות מותאמות אישית

מדוע אימון pose estimation נכשל בסצנות אמיתיות

מודל מוכן לזיהוי תנוחה מציג דיוק גבוה במערכי ייחוס ואוסף שלד בביטחון בתנאי מעבדה. באתר התמונה שונה: המצלמה מותקנת גבוה יותר ובזווית, התאורה יוצרת חשיפת יתר וצללים עמוקים, ובפריים יש בו-זמנית חמישה-שבעה אנשים בלבוש שונה. זהו שינוי דומיין — פער בין הסצנה שעליה אומן המודל לבין הסצנה שבה הוא פועל בפועל.

שינוי זווית המצלמה שובר את הגיאומטריה: מפרק שנראה במערך האימון מהצד נראה מלמעלה כמקטע מקוצר, והמודל מאבד את הקשר בין הנקודות. ביגוד רחב בגוון אחיד מתמזג עם הרקע, תנועה מהירה יוצרת טשטוש, והסתרות בין אנשים הופכות לא לטעויות בודדות אלא להחמצות שיטתיות. דיוק זיהוי התנוחה יורד לא באחוזים — חלק מהשלדים נבנים שגוי לחלוטין.

המחיר של טעות כזו הוא בקרה ידנית. אם תנוחות שגויות מגיעות בעשרות למשמרת, האוטומציה מפסיקה לסגור את התהליך: המפעיל סוקר הקלטות, מסמן פריימים שנויים במחלוקת ביד, והדיווח נדחה בשעות.

תיוג נקודות מפתח עבור הסצנה שלכם נחוץ בדיוק משום כך — בלעדיו המודל לא מבחין בין מחווה משמעותית לארטיפקט צילום.

כיוונון עדין על מערך זר לא עוזר כאן: המודל חוזר בביטחון על מה שראה, ובאותו ביטחון טועה בתנאים חדשים. אימון pose estimation נבנה על דומיין הסצנה שלכם — עם אותן זוויות, תאורה ולבוש שקיימים באתר — ונבדק על הקלטה שהוחזקה בצד ושהמודל לא ראה. נפרט כיצד זה נבנה.

מה נותנת התאמת מודל לסצנה ספציפית

מודל תנוחה בסיסי אומן על סצנות כלליות: אנשים בגובה מלא, תאורה אחידה, מינימום הסתרות. באתר אמיתי הוא טועה באופן צפוי — השלד מתפרק בהסתרה, הנקודות נסחפות בתאורה נגדית, ובביגוד עבודה בצבע לא שגרתי המודל מאבד גפיים.

התאמת מודל לסצנה מכווננת את הרשת על פריימים מהאתר שלכם. נקודות מפתח מתויגות בפורמט COCO — אותו פורמט שמופיע במערכים פתוחים להערכת תנוחה, ולכן המדדים נשארים ברי השוואה לבסיס.

החלק הבסיסי של הרשת מוקפא, ושכבת הפלט מאומנת עבור מערך הנקודות שלכם: נדרשים פחות פריימים ופחות איטרציות עד להתכנסות.

את האפקט מודדים, ולא דנים בו. אנו מחשבים את שיעור נקודות המפתח שאותרו נכון בסף התאמה 0.5 — עלייה אופיינית מ-0.6 ל-0.85+ לאחר התאמה. התראות שווא על רקע ואובייקטים דומים יורדות פי כמה, ואיכות נקודות המפתח מפסיקה להיות תלויה בשינויי תאורה ובהחלפת ביגוד בין משמרות.

בנפרד אנו בודקים יציבות בפריימים מורכבים: משמרות לילה, טשטוש תנועה, דמויות מוסתרות חלקית. סף הביטחון לכל נקודה מכויל לסצנה — המודל מסמן ביושר „לא רואה”, במקום להשלים מפרק לפי ניחוש ולקלקל את הסטטיסטיקה.

דרכי התאמת מודל: השוואת גישות

התאמת מודל לסצנה מותאמת אישית היא בחירה לא בין „טוב” ל„רע”, אלא בין היקף התיוג ליציבות התוצאה. מודל מוכן להערכת תנוחה כבר מכיר אנטומיה ותנוחות גוף טיפוסיות, אך מאבד ביטחון בזוויות לא שגרתיות, בביגוד עבודה, בקבוצות צפופות ובהסתרות.

ארבע אפשרויות שאנו משווים בתחילת הפרויקט נבדלות בהיקף התיוג, בזמן עד לתוצאה הראשונה ובסוג השגיאות שנשארות לאחר ההטמעה.

את הבחירה מקבעים לפי מדידה על המערך שלכם: שיעור הנקודות שאותרו נכון בסף שגיאה נתון והתנהגות בפריימים מורכבים — הסתרות, פריימים עם טשטוש תנועה, זווית לא שגרתית. בדרך כלל מתחילים מכיוונון עדין, ומחברים סינתטיקה ועיבוד לאחר אם המדידה מצביעה על סוג שגיאה מסוים.

כיצד עובר אימון המודל: שלבי העבודה

אימון pose estimation עבור סצנה ספציפית הוא לא הרצה חד-פעמית אלא מחזור: כל שלב נשען על התוצרים של השלב הקודם, והשמטה של כל שלב נראית לא מיד אלא בקבלה — כשהמודל טועה בביטחון בפריימים שלא היו במערך האימון.

1. סקר מצלמות וסצנה — מתעדים זוויות התקנה, תאורה אמיתית, הסתרות ואופי התנועה בפריים. בפלט — רשימת סצנות שבהן המודל חייב לעבוד והבנה אילו נתונים חסרים.

2. איסוף ותיוג נתונים — מקליטים חומר באותם תנאים כמו באתר, ומתייגים נקודות מפתח של השלד לפי הנחיה אחידה. פריימים שנויים במחלוקת עוברים בדיקה חוזרת, כדי שהמתייגים לא יחלקו על הפרשנות.

3. בחירת סכמת התאמה — מכווננים את המודל המאומן מראש כולו, מכווננים חלק מהשכבות או בונים אנסמבל לזוויות שונות. את הסכמה בוחרים לפי היקף הנתונים שלכם והדיוק הנדרש, ולא מתוך הרגל.

4. אימון ובקרת מדדים — המודל מתאמן על חלק האימון, והאיכות נבדקת על חלק האימות. בנפרד בודקים תנוחות נדירות: הסתרות חזקות, סיבובים, ביגוד לא שגרתי.

5. בדיקה על פריימים שהוחזקו בצד — ההרצה הסופית מתבצעת על צילומים שלא השתתפו לא באימון ולא בכוונון פרמטרים. רק כך רואים את האיכות האמיתית: על פריימים מוכרים המודל נראה טוב מכפי שהוא.

6. ליווי המודל — מוסרים משקלים, הגדרות הרצה, הנחיות תיוג וסקריפטים לבדיקה. בהמשך עוקבים אחרי סחיפה: המצלמה, התאורה או הציוד השתנו — אוספים נתונים ומכווננים נקודתית.

מה נשאר בסביבה שלכם לאחר הפרויקט

הפרויקט מסתיים לא בהצגת מדדים, אלא ברגע שבו הצוות שלכם יכול להריץ את המודל, לעדכן אותו ולבדוק איכות בלעדינו. לכן אנו מוסרים לא דוח אלא ערכה: כל תוצר מכסה שלב משלו במחזור החיים — מצילום ועד אימון מחדש על נתונים חדשים.

• מודל מאומן ומשקלים. משקלי הגמר של הכיוונון העדין האחרון, תצורת הפלט, סקריפטים לעיבוד אצווה של הקלטה והרצה לא מקוונת על מערך הייחוס שלכם. בנפרד מתעדים באיזה חומרה משוחזר הדיוק המוצהר.
• סכמת חיבור מצלמות. זוויות וגבהי התקנה, אזורי כיסוי, דרישות תאורה, סדר סנכרון הזרמים. הסכמה נחוצה כדי שהאיכות לא תיפול בעת העברה או החלפה של מצלמה.
• תיוג וכללים להשלמתו. מערך ייחוס מתויג, מילון נקודות מפתח, הנחיות למתייגים וקריטריוני קבלה. בנוסף כלל כיצד להוסיף סצנות חדשות: כמה פריימים לכל מחלקה ואילו מקרים חייבים להיכלל.
• תיעוד להרצה. פריסת סביבה, תלויות, פרמטרי עיבוד, סדר הוצאה של מודל מעודכן לעמדה וחזרה לגרסה קודמת.
• נוהל בקרת איכות. שיעור הפריימים עם שלד שזוהה נכון, תדירות אי-התאמות בבדיקה ידנית מדגמית, ספי ירידה וסדר לאימון מחדש שלא מתוכנן כשהם מופעלים.
• זכויות על המודל והנתונים. בכתב מפרידים מה מועבר אליכם במלואו, מה נשאר בסיס מאומן מראש טיפוסי שלנו, וכיצד מוסדרות הזכויות על המערכים המקוריים והמתויגים. בלי סעיף זה השאר מאבדים משמעות בעת החלפת ספק.

יחד עם ערכת המסירה אנו מוסרים הרשאות למאגר המשקלים וליומן הניסויים, שבו רואים אילו שיטות לא עבדו ובאילו סצנות המודל מתנהג בצורה לא יציבה — זה חוסך חודשים של ניסיונות חוזרים.

מקרה בוחן: בקרת תנוחת עובד בקו ייצור

קו עם ארבע מצלמות באזורים שונים ותאורה שאינה ברת השוואה: אחת צופה מול אור נגדי מחלונות המפעל, השנייה במשמרת לילה עובדת כמעט ללא תאורה, השלישית קולטת השתקפויות מריתוך.

לפני ההטמעה מסווג תנוחות שאומן על מערכים פתוחים נתן פיזור איכות בין המצלמות, שבמשמרת אמיתית הפך לזרם של אזעקות שווא.

מה היה לפני ההטמעה

תנוחות מסוכנות — הטיית גוף מעל המסוע, כניסה לאזור תנועה של ציוד תלוי, עבודה עם הגב אל התעבורה — המודל החמיץ ב-34% מהמקרים. אותות שווא הגיעו 60–70 למשמרת, המפעיל הפסיק להגיב לאזעקה, והמערכת למעשה לא עבדה כאמצעי בקרה. הגרוע ביותר היה האזור הלילי והאזור עם תאורה נגדית: שם השלד התפרק בהסתרות, והתנוחה סווגה באקראי.

מה שינו

• כיווננו עדין את המודל על סצנות היעד «Линии-4»: כ-12 אלף פריימים עם תיוג לפי נקודות מפתח של השלד ומחלקות של תנוחות מסוכנות, כולל נדירות — כניסה קצרה לאזור האדום, הטיה מעל ציוד.
• איזנו מחלקות והוספנו אוגמנטציות לתאורה: חשיפת יתר, צל עמוק, רעש צילום לילה, אור נגדי.
• אימתנו את התיוג והמדדים בנפרד לכל מצלמה, כדי שאזורי היום לא ימצעו את אזורי הלילה.
• הבדיקה הסופית בוצעה על הקלטות של משמרות אמיתיות שלא נכללו לא באימון ולא בכוונון הספים.

תוצאה

החמצת תנוחות מסוכנות ירדה מ-34% ל-4%, במצלמת הלילה ובאזור עם תאורה נגדית — מ-52% ל-7%. אזעקות שווא הצטמצמו מ-60–70 ל-8–10 למשמרת, ולכן המפעיל שוב מטפל בכל אות ולא משתיק את הקול.

ספי הזיהוי והלוגיקה של האזורים הועברו לתצורה: מצלמות חדשות ומסלול קו ששונה מתווספים בלי לבנות את המודל מחדש. בעת שינוי תאורה אין צורך באימון מחדש — המודל יציב לטווח התנאים שהוא עבר בכיוונון העדין.

מה לעשות אם המודל כבר בעבודה והדיוק יורד?

הדיוק יורד לא משום שהמודל „התקלקל” — כמעט תמיד נתוני הקלט התנתקו ממה שעליו אומן. לכן הצעד הראשון באבחון הוא לא לגעת במשקלים, אלא להפריד שלושה מקורות: נתונים שהשתנו, סחיפת סצנה והגדרות פלט. כל עוד הסיבות הללו מעורבות, כל כיוונון עדין של מודל pose estimation יהיה טיפול בסימפטום.

מפרידים באמצעות חתך מדדים לפי תת-קבוצות: מצלמות בודדות, זוויות, סוגי אובייקטים, שעות היום. אם הכישלון מרוכז בתת-קבוצה אחת-שתיים, ובשאר האיכות נשמרת — זו סחיפת סצנה, המודל פועל מחוץ להתפלגות האימון. אם הירידה אחידה בכל תת-הקבוצות, לרוב אשמים העיבוד לאחר וסף הביטחון, ולא הנתונים.

הלאה — בדיקה על נתונים חדשים. בוחרים פריימים טריים מהזרם התפעולי, מתייגים נקודות מפתח ידנית בפורמט COCO ומשווים את המדידה לאותו פרוטוקול באימות המקורי. פער בשיעור נקודות המפתח שאותרו נכון מאשר סחיפה, והתאמה — מצביעה על הגדרות הפלט.

אם הסיבה בנתונים, כיוונון עדין נעשה בלי אתחול מחדש: החלק הבסיסי של הרשת מוקפא, ורק בלוק הפלט מאומן על סצנות חדשות, ולמערך מוסיפים חלק מהדוגמאות הקודמות — אחרת המודל „ישכח” סצנות ישנות. משקלים חדשים מועלים עם ניהול גרסאות: תחילה הרצת צל על חלק מהזרם, ואחר כך החלפה אם אין רגרסיה.

הכול נסגר בבקרה לפי תת-קבוצות לפני ואחרי: אם המדד על הסצנה החדשה עלה, ועל המקוריות לא ירד — הכיוונון העדין הצליח. סחיפה חוזרת ככל שמתרחשים שינויים בפריים, ולכן כדאי לקיים מדידה על נתונים טריים באופן קבוע, ולא חד-פעמי.

ספקות טכניים: תיוג, תאורה, ציוד

חלק מהספקות נפתרים בהערכה, וחלק בפיילוט. להלן מה ששואלים לרוב לפני אימון pose estimation.

האם יספיקו המצלמות שכבר מותקנות באתר?

אם הזווית ואזור הכיסוי מכסים את אזור העבודה — כן, האימון מתבצע על הזרמים הקיימים. בהערכה אנו מביטים בהקלטות מהן ואומרים אילו זוויות חסרות; לרוב די לתקן את הגובה או את הטיית המצלמה, ולא להחליף ציוד.

מה יקרה בעת שינוי תאורה?

המודל יודע רק מה שהיה בתיוג: מערך שנאסף ביום ייתן ירידה בפריימי ערב ותאורה נגדית. לכן לתיוג נכנסים שעות צילום שונות, צללים, השתקפויות ומצב לילה של המצלמה — הדיוק נשמר לאורך היממה.

האם אפשר לתייג רק חלק מהנקודות?

כן, באימון נלקחות בחשבון רק הנקודות המסומנות, והשאר לא יוצרות שגיאות. כך סוגרים במהירות תנוחות נדירות — בישיבה, בהטיה, עם הסתרה — בלי לתייג את כל השלד בכל פריים.

איך לדעת שהמודל מוכן לפני ההרצה?

אוספים מערך פריימים נפרד שלא השתתף באימון, ובודקים דיוק לפי כל נקודה ולפי סצנות מורכבות. אחר כך מריצים הקלטות של משמרות אמיתיות: כמה פריימים הולכים לאיבוד, באיזו תדירות השלד מתפרק לחלקים.

נדון במשימה שלכם ונחזור עם הערכה

כדי לדון במשימה באופן ענייני ולא סקירתי, לפגישה הראשונה מספיק סט נתוני פתיחה שכל צוות שכבר עבד עם צילום ותיוג אוסף. בתגובה אנו חוזרים עם הערכה ותוכנית עבודה: שלבים, הרכב המערכים, נקודות בקרה ולוחות זמנים.

מה לשלוח:

• 10–20 דוגמאות צילום — פריימים אמיתיים מאותה מצלמה, זווית ותאורה, כולל מקרים מורכבים: הסתרות, השתקפויות, תנועות מהירות.
• סכמת פריסת מצלמות עם גבהים, זוויות כיסוי ואזורי חפיפה — ממנה רואים אם יש מספיק זוויות לזיהוי יציב של נקודות מפתח.
• דרישות דיוק: אילו מפרקים קריטיים, סטייה מותרת, כיצד מחושבת שגיאה ומה נחשב להחמצה.
• תיאור התרחיש: כמה אנשים בפריים בו-זמנית, האם יש ביגוד עבודה, ציוד או חפצים שהמודל צריך להתעלם מהם.
• פלטפורמת יעד ומצב עבודה — עיבוד בזמן אמת או לפי ארכיון, אילו מגבלות השהיה כבר הוגדרו.
• דוגמאות לתיוג מוכן, אם קיים, או רשימת סצנות שחייבות להיכלל באימון.

בתגובה מגיעה הערכה ותוכנית עבודה: היקף התיוג, סכמת חלוקה למערך אימון ובדיקה, קריטריוני קבלה ולוחות זמנים לפי שלבים. אם יש עדיין מעט נתונים, נציע סט צילומים מינימלי להתחלה — הוא יספיק כדי לבדוק את ההשערה לפני תיוג בהיקף מלא.