פיתוח זיהוי ומעקב אחר אובייקטים ב-AR (Object Tracking)

Object tracking: למה המעקב אחר אובייקטים הולך לאיבוד באפליקציה

Object tracking נשבר לא כשהאובייקט יוצא מהפריים, אלא מוקדם יותר — כשנקודות העיגון מתמעטות מהנדרש להערכת תנוחה יציבה. מעבר מצלמה מהיר יוצר טשטוש תנועה וירידת חדות: התכונות מיטשטשות, והטרקר מתחיל לא לדייק את המיקום אלא לנחש אותו.

החלפת זווית מוסיפה אילוץ שני — על אזורים שטוחים ואחידים אין במה להיאחז, ולכן קנה המידה והנטייה של האובייקט אינם תואמים את המציאות.

סוג כשל נפרד — הסתרה של האובייקט: יד, עובר אורח או חפץ סמוך מכסים לשנייה-שתיים את אזור העיגון, ומערך התכונות הנראות מתאפס. ARCore ופלטפורמות קרובות נכנסות ברגע זה ללוקליזציה מחדש, ועד לסיומה העיגון או קופא או קופץ לאזור דומה בקרבת מקום.

תאורה חלשה מחמירה את כל האמור: רעש החיישן וצללים רכים יוצרים גבולות מדומים, האובייקט נמצא, אך בהיסט של כמה סנטימטרים.

מחיר התקלות האלה נמדד לא בפריימים אלא בהתנהגות המשתמש. המודל הווירטואלי מחליק מהמוצג, ההנחיה נופלת ליד צומת הציוד, המפעיל סורק את המדף בשנית, וחלק מהסשנים מסתיימים כבר בכשל הראשון. לתמיכה מגיע «האפליקציה לא עובדת» — אף שהסיבה היא אובדן המעקב, והזיהוי והלוגיקה פעלו כשורה.

בפועל תרחיש כזה נסגר בשילוב: זיהוי יציב בכניסה, לוקליזציה מחדש לאחר הסתרה, חיזוי תנוחה בין פריימים וספי ביטחון שבהם האפליקציה מבקשת ביושר לכוון את המצלמה במקום להציג שכבה שנעה ממקומה. נפרק כיצד זה בנוי ואילו תרחישי צילום כדאי לבדוק לפני השחרור.

מה נותן מעקב יציב: דיוק, מהירות, פחות תקלות

Object tracking יציב נבדק לא בתחושה של «כאילו עובד», אלא בשיעור המעקבים המוצלחים: על סט של סצנות בדיקה האובייקט מובל עד סוף הסשן ברוב ההרצות, ולא הולך לאיבוד באמצע. המדד מחושב על כל המדגם — זוויות שונות, תאורה, מהירות תנועה — ולא לפי הדגמה מוצלחת אחת.

גם הזמן עד לפריים הראשון עם זיהוי נעשה צפוי: הסצנה מאותחלת בשברירי שנייה, והמשתמש רואה את ההנחיה לפני שהוא מספיק להחליט שהאפליקציה לא מגיבה. זו תוצאה של חימום מודלים וטעינה מוקדמת של מילון האובייקטים, ולא של מזל במכשיר מסוים.

האפקט המרכזי — סוגי כשל שנעלמים כליל. הסצנה מפסיקה להישבר בהסתרה חלקית של האובייקט, בתנועת מצלמה חדה, בתאורה חלשה ובבוהק, והתראות שווא על חפצים דומים בצורתם נחסמות ברמת סינון ההשערות.

יציבות המעקב — מדד נפרד: לאחר הסתרה קצרה האובייקט חוזר עם אותו מזהה, ולא נרשם מחדש. בלי זה מונה האובייקטים והצמדת ההנחיות לחפץ מסוים מתפרקים כבר בהסתרה הראשונה.

ולבסוף, עבודה על מכשירים בינוניים: אותו שיעור מעקבים מוצלחים נשמר על חומרה מהסגמנט הבינוני, ולא רק על דגמי שיא. זה מושג על ידי הגבלת העומס החישובי לפריים והתאמת תדירות העיבוד למלאי הביצועים הנוכחי.

מצבי object tracking: השוואת גישות ומגבלות

את מצב המעקב בוחרים לפי שלושה צירים: יציבות המעקב, חופש התרחיש, עלות החישוב. מעקב מבוסס סמן נותן גאומטריה צפויה — התנוחה משוחזרת לפי פינות של סמן בגודל ידוע, והשגיאה אינה מצטברת לאורך הסשן.

מעקב לפי תכונות הסצנה נשען על נקודות טבעיות — פינות, קווים, טקסטורות — ואינו דורש הכנת זירה. הצד השני: על משטחים אחידים ומבהיקים אין די תכונות, הסחיפה מצטברת, ונחוצה בדיקה חוזרת תקופתית לפי פריים עיגון.

תכנית היברידית מחלקת את העומס: דיוק התנוחה — על המכשיר, בדיקה חוזרת כבדה — בענן לפי פריימים מדוללים. בניתוח המשימה נבחן איזה מצב יעמוד בתרחיש שלכם בסשן ארוך.

כיצד עוברת ההטמעה: שלבי העבודה ההנדסית

הטמעת מעקב אינה חיבור של ספרייה, אלא התאמה לסצנה מסוימת: מה שעובד בביטחה על סטנד בדיקה מתפרק בתאורה אחרת או בחומר משטח אחר. לכן אנחנו הולכים מתנאי ההפעלה אל פרמטרי האלגוריתם, ולא להפך.

1. סקר סצנה. מפרקים כיצד האובייקט נראה בתנאים אמיתיים: שינויי תאורה, בוהק על מבריק, טקסטורות רקע, מהירות תנועת המצלמה, הסתרות אופייניות. בפלט — רשימת תנאים שבהם הזיהוי מחויב לעבוד.
2. תכנית תכונות עיגון. קובעים במה המעקב נאחז: מאפיינים טבעיים של המשטח, הגאומטריה של האובייקט או סמנים. את התכונות בוחרים כך שייקראו בזווית ובמרחק עבודה.
3. הגדרת המעקב. קובעים ספי הפעלה, סינון רעידות העיגון, התנהגות בהסתרה חלקית וכללי אתחול מחדש לאחר אובדן האובייקט.
4. בדיקה על תרחישים אמיתיים. מריצים את הפתרון בזירה עם אותם מכשירים ותאורה שבהם הוא יחיה. מתעדים את שיעור התפיסות המוצלחות, זמן ההתאוששות לאחר אובדן ויציבות האלמנטים המוצמדים.
5. השלמה לפי תוצאות הבדיקות. מרחיבים את מערך התכונות, משנים זוויות סריקה, מוסיפים הנחיות בתפיסה לא בטוחה — עד שהמדדים מגיעים לרמה המוסכמת.
6. מסירת הפתרון. מוסרים תיעוד תצורה, תכנית תכונות עיגון, מערך תרחישי בדיקה והוראות לצוות שילווה את המוצר.

חבילת המסירה: תכניות סצנות, מערכי אובייקטים, נהלים

לאחר הקבלה נשאר לצוות הלקוח לא אב-טיפוס להדגמה, אלא מערכת עובדת עם מכלול מלא של חומרים. כל מה שהגדרנו במהלך הפרויקט נמסר בצורה ניתנת לעריכה — כך ששינוי הסצנה הבא או הרחבת הקטלוג לא ידרשו אותנו כנושאי הידע היחידים.

• תצורות זיהוי — פרופיל לכל זירה: ספי הפעלה, זוויות ומרחקים מותרים, התנהגות בתאורה חלשה. הפרופיל נערך ללא בנייה מחדש של האפליקציה.
• תכניות סצנות — סימון אזורי הצילום, הצמדת אלמנטי עיגון, דרישות לרקע ולתאורה. סצנה חדשה נפרסת לפי התכנית, ולא בניסוי וטעייה.
• כרטיסי אובייקטים — דגימות ייחוס, תכונות השוואה וגבולות שמעבר להם התוצאה נחשבת ללא מהימנה, עם הסבר לסיבת כל גבול.
• מערכי אובייקטים — אוספים למשימות מסוימות, מופרדים לפי גרסאות: הדגמה, עבודה, ארכיון, עם היסטוריית עריכות ואחראי.
• נוהל עדכון — סדר הכנסת והוצאת אובייקט: הכנת דגימות, בדיקה על סצנת בדיקה, מועד הכנסה לעבודה, תנאי חזרה לגרסה קודמת של המערך.
• נוהל ניתוח אירועים — אילו אירועים מתועדים, כיצד להבחין בין כשל זיהוי לטעות סצנה, למי ובאיזה מועד עוברת הפנייה.
• תיעוד הפתרון — תכנית ארכיטקטורה, נקודות אינטגרציה עם המערכות שלכם, פורמטי החלפה, רשימת בדיקה לקבלה ורשימת מגבלות ידועות.

את הרכב החבילה מתאמים בתחילת הפרויקט: אתם רואים מראש מה יישאר בתוך הצוות שלכם ולפי אילו מסמכים הוא יוכל לעבוד באופן עצמאי.

מקרה הטמעה: מעקב אובייקטים במחסן ובקמעונאות

במרכז הפצה של רשת חנויות החשבונאות נשענה על סריקות ידניות: מחסנאי עם מסוף איסוף נתונים עבר באזור והשווה משטחים לכתובות האחסון לפי דף נייר. סריקה אחת ארכה 25-30 דקות, ספירת מלאי מלאה של המחסן נמשכה כמעט משמרת שלמה, ופערים צפו רק בספירת מלאי.

באולם המכירה התמונה זהה — את התצוגה בדקו בעיניים, מדף ריק שמו לב אליו כעבור יום-יומיים, כשהקונה כבר הלך.

את הפיילוט, שקיבל את שם העבודה Склад-Трек, הרכיבו כאפליקציה עם מצלמה על הסמארטפון הסטנדרטי של המשמרת. המחסנאי מכוון את המצלמה אל המשטח או המדף — הזיהוי מזהה את הסחורה ומחזיק את האובייקט בפריים בזמן תנועה, המונה סופר מחדש את היחידות ומצמיד אותן לכתובת האחסון. הנתונים עוברים למערכת החשבונאות מיד, ללא הזנה ידנית וללא מעבר שני.

מדדים לפני ואחרי

יציבות ההחזקה התבררה כפרט מכריע: אם המשטח הוסתר חלקית או הובל ליד מדף, המעקב לא אבד והמשיך ללוות את האובייקט. באזורים עם תאורה חלשה הוסיפו תאורה מקומית ואימון נוסף על צילומים של המחסן עצמו — הזיהוי הגיע ל-96-97% הפעלות נכונות.

המשמרת הפסיקה להתבטל בחיפוש: זמני ההשבתה הצטמצמו משעות לדקות, והזמן שהתפנה עבר לקבלה ולטיפול בפסולים, ולא לספירה. אותו מעגל הועבר לקמעונאות — סריקת האולם стала אורכת מעבר אחד במקום שניים.

במה נבדל המעקב מהזיהוי והאם נדרשים שניהם?

זיהוי אובייקט עונה על השאלה «מה זה»: המודל מוצא את האובייקט בפריים ומחזיר מחלקה עם מסגרת. על הפריים הבא היא לא זוכרת דבר — במעבר חוזר אותו אובייקט יקבל מספר חדש, ובהסתרה קצרה הוא פשוט ייעלם ויופיע שוב.

החזקת מעקב — זיהוי בין פריימים: המערכת חוזה את מיקום האובייקט, משווה אותו למצב הקודם ומובילה תווית אחת כל עוד האובייקט בשדה הראייה. מכאן נובעת מסגרת יציבה ללא רעידות וספירה נכונה של אובייקטים ייחודיים.

את בחירת המצב מכתיבה המשימה. אם נדרשת תשובה «האם יש אובייקט ואיזה» — די בזיהוי. אם חשובה רציפות בזמן — ספירת עוברים, מסלול, תגובת הממשק לתנועה — אי אפשר בלי החזקת מעקב.

בפועל אנחנו כמעט תמיד בונים שילוב של גישות, כפי שנעשה בכלי פלטפורמה ברמת ARKit: הזיהוי מאתחל מחדש את המעקב מעת לעת בעת אובדן, וטרקר קל מחזיק את האובייקט בין ההפעלות. שיעור הפריימים שבהם פועל המודל הכבד יורד, התמונה נשארת יציבה, ועלות החישוב מפסיקה לגדול יחד עם אורך הסשן.

שאלות טכניות: מכשירים חלשים, תאורה, הרחבה

תאורה חלשה ומכשירים מהדרג הבינוני אנחנו בודקים בתרחיש אחד: מצלמים את אותו אובייקט בירידת תאורה ורואים באיזה שלב המעקב יוצא לחיפוש במקום לשים מסגרת שגויה.

הישענות על צבע בלבד אינה עובדת כאן — התכונות מושלמות בגאומטריית הקונטור ובתנועה, וסף הביטחון מכוון כך שאובייקט שאובד יסומן כאבוד, ולא «יידבק» לחפץ זר.

גידול במספר האובייקטים ומצב לא מקוון נפתרים ארכיטקטונית. על המכשיר מתנהלים בו-זמנית מספר מוגבל של מעקבים פעילים, האחרים ממתינים בתור ועולים לפי עדיפות האזור; אימון מחדש למחלקות חדשות אינו מרחיב את העומס לפריים. המודל והמשקלים נמצאים מקומית, ולכן הזיהוי מתבצע ללא רשת, והענן מתחבר לאנליטיקה ולעדכון המודל.

האם האפליקציה תחזיק מעמד על מכשיר מהדרג הבינוני?

כן. המודל עובר קוונטיזציה ומחושב על מאיץ נוירונים, הזיהוי מופעל לא בכל פריים, והמעקב בין ההפעלות מחזיק את המיקום. התחממות וצריכת סוללה אנחנו מודדים על מאגר המכשירים היעד לפני השחרור, ולא אחריו.

האם הזיהוי עובד ללא רשת?

כן, המשקלים והלוגיקה של המעקב נמצאים באפליקציה, ולכן האובייקט מנוטר באופן לא מקוון ללא השהיה בבקשה. הרשת נחוצה לאיסוף סטטיסטיקה ולאימון נוסף: הנתונים שנצברו עוברים עם הופעת הקשר, והתוצאות המקומיות אינן אובדות.

נדון במשימה: נתאים מצב ונחזור עם הערכה

כדי לחזור עם תכנית עבודה והערכת לוחות זמנים, ולא עם שיקולים כלליים, נדרש מינימום של נתוני קלט. ככל שהצגת המשימה מדויקת יותר, כך נתאים ביתר דיוק את מצב המעקב — לפי סמן, לפי תכונות טבעיות של האובייקט או היברידי — וככל שיהיו פחות עיבודים מחדש בשלב האינטגרציה עם האפליקציה.

מה לשלוח לניתוח:

• תרחיש שימוש: מה נכנס לפריים, מאיזה מרחק ובאילו זוויות, האם האובייקט נע או עומד;
• אובייקטי היעד ותנאי הצילום — תאורה, רקע, בוהק, הסתרות על ידי חפצים אחרים;
• דרישות ליציבות המעקב: החזקה בהסתרה חלקית, ברעידת מצלמה, כמה אובייקטים בו-זמנית;
• מגבלות הפלטפורמה: מאגר המכשירים, גרסאות מערכת ההפעלה, האם נדרשת עבודה ללא רשת;
• מה כבר קיים — אב-טיפוס, מודלים תלת-ממדיים מקוריים, עיצוב, גישות לסטנד בדיקה;
• קריטריוני קבלה בצורה מדידה: שיעור זיהויים נכונים, זמן היציאה למעקב, השהיית תגובה מותרת.

בסיכום הדיון אתם מקבלים תכנית עבודה עם שלבים ונקודות בקרה, תכנית ארכיטקטורה עם חלוקת העומס בין המכשיר לשרת, הערכת לוחות זמנים לכל שלב ותרחיש הרצת פיילוט על מערך מוגבל של אובייקטים — בדרך כלל די בו כדי לבדוק את איכות הזיהוי לפני ההרכבה המלאה. תארו את המשימה כפי שהיא — ונחזור עם הערכה ותכנית.