ניתוח תצלומי אוויר בבינה מלאכותית: זיהוי וספירת אובייקטים מרחפנים

ניתוח צילומי אוויר AI: היכן נשבר הספירה הידנית

צילום אווירי של אתר אחד מניב אלפי פריימים, ומפעיל במשמרת אחת מפענח בביטחון כמה מאות. מכאן מתחיל המחיר: עיבוד ידני של צילומי רחפן נמשך שבועות, ובסדרת אתרים — חודשים, והתוצאה מגיעה כשכבר צריך לקבל החלטה.

צוואר הבקבוק השני — פערים. דיוק הסימון הידני יורד לקראת סוף המשמרת, מפעילים שונים מפרשים את אותם אובייקטים באופן שונה, חלק מהפריימים הולכים לאיבוד בחפיפות או נפסלים בגלל צללים והשתקפויות. אי אפשר לבדוק ספירה של אחר אלא במעבר חוזר, כלומר באותו זמן.

ספירה אוטומטית של אובייקטים מסירה בדיוק את המגבלה הזאת: המודל עובר על כל החומר בלי פספוסים, מחזיק קריטריון אחד לאורך כל הסדרה ונותן תוצאה ניתנת לשחזור.

ניתוח צילומי אוויר AI מפיק ספירה לכל פריים ולאתר כולו, ואזורים שנויים במחלוקת מסומנים לבדיקה אנושית — המפעיל עוסק לא במעבר מכני, אלא בבירור מקרים לא חד-משמעיים.

הקנה מידה משתנה בהתאם: היקף הצילום האווירי מפסיק להיות מגבלה, והוספה של אתר שני ועשירי לא דורשת פרופורציונלית יותר אנשים. בהמשך נפרט איך זה בנוי ברמת העיבוד — מטעינת נתוני טיסה ועד פלט שניתן לבדוק.

אפקט מדיד מזיהוי אובייקטים אוטומטי

מהירות הפענוח מפסיקה להיות תלויה בגודל משימת הצילום. במקום שבו אנליסט פיענח פריים בעשרות דקות והעביר אובייקטים לטבלה ידנית, המודל מעבד את כל טיסת הלילה עד הבוקר — המספרים מוכנים לפני שמתחיל שלב השטח הבא. עם הגידול בהיקף הפער רק גדל: מצב ידני נמדד בזמן של מבצע, אוטומטי — לא.

יכולת החזרה של הספירה — האפקט המדיד השני. אותו צילום בדיוק, שנכנס פעמיים באותם ספים, נותן אותה תוצאה: המודל לא מתעייף לקראת סוף המשמרת ולא מפרש את גבולות האובייקטים אחרת. זה מאפשר להחזיק סט ייחוס של פריימים עם ספירה מאומתת, ואחרי כל עדכון של המודל לוודא שהמספרים לא זזו.

סוג שלם של שגיאות סימון ידני נעלם: פספוסים בשולי הפריים, ספירה כפולה בצילומים חופפים, פרשנות שונה למה שנחשב אובייקט אחד. השגיאות האלה אינן אקראיות — הן מצטברות לקראת סוף המשמרת ומופיעות בעוצמה הגדולה ביותר באזורים צפופים. מעבר אוטומטי קובע את הכלל פעם אחת ומיישם אותו על כל הפריימים באותו אופן.

השבתת צילום מפסיקה להיות צוואר בקבוק. כל עוד אין תוצאה, אי אפשר לתקן את המסלול, לשלוח שוב צוות עם ציוד, הלקוח לא מקבל מספרים — זה עיכוב של ימים, לא שעות. פענוח בקצב הצילום מסיר אותה: הטיסה הבאה מתוכננת לפי נתונים שכבר נספרו, לא לפי הנחות.

אנחנו בודקים את האפקט בשלושה מספרים: זמן עיבוד של צילום אחד לפני ואחרי, שיעור הפערים מול סט הייחוס, והיקף הפריימים בין הטיסה לדוח המוכן.

גישות לעיבוד צילומי אוויר והמגבלות שלהן

צילומי אוויר נבדלים בגובה, בזווית, בתאורה ובעונה, ולכן אותו אובייקט בפריימים שונים נראה אחרת. הבחירה בסוג העיבוד נקבעת לפי שלושה דברים: עד כמה האובייקטים שונים מהרקע, האם יש לכם פריימים מסומנים משלכם, ואיזו דיוק ספירה נדרש בפלט. להלן השוואה הוגנת של שלושה מסלולי עבודה שבאמת בוחרים ביניהם.

אף אחת מהאפשרויות לא מסירה את מגבלות הצילום. צללים והשתקפויות משנים ניגודיות, צמרות חוסמות אובייקטים, טשטוש מתנועה מטשטש גבולות — פריימים כאלה או מסוננים בעיבוד המקדים, או עוברים לבדיקה ידנית.

לכן אנחנו תמיד בודקים לא דיוק ממוצע על כל המדגם, אלא פיזור בין אתרים: בשדה אחד המודל יכול לעבוד מושלם, ובשכן — לאבד חצי מהאובייקטים.

אנחנו מתחילים בהרצת הצילומים שלכם דרך מודל מוכן ובודקים את שיעור הפספוסים והתראות השווא בנפרד לפי סוגי הרקע. אם השגיאה נשארת מעל המותרת, אנחנו מראים כמה סימון יידרש לאימון נוסף ומה יסגור סימון משלים ידני של אזורים שנויים במחלוקת, — ההחלטה מתקבלת לפי מספרים, לא לפי הנחות.

שלבי הטמעה: מביקורת צילומים ועד מסירת מודל

צילומי אוויר אינם תמונות רגילות: פריימים עם חפיפה, זווית וגובה שונים, צללים והשתקפויות על מים. מודל ממדגמים ציבוריים טועה בזרם כזה באופן צפוי — מבלבל בין צל לאובייקט, מאבד מטרות קטנות. לכן העבודה מתנהלת בשלבים ומתחילה לא באימון, אלא בבירור של מה שכבר צולם.

הכנת נתונים ומטריקות

1. ביקורת ארכיון הצילומים. גבהים וזוויות, חפיפת פריימים, עונות שבהן אובייקטים מוסתרים חלקית. בפלט — אילו סצנות חסרות ומה צריך להשלים בצילום.
2. הגדרת מטריקת איכות. מה נחשב לתשובה נכונה: שלמות הגילוי, שיעור הפספוסים, טעות ספירה מותרת לפריים. אחרת המחלוקת 'המודל עובד' אינה ניתנת להכרעה.
3. סימון נתונים. מדגם ייחוס וכללים למקרים שנויים במחלוקת — צל, חפיפה חלקית, גבול פריים. פריימים שנויים במחלוקת מסומנים בידי שניים, ופערים אנחנו מבררים.

אימון וקבלה

• אימון וכיול ספים על הסט שהוכן, עם בקרת אימון יתר על חלק הביקורת.
• בדיקה על מדגם מוחזק. צילומים מסשן ועונה אחרים, שלא השתתפו באימון; מטריקה לפי סוגי סצנות, לא בממוצע.
• פיילוט על זרם אמיתי — הרצה של צילומים חדשים והשוואה לספירה ידנית באתרי ביקורת.
• מסירת המודל. יחד עם המשקלים אנחנו מוסרים תקנון סימון, הוראות הפעלה וסדר לאימון נוסף על נתונים חדשים.

מה נשאר אצל הלקוח: קונפיגורציות, סכמות, תקנונים

מערכת פרוסה חסרת תועלת אם אחרי המסירה אף אחד, מלבד מחבריה, לא יכול לחזור על ההרצה או להסביר את מקור המספר בדוח. לכן אנחנו מוסרים לא רק שירות עובד, אלא גם סט ארטיפקטים שלפיהם המהנדס שלכם או קבלן אחר ישחזר את התוצאה על מערך חדש של צילומי אוויר בלעדינו.

• קונפיגורציות הרצה — קבצים עם פרמטרי עיבוד: קנה מידה של צילום, סף ביטחון של הגלאי, גודל וחפיפה של מקטעי חיתוך, סדר הפעלת המודלים. נערכים בלי שינוי קוד.
• סכמת עיבוד נתונים — המסלול של הצילום מהרחפן ועד הטבלה הסופית: פריקה, פסילת פריימים פגומים, תיוג גיאוגרפי, הסרת כפילויות של חפיפות, צבירת אובייקטים לפי פריימים.
• כללי גישה לצילומים — מטריצת תפקידים, הפרדה בין נתוני גלם לתוצאות, תקופות אחסון, סדר ייצוא מקורות ואנונימיזציה.
• תיעוד המודל — כרטיס עם תיאור מדגם האימון, רשימת המחלקות המזוהות, גבולות תחולה וסוגי צילום שבהם האיכות יורדת.
• תקנון הרצה חוזרת — סדר שלב-אחר-שלב למערך חדש: בקרת איכות בכניסה, הרצה, קבלת התוצאה, היכן נכתב הסיכום ומי חותם עליו.
• דוח איכות — שלמות ודיוק לכל מחלקה על מדגם מוחזק, ובנוסף בירור מקרים שנויים במחלוקת, כדי שתבינו היכן אפשר לסמוך על המספר.

הארטיפקטים נמסרים יחד עם המערכת העובדת ונסקרים עם הצוות שלכם בקבלה: הפעלת המערך הבא של צילומים לא צריכה להיות תלויה במפתח.

מקרה בוחן: ספירת מלאי של אתר לפי צילומי רחפן

אחד הלקוחות — מפעיל של אתר פתוח לאחסון צינורות ומוצרי מתכת — ערך ספירת מלאי בהליכה בשטח: צוות עם מחשבי לוח עבר בין השורות פעם ברבעון.

ההליכה נמשכה 2-3 יממות, והפערים בין שתי ספירות בלתי תלויות של אותו אזור הגיעו ל-8-12% — ערימות שנויות במחלוקת נספרו שוב, והתוצאה בכל זאת עורערה בבדיקה.

איך עברנו לטיסת סיור קבועה

קיבענו את מסלול הרחפן לפי נקודות עיגון וצילמנו את האתר פעם בשבוע לפי אותה סכמה: אותה חפיפת פריימים, אותה שעה ביום, אותם נתיבי טיסה. הצילומים הורכבו לאורתופוטומפה, מודל הגילוי סימן חבילות וערימות, ואזורים שנויים במחלוקת המהנדס העביר לבדיקה ידנית. קווים מתאר תויגו לשכבות קרטוגרפיות פתוחות OpenStreetMap, כדי שאותו אזור ייכנס לדוח תחת אותו מזהה.

מטריקות לפני ואחרי

ספירת המלאי לפי צילומים התקצרה מ-2-3 יממות ל-1-2 שעות פענוח לאתר, והפערים בין שתי הרצות ספירה ירדו מ-8-12% ל-1-3%. טיסת הסיור הפכה לשבועית במקום רבעונית, והשוואה בין שבועות סמוכים הראתה תנועות שסיור חד-פעמי לא תיעד: חלק מהפריטים נספרו באזור הלא נכון.

החזרתיות כאן נותנת יותר מדיוק של פריים בודד: אותו מסלול ואותם תנאי צילום הופכים את הצילומים לברי-השוואה, ולכן ההבדל בין טיסות סיור מראה תנועת מטען אמיתית, לא טעות של השיטה.

מה לעשות אם הצילומים כבר קיימים, אבל אין סימון ומודל

ארכיון צילומי אוויר אינו דאטהסט בפני עצמו. אימון ישיר עליו נותן מודל שנשען על אתר אחד וגובה צילום אחד, ועם שינוי עונה או מצלמה מתפורר: בפנים מעורבבות טיסות עם תאורה וחפיפה שונות, יש כפילויות, והתיוג של חלק מהפריימים אבד.

העבודה מתחילה במיפוי מלאי — סופרים צילומים לפי אתרים, עונות ותנאים, ומיד רואים אילו מצבים חסרים.

לאחר מכן הכנת הדאטהסט: פסילת פריימים לא חדים ופריימים עם עננים, הסרת כפילויות לפי גיאומטריה, הבאה לרזולוציה מרחבית אחידה וחיתוך למקטעים עם חפיפה בשוליים, אחרת אובייקטים במפגשים נחתכים לשניים.

לסמן ידנית את כל הארכיון חסר טעם, ולכן עובדים דרך סימון חלקי. סוגרים מדגם מרובד — לפי כל אתר, עונה ומחלקת אובייקט, בדרך כלל 15–25% מהמקטעים; את העבודה מנהלים ב-CVAT ומגרסאים את הסימון יחד עם הקוד.

אחר כך המודל מציע מסגרות עם הערכת ביטחון, המסמן מתקן רק מקרים שנויים במחלוקת, ותחזיות חד-משמעיות מתקבלות אוטומטית.

העברת מודל לאתרים חדשים היא משימה נפרדת, לא 'להוסיף תמונה לתיקייה': משתנים הרקע, הצללים וצפיפות האובייקטים. לכן אנחנו מחזיקים אתר ביקורת שלא נכנס לאימון, ובודקים מטריקות לפי מחלקות וקבוצות גודל, לא לפי דיוק ממוצע. ספים מכוילים לספירה, שבה חשובים יותר שלמות והיעדר התראות כפולות מאשר מסגרת מושלמת.

כך הארכיון הופך לנכס לשימוש חוזר: הסימון ומתכון ההכנה נשארים, וכל אתר או מחלקה חדשים נוספים בלי להתחיל מאפס.

ספקות טכניים: דיוק, עננות, אובייקטים קטנים

דיוק הגילוי אינו גודל קבוע: הוא תלוי בתנאי הצילום, בגודל האובייקט ובמידת הדיוק שבה מאחדים מסגרות חופפות. לכן לפני ההתחלה אנחנו מפרטים אילו תנאים נחשבים לעבודה, ואיפה התרחיש נחלש — ומה עושים בכל מקרה.

איך לא לאבד אובייקטים קטנים בצילום?

הפריים נחתך למקטעים חופפים, ולכן אובייקט ברצועת גבול נופל בשלמותו לפחות לאחד מהם. אחרי הגילוי המסגרות מודבקות לפי חפיפה, כפילויות מכובות — אובייקט אחד נספר פעם אחת. המודל עובר אימון נוסף על חיתוכים של אובייקטים אמיתיים מהאתר שלכם.

אובייקטים חופפים זה לזה או צמרות עצים?

אובייקטים שנראים חלקית אנחנו מסמנים בנפרד ומוציאים בדוח בשורה 'דורש בדיקה', ולא ממיסים במספר הכללי. חפיפה מפסיקה להיות שגיאה נסתרת: רואים כמה אובייקטים נספרו בביטחון וכמה שנויים במחלוקת.

שינויים עונתיים באתר שוברים את המודל?

המודל מתאמן על צילומים מעונות שונים, וטיסות סיור קבועות צוברות בסיס על אותה טריטוריה. ההשוואה נעשית לפי עוגנים יציבים — דרכים, מבנים, גבולות חלקות. בנייה חדשה או כריתה נכנסות לדוח כשינוי, לא כשגיאת גילוי.

נדבר על המשימה: מה צריך כדי להתחיל עבודה

כדי לחזור עם הערכת לוחות זמנים ותוכנית עבודה, ולא עם מילים כלליות, אנחנו צריכים סט מינימלי של נתוני פתיחה לפי סוג האובייקטים שלכם. בדרך כלל מספיקים כמה סעיפים — חלקם כבר נמצאים אצלכם בהישג יד.

• סוג האובייקטים ומה בדיוק לספור: כלי רכב, אנשים, מבנים, צמחייה, פגמי כיסוי — ואיך לנהוג במקרי גבול.
• שניים-שלושה צילומים משלכם, כולל מורכבים: צללים, עננות, צילום בזווית, חפיפה חלקית של צמרות.
• פרמטרי צילום: פלטפורמה, גובה, חפיפת פריימים, האם יש תיוג קואורדינטות ומטא-נתונים — מזה תלוי דיוק הספירה שאפשר להשיג.
• גבולות האתר: פוליגון אחד או אתרים מפוזרים, האם נדרשת טיסת סיור חוזרת לפי לוח זמנים.
• פורמט התוצאה: טבלה עם קואורדינטות ומחלקות, קווי מתאר וקטוריים ב-GeoJSON או SHP, חיתוכי אובייקטים, דוח עם מצרפים לפי שטח.
• ייחוס, אם קיים: סימון ידני או ספירות קודמות — לפיהם מחשבים דיוק ושלמות, ולא מעריכים בעין.
• מגבלות גישה: היכן מאוחסנים הצילומים, האם מותר להעבירם לעיבוד, האם נדרש מתאר סגור בלי יציאת נתונים החוצה.
• עדיפות: לכסות את כל השטח או לקבל מהר יותר תוצאה מאתר פיילוט.

ברגע שיהיה המינימום הזה, נחזור עם תוכנית עבודה: שלבים, נתוני פלט, אופן בדיקת הדיוק ולוחות זמנים להיקף שלכם. תארו את המשימה — אם חלק מהנתונים עדיין אין, נעזור להבין איזה צילום יכול להחליף אותם.