ייצוב וידאו מבוסס בינה מלאכותית לרחפנים ולמצלמות אקשן

רעד וקפיצות בפריים: ייצוב וידאו AI לרחפנים ולמצלמות אקשן

ייצוב מובנה מיועד לטיסה חלקה במזג אוויר ללא רוח. במשימות אמיתיות — הקפה של חזית בניין ברוח משתנה, מעקב אחר אובייקט בזום ארוך, המראה עם שינוי כיוון חד — למכניקה ולאלקטרוניקה אין מספיק טווח תנועה, ובפריים נשאר רעד בתדר גבוה.

בנפרד מופיע טשטוש תנועה בתמרונים חדים: ככל שהתריס קצר יותר והמהירות גבוהה יותר, כך בולט יותר כיצד הקצוות זורמים ו"ג'לי" מתפשט על הגיאומטריה.

במצלמות אקשן התמונה שונה, אבל התוצאה זהה: רעידות מריצה, מדרכים לא סלולות ומרטט של התושבת יוצרות קפיצות בפריים, שהג'ירוסקופ המובנה מחליש רק חלקית. בפניות ובמכות הוא מסיט את האופק במקום להחזיק אותו.

המחיר של הפגמים האלה — פסילת צילום וידאו, שניכרת כבר בעריכה. יש לצלם את הטייק מחדש כולו: טיסה חוזרת, חלון לפי מזג אוויר ותאורה. אם החומר בכל זאת נכנס לעבודה, מתחילה התאמה ידנית של החומר — יישור פריים-אחר-פריים, חיתוך קצוות, ייצוב נקודתי של קטעים בעייתיים. שעה-שעתיים על כל כמה דקות של וידאו מוגמר, ובלי אחריות שהסצנה לא תיסחף שוב.

ייצוב וידאו AI מרחפן ומצלמות אקשן פועל כשכבת עיבוד נפרדת: האלגוריתם מחשב את מסלול המצלמה לפי פריימים, מפריד בין תנועת הסצנה לרעד ובונה מסלול חדש וחלק — בלי חיתוך קצוות ובלי אובדן זווית צפייה. נסביר איך זה נסגר בטיסות אמיתיות.

מה משתנה אחרי ההטמעה: מהירות, חלקות, איכות

ייצוב וידאו אוטומטי משתלב בצינור העיבוד: החומר עובר ניתוח תנועה, בניית מסלול פריים ורינדור בלי התאמה ידנית של המפעיל. האפקטים שלמטה מבוטאים בגדלים מדידים.

מהירות עיבוד לאחר צילום

על פרויקט אחד הלכו שעות של התאמה ידנית, ומשמרת לא סגרה פיזית את כל החומר המצולם. עם ייצוב אוטומטי המפעיל עוסק בסינון ובבדיקת קבלה — תפוקת המשמרת גדלה פי כמה.

חלקות וארטיפקטים

המסלול מפורק לתנועת מצלמה מועילה ולרעד טפילי: הראשון נשמר, השני מוחלש. חישוב גבולות הקיצוץ לפי נתוני הג'ירוסקופ מסיר סוג קיצוני של ארטיפקטים — גלים ו"ג'לי" בקצוות.

סוג הכשלים שהוסר

דמדומים, זום ארוך, צילום תוך כדי תנועה — סצנות שבעבר נפסלו ונשלחו לצילום חוזר, עוברות את אותו מסלול ונותנות תוצאה שמישה. נסיעות חוזרות לאתר ותיאום מחדש של החומר יוצאים מהתהליך.

שיטות עיבוד: גימבל, טלמטריה, רשת נוירונים, היברידי

בחירת התוכנית נקבעת לא לפי מותג המצלמה, אלא לפי איזה נתונים יש בפלט: זרם גולמי, לוג של בקר הטיסה, קריאות של חיישנים אינרציאליים. מזה תלויים איכות התוצאה, זמן העיבוד לאחר הצילום ודרישות החומרה על הסיפון. למטה — ארבע חלופות אמיתיות, שביניהן בוחרים בדרך כלל.

את התוכנית בוחרים לפי הקטע הגרוע ביותר בחומר, לא לפי הממוצע: הרצת ניסיון על פריימים אמיתיים של הלקוח מראה היכן בדיוק מופיעים הארטיפקטים.

בפועל, לעתים קרובות עובד היברידי — הגימבל מסיר את עיקר הרעידות, הטלמטריה מתקנת את הגיאומטריה, ורשת הנוירונים משלימה קטעים בודדים שהמכניקה והלוגים לא מצליחים לטפל בהם.

שלבי ההטמעה: מפירוק החומר ועד מסירת נהלים

הייצוב נשען על אופי החומר: שיעור הסצנות עם תנועה פעילה, קצב הפריימים, התריס וארטיפקטי הדחיסה קובעים מה בכלל מסוגל המודל להפיק. לכן העבודה מתחילה בפירוק הארכיון ומסתיימת בנהלים — אז התוצאה משוחזרת בצילומים חדשים, ולא רק בקליפ הדגמה נבחר.

1. ביקורת חומר וידאו. בוחנים את הארכיון כולו: סוגי סצנות, רמת הרעד, נוכחות טשטוש תנועה, פריימים ליליים ומוארים מאחור, שיעור הפסולים הברורים. בפלט — הבנה אילו סצנות המודל מטפל בהן בביטחון, ואיפה נדרש ענף לוגיקה נפרד או מגבלה על הצילום.
2. תוכנית עיבוד. קובעים את סדר השלבים: היכן נכנס הייצוב, היכן הקיצוץ ושחזור גבולות הפריים, היכן תיקון הצבע והקידוד הסופי. כאן גם מגדירים פורמטי קלט ופלט, דרישות למאגר הפריימים וכללי התנהגות בפריימים בלי טקסטורה ופרטים עוגנים.
3. הגדרת פרופילי צילום. מכינים המלצות למפעילים: תריס, קצב פריימים, איזון לבן, מצב ייצוב במצלמה עצמה. הפרופילים למצלמת רחפן ולמצלמת אקשן בידיים שונים — פחות רעד בקלט מפחית ישירות את העומס על העיבוד.
4. הרכבה וכיול. מכווננים את המודל על חומר הלקוח, ולא על סט כללי: מסמנים סצנות ייחוס, בודקים התנהגות במעברים, בהאצות ובסיבובים חדים.
5. הרצות קבלה. מריצים סט קליפים מוסכם ובודקים מדדים: רעד שיורי, יציבות קו האופק, שימור פרטים קטנים, שיעור הסרטונים שיצאו לאספקה בלי התאמה ידנית, זמן עיבוד לדקת הקלטה. סטייה מהייחוס — סיבה לחזור לשלב הקודם, ולא "לכוונן לפי העין".
6. מסירת הפתרון. פורסים את העיבוד בסביבת הלקוח, מוסרים הוראות הפעלה, תרשימים ונהלי צילום, מעבירים הדרכה לצוות ונשארים בקשר בתקופת המשלוחים העצמאיים הראשונים של החומר.

מה נשאר אצלכם: קונפיגורציות, תרשימים, נהלים

הפרויקט מסתיים לא בסרטון הדגמה, אלא בסט תוצרים שהצוות שלכם עובד איתם בלעדינו. מוסרים קונפיגורציות, תרשימים, מדיניות והוראות בצורה שאפשר לפתוח, לבדוק ולהחיל באתר הבא.

• פרופילי עיבוד — סטים נפרדים של פרמטרים לרחפן עם גימבל, למצלמת אקשן על קסדה ולצילום ידני: עוצמת החלקה, קיצוץ מותר בשולי הפריים, התנהגות בסיבובים חדים.
• תרשים זרימת נתונים — היכן נמצא המקור, באיזה שלב מוערכת התנועה, היכן נוצרת הסדרה המיוצבת ואיך נשמרים המקוריים.
• מדיניות גישה לחומר — מי מהמפעילים רואה מקורות, מי רק תוצאה, למי מותר למחוק ואילו פעולות נרשמות ביומן.
• נוהל בדיקת תוצאה — צ'קליסט קבלה: רעד שיורי בנסיעות ארוכות, ארטיפקטים בשולי הפריים, סנכרון סאונד אחרי חיבור קטעים.
• תיעוד הפתרון — ארכיטקטורה, תלויות, תיאור קובצי קונפיגורציה, מגבלות ידועות ונקודות כשל.
• הוראות למפעילים — מה לעשות במקרה של טשטוש תנועה או אובדן טלמטריה, איך להחזיר הגדרה כושלת לקודמת.
• סדר ההרכבה וקוד המקור — כדי שהתחזוקה לא תהיה תלויה בצוות שלנו.

את הרשימה מתאמים לפני תחילת העבודה ולפיה גם מקבלים את התוצאה: היקף התיעוד פרופורציונלי לפתרון — כמה שצריך למהנדס באתר.

מקרה בוחן: איך צילום מרחפנים הפסיק להיפסל

הלקוח — שירות צילום אווירי לגאודזיה ולפיקוח בנייה: הקפה לפי מסלול נתנה סדרות פריימים ישרות, אבל בדיקת הקבלה פסלה בערך חמישית מהחומר. הסיבה התבררה לא באופטיקה, אלא בהטיות בסיבובים, ברטט של הגימבל ובמשבי רוח — האופק בפריימים נסחף, והאורתופוטומפה המחוברת נפרמה בקצוות.

לפני השינויים שיעור הפסולים בצילום עמד על 22%, על התאמה של פנורמה בעייתית הלכו עד 40 דקות של תיקון ידני, וחלק מהמסלולים היה צריך לטוס מחדש — למחרת, באור אחר ובמזג אוויר אחר, מה ששבר את ההשוואתיות בין הסדרות.

מה עשו: בנו מקרה ייצוב שבו מסלול המצלמה משוחזר לפי פריימים ונתוני חיישנים אינרציאליים, הסחיפה המצטברת מוסרת בחלון מחליק, וגבולות הפריים החסרים מושלמים מפריימים שכנים, ולא במתיחה.

במקביל הנחו נוהל קבלת חומרים אוויריים: פרמטרי טיסה לכל סוג מסלול, חפיפה מינימלית בין פריימים ונקודות בקרה לבדיקה מיד אחרי הטיסה, כשעוד אפשר לצלם את החומר מחדש.

אחרי ההטמעה הפסולים ירדו ל-4%, התאמת פנורמה נמשכת 8–10 דקות, וטיסות חוזרות בגלל "החומר לא התקבל" כמעט פסקו: המסלול נמסר במעבר ראשון.

מה נשאר במצב ידני

באופן אוטומטי לחלוטין לא עוברים שני תרחישים: מעברים ארוכים בנקיקים, שבהם חלק מהפריימים הולך לאיבוד, וצילום בשקיעה עם ניגודיות חדה. כאן המהנדס בוחר פרופיל ייצוב ידנית — כ-20 דקות לסדרה, וזה גבול כן של השיטה, שקבוע בנוהל.

במה ייצוב ברשת נוירונים שונה מייצוב ג'ירוסקופי?

ייצוב ג'ירוסקופי — זה גימבל עם חיישני מהירות זוויתית: הוא מפצה על הטיית הגוף מהר יותר מכפי שהמצלמה מספיקה לתפוס את הקפיצה. התוכנית עובדת בזמן אמת וכמעט לא מעמיסה על המחשב, אבל הגבול שלה — מכניקה: רטיטות מהמדחפים, עומסי מכה, הגימבל שנעצר בקצה, סחיפת האופק. כל מה שנשאר משלימה האלקטרוניקה בקיצור — ורק על חשבון שדה הראייה.

ייצוב ברשת נוירונים מעריך את תנועת הסצנה והמצלמה לפי פריימים, בונה מסלול ומעוות את התמונה לפי רשת, ולא בכללותה. זה מסיר רעד עדין, מחליק פנורמה, מפצה על עיוות תריס ומחזיק את האופק בטכניקה בלי גימבל. המחיר — מרווח קיצוץ, השהיה ומחשב: העיבוד מתבצע על הסיפון או במעבר שני.

המגבלות של השיטות הן מראה. הג'ירוסקופ נתקע במסה, בחופש ובשחיקה של הגימבל; רשת הנוירונים — בסצנה: מים, שלג ושמיים אחידים, סיבוב מהיר, טשטוש תנועה מתריס ארוך ורעש של פריימים ליליים נותנים שגיאות בהערכת התנועה, ובקצוות מופיעה "נשימה" של הגיאומטריה.

לכן בחירת תוכנית העיבוד נקבעת לפי מצבת הטכניקה: קיום גימבל, זווית צפייה, רזולוציה, האם צריך זרם מיד או שמאפשרים עיבוד לאחר הצילום. לעתים קרובות מנצח ההיברידי — ג'ירוסקופ כמעגל ראשוני, רשת נוירונים כמעבר שני.

אנחנו אוספים דגימות מכלים אמיתיים, מכיילים את המודל לעדשה ולתרחישי הצילום, ואת התוצאה מתעדים במדדים: שיעור הפריימים עם קפיצות, משרעת הרעד השיורי, שדה הראייה שנשמר. כך בוחרים את התוכנית לפי נתונים, ולא לפי הבטחות.

נקודות שנויות במחלוקת: ארטיפקטים, רעד, אובדן פרטים בפריים

הייצוב תמיד משולם בגיאומטריה של הפריים: חלק מהשטח הולך למרווח עבור הזזה, ולכן השאלה היא לא אם יהיה קיצוץ, אלא עד כמה הוא נשלט. למטה — ספקות שנשמעים לרוב לפני תחילת העבודה, ואיך אנחנו מטפלים בהם ברמת העיבוד.

כמה תירד רמת הפירוט אחרי דגימה מחדש?

היישור נעשה לפי דגימה עודפת, ולא על ידי מתיחה של פריים מוגמר, לכן טקסטורות, מרקם עדין וכתובות שומרים על חדות. צללים מאבדים פרטים מהר מכולם — עבורם פועל ענף עיבוד נפרד.

איך נשלטים הקיצוץ וגבולות הפריים?

המרווח עבור הזזה נקבע לפי מדיניות: אחוז קבוע למקרה הגרוע או אדפטיבי, שמתרחב בתמרונים חדים. אזור חשוב — המרכז, נקודת העניין — מוחזק בגבולות הפריים בעדיפות.

מה עושים עם צילום לילי, שבו הרבה רעש?

הייצוב מיישר פריימים שכנים ובכך מדגיש את הרעש, לכן הדיכוי מתחשב בתנועה: אזורים סטטיים מנוקים חזק יותר, אזורים בתנועה בעדינות יותר. הרקע מפסיק "להרתיח", האובייקט לא הופך לפלסטיק.

האם זה ריאלי לעבד את הזרם בזמן אמת על הסיפון?

על הסיפון — החלקה קלה של המסלול והחזקת האופק, על הקרקע — עיבוד מדויק עם חלון ניתוח מלא. אם החלק שעל הסיפון לא עומד בקצב הצילום, פריימים נכנסים למאגר, לכן את סדר העדיפויות "השהיה או איכות" מתאמים מראש.

נדון במשימה: מה לשלוח להערכה ולתוכנית עבודה

הערכה מדויקת של הפרויקט מתחילה בנתוני קלט, ולא במילים כלליות. אנחנו צריכים להבין באיזו טכניקה צולם החומר, במצבו ובאיזה כיוון צריכה לחזור התוצאה — מזה מורכב הפתרון: היכן מספיק פיצוי אוטומטי של רעידות, והיכן יידרש תיקון ידני של פריימים.

• סוגי מכשירים במצבת הציוד: רחפנים, מצלמות אקשן, תושבות על קסדה או גוף — כל קבוצה דורשת לוגיקת ייצוב משלה.
• 5–10 קטעים אופייניים באיכות המקורית, ובהכרח הבעייתיים ביותר: קפיצות בפניות, רעד בזום ארוך, נפילות באור חד.
• דרישות לתוצאה: מחזיקים אופק או עוקבים אחרי המצלמה, איזה קיצוץ מותר, האם לשמור על זווית הצפייה המקורית.
• לאן הווידאו הולך: עריכה, שידור ישיר מהאתר או ארכיון — מזה תלויה ההשהיה המותרת בעיבוד.
• היקף החומר בחודש ומהירות ההחזרה הנדרשת — לפיהם מחשבים את התפוקה ואת תור המשימות.
• מגבלות הסביבה: רשתות סגורות בלי גישה חיצונית, דרישות לאחסון מקורות, אופן העבודה עם נתונים אישיים בפריימים.

לאחר מכן אנחנו עושים הרצת פיילוט על הקטעים שלכם ומראים תוצאה על כשלים אמיתיים, ולא על סרטון דמו נבחר. אחריו נחזור עם הערכת הפרויקט, תרשים עיבוד, הרכב הפתרון ותוכנית עבודה לפי שלבים — עם אחראים ונקודות קבלה. תארו את המשימה וצרפו דוגמאות: נחזור עם חישוב והצעה לפיילוט.