הסרת אובייקטים מווידאו: היכן נשברת האיכות
הסרת אובייקטים מווידאו היא לא "למחוק חפץ ולמלא כתם". המסכה מחושבת פריים-אחר-פריים, ובין פריימים האובייקט משנה צורה, מכסה את הרקע ונופל בעצמו להסתרות של אחרים. בדיוק במפגש בין פריימים נשברת התוצאה.
המחלקה הראשונה של כשלים — ארטיפקטים של המסכה. סף קשיח חותך קצוות שקופים למחצה: שיער, עשן, צל מתחת לחפץ הופכים לגבול קרוע עם הרקע. סף רך משאיר הילה שקופה למחצה, ולאחר השחזור הרקע סביב האובייקט נראה מטושטש.
השנייה — רעידת קווי מתאר. המסכה בפריימים סמוכים נבדלת במספר פיקסלים בודדים, ובהפעלה הקצה "רותח": הוא חי חיים משל עצמו, למרות שהמצלמה עומדת. הסיבה היא שהפריימים מעובדים בנפרד, בלי התחשבות בקישוריות זמנית ובתנועת המצלמה.
השלישית — שובל אחרי האובייקט. בפריימים שבהם החפץ כבר נעלם, במסכה נשארת עקבה מההסתרות הקודמות, והמשחזר גורר טביעה שקופה למחצה על הרקע. הרביעית — הרס הרקע והטקסטורה: דשא, מים, פרקט, דוגמה חוזרת נמשכים מפריימים סמוכים והופכים לכתם פלסטי עם פרספקטיבה פגומה.
כל אחד מהפגמים האלה אינו מתוקן ב"מודל חזק יותר", אלא בצירוף: כיצד נבנית המסכה, כיצד היא מוחלקת בזמן, במה מכסים את האזור החתוך וכיצד נבדקת התוצאה. נפרק כיצד זה נסגר.
מה משתנה בחומר המצולם לאחר העיבוד
העיבוד משנה לא פריימים בודדים, אלא את תכונות כל החומר. במקום ציור ידני ומריחה של כל שוט, הסצנה עוברת חישוב מחדש ברשת נוירונים, ולהלן אנו מודדים כבר לא "יפה או לא", אלא את שיעור הפריימים עם פגמים, זמן הכנת הסצנה ומספר המעברים החוזרים על אותו קטע.
הפגמים נעלמים כמחלקה שלמה
מסכה ידנית השאירה מערכת ארטיפקטים מזוהה: כתם מטושטש במקום האובייקט, גבול רועד, עקבה שקופה למחצה בתנועת מצלמה. חישוב מחדש של פריים אוסף את הרקע מפריימים סמוכים, ולא מכסה אותו בטלאי, לכן המחלקה "תיקון מורגש" נעלמת כליל — הגבול לא מתפורר בפנורמה ולא "נושם" בסטטי.
שיעור הפגמים לפי פריימים
בעת ציור ידני, ככל פריים רביעי-חמישי בערך מוקדש לליטוש: במקום כלשהו המסכה נשברה בהסתרה, במקום אחר האובייקט פגע בפרט סמוך. לאחר חישוב מחדש נותרים אחוזים בודדים לעיבוד — הסתרות מורכבות ומשטחים מחזירי אור, שבהם פיזית אין במה לשחזר את הרקע.
מהירות הכנת הסצנה
העיבוד מתבצע באצווה על פני כל הרצף: כמה דקות של חומר מחושבות בשעות על צומת ייעודי במקום ימים של עבודה ידנית, והריצה מוגדרת ללילה. בבוקר הסצנה מוכנה לעריכה, ומעבר חוזר נדרש רק בעת שינוי משימה — למשל, אם יש צורך להסיר כבר אובייקט אחר.
איכות החישוב מחדש של הפריים
<cite>SAM2</cite> בונה מסכה לפי קווי המתאר של האובייקט ומחזיק אותה בין פריימים, לכן החישוב מחדש נעשה בדיוק לפי הגבול ואינו אוכל פרטים סמוכים: טקסט ברקע, קווים דקים, חפצים שקופים למחצה נשארים במקומם.
שיטות ניקוי פריים: השוואת גישות ומצבים
בחירת שיטת ניקוי הפריים נקבעת לא לפי מורכבות האובייקט, אלא לפי מידת הצפיות של הרקע שמתחתיו. במקום שבו ההסתרה קצרה והרקע סטטי, מספיקה מסכה אוטומטית — סגמנטציה לפי פריימים מחזיקה את האובייקט, והרקע נבנה מחדש לפי פריימים סמוכים.
במקום שבו האובייקט מכסה טקסטורה ייחודית או חוצה פנים, האוטומציה יוצרת ארטיפקטים, ובלי ליטוש ידני התוצאה לא עולה לשידור.
להלן ארבע אפשרויות, שביניהן באמת בוחרים בתחילת הפרויקט. הן נבדלות בהיקף העבודה הידנית, ביציבות בתנועה ובמה לעשות אם האובייקט יחזור לפריים בשוט הבא.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| מסכה אוטומטית | הסתרות קצרות, רקע סטטי או חוזר, גבול אובייקט ברור | נכשלת בשיער, השתקפויות וקצוות שקופים למחצה — נדרשת בקרה לפי פריימים |
| היברידי: מסכה אוטומטית + ליטוש ידני | ארכיון וצילום מוכן, שבו צילום מחדש בלתי אפשרי; האובייקט עובר דרך טקסט או פנים | הזמן גדל ביחס למספר הפריימים השנויים במחלוקת, נדרש מעבר פריים-אחר-פריים |
| מיסוך בעריכה (מסגור מחדש, כיסוי בגרפיקה) | אובייקט בקצה הפריים, יש מרווח בקומפוזיציה | משנה קומפוזיציה, לא עובד בתנועת מצלמה ובאובייקט במרכז |
| צילום מחדש של הסצנה עם חישוב מחדש של הרקע | סצנה סטטית, תאורה חוזרת, יש גישה לאתר הצילום | לא מתאים לחומר ארכיוני; נדרשת התאמה של אופטיקה ותאורה |
מצב העיבוד מקובע לפני תחילת העבודה, ולא תוך כדי: בודקים כמה פריימים האובייקט מכסה ברצף, האם יש מתחתיו טקסטורה ייחודית וכיצד נעה המצלמה. זה מסיר את הסיכון העיקרי — כאשר אחרי שבוע מתברר שחצי מהסצנה צריך לחשב מחדש.
כיצד בנויה העבודה: שלבי עיבוד ובדיקה
הסרת אובייקט נשברת לא בפריים בודד, אלא במפגשים: המסכה נסחפת, הרקע מתחיל להבהב, ומאחורי גבול האובייקט נשארת הילה. לכן העבודה מתבצעת בשלבים עם בדיקה על סצנות בקרה — הפגם נמצא לפני שכל המערך מורכב מחדש.
- ביקורת החומר. צופים במקורות בשלמותם: תנועת מצלמה, החלפות שוטים ותאורה, הצטלבויות של האובייקט עם אנשים. בפלט — מפת אזורים בעייתיים והערכה כנה היכן נדרש ציור השלמה של הרקע.
- תרשים עיבוד לפי סצנות. עבור כל סצנה בוחרים מצב: מסכה סטטית, מעקב אחר האובייקט לפי תנועה או שחזור רקע לפי פריימים סמוכים. את התרשים מתאמים לפני ההרצה — תיקונים כאן עולים שעות, לאחר הריצה — ימים.
- כיוון המודלים. פרמטרים של המסכה והחלון הזמני מותאמים לגרעין, לרעש ולכיווץ של המקור, כדי שטקסטורות הרקע יועברו בלי היצמדות.
- בדיקה על סצנות בקרה. 3–5 קטעים מורכבים במיוחד נצפים פריים-אחר-פריים: הבהוב רקע, רעידת גבולות, עקבות שיוריות. רק לאחר מעבר נקי מריצים את כל המערך.
- עיבוד באצווה. הריצה מתבצעת עם הגדרות מקובעות ושמירת מקורות — כל קטע ניתן להרכיב מחדש נקודתית.
- קבלת התוצאה. משווים לפני ואחרי על סצנות בקרה, מנהלים יומן שינויים ומשאירים אפשרות חזרה למקורות.
- מסירה והדרכת צוות. מוסרים הגדרות ותקנון, מנתחים טעויות אופייניות — כדי שהצוות שלכם יריץ משימות אופייניות בעצמו.
חבילת תוצאות: מסכות, פרויקטים ותקנונים
מוסרים לא רק סרטון מוגמר. יחד איתו הלקוח מקבל פרויקט עיבוד עובד, שכבות מסכות ותיאור הגדרות — לפיהם ניתן להפעיל מחדש את המשימה על חומר חדש או להמשיך בכוחות עצמכם, בלי לשחזר את ההיגיון מחדש.
מה נכלל בחבילת המסירה:
- פרויקט עיבוד — חומר מקור, רצף עריכה, פריימי מפתח ונקודות מעקב בקובץ אחד. נפתח באותו עורך שעבדנו בו, בלי התאמה ידנית.
- שכבות מסכות של אובייקטים — שכבה נפרדת לכל אובייקט, ולא מסכה מאוחדת לכל הפריים. צריך להחזיר אובייקט אחד — מתקנים רק את השכבה שלו, האחרות נשארות ללא שינוי.
- נתוני ביניים — רצפי מסכות לפי פריימים והתוצאה לאחר שחזור הרקע. את ההרכבה הסופית ניתן להרכיב מחדש בלי לחזור על המעבר על המסכות.
- תיאור הגדרות — אילו פרמטרים הותאמו לחומר הזה ולמה: רגישות לגבולות האובייקט, החלקת קצוות, ספים להסתרות.
- תקנון הפעלה מחדש — סדר שלב-אחר-שלב: כיצד להעלות את הפרויקט, אילו בדיקות לבצע לפני ההרצה וכיצד להבין שהמסכה "זזה" בפריים מורכב.
- הוראות להעברת חומר — אילו מקורות נדרשים, כיצד להכין אותם ובאיזה פורמט למסור לקבלן חיצוני או לצוות פנימי.
- פריימי בקרה לאישור — מדגם פריימים עם ההסתרה המורכבת ביותר, שממנו רואים שהתוצאה משוחזרת ולא נשענת על מעבר מוצלח אחד.
בנפרד מתעדים אילו קטעים עובדו בביטחון והיכן נשאר ליטוש ידני. זה מסיר את סיכון המסירה העיקרי: אצל הלקוח נשאר לא "קסם של היוצר", אלא מערכת משוחזרת של קבצים, כללים והגדרות.
מקרה בוחן: ניקוי סרטון פרסומת מאנשים מיותרים
הסרטון נשען על מעבר מצלמה ארוך אחד: הגיבור הולך ברחוב, ומאחוריו — קהל ניצבים צפוף. לפי התסריט נשארים בפריים שניים, ואת השאר צריך להסיר יחד עם הצללים על האספלט וההשתקפויות בחלונות הראווה.
איך היה: ניקוי ידני של פריימים
את הסצנה כיסו ברוטוסקופ: האמן צייר קווי מתאר של הצללית בכל פריים וצייר ידנית השלמת רקע מתחתיה. מתוך 12 סצנות עם ניצבים, 9 הוקדשו לליטוש ידני, ושלוש הוסרו מהעריכה כבלתי ניתנות לתיקון.
מעבר אחד על הסצנה ארך 5–6 שעות, ועד רבע מהפריימים חזרו לעיבוד מחדש — גבולות המסכות "שחו" בתנועה, והרקע המשוחזר נבדל בגרעין.
איך נהיה: מיסוך ושחזור רקע
את המשימה פיצלו לשני שלבים בלתי תלויים: בידוד האובייקט לפי מסכה ושחזור הרקע לפי פריימים סמוכים על בסיס ProPainter. המסכה מתוקנת פעם אחת בפריים מפתח ומועברת לאורך הסצנה, לכן העבודה הידנית מצטמצמת לבדיקת גבולות, ולא לציור קווי מתאר פריים-אחר-פריים.
לאחר שינוי הגישה תוקנו ידנית 2 סצנות במקום 9, מעבר של סצנה אחת הצטמצם ל-40–50 דקות, ושיעור הפריימים עם פגמים נראים לעין ירד מרבע למקרים בודדים. כל 12 הסצנות נשארו בסרטון — שלוש שנויות במחלוקת חזרו מהפסילה.
הצוות קיבל סדר עבודה משוחזר: פעולות זהות לכל סצנה עם ניצבים, בדיקה צפויה בפלט ונקודת חזרה ברורה אם המסכה הונחה לא נכון.
במה שונה הסרת אובייקטים ממיסוך בעריכה?
מיסוך בעריכה לא מחשב מחדש דבר: מעל הפריים מונח כיסוי, טשטוש או לוגו, והפיקסלים המקוריים מתחתיהם נשארים במקומם. מכאן גם המגבלה — המסכה חיה בדיוק כל עוד האובייקט נראה בפריים. אם האובייקט זז או המצלמה נעה, יש לצייר אותה מחדש ידנית, ומתחתיה עדיין "חור" שאין במה למלא.
הסרת אובייקטים מציבה את המשימה אחרת: האלמנט צריך להיעלם מהפריים, ושחזור הרקע — להשלים את מה שהיה מאחוריו.
העבודה מתנהלת בשרשרת: מודל סגמנטציה (SAM 2) מפיק את מסכת האובייקט בקליק אחד או שניים ומוביל אותה לאורך הפריימים, לאחר מכן האלגוריתם מחשב מחדש פיקסלים, בהסתמך על פריימים סמוכים, תנועת המצלמה ופרלקסה בין שכבות הסצנה.
ההבדל בין הגישות נראה היטב בטעויות. מיסוך טועה באופן מורגש וצפוי: קצה רועד, האובייקט יצא מגבולות הכיסוי, גוון לא נכון. חישוב מחדש טועה בשקט וביקר יותר — טקסטורה מטושטשת במקום האובייקט, "היצמדות" פיקסלים, שכפול פרטים קטנים בתנועה מהירה.
מכאן גם בקרת איכות שונה: מסכה בעריכה נבדקת לפי פרקים, חישוב מחדש — פריים-אחר-פריים, תוך הסתכלות על גבולות המסכה, יציבות הרקע, היעדר הבהוב ותפרים נראים לעין.
את הבחירה מרמזת תפקיד האובייקט בסצנה. הפרעה סטטית בפינת הפריים מכוסה מהר יותר וביתר דיוק במסכה; אובייקט שנכנס לפריים, נע ומשתקף בזכוכית דורש שחזור רקע מלא — אחרת עקבות העריכה ניכרות מיד.
ספקות נפוצים לגבי חישוב מחדש של פריימים וארטיפקטים
ארטיפקטים של חישוב מחדש כמעט תמיד קשורים לחוסר הקשר: האובייקט המוסר מכסה קטע רקע, וניתן לשחזרו רק לפי פריימים סמוכים. ככל שפחות פריימים רואים את הקטע הזה וככל שהמצלמה נעה מהר יותר, כך עולה הסיכוי לכתמים מטושטשים, גבולות "נושמים" וחזרות טקסטורה.
איכות המקורות קובעת את תקרת התוצאה: כיווץ, רעש וטשטוש תנועה — האלגוריתם מעביר אותם לאזור המשוחזר. להלן התנגדויות שאנו שומעים לרוב באישור.
על אובייקט נע נראית עקבה של חפץ שהוסר — האם זה פגם?
סביר להניח שזה חוסר הקשר: אם החפץ כיסה עובר אורח, הפיקסלים שלו אינם באף פריים, והשחזור נעשה לפי מסלול. בצמתים המהנדס מתקן את המסכה פריים-אחר-פריים — מצמצם את האזור ומוסיף פריימי עוגן, עד שהעקבה נעלמת.
המקורות צולמו מהיד, המצלמה זזה ורועשת — תיקחו?
פיצוי תנועת המצלמה והפחתת רעש מתבצעים לפני החישוב העיקרי: פריימים מיושרים לפי נקודות עוגן, המסכה מועברת לפי מסלול. את התקרה קובעת איכות הרקע — בכיווץ חזק אנו מבטיחים "לא גרוע מהסביבה", ולא שחזור של טקסטורה שאבדה.
האם נוכל לעבד את התוצאה בעצמנו?
כן. אנו מוסרים רצף פריימים וקובץ מורכב בלי כיווץ חוזר, בתוספת מסכות לפי שכבות — תיקונים נעשים בעורך הרגיל. אם נוח יותר, את העיבוד נעשה אנחנו: תארו מה בדיוק לא התאים בקטע מסוים.
נדון במשימה: מה לשלוח ואיך נתחיל לעבוד
כדי לחזור עם הערכה ותוכנית עבודה, די לנו בחומר מקור ובתיאור קצר של המשימה. שלחו קישור לקובץ בענן או בדיסק, שתיים-שלוש דוגמאות של סצנות בעייתיות עם טיימקודים ומשפט אחד על מה צריכה להיות התוצאה.
זה מספיק כדי להעריך את ההיקף, לבחור תרשים עיבוד ולקבוע לוחות זמנים — בלי התכתבות ארוכה ושיחות ביניים.
מה כדאי לצרף לבקשה:
- חומר מקור — קובץ מקורי בלי כיווץ חוזר: ככל שפחות קידודים מחדש לפנינו, כך גבולות האובייקט נקיים יותר ופחות ארטיפקטים בפריים המוגמר.
- טיימקודים של סצנות בעייתיות — היכן האובייקט מכסה פנים או אדם אחר, היכן הוא יוצא חלקית מהפריים, והיכן הרקע מכסה אותו.
- רשימת אובייקטים — מה בדיוק מסירים: חפץ סטטי, עובר אורח, לוגו, השתקפות או צל. צללים והשתקפויות נחשבים למשימה נפרדת, וכדאי לציין אותם מיד.
- התוצאה הרצויה — לאן הווידאו מיועד: פרסום, קורס הדרכה, רשתות חברתיות. מכך תלוי עד כמה צפוף מנקים כל פריים והאם נדרש תיקון רקע.
- סדרי עדיפויות בלוחות זמנים — איזה פרק דרוש ראשון, ומה יכול להיכנס לתור.
- אופן ההעברה — אם החומר נמצא במאגר סגור, נתאם מראש ערוץ והרשאות גישה.
בפגישת ההיכרות אנו חוזרים עם הערכה ותוכנית עבודה: חלוקה לפי סצנות, תרשים הכנת מסכות, שלבים ונקודות שבהן אתם מסתכלים על תוצאה ביניים. תארו את המשימה — נדון בפרטים ונציע סדר עבודה.