החלפת רקע בווידאו בעזרת AI — פיתוח ואינטגרציה מקצה לקצה

החלפת רקע בווידאו: איפה נשבר עיבוד הזרם

החלפת רקע בווידאו נשברת לא בכיסוי אחיד, אלא בגבולות. קווי מתאר של שיער, אובייקטים שקופים למחצה — זכוכית, עשן, צעיף, רשת עדינה — ומעברים מהירים בפריים: בהם סגמנטציה של אובייקטים פריים-אחר-פריים טועה לרוב.

במקום ערוץ אלפא נקי מתקבלים ארטיפקטים של מסכה: הילה לאורך הקצה, קו מתאר קרוע, גבול "מצלצל" סביב הכתפיים.

הסיבה השנייה — ניתוק בין הפריימים. מודל שרואה רק את הפריים הנוכחי לא יודע מה היה בפריימים השכנים: המסכה נושמת, מהבהבת ונסוגה בקפיצות. זה בולט במיוחד בסיבוב מהיר של הגוף, בהנפת יד או בחפץ שחולף לפני האדם — עיבוד זרם הווידאו מתחיל לקרוע את מה שבסטטי נראה ללא רבב.

מחיר השגיאות האלה נמדד לא בנקודות איכות, אלא בימי צילום. טייק שבו השיער לא הופרד צריך לצלם מחדש, ומה שאי אפשר לצלם מחדש — נגררים ביד: לא כל מטר ניתן לתיקון פריים-אחר-פריים. בחומר ארוך שיעור הפריימים האלה גדל, ולוח הזמנים של העריכה מתעוות לפני שהלקוח מספיק לראות גרסה ראשונה.

ככל שהסצנה ארוכה יותר, כך בולט יותר הפער המצטבר: השניות הראשונות עוד עוברות, אבל לקראת סוף הטייק הקצה זז.

נבחן כיצד זה נסגר: היכן החלפת הרקע בווידאו מפסיקה להיות תלויה במזל של הטייק ומה משתנה לשם כך בעיבוד הזרם עצמו.

מה נותנת החלפת רקע מדויקת: אפקטים מדידים

רוטוסקופ ידני הוא צוואר בקבוק בכל פרויקט, עם מסך ירוק או בלעדיו: דקה של וידאו מוגמר דורשת עשרות דקות של סימון פריים-אחר-פריים, ותיקון של סצנה אחת מפעיל את המחזור מחדש.

החלפת רקע אוטומטית מסירה את רוב העבודה הזו, אבל רק כל עוד המסכה מחזיקה בתנועה — אחרת הזמן שנחסך חוזר בתור של תיקונים ידניים. נבחן מה משתנה באופן מדיד.

זמן הכנת החומר יורד פי 3-5. העיבוד מתבצע בתור לפי פריימים, ומאזן את העומס לפי הזרם ולא לפי פריים השיא: מקור בן שעה הופך לשכבה מוכנה בתוך דקות, ולא במשמרת של עורך. הרכבה ראשונית נבנית ביום שבו החומר מגיע — הלקוח רואה תוצאה לפני שהסצנה יוצאת לצילום מחדש.

יציבות המסכה נקבעת לפי עקביות זמנית. אם פריים מעובד ללא תלות בשכנים, קו המתאר "נושם", לאורך הקצה רץ רעש ומשיכות שיער רועדות.

גישות עם זיכרון של פריימים קודמים, למשל Robust Video Matting, מחזיקות את הגבול על שיער, בדים שקופים למחצה וטשטוש תנועה — במקומות שבהם שיטות פר-פיקסל מתפרקות.

שיעור הפגמים בעריכה יורד מ-10-15% מהסצנות ל-1-2%: פגם הקצה מפסיק להיות תופעה המונית ונסגר בתיקון בקטע מסוים, ולא בהרכבה מחדש של הפרק. צילומי רקע חוזרים נעלמים כקטגוריה — הרקע מוחדר לאחר הצילום, והאתר כבר לא תלוי באיכות המסך הירוק, התאורה והמזג אוויר.

דרכי החלפת רקע: אוטומטית, היברידית, ידנית

דרכי החלפת הרקע בווידאו נבדלות לא כל כך במודל, אלא במה שנכנס לפריים ובכמה עבודה ידנית מוכן המפעיל לקבל. רקע אחיד מפשט את המשימה פיזית: המסכה נבנית לפי מרחק צבע, אך דורשת תאורה אחידה והיעדר השתקפויות צבעוניות על הבגדים והשיער.

מצב אוטומטי בונה מסכה לפי תוכן הפריים — אין צורך להכין את האתר, אך קצוות מורכבים כמו שערות סוררות, עשן או בד שקוף למחצה יש לחשב בנפרד.

המצב נבחר לפי סוג התוכן ולפי סוג הארטיפקטים המותר, ולא לפי "איכות האלגוריתם" במנותק מהצילום.

בפרויקט אחד נהוג לשלב מצבים: פריימים המוניים עוברים לאוטומטי, וקטעים בעייתיים — להיברידי או לידני. את הבקרה אנו מחזיקים על מדגם של פריימים עם התנועה המרבית: אם המסכה "שטה" בין פריימים שכנים, את הקטע נעביר לעיבוד ידני, ולא נחניק את הארטיפקטים בטשטוש הקצה.

איך מתבצעת ההטמעה: שישה שלבי עבודה

ההטמעה מתחילה מהחומרים שלכם, ולא מסרטוני הדגמה: קודם מנתחים מה באמת מצולם, ורק אחר כך בונים את סכמת העיבוד. כל שלב מסתיים בתוצאה ניתנת לבדיקה, ולכן היקף העבודה לא גדל תוך כדי.

1. אודיט וידאו. בוחנים את המקורות: סוגי סצנות, תנועת מצלמה, אופי התאורה, אובייקטים אחידים ושקופים למחצה, נפח ופורמטים של הקלט. בפלט — מפת סיכונים: היכן החלפת הרקע תעבור אוטומטית, והיכן נדרש ליטוש ידני.
2. סכמת עיבוד. קובעים את הרצף: סגמנטציה, בניית מסכה, ייצוב הקצה, איחוד שכבות. מחליטים מראש אילו סצנות עוברות באצווה ואילו מוצאות למעבר נפרד.
3. כיוונון העיבוד. בונים קו ייצור לזרם שלכם: כללי הפעלה, תורים, אחסון מקורות ותוצאות, כך שהרצה חוזרת לא תדרוש בנייה מחדש מאפס.
4. בדיקה על הדוגמאות שלכם. מריצים מדגם בקרה וסופרים את שיעור הפריימים עם ארטיפקטים — קצה קרוע, הבהוב מסכה, אובדן שיער. סצנות שנויות במחלוקת חוזרות לכיוונון, ולא מתקבלות "כמו שהן".
5. אינטגרציה בתהליך. משתלבים באופן שבו אתם כבר עובדים: מאיפה נלקחים הקבצים, מי מפעיל את העיבוד, מה קורה בעת תקלה ואיך חוזרים לתוצאה הקודמת.
6. העברת תיעוד. תקנונים, תיאור פרמטרים, ניתוח שגיאות אופייניות והדרכת הצוות שלכם — כדי שתיקונים יבוצעו בכוחות עצמכם, בלי לפנות אלינו.

לאחר המסירה נשארים בקשר במסגרת האחריות: שינויים בסכמת העיבוד מתאמים ומתעדים, ולא כותבים מחדש.

מה נשאר אצלכם: הגדרות, סכמות, תקנונים

המסירה היא לא "גישה לשירות פעיל", אלא ערכה שאיתה הצוות שלכם יכול לשנות בעצמו את התנהגות המערכת. להלן מה שאנו מוסרים בפועל: קונפיגורציות, סכמות, תקנונים וכללי גישה.

• קונפיגורציית עיבוד — פרופילים לסוגי החומר שלכם: ראיון באולפן, ריפורטאז' ביד, הקלטת וובינר. בכל אחד מהם נקבעים ספי רגישות לצבע ולתנועה, מידת החלקת הקצה ומצב העיבוד של קטעים מורכבים — שיער, בדים שקופים למחצה, תנועה מהירה.
• פרופילים להרצה באצווה — סטים נפרדים לעיבוד המוני של ארכיון ולסצנות "כבדות", שבהן האוטומציה טועה ונדרש פיקוח ידני בפלט.
• סכמת אינטגרציה — נקודות חיבור לאחסון שלכם ולקו העריכה, פורמטי החלפה, סדר מסירת הקבצים המוכנים ואחסון המקורות.
• תקנון תפעול — סדר קליטת החומר, דרישות לאיכות הצילום, נקודות בקרה לבדיקת התוצאה ופעולות בסטיות אופייניות.
• מטריצת הרשאות גישה — תפקידים עם סמכויות שונות: מי מפעיל את העיבוד, מי עורך פרופילים, מי מאשר פרסום, מי רואה את המקורות.
• הוראות והקלטת מפגש הדרכה — עם ניתוח של הסצנות האמיתיות שלכם, ולא של דוגמאות מופשטות.
• תקנון עדכון פרופילים — מה ומתי מעדכנים כשמשתנים תנאי הצילום, התאורה או הציוד.

תוצאת העבודה נשארת אצלכם כמערכת מנוהלת: שינויים בפרופילים, סבילויות וסדר הבדיקה אתם מבצעים בכוחות עצמכם. אנחנו מתחברים כשהמשימה עצמה משתנה, ולא בכל הגדרה.

תרגול: צילום בלי אולפן לחנות מקוונת

לפני ההטמעה

החנות המקוונת סקנדינביה דום צילמה סקירות וידאו באולפן שכור: ציקלורמה, תאורה, דוגמן, משמרת נפרדת לכל בלוק מוצרים. ביום התקבלו 12-15 פריטים, והדרך מהצילום לפרסום הכרטיס ארכה שבועיים-שלושה — הווידאו חיכה לתיקון צבע ולהחלפת רקע לפי הדרישות של כל פלטפורמה.

עדכון המבחר חייב משמרת חדשה: צריך רקע אחר — מצלמים מחדש, הצל זז — מצלמים מחדש; כשליש מהחומר המצולם הלך לצילום חוזר.

מה שינו ומה קיבלו

מוותרים על האולפן: הצילום נעשה בחלל רגיל — שואורום או מחסן, מצלמה על חצובה, המוצר על מצע ניטרלי. רשת נוירונים בונה מסכת מוצר בדיוק פריים-אחר-פריים, חותכת את המוצר ומחדירה רקע: לבן לכרטיס, פנים-חדרי להפניות פרסומיות, עונתי לפלטפורמה מסוימת. הרקע נקבע לפי תבנית, ולכן הרצה אחת מספקת סט מוכן של וריאציות לכל בלוק המוצרים.

התפוקה גדלה מ-12-15 ל-60-70 פריטים ביום, והפרסום — יום למחרת הצילום. שיעור הסרטונים שנשלחו לצילום חוזר בגלל הרקע או קצה לא אחיד של המוצר ירד מ-30% ל-4%. דרישות הפלטפורמות לרקע נסגרות כעת באמצעות תבניות, ולא במשמרת נפרדת, ולכן החלפת המבחר הפסיקה לעכב את פרסום הכרטיסים.

במה שונה החלפת רקע בשידור חי מעיבוד הקלטה?

ההבדל המרכזי — תקציב הזמן. בהחלפת רקע בשידור חי המסכה חייבת להיות מוכנה לפני שהפריים יוצא למקודד, ולכן המודל נשען על סכמה מפושטת ועל חיזוי לפי פריימים קודמים. בעיבוד הקלטה זמינים גם פריימים קודמים וגם עתידיים: האלגוריתם מדייק את הגבולות ומחשב מחדש אזורים שנויים במחלוקת בלי למהר.

השהיית האות מכתיבה פשרות. בזרם אי אפשר לצבור מאגר של יותר מכמה פריימים, אחרת הקול והתמונה מתפצלים — ומכאן ההפסדים בפרטים דקים: שיער, בד שקוף למחצה, קצוות מטושטשים.

בהקלטה הדיוק חשוב יותר מהקצב: עבודת המסכה מתבצעת במספר מעברים, המסכה מוחלקת לאורך הזמן, ואת הקטעים המורכבים משלים המפעיל.

גם ההתנהגות בעת תקלה בנויה אחרת. בשידור חי הפסקה אינה מתקבלת על הדעת: אובדן מעקב חייב להסתיים במעבר מיידי לפריים המקורי או למצע, בלי הבהוב וקריעות. בעיבוד הקלטה התקלה מקומית — את הקטע פשוט מחשבים מחדש, ובקובץ המוגמר הוא אינו נראה.

נקודת ההתערבות האנושית זזה. בשידור חי המפעיל עוקב אחרי מסך בקרה ותרחישי מיתוג שהוגדרו מראש. בהקלטה הוא מתחבר לאחר המעבר הראשוני — מתקן את הסטוריבורד ואת פריימי המפתח. מערכות תעשייתיות ברמה של Blackmagic Design בונות קווים כאלה על מיתוג חומרה, כדי שהשידור לא יהיה תלוי בצומת אחד.

לכן העברה של הגדרות מהעריכה לזרם "כמו שהן" כמעט תמיד מניבה קצוות רפויים ורעד של המסכה: אלה מצבי עבודה שונים, ולא שני וריאנטים של הגדרה אחת.

ספקות טכניים נפוצים לפני ההתחלה

לפני ההתחלה הלקוח בדרך כלל מייחס חשיבות לשלושה דברים: איך תתנהג העיבוד על מקורות אמיתיים, לפי אילו קריטריונים לקבל את התוצאה ומה לעשות אם היא לא תתאים. אנו עונים על השאלות האלה לפני תחילת העבודה — על קטע ניסיון מההקלטה שלכם, ולא במילים כלליות.

את הסצנות השנויות ביותר במחלוקת — תאורה חלשה, תנועה מהירה, אובייקטים שקופים למחצה — מריצים ראשונות ומראים את המסכה פריים-אחר-פריים. כך גבולות הציפיות נראים לפני העבודה העיקרית, ולא בקבלה.

לפי אילו קריטריונים מתקבלת העבודה?

בונים סט בקרה של סצנות — שוטים אופייניים, תנועה, קו מתאר מורכב כמו שיער ופרטים קטנים. עליו סופרים את שיעור הפריימים עם ארטיפקטים גלויים ואת יציבות הגבול, ומשווים לסף שסוכם מראש. הקבלה מתבצעת לפי הסט הזה בתוספת סקירה ידנית של המקומות השנויים במחלוקת.

מה לעשות אם גרסה חדשה של העיבוד תעבוד גרוע יותר?

הקונפיגורציות ומשקולות המודל מנוהלים בגרסאות, וקבצי המקור אינם נדרסים. חזרה לאחור היא הרצה חוזרת על הגרסה הקודמת: התוצאה מתקבלת במעבר אחד, בלי הרכבה ידנית מחדש של הפרויקט. אפשר להשוות שתי גרסאות על קטע בדיקה ולבחור את הטובה ביותר בתוך דקות ספורות.

נדון במשימה: מה לשלוח להערכה

כדי שהערכת הפרויקט תישען על עובדות ולא על הנחות, די לנו בחומר עבודה אמיתי — לא כרך של דרישות, אלא חומרים אמיתיים ותיאור קצר של המשימה. לפיהם המהנדסים מחשבים את עומס העבודה, בוחרים את סכמת העיבוד ובונים תוכנית עבודה לפי שלבים.

• 2–3 קליפים מצילומים אמיתיים, כולל המקרה המורכב ביותר — תנועה מהירה של המצלמה, כיסויים, תאורה חלשה: דווקא על פריימים כאלה נבדקת איכות קו המתאר.
• תיאור המשימה: היכן משתמשים בתוצאה (פרסום, הדרכה, שידור חי, אזור אישי) ומי מכין אותה — עורך, משווק או המשתמש עצמו.
• דרישות לרקע: מילוי אחיד, החדרת וידאו משלכם או תבנית ממותגת; האם יש צורך לשמר צללים והשתקפויות.
• נפח: כמה דקות חומר בחודש ובאיזה מצב — זרם סרטונים או העלאות בודדות בהמתנה לתוצאה.
• איך מעבדים כעת: מסך ירוק, חיתוך ידני, שירות חיצוני מוכן — ומה בדיוק לא מתאים באיכות או במהירות.
• נקודות אינטגרציה: אתר, אפליקציית מובייל, עורך עריכה, מערכת פנימית — היכן משתלב עיבוד הרקע.
• מגבלות: פרטיות, תקופת אחסון המקורות, דרישות לעבודה בלי שירותים חיצוניים וגישה לתשתית שלכם.

אם חלק מהנתונים עדיין אין — לא נורא: נבהיר בשיחה קצרה ונתעד בתיאור המשימה. תארו את המשימה וצרפו דוגמאות — נחזור עם הערכה, תוכנית עבודה לפי שלבים ורשימת סצנות שידרשו ניתוח נפרד.