פיתוח מערכת בינה מלאכותית של כפילים דיגיטליים להפקת קולנוע

כפילים דיגיטליים בקולנוע: היכן ההפקה נשברת

הבעיות של כפילים דיגיטליים מתחילות לא בגרפיקה, אלא על הסט: סצנות המונים בהפקה ממירות מצלמים לעיתים רחוקות בפל�ן אחד — את הקבוצה בונים בשכבות, את הרקע מציירים, חלק מהדמויות מוחלפות.

ברגע שאין מבצע חי — עסוק, פצוע, השתנה בפניו בין בלוקי צילום — הפריים מפסיק להתאחד, והקבוצה נוסעת לאותה לוקיישן שוב. התאורה, מזג האוויר והאביזרים כבר שונים, והחומר מתקנים במקום לערוך אותו.

נקודת האובדן השנייה — אי-התאמה של תנועה בין פריימים. כפיל שצולם בנפרד מקבל מיקום מצלמה אחר, קצב אחר ופלסטיקה אחרת: בחיבור רואים שההליכה, סיבוב הגוף או עבודת הידיים אינם תואמים לפריים הסמוך.

התיקון נעשה ידנית — טראקינג, העברת שלד, התאמה לפי שלב הצעד, תיאום צללים ומגע עם הקרקע — וכל זווית חדשה דורשת לעבור את המעגל הזה מחדש.

מכאן הסטייה בלוחות הזמנים של הפוסט-פרודקשן. בזמן שאנימטורים מתקנים את הכפיל, העריכה, הצבע והסאונד ממתינים, והתיקון גורר אחריו הרכבה מחדש של הסצנה וחישוב חוזר.

ככל שהפער נמצא מאוחר יותר, השרשרת ארוכה יותר: במקום איטרציה אחת יוצאות שלוש-ארבע, והמסירה נדחית בשבועות כשבידיים חומר שנראה לכאורה מוכן.

עוד מקור סמוי — התאמה בין הכפיל לשחקן: גובה, פלסטיקה, מימיקה ותנוחת ראש חייבים להתאים בכל הפריימים, אחרת הדמות "מתכפלת" במעברים. אנו מפרקים כיצד זה נסגר: היכן החומר הדיגיטלי מונח מראש וכיצד בונים תהליך כך שהכפיל יתאים לסט, ולא ישיג אותו.

אפקט היישום: זמן משמרות, חזרות, סוגי כשלים

כפיל דיגיטלי מסיר את המגבלה העיקרית של הסט — נוכחות חובה של השחקן בפריים. סצנות שבהן הגיבור מוצג מאחור, בתנועה, בהמון או בפעלול מסוכן, נסגרות באמצעות מודל, ולוח הזמנים מפסיק להיות תלוי בזמינות המבצע.

בפרויקט באורך מלא זה מפנה עד רבע ממשמרות הצילום: הצוות לא מתבטל בהמתנה לחלון של השחקן, התאורה והמצלמה לא מכוונות מחדש לפי לוח זמנים של אחר.

חזרות. טייק נפסל לעתים קרובות יותר בגלל מימיקה, מצמוץ או מבט שגוי — והסצנה מוחזרת ללוח הזמנים כבלוק צילום שלם.

כאשר אנימציית הפנים מועברת למודל בנפרד מיום הצילום, מספר המעברים החוזרים יורד: התיקון עובר לנתוני הלכידה, ולא ללוח הזמנים של הצוות, וצילום חוזר מפסיק להיות הדרך העיקרית לתקן פריים.

פוסט-פרודקשן. החומר של הכפיל מגיע בפורמט אחיד: סצנה אחת, סט שכבות אחד, גבולות תנועה צפויים. המרכיב לא מפרק מקורות מגוונים ולא משלים גיאומטריה ידנית — השרשרת מהסט ועד הפריים הסופי הופכת לליניארית ומתוכננת.

חישוב בזמן אמת על הסט אנו מבצעים ב-Unreal Engine: הבמאי רואה את הקומפוזיציה מיד ולא מעביר החלטות ליום למחרת.

סוג כשל שהוסר. ביטול משמרת עקב פציעה, מחלה או סירוב של המבצע נהג בעבר להיות אובדן חומר וצילום חוזר. כעת הסצנה נבנית על הכפיל לפי נתונים שצולמו כבר, ונפילת השחקן מלוח הזמנים מפסיקה להיות תקלה הפקתית — זה תיקון בתוכנית, ולא עצירת פרויקט.

פורמטים של הפקה: החלפה מלאה, היברידי, רפרנס

פורמט העבודה עם כפילים דיגיטליים נבחר לא לפי רצון, אלא לפי מה שבאמת יש בקלט: האם השחקן נמצא על הסט, איזה פריים נדרש ובאיזה מצב החומר המקורי. להלן שלושה מצבים, שביניהם בדרך כלל בוחרים, עם הגבולות שלהם.

מגבלה משותפת — החומר המקורי. פריים רך או רועש, תנועת מצלמה קרועה, היעדר תוכנית סצנה ומדידות תאורה מייקרים ומאריכים את העבודה בכל שלושת המצבים, ולפעמים הופכים החלפה מלאה לבלתי כדאית.

לכן אנו מקבעים את גבולות המצב לפני הצילומים: בתקופת ההכנה מתאמים סטוריבורד, רשימת סצנות לכפיל ודרישות מהסט — כך אין צורך לצלם את הסצנה מחדש.

שלבי פיתוח: מביקורת חומר ועד מסירה

העבודה מתנהלת בשלבים עוקבים, וכל שלב הבא נפתח רק לאחר שהקודם נסגר. המשמעות היא ששגיאות בנתוני המקור ובסכמת התנועות יתגלו לפני אימון המודל, ולא אחרי מסירת סצנה מוכנה.

רצף העבודות

1. ביקורת חומר מקור. מפרקים סריקות וצילומים: זוויות, תאורה, מימיקה ניטרלית, ארטיקולציה, טווח תנועות. מתעדים חסרים — חסר פרופיל או רפרנס של חיוך בתנועה — ואומרים מה להשלים בצילום.
2. סכמת סצנות ותנועות. מרכיבים מפה: היכן הכפיל הדיגיטלי מחליף את השחקן לחלוטין, היכן נדרש רק הראש, אילו רגשות ושורות חובה. זה מפרט טכני למודל, ולא משאלה לאמן.
3. הרכבה ואימון מודל הדמות. מכינים נתונים, מאמנים, בודקים יציבות על פריימים וזוויות שלא היו בסט. מודל שעובד רק על דוגמאות האימון לא מתקבל בחזרה.
4. בדיקה על סצנות ביקורת. משווים את התוצאה לפריימי המקור: מימיקה, תנוחת ראש, פלסטיקה, התנהגות בגבול הפריים. כל מה שלא תואם עובר לאימון נוסף, ולא לתיקון ידני.
5. מסירה והדרכת הצוות. מוסרים את המודל, הוראות הפעלה ועדכון, מראים כיצד להכין סצנות חדשות ומה בדיוק פוגע באיכות. הצוות ממשיך לעבוד בלעדינו.

ערכת אספקה: מודל, תנועות, נהלים

לאחר המסירה נשאר אצל המזמין קו עבודה פעיל, ולא מצגת עליו: מודל שאומן על חומרים של דמות מסוימת, ארכיון תנועות מתויג וכללים שלפיהם ניתן להמשיך לעבוד עם הארכיון. כל סעיף נמסר בשני סוגים — חפץ פעיל ומסמך המתאר את גבולות השימוש בו.

• מודל דמות מאומן — משקלים, נקודות ביקורת לפי איטרציות אימון, תצורת הפעלה וסקריפט המשחזר תוצאה תקנית על סט בדיקה.
• ספריית תנועות ומימיקה — קליפים מתויגים לפי רגשות ומצבים, תיוג קריא-מכונה וחלוקה לחלקי אימון ובדיקה.
• דוח איכות — מדדים על מדגם בדיקה ורשימת סצנות שבהן המודל מתנהג לא יציב: זו מפת מגבלות, ולא פרסומת.
• מדיניות גישה לחומרים — תפקידים, חלוקת הרשאות לפי פרויקטים, זמני אחסון של חומרי מקור, יומן פניות לארכיון.
• נוהל הסכמת שחקן — היקף הזכויות שהועברו, תוקף, סדר ביטול ההסכמה ומחיקת חומרים נגזרים.
• יומן מקור נתונים — עבור כל פריים נראה המקור והבסיס לשימוש; בלעדיו אי אפשר למסור את המודל לצד שלישי.
• תיעוד ונהלים — דרכון מודל, הוראות הפעלה ואימון נוסף, רשימת בדיקה לקבלה, תרחישי כשל אופייניים.

הקבלה מתבצעת לפי רשימה פורמלית: עבור כל סעיף קריטריון מוסכם מראש — מדד, הרכב קבצים או מסמך חתום. החבילה נשארת עצמאית: צוות המזמין ממשיך לעבוד בצד שלו, בלי לחזור בכל שינוי.

מקרה בוחן: סצנות המונים ללא נסיעות חוזרות של הצוות

דרמה היסטורית עם שלוש סצנות המונים: שוק, מצעד, מערך שדה. בכל אחת בין 300 ל-500 איש בפריים, יום האור קצר, והתלבושות בין ימי הצילום אינן תואמות. סצנות כאלה פוצלו לשישה משמרות, ובכל זאת חזרו לסט כשבעריכה נמצאו אי-התאמות באביזרים.

מה שינו

עבור סטודיו סבארניה הרכבנו ספריית כפילים דיגיטליים: מראה, פלסטיקה ותלבושת עברו דיגיטציה לפי טייקים עוגן, וההמון מושלם על ידי הצבה בשכבות עומק בהתחשב בפרספקטיבת המצלמה. הצלם מקבל קבוצות מוכנות שאפשר להוסיף לפריים בהרכבים שלמים ולהעביר בין טייקים בלי לאבד את רציפות התנועה.

סוג כשל שהוסר ופוסט-פרודקשן

סוג הכשל נעלם: ניצב שנפל מההמון, אי-התאמה בתלבושת בין טייקים, צל חתוך, חיבור נראה לעין. שכבת הכפילים מורכבת מחדש מהספרייה, לכן תיקון של קבוצה אחת לא גורר צילום חוזר של כל הסצנה.

לוח הזמנים של הפוסט-פרודקשן התיישר: ניקוי הפריים מתבצע במקביל לעריכה, ולא אחריה, ומסירת הפרקים הפסיקה להידחות. את המשמרות שהתפנו הצוות משקיע בקלוז-אפים של שחקנים — מה שאין להחליף בשכבה דיגיטלית.

במה כפילים דיגיטליים שונים משחזור שחקן?

כפילים דיגיטליים בקולנוע נעשים בשתי דרכים שונות. מודל נשלט לסצנות — שחזור שסגור על סט פריימים מסוים: זוויות, סכמת תאורה, סט מצבי מימיקה, אורך השורות. המהנדס מאמן אותו על חומר מוגבל ומשווה את התוצאה לפריימי עוגן, לכן המודל צפוי ולא יוצא מגבולות הסצנה.

שחזור מלא של שחקן — משימה אחרת: מודל פרמטרי אחיד שמייצר מימיקה חדשה, דיבור וזוויות שרירותיות, כולל כאלה שלא צולמו. כאן נדרשים לכידה מרובת מצלמות וסנכרון זרמים, וחלק מההתנהגות בכל זאת מושלם — מכאן סיכונים טכניים ותדמיתיים.

הבדל הגישות קובע את דרישות ההסכמה. עבור מודל נשלט די באישור לפרויקט מסוים, רשימת סצנות ותקופת אחסון החומר.

שחזור מלא דורש חוזה עם תקופה מפורשת, טריטוריה, מדיה ואיסור על אימון מודלים של צד שלישי — הפרקטיקה של SAG-AFTRA קובעת נקודת ייחוס: הזכות לביטול וגבולות השימוש נקבעים מראש, ולא בדיעבד.

היישום לפי סצנות שונה באותו אופן. הצערת גיבור בפרק, שכפול פעלול מסוכן, החלפת פריים בצילומים חוזרים — מודל נשלט. המשך סיפור באופק ארוך או חומר אינטראקטיבי בלי השתתפות השחקן — כבר שחזור מלא.

קריטריון הבחירה פשוט: אם אפשר לנעול את המודל בגבולות הסצנה ולבדוק אותו לפי פריימי עוגן, ניקח אותו. יציאה מהמסגרת — קו משפטי נפרד והיקף נפרד של נתוני מקור.

ספקות טכניים: דיוק, זכויות, קבלה

מפיקים ובמאים שואלים לפני ההתחלה אותן שאלות: עד כמה הפנים בקלוז-אפ יהיו ניתנות לזיהוי, למי שייך הדימוי הדיגיטלי, מה נחשב לסצנה שנמסרה וכמה עמלנית העבודה הנוספת. אנו עונים על כל אחת.

למי שייכות הזכויות על המודל?

הדימוי הדיגיטלי נשאר אצל המזמין: זכויות על המודל המאומן וחומרי המקור מקובעים בחוזה. השחקן חותם על הסכמה נפרדת — לדיגיטציה, לתקופה ולסוגי הפרויקטים שבהם הדימוי מותר. המודל נשמר בקו סגור: גישה לפי תפקידים ויומן של כל ההפעלות.

לפי אילו קריטריונים מתקבלת העבודה?

הקבלה מתבצעת לפי סט סצנות ביקורת, ולא "באופן כללי לפי הסרט". מתעדים התאמת מימיקה בקלוז-אפים, יציבות גוון הפנים בין טייקים והיעדר ארטיפקטים במעברים. כל סצנה נמסרת בנפרד עם תקן להשוואה.

מה לעשות אם יידרשו סצנות חדשות?

המודל מאומן מחדש על חומרים חדשים, ולא נבנה מאפס — אין צורך ביציאה חוזרת של השחקן לסט, אם יש הקלטות של הזווית הנדרשת. מחזור העבודה הנוספת נמשך מספר ימים ומתנהל לפי אותם קריטריוני קבלה.

נדון במשימה: מה נדרש מהצוות שלכם

דיוק ההערכה של היקף העבודה בתחילת הפרויקט נקבע לפי שלמות נתוני הקלט, ולא לפי כמות ההתכתבות. בכפילים דיגיטליים שני דברים קריטיים: עד כמה השחקן צולם במלואו ועד כמה דרישות אנימציית הפנים מוגדרות בקפדנות. מזה תלוי אם זה יהיה אימון מודל לאדם מסוים או עבודת אמן פריים-אחר-פריים.

מהצוות שלכם בקלט נדרשים לא רק קבצים, אלא גם החלטות בנושא זכויות, לוחות זמנים וקבלה — הן לרוב מעכבות את ההתחלה.

• חומרי עוגן על השחקן: צילום במספר זוויות ובתאורה שונה, סטים של הבעות מימיקה, בנפרד ארטיקולציה.
• סטוריבורדים ותיאור סצנות: היכן הכפיל מחליף לחלוטין את האמן, היכן מכסה בצילומים חוזרים, היכן נדרש קלוז-אפ.
• דרישות לתוצאה: משך הפרקים, אנימציית פנים וסנכרון עם השורות, אופי עיבוד התמונה.
• החלטה בנושא זכויות: הסכמות שחקנים והסכמים על שימוש בדימוי הדיגיטלי, זמנים ותנאי אחסון חומרי מקור.
• לוח זמני צילום: תאריכים שבהם הכפילים נדרשים בעריכה, וקטעים שבהם מותר תיקון איטרטיבי.
• אחראי מצדכם: אדם אחד שמקבל תוצאות ביניים ונותן משוב.

עם הנתונים האלה נחזור עם הערכת היקף העבודה, סכמת הרכבת פריימים ותוכנית יישום עם נקודות ביקורת. המסירה לייצור מתנהלת לפי לוח זמנים: פרק פיילוט מאושר בנפרד, ואחריו מוכנסות לזרימה שאר הסצנות. תארו את המשימה ושלחו את החומרים הזמינים — נחזור עם הערכה ותוכנית.