מערכת בינה מלאכותית לדיבוב עם סנכרון שפתיים לקולנוע

מדוע דיבוב AI נשבר על ארטיקולציה ותזמון

דיבוב AI קורס לא בתרגום, אלא במפגש בין סאונד לתמונה. הפס המסונתז מגיע נקי ואחיד, אבל השפתיים של הדמות ממשיכות לחיות לפי הקצב של שפת המקור — חוסר סנכרון בין השפתיים לקול נראה כבר בכמה פריימים, והצופה קולט את ההחלפה לפני שהוא מבין במה מדובר. משם הסצנה מתפרקת: האינטונציה משכנעת, אבל האמון בפריים אבד.

הצוואר הבקבוק השני הוא התזמון של השורות. אותו רעיון בשפה אחרת תופס יותר זמן: במקום שבו במקור התאימו לתנועת השפתיים, התרגום נותן 15–25% תוספת משך. התאמה דרך האצה הופכת את הדיאלוג למלעל, וסירוב להתאמה דוחף את הביטוי מעבר לגבול הפריים — השורה נכנסת לסצנה הבאה ושוברת את קצב העריכה.

סיפור נפרד — ארטיקולציה בפריים בתקריבים. המודל מחליף את הפה, אבל שומר על הבעות הפנים המקוריות ועל המיקרו-תנועות של הלסת, ומתקבלת אנימציית פנים "גומיית" שהעין קולטת מיד. בפריים כללי זה לא מורגש, בתקריב — פגם שמעביר את הסצנה לדיבוב lip-sync עם כוונון ידני של כל פריים.

המחיר של טעות הוא לא קוסמטיקה. ההפצה מקבלת גרסה שבה חלק מהתקריבים מדובבים מחדש, העריכה — מרכיבה מחדש את תזמון השורות לפי האורך החדש של הביטויים, והשחרור נדחק לשלב שאף אחד לא תכנן. אנחנו מפרקים איך זה נסגר.

מה נותן דיבוב מסונכרן: אפקט בגדלים מדידים

המדד העיקרי של דיבוב מסונכרן — שיעור הסצנות שעברו אישור בהרצה הראשונה. על קורפוס דיאלוגי הוא נשמר סביב שמונה מתוך עשר סצנות: הארטיקולציה, משך השורה והגוון מתכנסים בלי תיקונים. עד לא מזמן קטעים כאלה נשלחו לסבב שני ושלישי, וכל סבב — זה פס מדובב שהורכב מחדש והגהה חוזרת.

עריכה פונטית ידנית מצטמצמת בסדר גודל. המהנדס כבר לא מתאים את אורך השורה לתנועת השפתיים פריים-אחר-פריים — הוא בודק רק קטעים שבהם המודל נתן ביטחון נמוך. במקום שעות על סצנה נשארות דקות של תיקונים ממוקדים, והם לא שוברים את הקצב של השורות השכנות.

שימור גוון הקול — החצי השני של התוצאה. השכפול נעשה לפי פס ייחוס נקי של השחקן, ובעבודה אנחנו נשענים על הענף העדכני של ElevenLabs: הגוון מחזיק מעמד בשינוי רגש ועוצמה, ולכן הצופה לא שומע "אדם אחר" באמצע הסצנה.

סוג הכשל "השפתיים לא התאימו" נעלם כקטגוריה. ארטיקולציה וקול מחושבים יחד, ולא בשני מעברים בלתי תלויים, ולכן חוסר הסנכרון לא מצטבר לקראת סוף שורה ארוכה. אישור הסצנה מצטמצם לקריטריון פורמלי: פער בפריימים וקריאות הדיבור בטווח התקין — הסצנה מאושרת, ולא חוזרת לתיקון.

פורמטים של דיבוב AI: מצב סגמנטלי ומצב זרימה

מצב הדיבוב נבחר לא לפי טעם, אלא לפי מה שמונח בפסי המקור ומה שאמור להתקבל בפלט. עיבוד סגמנטלי חותך את החומר לשורות נפרדות, מתרגם ומסנתז כל אחת מחדש — אפשר להזיז את הביטוי בזמן, להחליף קול בשורה מסוימת ולמקסס מחדש את הפס עם מוזיקה ורעשים.

מצב זרימה של דיבוב הולך עם הסאונד קדימה בלי סימון מוקדם ומוסר תוצאה בהשהיה קטנה, אבל אי אפשר לתקן קטע שכבר נמסר.

מגבלות לפי חומר הן לעתים חשובות יותר מהמצב עצמו: שורות קצרות של מילה-שתיים וביטויים שחופפים זה לזה — המקור העיקרי לחוסר סנכרון בשפתיים. בפועל הסכמה העובדת היא היברידית: מעבר גולמי במצב זרימה, ואחר כך כוונון סגמנטלי של המקומות שבהם הארטיקולציה לא תאמה לפריים.

שלבי העבודה על הפס המדובב

דיבוב עם סנכרון שפתיים הוא לא תרגום טקסט, אלא הרכבה מחדש של הפסקול: השורות מדובבות מחדש, והארטיקולציה מותאמת לוידאו המקורי. סדר הצעדים קבוע, כי תיקון בשלב מאוחר גורר אחריו הרכבה מחדש של כל הפס כולו.

1. ביקורת פסים. מפרקים את המאסטר לדיאלוג, מוזיקה ורעשים, מעריכים את ניקיון השורות, מסמנים סצנות שבהן הדיבור חופף לאפקטים או נשמע מחוץ לפריים. התוצאה — סכמת פסים ורשימת מקומות בעייתיים.
2. הכנת התסריט. מרכיבים את השורות עם קודי זמן ובוחרים ניסוחים שמתאימים למקור באורך ובקצב: הביטוי צריך להיכנס לתנועת השפתיים, ולא להיחתך בעריכה.
3. כוונון מודלים קוליים. לכל דמות מקבעים קול נפרד — גוון, קצב, אינטונציה — ומכיילים אותו לטווח הרגשי של התפקיד: בלי זה בצעקה הקול "שוחה".
4. הרכבת הפס. מקססים את השורות המסונתזות עם מוזיקה ורעשים, מיישרים עוצמות, מחזירים הפסקות ובודקים את משך כל ביטוי ביחס למקור.
5. בדיקה על סצנות בקרה. מריצים תקריבים, דיאלוגים מהירים וסצנות רגשיות — שם חוסר הסנכרון הכי בולט. את סט הסצנות מתאמים מראש, לפני מיקסוס כל הפס.
6. מסירת הפרויקט והדרכת הצוות. מוסרים פסי מאסטר, סכמת פרויקט, פרמטרים של מודלים קוליים והוראות קצרות, כדי שאנשי הצוות שלכם יעדכנו שורות בלעדינו.

סצנות הבקרה מאושרות לפני המיקסוס הסופי, ולכן התיקונים נשארים מקומיים ולא הופכים להרכבה חדשה. זה גם חוסך את המשאב העיקרי של הפרויקט — זמן מחזור.

מה מועבר לידיים: פרויקטים, פריסטים, נהלים

אנחנו מוסרים לא "קבצי מקור בדיסק", אלא ערכה שעורך הווידאו, מעצב הסאונד והמפיק עובדים איתה בלעדינו. כל ארטיפקט סוגר שלב מסוים: משימור מחדש של שורה ועד אישור המאסטר הסופי ותיקונים חודש אחרי המסירה.

• פרויקטים עובדים של פסים — סשנים נפרדים לפי שורות עם סימון טיימקודים שמור, כדי להרכיב סצנה נפרדת בלי להריץ את כל הסרט מחדש.
• פריסטים של קולות לפי דמויות — גוון, קצב ופרופיל אינטונציה קבועים לכל תפקיד: שורה חדשה נשמעת באותו קול כמו בפרק הראשון.
• סכמת ניתוב סאונד — מפת פסים: דיאלוגים, מוזיקה, רעשים, פונוגרמה בינלאומית. רואים מה עובר מיקסוס ומה נכנס למאסטר כמו שהוא.
• דרכון הפרויקט — שפת מקור ושפת דיבוב, קצב פריימים, רזולוציה, רשימת סצנות וטבלת התאמה דמות — קול — שחקן מדבב.
• נוהל אישור — צ'קליסט שלב-אחר-שלב: ארטיקולציה, ליפסינק בתקריבים, היעדר חוסר סנכרון, רמת עוצמה, הפסקות לשורות.
• הוראות עריכה — היכן להניח את הפסים, באיזה סדר להפעיל, איך להחליף שורה אם הלקוח ביקש לתקן ניסוח.
• יומן החלטות — מה ולמה נדחה: סצנות עם חפיפת דיבור, מקומות שבהם נאלצו לשנות את אורך הביטוי בהתאם לארטיקולציה.

סכמת הפסים ודרכון הפרויקט מסירים את הסיכון העיקרי של הפוסט-פרודקשן — את התיקון מבצעים לפי מסמך, ולא לפי זיכרון. נוהל האישור מקבע את הקריטריונים מראש, ולכן הוויכוח "מוצא חן בעיניי / לא מוצא חן בעיניי" הופך לבדיקה לפי סעיפים. נדבר על המשימה שלכם — נחזור עם הרכב הערכה לפורמט ולנפח חומר ספציפיים.

מקרה בוחן: ליפסינק לסדרה בלי פגמי ארטיקולציה

חומר עונתי שונה מסרט בודד בכך שהפרקים קשורים זה לזה: קולות הדמויות, קצב הדיבור, הפריימים הרגילים. טעות בפרק אחד גוררת הרכבה מחדש של השכנים, ולכן לוקליזציה של עונה כמעט תמיד נתקלת בתפוקה של ההתאמה הידנית של הארטיקולציה.

איפה זה נשבר

בקלט היה תרגום ודיבוב מוכנים, בפלט נדרש ליפסינק שלא הורס את הבעות הפנים. עריכה ידנית מחדש נדרשה בכ-40% מהסצנות — תקריבים, דיבור מהיר, דיאלוגים עם חפיפת שורות.

פרק יצא למסירה תוך 8–10 ימים, והחזרות להרכבה מחדש הצטברו ל-4–5 בעונה: פער בעיצורים נמצא כבר בהקרנה הסופית, והעבודה חזרה לסבב שני.

מה שינו

הפרק חולק לסגמנטים לפי שורות וסמנים פונטיים, הסנכרון חושב סגמנטלית, ולא לפי החומר כולו. התוצאה הושוותה לדרישות הדיבוב של הפלטפורמה Netflix והארטיקולציה נבדקה בפריימים מפתח אוטומטית — לפני שאדם צפה בסצנה. העורך טיפל רק בסגמנטים שנויים במחלוקת עם תוצאת בדיקה גבולית.

מה קרה בסוף

שיעור הסצנות עם עריכה ידנית מחדש ירד מכ-40% ל-7%, ההחזרות להרכבה מחדש — מ-4–5 בעונה לאחת, וזמן מסירת הפרק התקצר מ-8–10 ל-4–5 ימים. נעלם גם סוג הפגם שהופיע קודם רק באישור: חוסר סנכרון של עיצורים בתקריבים. העונה נמסרת בלוח זמנים אחיד, ולא בקפיצות לקראת ההקרנות הסופיות.

מה לעשות אם החומר כבר מדובב וערוך

אפשר להטמיע סנכרון שפתיים בחומר שכבר דובב, אבל הכול תלוי במה שנשמר בפרויקט. אם פס הדיבור מונח בנפרד מהמוזיקה והאפקטים, העבודה מצטמצמת להרכבה מחדש של שכבת הדיבור בלבד: הארטיקולציה נבנית מחדש לפי התרגום הקיים, והרקע נשאר ללא שינוי.

אם נשאר רק המיקס הסופי, את הפס צריך לפרק בחזרה — להפריד לדיבור, מוזיקה ואפקטים. ההפרדה לא יוצאת נקייה: בשכבת המוזיקה נשארים עקבות של הקול, בשכבת הדיבור — הדהוד של האולם ורעש.

לכן קודם מאזינים לקטעים שבהם הדיבור מעל המוזיקה, ולהפסקות: אם בדממה נשמע "רפאים" של הקריין, את השכבה מנקים ידנית, ולא סומכים על האוטומציה.

הלאה — תזמון. הסנכרון נשען על זיהוי פונמות ומיקום השפתיים, וכאשר אורך ביטוי התרגום לא תואם את הארטיקולציה המקורית, יש שני נתיבים: למתוח את הווידאו או לדבב מחדש את הביטוי תוך שמירה על המשמעות והאורך. הנתיב השני עדיף — הוא לא קורע את העריכה ולא משנה את אורך הסצנות.

מיקסוס עם מוזיקה הוא השלב המסוכן ביותר: אי אפשר פשוט להניח את המוזיקה והאפקטים מעל. שומרים על העוצמות, הפאזה והדינמיקה שלהם, ואת פס הדיבור משלבים כך שלא יבלוט בהדגשות רועשות.

את המאסטר המוכן משווים למקור בקטעים באופן עיוור ומריצים במערכות השמעה שונות — מאוזניות ועד למיקס טלוויזיוני, אחרת הפערים יצופו אצל הצופה.

ספקות טכניים סביב דיבוב AI

לפני תחילת הפרויקט הלקוחות שואלים את אותן שאלות — על זכויות על הקול, סצנות רועשות, שורות קצרות וגרסאות רב-לשוניות. להלן תשובות ענייניות: איך זה בנוי בעיבוד והיכן עוברים גבולות הישימות.

מה לעשות עם סצנות רועשות וחופפות?

את המיקס מפרקים לפס דיאלוג, מוזיקה ורעשים, ועובדים בדיוק עם הדיבור, ולא עם המיקסוס הסופי — אחרת הארטיקולציה "שוחה" מתחת לרעש. חפיפות מפרקים לפי קטעים שבהם השורות מופרדות בזמן, ולא מונחות זו על זו.

האם זה עובד על שורות קצרות?

"כן", "לא", אנחות — הסוג הכבד ביותר: יש מעט צלילי עוגן, ולפיהם קשה לכוונן את השפתיים. שורות כאלה עוברות במעבר נפרד עם בדיקה ידנית של הארטיקולציה, ולא בהרצה כללית יחד עם ביטויים ארוכים.

איך בנויות גרסאות במספר שפות?

הסימון הפונטי ורשת הזמן מחושבים פעם אחת ומשמשים מחדש לכל הגרסאות הלשוניות — משתנה רק סינתזת הדיבור. הוספת שפה הופכת למעבר חוזר על השורות, ולא לעיבוד חדש של הסצנה.

נדבר על המשימה: נחזור עם הערכה ותוכנית

כדי לחזור עם הערכה ותוכנית עבודה, אנחנו צריכים נתוני פתיחה על החומר: ככל שנראה סצנה אמיתית מוקדם יותר, כך נדייק בלוחות הזמנים ובמורכבות השלבים. אפשר לאסוף את כל המפורט בהתקרבות אחת, אין צורך בהכנה נפרדת מצדכם.

• מקור באיכות המרבית הזמינה, ואם הוא נשמר בפרויקט, פס נפרד עם דיבור נקי של השחקנים המקוריים;
• תרגום מוכן או תמלול גולמי של השורות עם טיימקודים; אם אין תרגום — נעריך את הכנתו כשלב נפרד;
• גלוסר: שמות, כינויים, מונחים, הטעמות ואיך לבטא אותם בפריים;
• זוג שפות ודרישות לקולות: טיפוס, גיל, גוון, דוגמאות של שחקני דיבוב שמוצאים חן בעיניכם;
• מבנה החומר: מספר השורות, שיעור הטקסט מחוץ לפריים, שירים וסצנות עם חפיפת קולות צפופה;
• דרישות לפלט: פסים נפרדים, קונטיינרים, קצב פריימים, האם נדרש מיקס סופי;
• פרקים בעדיפות ולוחות זמנים: מה נדרש מוקדם יותר, כדי לפצל את העבודה לפי סצנות.

על סצנת בדיקה באורך שתיים-שלוש דקות אנחנו מריצים את כל המסלול: זיהוי דיבור, דיבוב AI גולמי, התאמת קולות לטיפוסים, סנכרון ארטיקולציה והרכבת פסים. אתם מקבלים קטע שממנו רואים את האיכות על החומר שלכם, ואנחנו — הבנה של המורכבות האמיתית. אחרי זה נחזור עם הערכת הפרויקט, תוכנית עבודה לפי שלבים וגבולות ישימות כנים לפי סצנות.