שיבוט קול ללא אימון: העתקת קול לפי דוגמה

Zero-shot voice cloning: היכן נשבר גוון הקול

Zero-shot voice cloning אינו דורש אימון נוסף על קולו של דובר: המודל שולף טביעה אקוסטית מ-10–30 שניות של הקלטה ומסנתז באמצעותה כל טקסט. כל עוד הדגימה נקייה והמשפט קצר, ההחלפה אינה נשמעת אפילו למי שמכיר את הקול: גוון הקול, הפורמנטים והצרידות האופיינית במקומם.

הכשל מתחיל במקום שבו התנאים שונים מהדגימה. דגימת דיבור רועשת גוררת לטביעה המהום חדר, רשרוש בגדים ונקישות מיקרופון — הסינתזה משחזרת אותם יחד עם הקול.

בטקסט ארוך מתווסף גוון קול לא יציב: עד הפסקה השלישית הקול גולש באופן בלתי מורגש הצידה, הנשימה נשברת באמצע המשפט, וההטעמות נופלות על מילות פונקציה.

צרה נפרדת היא החלפת האינטונציה. שאלה, קריאה, שיא רגשי דורשים פרוזודיה אחרת, ומודל שהוגדר לקריאה אחידה או מחליק אותה למונוטוניות, או מאבד את גוון הקול. מבחינה טכנית זה נראה כעלייה בשגיאה בהשהיות ארוכות ובסופי משפטים — דווקא שם המאזין תופס את ההחלפה.

המחיר של כשל אינו משפט אחד אלא כל המנה. מתוך מאתיים קליפים, עשרים הראשונים נשמעים אמינים, משם והלאה יש סחיפה, והאזנה מדגמית מתעדת פגם בדיבוב במחצית מהמקרים. הבחירה פשוטה: להקליט מחדש ידנית או להכין את הדגימה אחרת — נבחן כיצד זה נסגר.

מה נותן שיבוט קול לפי דגימה אחת

שיבוט קול לפי דגימה מסיר את השלב הארוך ביותר — הקלטת סשן ייחוס, תיוג קורפוס דיבור ואימון מודל עבור דובר מסוים. די בקטע קצר של דיבור נקי כדי שהסינתזה תפעל לפי הדגימה, ולא לפי עותק שאומן בנפרד.

• שיעור ההקלטה מחדש הידנית יורד. שורות שפעם הוקראו מחדש למיקרופון בגלל פליטות פה ותיקוני תסריט, מתוקנות כעת בטקסט — הפס כולו נבנה מחדש, בלי אולפן ובלי דובר.
• זמן ההשקה של הקול — ימים במקום שבועות. אין איסוף קורפוס ואין כיול לדובר: הדיבוב הראשון יוצא באותו יום שבו אושרו הדגימה והתסריט.
• יציבות גוון הקול בפסים ארוכים. הקול לא "שט" בין טייקים ולא משנה אינטונציה לקראת סוף ההקלטה: שורה בהתחלה ואחרי שעה של חומר נשמעת זהה.
• קול אחד בכל השפות. דיבוב רב-לשוני נעשה באותו גוון קול ובאותה סגנון — מאזין בגרסה בשפה אחרת שומע את אותו דובר, ולא דובר דומה.
• גרסה אחידה של הקול עבור הצוות. תיקון ניסוח או בנייה מחדש של משפט בודד אינם דורשים ביקור נוסף באולפן ואינם שוברים פסים שכבר הורכבו.

ניתן לבדוק את האפקט בפס הראשון: משווים את הסינתזה לדגימה לפי גוון קול, קצב והגיה, וסופרים את שיעור השורות שעברו להקלטה מחדש ידנית. ענפים רב-לשוניים אנו מרכיבים על מודלים כמו ElevenLabs, שבהם גוון הקול מועבר בין שפות בלי הקלטה נפרדת לכל שפה.

גישות לשיבוט קול והמגבלות שלהן

הבחירה של שיטת שיבוט הקול מתחילה בשתי שאלות: כמה דיבור נקי יש לדובר ומה צריך להתקבל בפלט — שורות חדשות או גוון קול מוחלף בהקלטה קיימת. מכך תלויים הדרישות מהדגימה, זמן ההכנה, ואילו מגבלות של סינתזת דיבור יתגלו כבר בעבודה.

מה להשוות לפני ההתחלה

האפשרויות אינן סותרות זו את זו: בהתחלה די בשיבוט לפי דגימה, וכשנפח הדיבוב גדל, אותו קול מועבר למודל שעבר אימון נוסף. לפני הבחירה אנו בודקים את הדגימה לארטיפקטים ומרכיבים סט בדיקה של משפטים — כך מגבלות השיטה נראות לפני ההשקה, ולא אחריה.

כיצד אנו מיישמים שיבוט קול: שלבי העבודה

שיבוט Zero-shot מסיר את המכשול העיקרי: לא מאמנים מודל נפרד לכל דובר, והקול משוחזר לפי דגימת דיבור קצרה. אבל צוואר הבקבוק נשאר הדגימה עצמה — אחידות ההקלטה משפיעה על התוצאה יותר מכל הגדרה. לכן היישום מתבצע בשלבים, שבהם כל צעד נשען על הצעד הקודם שנבדק.

1. אבחון המשימה ואיסוף דגימות. מתעדים את נפח הדיבוב, השפות, מספר הקולות והדוברים, ודרישות לסגנון — קריינות, שיחה, רגשי.
2. הכנת דגימת דיבור. מנקים את הפס מרעש, הדהוד, נקישות ושאיפות, חותכים לקטעים באותו קצב ובעוצמה אחידה, ופוסלים קטעים עם חפיפה. בפלט — סט ייחוס שדרכו הקול משוחזר ביציבות.
3. כיול סינתזת דיבור. מאזנים בין דמיון גוון הקול לבין בהירות, קובעים קצב, הפסקות ואינטונציה של שאלה ושל קביעה. בנפרד מטפלים במילון הגיות: מספרים, תאריכים, ראשי תיבות, שמות וטופונימים.
4. יצירה ניסיונית. מריצים סט בקרה של משפטים — שורות קצרות, תקופות ארוכות, מונחים ומספרים. משווים למקור, מתקנים הגייה ואינטונציה עד להתאמה בסגנון.
5. האזנה עיוורת. קבלה: הלקוח מקבל קטעים מעורבבים של סינתזה ושל הקלטה חיה, וקובע בשמיעה מה הוא מה. ההחלטה מתקבלת לפי שיעור הזיהויים הנכונים, לא לפי רושם כללי.
6. מסירה ותקנון תפעול. מוסרים ממשק או אינטגרציה, מתארים דרישות לדגימות חדשות, מגבלות עומס וסדר חזרה לגרסאות קודמות של הקול. בנפרד מתעדים את הסכמת בעל הקול — בלעדיה הקול לא נכנס לעבודה.

ארטיפקטים של הפרויקט: פרופילי קול, תקנונים, מילונים

פתרון מוכן בלי ארטיפקטים שנמסרים נשאר אצל הקבלן: כשמחליפים דובר, ספק או צוות תוכן, הכול צריך להיבנות מחדש. לכן פרופילי קול, מילונים ותקנונים אנו מנסחים כחלק מהתוצאה — עם גרסאות, בעלים וסדר עדכון ברור. להלן מה בדיוק תקבלו בפלט וכיצד צוות התוכן משתמש בכך בלי לפנות למפתחים.

• פרופיל קול לכל דובר: ייצוג וקטורי, קטעי הקלטה לייחוס, טווחי קצב ועוצמה מותרים, וגם גבולות ישימות — היכן הסינתזה נשמעת אמינה והיכן נדרשת הקלטה אולפנית.
• מילון הגייה עם ראשי תיבות, שמות, מספרים, תאריכים וכתב לטיני: כללי תעתיק של הטעמות וחלוקה להברות בפורמט שקולט אותו קו הסינתזה.
• קו הכנת טקסט: נרמול מספרים וקיצורים, הצבת הפסקות והטעמות, בדיקת אורך המשפט — בקלט טקסט ערוך, בפלט טקסט מתויג לדיבוב.
• תקנון דיבוב: מה מותר לסנתז, איזה אורך שורה נחשב לעובד, וכיצד מעצבים גוונים רגשיים ותוספות שירות.
• תקנון קבלה: קריטריונים לכשירות הפס, רשימת פגמים אופייניים, סדר ההאזנה והחתימה — את הקבלה מבצע צוות התוכן, לא מהנדס.
• הוראות לצוות התוכן: תרחיש צעד-אחר-צעד מהטקסט ועד הקובץ המוכן, עם דוגמאות של "כך נכון / כך לא", כולל שגיאות תיוג אופייניות.
• מסמכים על הזכויות בקול הדובר: הסכמה עם תחום השימוש, התקופה והטריטוריה, מגבלות על תכנים מסוימים וסדר ביטול הסכמה.
• תרשים ניהול גרסאות של פרופילים: הגרסה הקודמת של המודל והמילון נשמרת, ולכן חזרה לצליל הקודם אורכת דקות, ולא מחזור הקלטה חדש.

מקרה בוחן: קול הדובר במקום סשנים חוזרים באולפן

אחד המקרים שלנו של שיבוט קול — יצרן קורסי וידאו לימודיים LinguaPro. את ההרצאות הקריא דובר אחד: כמה עשרות שעות חומר בשנה, וכל תיקון בדיבוב חייב הזמנה חדשה של אולפן, עריכה ומיקס.

הסרנו את התלות באולפן בכך ששחזרנו את קול הדובר לפי דגימת הקלטה קצרה — בלי אימון נוסף של המודל לכל פרויקט.

מדדים לפני ואחרי

לפני: כשליש מהתיקונים עברו להקלטה מחדש באולפן — אי אפשר היה לתקן ניסוח באמצע מודול באופן מקומי, והפס הוקלט כולו. שיעור הטייקים הפסולים עמד על כ-20%: ההגשה "שטה" לקראת סוף המשמרת, ופסקאות הוקלטו מחדש. עדכון הדיבוב לאחר אישור התיקונים ארך שבוע.

אחרי: סשנים באולפן עבור תיקונים — אפס, הכול עובר לסינתזה. שיעור הטייקים הפסולים — כ-4%, הקבלה נעשית לפי תמלול והאזנה מדגמית למקומות בעייתיים. עדכון הדיבוב — כעשרים דקות למודול, יחד עם החלפת הפס במאסטר ובדיקת סינכרון עם הווידאו.

מה עשינו לשם כך

אספנו ספרייה של הקלטות נקיות של הדובר בכמה משלבי אינטונציה, קבענו את הגיית המונחים וראשי התיבות ברשימת חריגים, והוספנו בדיקת סינכרון אוטומטית ותיוג הפסקות. הסינתזה מוציאה מקטעים שנבנים באותו תרחיש עריכה כמו קודם — העורכים המשיכו לעבוד בתהליך הרגיל.

בנפרד סיכמנו את גבול הישימות: לנושאים חדשים בהגשה לא סטנדרטית אנחנו עדיין מאשרים את הדגימה עם הדובר.

במה שונה שיבוט לפי דגימה מאימון נוסף של המודל?

שיבוט לפי דגימה ואימון נוסף של מודל קולי פותרים משימה אחת באמצעים שונים. במקרה הראשון המודל מקבל כמה שניות של הקלטה נקייה ומעביר גוון קול וסגנון דיבור לטקסט שרירותי בלי לשנות משקלים — הקול החדש זמין בתוך דקות.

במקרה השני המשקלים מתעדכנים על סט מוכן: עשרות דקות של דיבור של דובר אחד, מתויג לפי טקסט, שהוקלט בחדר אחד ובמיקרופון אחד.

ההבדל בין הגישות מתגלה прежде בפועל בהגיות נדירות. שיבוט לפי דגימה ממצע את ההגיה לטיפוסית שבמערך האימון, ולכן שמות משפחה, ראשי תיבות, שמות תרופות ומונחים ענפיים עשויים להישמע לא בטוחים.

אימון נוסף מקבע את הפונטיקה של דובר מסוים על החומר שלו — איכות השיבוט שם גבוהה יותר, אבל את הסט צריך לאסוף, לתייג ולתחזק בעת החלפת קול.

מהירות ההשקה והאיכות כאן קשורות ביחס הפוך. פתרונות על בסיס XTTS וארכיטקטורות דומות מאפשרים להחזיק את שני המצבים במעגל אחד: הקול הבסיסי עובר אימון נוסף על הקורפוס, ותפקידים אפיזודיים מוכנסים לפי דגימה בתוך דקות.

ספקות טכניים ומגבלות של שיבוט קול

שיבוט לפי דגימה קצרה מסיר את הצורך בסשנים באולפן, אבל אינו מבטל את מגבלות סינתזת הדיבור. חלק מהכשלים נפתרים בהכנת טקסט, וחלק — רק בהחלפה לדובר חי. אנו מפרידים בין המקרים האלה לפני תחילת ההקלטה, ולא בשלב המיקס.

אילו רגשות קשים יותר?

הגשה נרטיבית ועסקית ניטרלית משוחזרות ביציבות — עליהן כדאי לבנות את עיקר הנפח. קשים יותר: צעקה, לחישה, צחוק, אירוניה, שבר, דיבור עם חפיפת שורות: קו האינטונציה ו"הנשימה" של המשפט הולכים לאיבוד.

לסצנות משחק ולסרטונים עם קשת רגשית אנו ממליצים להשאיר דובר, ולהשתמש בסינתזה להקלטה מחדש של שורות בודדות.

מתי עדיף להשאיר דובר חי?

קול חי הכרחי במקומות שבהם גוון הקול הוא חלק מהמותג או מהתפקיד ונדרשת פרשנות אישית: דמויות דרמטיות, הודעות בעלות משמעות משפטית, הדרכה עם עומס אינטונציה עדין. קטעים כאלה אנו מתעדים במפרט מראש, כדי לא לעשות מחדש חומר מוכן.

כיצד בנוי בקרת האיכות?

הקבלה נעשית לפי רשימת בדיקה: הערכה עיוורת על ידי דוברי שפת אם, בדיקת בהירות במונחים בעייתיים, האזנה לחיבורים בין שורות ולמעברים חדים בעוצמה, השוואת גוון הקול לדגימת הייחוס בקטע ארוך — חיתוכים קצרים מסתירים סחיפת קול. מה שלא עובר את הסף עובר לסינתזה חוזרת או לדובר.

נדון במשימה: אילו נתונים נדרשים להערכה

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם מילים כלליות, אנחנו צריכים נתוני פתיחה על המשימה. Zero-Shot Voice Cloning נבדל בכך מסינתזה קלאסית: את המודל לא מאמנים על ארכיון הקלטות של שעות רבות, הוא נשען על דגימת קול קצרה לייחוס.

לכן עיקר הזמן הולך לא על איסוף נתונים, אלא על תיאום תרחישים, זכויות ונקודות אינטגרציה — ונתוני הפתיחה האלה הם שקובעים את לוחות הזמנים.

• תרחישי דיבוב: היכן הקול נשמע — טלפוניה, וידאו, אפליקציה, חומרי פרסום; סוג המשפטים ונפח הסינתזה הכולל בחודש.
• הקלטת ייחוס של הדובר: כמה דקות של דיבור נקי בלי מוזיקה, רעש והד, רצוי מיקרופון אחד ומרחק הקלטה אחד.
• שפות ומבטאים: האם נדרש מעבר לשפה אחרת תוך שמירה על גוון הקול, או רק דיבור בשפת המקור.
• זכויות בקול: הסכמה בכתב של הדובר או הסכם עם בעל הזכויות — בלי זה לא מתחילים את העבודה.
• מצבים רגשיים: היכן נדרשת הגשה ניטרלית, היכן שאלה, קריאה או קריאה רגועה.
• נקודות אינטגרציה: לאן למסור את הסאונד המוכן — טלפוניה, נגן באפליקציה, קו עריכה.
• דרישות לאחסון: העיבוד בצד שלכם או אצלנו, וכיצד נשמרות ההקלטות המקוריות והמוכנות.
• שתיים-שלוש דוגמאות של "כך זה צריך להישמע" ואחת של "כך בדיוק זה לא צריך".

ייתכן שחצי מהסעיפים לא יהיו — חלק נאסוף בשיחת וידאו ונתעד במסמך. תארו את המשימה בצורה חופשית וציינו מה כבר מוכן: נחזור עם הערכה ותוכנית עבודה לפי שלבים.