קול אחיד לכל השפות: TTS רב-לשוני עם שימור גוון הקול

TTS רב-לשוני: היכן נשברת אחדות הקול

הקול של המותג מתפצל לארבעה קריינים שונים בדיוק במקום שבו תוכנן קול אחד. כל שפה מטופלת בדרך כלל על ידי מודל משלה: יש לו קורפוס הקלטות משלו, אלפבית פונמי משלו וכללי אינטונציה משלו — ובמפגש בין השפות האחדות נעלמת.

ההבדל נשמע מיד: משפט ברוסית נשמע נמוך ואיטי יותר, באנגלית — יבש וממהר יותר. קול שונה בשפות שונות נקרא על ידי המאזין כשני מותגים שונים, והסינתזה הרב-לשונית מפסיקה לתפקד כממשק קולי אחיד של המוצר.

דיבוב במספר שפות על ידי קריין «אמיתי» גם הוא לא פותר את הבעיה: דובר ילידי רק לעיתים רחוקות שולט בכל השפות באותה מידה, והמבטא בולט במשפטים ארוכים. לכך מתווסף אי-סינכרון בין הגרסאות — תיקון טקסט מחייב הקלטה מחדש, וכל שפה חדשה מתחילה מאפס.

שימור טימבר הקול בנוי אחרת: מלמדים את המודל להעביר מאפיינים של דובר מסוים — טימבר, קצב, הבעה רגשית — אל הפונטיקה של שפה אחרת. השפה משתנה, הדובר נשאר אותו אחד, משום שזהות הקריין מופרדת מההגייה של משפט בודד.

דווקא על ההעברה הזו נשחקת לרוב האיכות: אם מערבבים את המאפיינים בגסות, הקול יוצא דומה אך שטוח, עם אינטונציה מרוסקת של שאלה וקריאה. נבחן כיצד סוגרים זאת בפרודקשן: מה נכנס כקלט, כיצד נבדקת התאמת הקולות בין השפות והיכן עובר הגבול בין קביל לכישלון.

מה נותן קול מותג אחיד בכל השפות

טימבר הקול של המותג מקודד פעם אחת — לפי הקלטת אולפן ייחוס — ומכאן משמש כבסיס לסינתזה בכל השפות. TTS רב-לשוני בסכמה כזו מעביר לא רק את גובה הקול והגוון, אלא גם את אופן הדיבור: קצב, אורך ההפסקות, רכות ההתקפה, קווי האינטונציה הרגילים.

אנו בונים זאת על חיבור עם ElevenLabs ותוספות משלנו מעל מילוני הגייה. כתוצאה מכך הגרסה הגרמנית של הממשק נשמעת כמו אותו אדם שבדיבור הרוסי, ולא כקריין אחר בעל טימבר דומה.

זמן ההפצה של גרסה לשונית מפסיק להיות תלוי בלוח הזמנים של האולפן. בעבר המחזור היה תקוע בחיפוש אחר דובר ילידי, שכירת חלל, מיקס ומאסטרינג — מספר שבועות לכל שפה, והכול מחדש בכל תיקון טקסט. כעת לוקאל חדש מורכב מטימבר מוכן: דיבוב טיוטה מופיע באותו יום, והסופי — לאחר הגהת המילון וקבלה. תיקון ניסוח בממשק כבר אינו מפעיל ייצור.

הוויתור על הקלטה מחדש של הקריין מסיר סוג שלם של פגמים שכמעט בלתי אפשרי לאתר אוטומטית: מיקרופונים וחללים שונים בין סשנים, פערי עוצמה בין בלוקים, משפטים מיושנים שנשארו בפרודקשן לאחר עדכון הטקסט.

בעבר אי-ההתאמות הללו אותרו בשמיעה ותוקנו בהקלטות חוזרות; כעת כל שורה מסונתזת ממקור אחד, וגרסת הדיבוב תמיד תואמת את גרסת הממשק.

את איכות הדיבוב של הממשק אנו בודקים בקבלה מסודרת ולא «לפי השמיעה»: סטים נפרדים של משפטים למספרים, ראשי תיבות, טופונימים ושמות מוצרים, מילון הטעמות לכל לוקאל, וסט רגרסיה לגרסאות חדשות.

בפלט, שיעור השורות הדורשות ליטוש ידני נשמר בטווח של כמה אחוזים, ואי-ההתאמות בין השפות מפסיקות להיות הפתעה לתמיכה.

TTS רב-לשוני: אפשרויות מימוש ומגבלות

הבחירה כאן מצטמצמת לשלושה צירים: כמה שפות יש לכסות, האם זה חייב להיות אותו קול, והיכן מתבצעת הסינתזה — בתוך המתאר שלכם או מחוצה לו. השילוב של תנאים אלה קובע את האפשרות המעשית, ואיתה — את מערך המגבלות שיהיה צורך לקבל.

בפועל לרוב מערבבים בין האפשרויות: שפות נדירות נמסרות לסינתזה בענן, ואת הקול הראשי מחזיקים במתאר שלכם על מודל משותף. אנו בודקים סכמה כזו על סט המשפטים שלכם — לפי בהירות, אחידות הטימבר בין השפות והשהיית התגובה בתגובות קצרות.

כיצד אנו פורסים סינתזת דיבור: שלבי העבודה

TTS רב-לשוני אינו התקנה של מנוע מוכן, אלא הרכבה של פרופיל קולי לכל שפה, שבו הטימבר נשאר מזוהה וההגייה תואמת את הנורמה. העבודה מתנהלת בשלבים, ובכל שלב יש תוצאה שאפשר לבדוק.

1. ביקורת של הדיבוב הנוכחי. מקבעים את שפות היעד והתרחישים — רמזים בממשק, קטלוג, טקסטים ארוכים — ואת הדרישות לקצב, להפסקות, ולקריאת שמות ומספרים.
2. הכנת נתוני קול. מנקים את ההקלטות מרעש ומקפיצות עוצמה, מיישרים את הקטעים, ומסמנים אינטונציה. ככל שהקורפוס אחיד יותר, כך פחות ארטיפקטים בקול המוגמר.
3. סימון גרסאות לשוניות. לכל שפה — בסיס פונטי משלה וכללי הטעמה משלה. מקפידים שהקול לא «יחליק» לטימבר אחר בעת החלפת שפה.
4. הרכבת פרופיל קולי. מאמנים את המודל על הקורפוס המוכן ומכווננים את ההבעה; בודקים על משפטים קצרים וארוכים עם מספרים, תאריכים וראשי תיבות.
5. בדיקה על ידי דוברים ילידיים. דוברים ילידיים מקשיבים לסטים לבדיקה ומציינים הטעמות שגויות ואינטונציה לא טבעית. את ההערות מחזירים לסימון ומאמנים מחדש את הפרופיל.
6. קבלת סינתזת הדיבור. מריצים סט משפטים מוסכם, משווים בהירות ודמיון טימבר בין השפות, ומקבעים סף שמתחתיו הגרסה אינה נכנסת לשימוש.
7. מסירה. מוסרים את הפרופיל, תיעוד לגבי הנתונים וכללי הסימון, ותקנון: כיצד להוסיף משפטים ושפות חדשים בלי לאבד איכות.

מה נשאר בצד שלכם: פרופילים ותקנונים

דיבוב מפסיק להיות פרויקט חד-פעמי כשהממשק, הפרסום והתמיכה מדברים בקול זה במספר שפות בו-זמנית. כדי שהנכס לא יהיה תלוי בקבלן, חבילת האספקה כוללת לא רק ערוצי שמע מוכנים, אלא גם מסמכים שלפיהם הצוות שלכם יוכל לתחזק ולפתח את הדיבוב בעצמו.

• דרכון קול — קטעי ייחוס ותיאור הטימבר עם גבולות האינטונציה. לפיו משווים חומר חדש לזיהוי בלי הקלטה חוזרת של הקריין.
• פרופילים קוליים לפי שפות — מודל נפרד לכל שפה עם הגייה והטעמות משלו, אך טימבר משותף. חיבור שפה חדשה אינו שובר את הדיבוב שכבר אושר.
• סכמות ניתוב טקסט — איזה קטע עובר לאיזה פרופיל: ספרות, ראשי תיבות, שמות ומונחים מעובדים לפי כללים כתובים, ולא לפי השמיעה.
• כללי שימוש בקול — היכן הוא מותר, אילו ערוצים וניסוחים פסולים, כיצד מתקבעות הזכויות ומה עושים בעת החלפת קריין.
• תיעוד לסינתזת דיבור — מילון הגיות, הוראות הפעלה וכיול, רשימת תקלות אופייניות ודרכי הטיפול בהן.
• תקנון עדכון הדיבוב — מה מפעיל הקלטה מחדש, כיצד מתואמים התיקונים ובתוך כמה זמן טקסט מאושר עולה לשידור.
• סט משפטים לקבלה — דוגמאות בקרה שלפיהן אתם מקבלים כל עדכון ובודקים שהטימבר וההגייה לא סטו.

המסמכים נשארים במתאר שלכם: את הליווי אפשר לנהל בכוחות עצמכם או להפקיד בידינו.

מקרה בוחן: קול אחד לארבע שפות ממשק

הלקוח — שירות עם ממשק בארבע שפות. לוקליזציית הדיבוב התנהלה במקביל: לכל שפה קריין משלה, סט הקלטות משלו, לוח זמנים משלו באולפן. פורמלית הכול עבד, אבל בעת החלפת שפה המשתמש שמע ארבעה אנשים שונים — המוצר הפסיק להישמע כאחד.

איך זה היה לפני

הקטלוג — 11,400 הקלטות: ברכות, רמזים, שגיאות, שמות מדורים. כל תיקון טקסט נשלח לאולפן וחזר כעבור שלושה שבועות, והטימבר בין השפות נבדל עד כדי כך ש-61% ממשתתפי הקבלה לא זיהו את הקול בעת החלפת שפה. הגרוע מכל היה עם שורות חדשות: אותן הקריא קריין מזדמן, והפער הצטבר מגרסה לגרסה.

מה שינינו

הרכבנו קול ייחוס והעברנו את הטימבר שלו לכל ארבע השפות — לקריין השארנו רק את הארטיקולציה והאינטונציה של שפת היעד. הוספנו מילוני הגייה לשמות, לראשי תיבות ולמספרים: זו הסיבה הנפוצה ביותר לפגם בסינתזה רב-לשונית. את הקבלה העברנו למבחן זוגות עיוור: המאזין מציין האם שתי הגרסאות נשמעות כמו אדם אחד.

הקורפוס הצטמצם ל-900 הקלטות — קול אחד במקום ארבעה. זיהוי הטימבר בעת החלפת שפה עלה מ-61% ל-94%, והפצת גרסה עם דיבוב חדש התקצרה משלושה שבועות לארבעה ימים: את רוב השורות אנו מייצרים ולא מקליטים. החזרה לאחור אורכת דקות — אנו מחזיקים את הסט הקודם ומעבירים אליו את המצביע.

במה נבדל שיבוט קול מהעברת טימבר

הגישות נבדלות בשאלה מה בדיוק נכנס למודל. שיבוט קול מעביר את הטימבר יחד עם הארטיקולציה, הקצב והמלודיקה של התורם. העברת טימבר לוקחת רק «טביעה» ספקטרלית של הקול, ואילו את האינטונציה וההטעמות בונה מחדש לפי הנורמות של שפת היעד.

מכאן גם האובדנים השונים של טבעיות הסינתזה. בשיבוט «דולף» המבטא של התורם: המודל גורר אחריו את הארטיקולציה של שפת המקור, ובזוג שפות רחוקות פונטית זה נשמע במילות פונקציה. בהעברת טימבר ההגייה נקייה יותר, אך ההגשה אחידה יותר מזו של דובר חי: הטווח הרגשי צר יותר.

בחירת הגישה לדיבוב נקבעת לפי התרחיש, ולא לפי «איכות» המודל. במקום שבו הקול הוא חלק מהמותג (דיבוב הדובר, ספר שמע, עוזר קולי), שיבוט מוצדק. לדיבוב המוני של ממשק בעשר שפות, העברת טימבר יציבה יותר.

את התוצאה אנו בודקים בהשוואה עיוורת להקלטת ייחוס ובהערכת דוברים ילידיים על קורפוסי דיבור פתוחים כמו Common Voice.

שאלות טכניות נפוצות בנוגע לאיכות ולזכויות

ההסתייגויות ההנדסיות לגבי TTS רב-לשוני מצטמצמות לארבעה נושאים: ניקיון משפטי של הקול, הוספת שפה חדשה, אובייקטיביות הערכת הטימבר וקריטריוני קבלה פורמליים. להלן תשובות קצרות שבדרך כלל מסירות את השאלה לפני תחילת העבודה.

האם אפשר להוסיף שפה שהקריין אינו יודע?

כן, הטימבר מועבר לענף לשוני חדש באמצעות התאמה חוצת-שפות: הקריין מקריא סט פונטי ניטרלי, ואת ההגייה והאינטונציה מכייל דובר ילידי. בפלט — זהות קולית אחת בכל השפות, בלי «שחקן שני» בכל שוק.

כיצד אתם מודדים שהטימבר נותר מזוהה?

מרכיבים מבחן עיוור: דוברים ילידיים מקשיבים לזוגות «ייחוס — סינתזה» ומציינים האם הם שייכים לאותו אדם. בנוסף מחשבים מדד קרבה לייחוס, ובנפרד מריצים את האינטונציה של שאלות ושל מנייות. הקול מתקבל כאשר הזיהוי אושר על ידי פאנל שמיעתי, ולא רק לפי מספרים.

מה נכלל בבדיקה לפני המסירה?

סט משפטים לרגרסיה: מספרים, ראשי תיבות, שמות, מנייות ארוכות, טקסט משולב עם אותיות לטיניות. לכל שפה מקבעים בהירות וארטיפקטים, ומקומות שנויים במחלוקת מבררים עם דובר ילידי. גרסת הקול יוצאת לריליס יחד עם סט הבדיקה — כך התיקון הבא של ההגייה נבדק על אותו בסיס.

נדון במשימה שלכם: מהיכן נתחיל

השיחה הראשונה אינה מצגת, אלא בירור של משימת סינתזת הדיבור. יש להבין אילו שפות ואזורים נמצאים במתאר, איזה תוכן מדובב — קורסי הדרכה, שיחות טלפון, וידאו, ממשק — והאם קיימת הקלטה של קריין שטימבר שלו אמור להישמע זהה בכל השפות.

מנתוני הפתיחה הללו תלויה הארכיטקטורה: היכן נשמר הפרופיל הקולי, כיצד נבדקת ההגייה של שמות ומונחים, ומי מאשר את הייחוס.

בפגישה נברר:

• שפות וגרסאות הגייה בתוך שפה אחת — מכך תלוי היקף העבודה על פונטיקה והטעמות.
• סוג ונפח התוכן: דיבור חי בדיאלוג, דיבוב ארכיון הקלטות, או דיבוב ממשק ורמזים.
• מקור הקול: הקלטות מוכנות של הקריין, הסכמה לשימוש בטימבר, זכויות על חומר המקור.
• דרישות לתגובה: דיבוב זורם בזמן אמת או עיבוד באצוות של כמויות טקסט גדולות.
• נקודות אינטגרציה — מערכת ניהול לקוחות, טלפוניה, פלטפורמת הדרכה, נגן: לאן בדיוק אנו מוציאים את הצליל.
• מילונים של תחום הדעת: ראשי תיבות, מספרים, תאריכים, שמות מוצרים ושמות פרטיים.
• קריטריוני קבלה: כיצד דוברים ילידיים מעריכים טבעיות והתאמת טימבר, מי חותם על הייחוס.

בעקבות השיחה נחזור עם הערכת הפרויקט של הדיבוב, תוכנית הטמעה של הסינתזה בשלבים וטיוטת מפרט טכני לדיבוב. אליו נצרף קטע דמו בשפה ובקול שלכם, כדי שאפשר יהיה לשמוע את הפתרון לפני תחילת העבודה. תארו את המשימה בשתיים-שלוש פסקאות — נחזור עם הערכה, לוחות זמנים ותוכנית.