אימון המשך של TTS: היכן הקול המוכן נשבר
הקול הבסיסי קורא בצורה חלקה משפטים יומיומיים ונשבר באופן צפוי במקום שבו מתחיל התחום שלכם. ראשי תיבות עוברים לקריאה אות-אות, שמות שירותים ומק"טים נשמעים כמו רצף הברות אקראי, ומספרים ויחידות מידה נקראים בצורה שגויה.
מניונים ארוכים מאבדים את האינטונציה כבר בפריט השלישי, ומשפטים חוזרים מוקראים באותה הדגשה. דווקא על המשפטים האלה גדל שיעור הפניות לתמיכה: "הרובוט קורא לשירות בשם שגוי" נשמע בתדירות גבוהה בהרבה מתלונה על הגוון.
שגיאות הטעמה — קטגוריה נפרדת. המודל הכללי קובע אותן לפי שכיחות מתוך הדיבור היומיומי, ולכן מונחים ענפיים נקראים באקראי. הגיית מונחים נשברת גם בצמתים: אותיות לטיניות בתוך טקסט בשפה שלכם, קיצורים של עיצורים בלבד, מילים מורכבות. הלקוח שומע לא פגם קטן, אלא חוסר מקצועיות במוצר שלו עצמו.
הסיבה טכנית. המילון הפונטי וכללי הנרמול של הטקסט בקול הבסיסי מבוססים על אוצר מילים כללי. סינתזת דיבור לתחום ספציפי דורשת משהו אחר: מילון הגיות והטעמות משלה, כללי קריאה של מספרים, טווחים, יחידות וראשי תיבות, וסימון הטעמות בקורפוס האימון.
אימון המשך של TTS סוגר זאת באופן נקודתי — הקול ממשיך להתאמן על טקסטים של התחום, מקבל מילון חריגים וכללי נרמול, והאינטונציה של מניונים מותאמת בנפרד. את הטבעיות אנחנו בודקים לא לפי שמיעה: האזנה עיוורת על סט של משפטים אמיתיים מהתחום שלכם בתוספת הערכת בהירות. בהמשך נפרט כיצד זה נסגר.
אפקט מדיד: בהירות, נטישות, זמן תגובה
את איכות ההגייה בודקים על קורפוס מתויג: שמות, שמות מקומות, ראשי תיבות, שמות מספר, וצורות נטייה נדירות. אנחנו מחשבים את שיעור המשפטים שבהם ההטעמה, ההפסקה או הניקוד חרגו מהתקן — זהו שיעור שגיאות ההגייה.
אימון המשך של TTS על הקלטות של הלקוח מעביר את הפונטיקה של התחום לתוך המודל, והשגיאות במילים לא טיפוסיות יורדות פי כמה, ולא "באופן כללי נשמע טוב יותר".
בהירות הדיבור נמדדת בערוצים שבהם הפתרון באמת עובד. אות אולפן, ערוץ טלפוני צר-פס וערוץ עם רעש רקע נותנים הערכות שונות, ולכן האזנות עיוורות נעשות לפי סולם MOS בכל שלושתם.
המדד המרכזי הוא הפער בין ההערכה באולפן להערכה בערוץ: אם הוא נשמר בטווח של עשיריות, הבהירות לא מתפוררת אצל מנוי עם קשר גרוע.
זמן התגובה של הסינתזה מוערך לפי האחוזון ה-95 וה-99, ולא לפי הממוצע — הממוצע מסתיר את הזנב. מדידה נפרדת נעשית תחת עומס במקביל: אנחנו מחזיקים תור בקשות קבוע ובודקים אם ההשהיה גדלה לינארית או נתקלת בתקרה. הזרמת הצליל הראשון מקצרת את ההפסקה הנתפסת עד תחילת התגובה, גם כשהמשפט המלא נבנה לזמן ארוך יותר.
פניות חוזרות נספרות לפי לוגים: שיעור הסשנים עם בקשת חזרה, שיעור ההעברות לנציג, שיעור הדיאלוגים שבהם היה צריך לחזור על המשפט אחרת. אם השיעורים האלה לא זזים לאחר אימון ההמשך, הסיבה אינה בקול אלא בתסריט — וזה ניכר באותם מספרים.
את המדידות אנחנו מבצעים על אותו סט משפטים לפני ואחרי, כדי לייחס את השינוי לשינוי מסוים ולא לעונתיות של התעבורה.
דרכים להתאמת הקול: השוואת גישות
ההסתעפות פשוטה: או שהמודל כבר נשמע כמעט נכון וצריך "לטפל" בו במילים מסוימות, או שצריך גוון שאין לו. התאמת סינתזה לעתים רחוקות היא פעולה אחת — בפועל זה בחירה בין שלושה מסלולים, וכל אחד מהם נתקל בתקרה משלו.
קריטריון הבחירה: עד כמה הקול צריך להיות מזוהה כשלכם וכמה דיבור נקי של הקריין אתם מוכנים להקדיש לאימון.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| מילון הגייה | מונחים, ראשי תיבות, שמות מוצרים ומספרים נקראים באופן שגוי, והגוון מלבד זאת מתאים | משנה רק את ההגייה: האינטונציה, הקצב והגוון נשארים כשהיו. בדיבור רציף ובהומונימיה הכלל לא מציל — נדרש ניתוח הקשרי |
| כיוונון הקול (כיוונון עדין מעל מודל מוכן) | יש 20–60 דקות של הקלטת אולפן, ונדרש גוון קרוב בלוח זמנים צפוף | הקול נשאר מזוהה כ"לא שלכם"; בתחום תוכן צר ייתכנו נפילות. חובה בדיקה על טקסטים מהתחום, ולא רק על משפט בקרה |
| אימון על קורפוס משלכם | נדרש קול ייחודי של הקריין ותוצאה יציבה על אוצר המילים שלכם | דורש 5–20 שעות של דיבור מתויג, מיקרופון אחיד וסגנון קריאה אחיד. לוחות הזמנים והיקף הבדיקות גבוהים יותר, והאיכות נשענת בדיוק על איכות הקורפוס |
אנחנו לא בוחרים אפשרות "בעין": תחילה מריצים את הטקסט שלכם דרך המודל הבסיסי, מתעדים היכן בדיוק הוא נשבר — הגייה, אינטונציה או גוון — ורק אחר כך מציעים מסלול. את התוצאה בודקים באמצעות הערכת בהירות והשוואה עיוורת בתחום שלכם, עם יעד של MOS 4.3+.
שלבי העבודה ההנדסית על קול מותאם אישית
סדר השלבים כאן נוקשה: טעות בנתונים לא מתוקנת לא על ידי ארכיטקטורה ולא על ידי מספר צעדי האימון. לכן רוב העבודה עוסקת בהקלטות ובתיוג, ורק אחר כך במודל עצמו.
מהקורפוס אל המודל בפעולה
- ביקורת הקורפוס. מאזינים לכל מה שיש: כפילויות אולפן, הקלטות שיחות, שידורים ישנים. סופרים כמה שעות באמת כשירות, ומסמנים רעש, עומס-יתר ודיבור זר.
- נרמול וסכמת נתונים. פורמט אחד, מקטעים של 5–12 שניות, ללא חפיפות, עם עוצמת קול מיושרת. לכל מקטע — קריין, טקסט ותו איכות.
- תיוג ההקלטות. תמלולים נקראים ידנית: מספרים, שמות וראשי תיבות נכתבים כפי שהם צריכים להיקרא. מקטעים שנויים במחלוקת עוברים להאזנה נפרדת.
- אימון מודל הדיבור. מאמנים המשך מהמודל הבסיסי, ומשנים פרמטר אחד בכל איטרציה — אחרת לא ברור מה הביא את השיפור. אימון יתר נתפס על מדגם הוולידציה ועל דיבור שהמודל לא שמע.
- האזנות עיוורות וקבלה. דוברי שפת אם מעריכים את הטבעיות בלי לדעת איפה הסינתזה שלנו ואיפה הקלטת האולפן. הסף — MOS 4.3+, ובדיקה נפרדת לשאלות ולשינוי אינטונציה.
- מקרים מורכבים. מספרים, תאריכים, שמות נדירים, מילים ארוכות, דיבור מהיר — מריצים תרחישים שבהם הסינתזה נשברת לרוב.
- מסירה לפעולה. משקולות המודל, הגדרות הסינתזה, מילון ההגיות ומערך הבדיקות — כדי שניתן יהיה לעדכן את הקול בלעדינו.
אם הבדיקה העיוורת לא מגיעה לסף, אנחנו חוזרים לתיוג, ולא "מדביקים" את האיכות בצעדי אימון: הקול לא ייעשה אחיד יותר מכך, אבל ייווצר סיכון לאבד את הדיבור המקורי.
תוצרי הפרויקט: מודל, נתונים, נהלים
לאחר הפרויקט נשאר לכם לא רק הקול המסונתז, אלא גם כל מה שנדרש להפעלתו העצמאית: נתונים, סקריפטים לבנייה, הגדרות סינתזה וכללי עדכון. אנחנו מוסרים את התוצרים כך שאימון המשך חוזר על מנה חדשה של הקלטות לא ידרוש לחזור אלינו ולא יעצור שירות פעיל.
- מודל מאומן-המשך ומצבי ביניים של כל ריצה — יש לאן לחזור אם גרסה חדשה של הקול נשמעת אחרת מהצפוי.
- קורפוס האימון עם תיוג וסכומי ביקורת — מתעד על אילו נתונים הושגה התוצאה, והופך ריצה חוזרת לשחזורית.
- סקריפטים להכנת ההקלטות ולהרצת האימון — מנה חדשה של משפטים מעובדת ועוברת לאימון בלי הרכבה ידנית.
- תצורת הסינתזה — קצב, גוון, משך ההפסקות, מילון ההגיות של שמות ומונחים; נכתב בנפרד מהמודל, אין צורך בבנייה מחדש.
- נוהל עדכון הקול — סדר התיקונים והוצאת גרסה חדשה בלי לעצור את השירות: בדיקה בצל על חלק מהתעבורה, השוואת מדדים, מעבר.
- דוח איכות — הערכות טבעיות לפני ואחרי, תוצאות האזנות עיוורות ומערך משפטי בקרה לבדיקה חוזרת.
- תיעוד הקול — היכן נמצאים הנתונים והמודל, אילו הרשאות גישה נדרשות, מה לעשות בעת הידרדרות הצליל ולאן להסתכל קודם.
מקרה בוחן: קול לקו תמיכה, מדדים לפני ואחרי
קו התמיכה של אגף השירות עבד על משיבון עם סינתזת דיבור: הרובוט קיבל את השיחה, בירר את סוג הפנייה והעביר לנציג. על משפטים טיפוסיים הקול נשמע חלק, אבל נשבר על אוצר המילים של התחום — מק"טים, מספרי חוזים, ראשי תיבות מתוך המדריך הפנימי.
כל שיחה שלישית החלה ב"אפשר לחזור בבקשה", ולאחר ניתוח ההקלטה חלק מהלקוחות התקשרו שוב לקו הכללי.
לצורך הפרויקט הוקלטו שש שעות של הקלטות נקיות משני נציגי תמיכה: בלי מוזיקה ברקע ובלי חפיפות, בקצב דיבור אחיד. ההקלטות תויגו לפי משפטים, בנפרד נבנה מילון הגיות לראשי תיבות ולמק"טים, ומזהים מספריים הועברו לכללי קריאה לפי ספרות — המודל לא "משלים" אותם.
הסינתזה חוברה לטלפוניה הפעילה ב-Amazon Connect בהשמעה זורמת, כדי שהמשפט יתחיל לפני יצירת התגובה המלאה.
מדידות לפני ואחרי
האזנות עיוורות ביצעה ועדה של שנים-עשר עובדים שלא השתתפו בפרויקט: הם קיבלו הקלטות מעורבבות של הקול הישן והחדש בלי תיוג. הערכת הבהירות לפי סולם MOS עלתה מ-3.1 ל-4.3, שיעור ההגייה השגויה של מק"טים ירד מ-18% ל-2%, ופניות שבהן הלקוח ביקש לחזור על המשפט פחתו פי שלושה. שגיאות במספרי חוזים בזרם לא נותרו.
המגבלה היחידה שנותרה: הקול יציב על אוצר המילים שהיה בהקלטות. עבור קווי מוצרים חדשים נדרשת הקלטה משלימה למדריך ההגיות — אלה שעות עבודה, ולא מחזור אימון חוזר של המודל.
במה שונה אימון המשך של TTS מכיוונון של קול מוכן?
ההבדל הוא באיזה שכבה של המודל עובד המהנדס. כיוונון קול מוכן הוא תוספת מעל מילון ההגיות: תעתיקים פונטיים לשמות, ראשי תיבות ומונחים, הצבת הטעמות, כללי קריאה של מספרים ותאריכים, מהירות, עוצמת קול, משך ההפסקות.
שכבה כזו מתקנת את איך נאמר המשפט, אבל לא נוגעת במי שאומר אותו: הגוון, ההגשה והאופי נשארים הקול מהקופסה.
אימון המשך של מודל TTS משנה את האקוסטיקה. המודל לומד את המיפוי "טקסט → ספקטרום" על דיבור של קריין מסוים ומאמץ את מה שלא נקבע במילון: צפיפות ורכות של עצירות, נשיפה, מיקרו-הפסקות בין מילים, אחידות עוצמת הקול במשפטים ארוכים.
כאן גם מופיעה האינטונציה בסינתזה — המלודיה של שאלה וקביעה, ההדגשות הלוגיות במניון, מעבר בין רגיסטרים רגשיים בתוך פסקה. קול מוכן מחקה אינטונציה באופן ממוצע, כי הוא אומן על תערובת של קריינים רבים.
הגבול בין הגישות עובר בנתונים. כיוונון מילוני לא דורש אף שנייה של הקלטה ופעולה זו הפיכה בצעד אחד — ניתן להחזיר או לשכתב את הכללים. אימון המשך נשען על קורפוס: צריך עשרות דקות של דיבור נקי עם דיקציה אחידה ותנאי הקלטה זהים.
אם החומר לא אחיד במיקרופון, בחדר או בסגנון, המודל ימצע את הפגמים ויעביר אותם לסינתזה — לתקן זאת בשלב האינפרנס קשה יותר מאשר להרכיב קורפוס תקין.
מסקנה מעשית: אם הבעיה היא בהגיית מילים מסוימות — סוגרים במילון, ואימון המשך הוא מיותר; אם נדרש הגוון של הקריין שלכם ואינטונציה חיה — רק כיוונון אקוסטי.
אנחנו מתחילים מביקורת המשימה ומדגימות דיבור: מראים מה ניתן להפיק מההקלטות הקיימות, והיכן תידרש הקלטה משלימה — ורק אחר כך מחשבים לוחות זמנים.
ספקות טכניים בפרויקט: ניתוח שאלות
לפני ההתחלה כמעט תמיד עולה אותו מערך שאלות: כמה הקלטות צריך, מה יקרה במילים ובשמות נדירים, כיצד לעדכן את הקול כשהשירות כבר פעיל אצל המשתמשים, ולמי שייכות הזכויות על קולו של הקריין. להלן תשובות קצרות, כיצד אנחנו פותרים זאת בפועל.
איזה נפח קורפוס נדרש לאימון המשך?
לגוון יציב מספיקות 3-5 שעות של דיבור אולפן נקי של קריין אחד עם אינטונציה אחידה, ולהגשה אקספרסיבית — 8-12 שעות. חשוב יותר מהנפח הוא האחידות: מיקרופון אחד, חדר אחד, קצב אחיד. ההקלטות עוברות קודם בדיקה — מסירים רעש, קליפינג וכפילויות — ורק אז הקורפוס נחשב למספיק.
האם האיכות תיפול במילים ובשמות נדירים?
תיפול, אם משאירים טוקנים נדירים לחסדי המודל הבסיסי. אנחנו מכניסים אותם למילון ולכללים הפונטיים, משלימים הקשרים עם מונחים מתחום התוכן, ובודקים בנפרד משפטים עם ראשי תיבות, מספרים ושמות. את התוצאה מתעדים במדד הבהירות MOS — שומרים על לא פחות מ-4.3 מתוך 5.
כיצד מתעדכן הקול אם השירות כבר פעיל?
גרסה חדשה מאומנת במעגל נפרד, עוברת בדיקה על סט ייחוס ומגיעה לריליס מוגבל על חלק מהתעבורה. אם המדדים לא נופלים, התעבורה מועברת במלואה, והגרסה הקודמת נשמרת לחזרה מיידית. המשתמש לא מבחין בהחלפה — השירות לא נעצר.
למי שייכות הזכויות על קולו של הקריין?
הקריין חותם על הסכמה לסינתזת דיבור עם תקופה מוגדרת ותחום שימוש מוגדר, והזכויות על המודל המאומן נשארות בידי המזמין. זה מתועד בחוזה ומועבר יחד עם המודל — שכלולים עתידיים אינם כרוכים בנו.
נדון במשימה: התחלה וצעדים ראשונים בקול
לוחות הזמנים לאימון המשך של הקול נקבעים לא לפי נפח ההקלטות, אלא לפי מצב החומרים ועד כמה מוקדם אושר מילון ההגיות. לכן את השיחה הראשונה אנחנו מנהלים כניתוח טכני: מפרקים תרחישים, מאזינים לחומרי המקור ואומרים מיד היכן האיכות תיתקל בנתונים והיכן בתיוג ובהצבת ההטעמות.
כדי לחזור עם הערכת לוחות זמנים ותוכנית עבודה, ולא עם נוסחים כלליים, די להכין לשיחה הראשונה:
- דגימות קול — הקלטות של דובר במסלול שבו הוא יישמע: מיקרופון אולפן, אוזנייה או ערוץ טלפוני;
- טקסטים לקריינות: תרחישים של תפריט קולי, סקריפטים לחיוג, משפטי ממשק;
- מילון מונחים, שמות וראשי תיבות עם הטעמות נכונות וקריאה אות-אות;
- דרישות להגשה: קצב, משך הפסקות, סגנון ניטרלי או אמוציונלי;
- נקודות אינטגרציה — טלפוניה, אפליקציה, מוקד שירות: מהן תלוי פורמט פלט האודיו;
- מגבלות בזכויות על הקול ובאחסון ההקלטות: מי הבעלים, היכן מאחסנים, למי יש גישה;
- איש קשר שמקבל את התוצאה וחותם על השלבים.
בפגישה אנחנו מנתחים את האקוסטיקה של חומרי המקור, מראים אילו הקלטות חסרות לתוצאה יציבה, ומקבעים את מערך המשפטים שעליו נבדוק את איכות הסינתזה.
לאחר מכן החומרים עוברים לעבודה: אנחנו חוזרים עם תוכנית לפי שלבים, לוחות זמנים לכל צעד, נקודות קבלה ורשימה של מה שתקבלו בסוף — מודל מאומן, מילון הגיות, סט בדיקות והוראות לעדכון הקול.