Whisper fine-tuning: היכן נשבר זיהוי דיבור תחומי
המודל הבסיסי אומן על מאגר רחב של דיבור יומיומי: הכתבה, התכתבות, הרצאות, פודקאסטים. בחומר תחומי הוא לא «לא שומע» — הוא בביטחון מכניס מילים נפוצות קרובות בצליל במקום מונחים, ובקיצורים ובשמות לטיניים מאבד את מבנה המשפט כולו.
השגיאות במונחים צרים מפוזרות באופן לא אחיד: ככל שמילה הופיעה לעתים רחוקות יותר במאגר האימון, כך גדל הסיכוי להחלפה. אבל תעתיק נדרש בדיוק בגלל המילים האלה — סימוני חלקים, מספרי פריט, שמות תרופות, ניסוחים משפטיים.
איכות תעתיק ההקלטות נראית סבירה בממוצע: מדד מסכם על כל הטקסט תקין, וקטעים קריטיים המומחה מקשיב להם ידנית, כי אי אפשר לסמוך עליהם.
השכבה השנייה — אקוסטיקה. הקלטות מחדרים רועשים, מיקרופון רחוק, כמה דוברים, מבטאים אזוריים ודיבור רציף נותנים אותה תמונה: המודל מחליק התחלות וסיומות של מילים, מדביק תורות דיבור וממקם באופן שגוי גבולות מקטעים.
בדיוק כאן Whisper fine-tuning תחומי נותן את הרווח הגדול ביותר: זיהוי דיבור תחומי מכוון לקול אמיתי, לא לסטנדרט אולפני.
נפרק כיצד זה נסגר: מאגר הקלטות תחומי, מילון החלפות למונחים ולשמות, אוגמנטציה ברעש והערכה לפי שיעור שגיאות דווקא במילים ענפיות, ולא לפי ממוצע על כל הטקסט.
אפקט האימון הנוסף: פחות שגיאות במונחים וברעש
את מדידת האפקט אנו עושים על מדגם מוחזק — הקלטות שלא נכנסו לאימון. אחרת המדד מראה שינון של המאגר, לא הכללה. נשווה את שיעור השגיאות בדיבור יומיומי ובדיבור תחומי: הפער בין המספרים האלה הוא החלק שאימון נוסף של מודל זיהוי הדיבור סוגר.
הרווח העיקרי — באוצר מילים ענפי. Whisper הבסיסי, במונחים מורכבים ארוכים, בקיצורים ובאותיות לטיניות בתוך משפט, מכניס מילים קרובות בצליל.
לאחר אימון נוסף ההחלפות האלה נעלמות: המודל מרכיב את המונח בשלמותו, והירידה בשיעור השגיאות אינה אחידה — בטקסט כללי באחוזים בודדים, בטקסט מקצועי חזקה בהרבה.
עמידות לרעש ולמבטא גדלה בזכות מגוון ההקלטות. אם למאגר נכנסו בית מלאכה, רחוב, שיחה דרך אוזנייה וכמה דוברים בסגנון דיבור שונה, המודל מפסיק «להתפרק» בסוג אחד של תנאים. זה חשוב יותר מדיוק ממוצע: המערכת נשארת עובדת במקום שבו ההקלטה מלכתחילה רחוקה מאולפן.
החשבון המעשי — לא רק שיעור השגיאות, אלא גם היקף התיקון הידני. נסתכל על שיעור המקטעים שהעורך משאיר ללא שינוי, ועל התפלגות התיקונים לפי סוגים. לרוב נעלם סוג השגיאות של החלפת מונחים — דווקא הוא אוכל את מירב הזמן בהגהה. נשארים פיסוק ושמות פרטיים שלא היו בנתוני האימון.
תיקונים מקומיים, מילון רמזים ואימון נוסף: מה לבחור
דיבור תחומי שובר את המודל באופן לא אחיד: במקום כלשהו האקוסטיקה תואמת, ורק כתיבתם של מונחים וקיצורים שונים; במקום אחר משתנה המרקם עצמו — קצב רציף של מוקדן, אותיות לטיניות בתוך משפט, מיקרופון צר-פס. לכן מתאימים את המערכת לפי שכבות ובוחרים לפי מקור השגיאה, ולא לפי מכובדות חיצונית של השיטה.
נקודת המוצא — מדידה: לתמלל מדגם בקרה, לסמן שגיאות ולחלקן לאקוסטיות ואורתוגרפיות. היחס בין הקבוצות האלה מראה איזו שכבה תניב תשואה.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| עיבוד-בתר לתמלולים | השגיאות צפויות ומצטמצמות לכתיב: מונחים, מספרי פריט, שמות | לא מתקן אקוסטיקה: אם המילה נשמעה לא נכון, כלל חסר אונים. גדל מספר הכללים וההפעלות השגויות |
| מילון מונחים ורמזים | רשימה ארוכה של שמות וקיצורים, שמשתנה ללא בנייה מחדש של המודל | מחזיק רק מילים קרובות בצליל; מילון עמוס מדי מטשטש את הקשב ומוריד את הדיוק בשאר הדיבור |
| אימון נוסף על מאגר הקלטות | האקוסטיקה של הדומיין יציבה, יש שעות מוקלטות מתומללות עם טקסט | דרושים מאגר ותיוג, סיכון לאימון-יתר על תרחיש צר; נדרש מעגל אימון חוזר |
| שילוב שכבות | הדומיין חי: מילון — למונחים חדשים, אימון נוסף — לאקוסטיקה, עיבוד-בתר — לתבנית הפלט | יקר יותר בתמיכה: השכבות מנוהלות בגרסאות ונבדקות יחד, תיקון של אחת שובר מדדים של אחרת |
מה בוחרים בפועל
עיבוד-בתר ומילון מניבים תשואה כששולטות שגיאות אורתוגרפיות: התיקונים חיים בצינור העיבוד ולא דורשים בנייה מחדש של המודל.
אימון נוסף של Whisper נלקח כשקיימות שגיאות אקוסטיות יציבות ויש מאגר מתויג: המשקלים מותאמים לדומיין, אך יחד איתם נוצרת החובה לשמור את המאגר, להחזיק מעגל אימון חוזר ומדדים על מדגם בקרה. בלי זה אין אפשרות לחזור לגרסה הבסיסית, והדרדרות בדיבור כללי מתגלה בלי לשים לב.
שלבי הפרויקט: מביקורת הקלטות ועד מסירת המודל
המסלול מארכיון ההקלטות ועד המודל בתפעול מחולק לשלבים עם קריטריוני קבלה מדידים. אם המדד על מדגם הבקרה לא משתפר, חוזרים צעד אחורה — בדרך כלל לסכמת התיוג.
- ביקורת ארכיון ההקלטות. מקשיבים למדגם, סופרים את משך הזמן הכולל, שיעור הערוצים הנקיים, סוגי רעש וחפיפות דיבור. התוצאה — מפת נתונים: אילו תרחישים חסרים לאימון.
- סכמת תיוג ומילון מונחים. מקבעים כללי תמלול, כתיבת קיצורים ושמות, כדי שהמתייגים לא יחלקו בדעות במקומות שנויים במחלוקת.
- הכנת המאגר. ממירים הקלטות לתבנית אחידה, חותכים לפי הפסקות, מסירים כפילויות ומחלקים את המערך לחלקי אימון, ולידציה והחזקה.
- תיוג אודיו. חלק בקרה מהתמלולים נבדק שוב בידי מתייג שני; אי-התאמות מוחזרות למילון המונחים ולא נשארות במאגר הנתונים.
- Fine-tuning Whisper. משווים אימון נוסף חלקי ומלא, מוסיפים רעש ודילול ערוץ, עוקבים אחר המדד לפי נקודות בקרה.
- בדיקה על מדגם בקרה. מחשבים את שיעור השגיאות בנפרד לפי מונחים תחומיים: המדד הכולל יכול להיות גבוה, ואילו באוצר המילים הנדרש המודל טועה יותר מכול.
- מסירת המודל ללקוח. מוסרים משקלים ותצורה, סקריפט הפעלה, דרכון איכות והוראות פריסה, ומאמנים את הצוות על ההקלטות שלו.
חלק ההחזקה נוצר לפני האימון — אחרת ההערכה לא מוכיחה דבר. תרחיש חדש בתפעול מוביל לחזרה לשלב התיוג ולאימון נוסף עליו, בלי בנייה מחדש של המאגר.
ארטיפקטים, נהלים והרשאות לאחר מסירת הפרויקט
מסירת הפרויקט לא מסתיימת בהדגמה של מודל עובד. הלקוח מקבל ערכה שלפיה המהנדסים שלו יוכלו להפעיל בעצמם את זיהוי הדיבור, להוסיף הקלטות תחומיות חדשות ולחזור על האימון הנוסף — איתנו או בלעדינו. להלן מה נשאר פיזית במאגר הקוד ובתיעוד הפנימי.
- תצורות אימון וזיהוי: חלוקת אודיו למקטעים, נרמול עוצמה, גודל מנת נתונים, קצב למידה, מספר אפוקים — מקבצים אלה משחזרים את איכות המודל הנוכחית.
- סכמת מסלול העיבוד: נתיב ההקלטה מהעלאה ועד טקסט מוכן — היכן נשמר האודיו, באיזה שלב מתבצעת ההכנה, מי ומתי רואה את התמלול.
- מדיניות גישה להקלטות: תפקידים, תקופות שמירה, כללי אנונימיזציה, יומן פניות לאודיו ולתוצאות הזיהוי.
- תיעוד המודל: מילון תחומי וכללי החלפה, מדדים על מדגם מוחזק, רשימת שגיאות צפויות ומגבלות לפי סוגי דיבור.
- נוהל אימון נוסף חוזר: כיצד לאסוף מאגר חדש, כיצד לוודא שהאיכות לא ירדה בתרחישים קודמים, באילו תנאים עדכון מוחזר לאחור.
- מערך הקלטות בדיקה וסקריפט השוואה: ההרצה אורכת דקות ומראה ירידת איכות לפני העלאה לפרודקשן.
- הוראות תפעול: הפעלה, עצירה, עדכון המילון, תגובה לתקלות אופייניות — ברמת מהנדס תורן, בלי לפנות למחברי המודל.
כל סעיף ניתן לבדיקה: הערכה מתקבלת לפי רשימת תיוג, ולפיה אפשר לבצע קבלה בכוחות הצוות הפנימי.
מקרה בוחן: תמיכה בזיהוי מונחים צרים לפני ואחרי
מוקד שירות עם אוצר מילים תחומי צפוף: שמות תעריפים, הסתייגויות משפטיות, שמות מקום נדירים ומספרי פריט. Whisper הבסיסי כתב בביטחון דיבור כללי, אך במונחים נתן החלפות צליל — תעריף הפך למילה דומה בצליל, והתמלול איבד משמעות משפטית. העורכים הקשיבו שוב לקטעים כאלה ידנית, והתיקון אכל יותר זמן מאשר עצם טיפול בפנייה.
מה נמדד ועל מה השוו
אספו מדגם בקרה — 38 שעות הקלטות, מרובדות לפי ערוצי תקשורת, קצב דיבור, מבטא ורמת רעש. ההקלטות האלה לא נכנסו לאימון ולא לכוונון המודל, ולכן ההשוואה «לפני» ו«אחרי» נעשתה על אותן רצועות ולא הוחלפה בשינון החומר.
מה השתנה לאחר האימון הנוסף
- שיעור המילים שזוהו לא נכון: 19.4% → 6.1%; במונחים מתוך מדריך החברה — 34% → 8%.
- תמלולים שנשלחו ללקוח ללא תיקון ידני: 12% → 58%.
- זמן תיקון לשעת הקלטה: 26 דקות → 9 דקות.
- האזנות חוזרות לקטעים שנויים במחלוקת הצטמצמו בערך פי שלושה.
בסיס התוצאה — מאגר תחומי: כ-120 שעות של שיחות מתומללות, שהובאו לסכמת תיוג אחידה, ובנוסף מילון שמות נדירים וכללי נרמול מספרים. האימון נערך תוך שמירה על הענף הכללי של המודל, ולכן בדיבור יומיומי בלי מונחים האיכות לא ירדה — את הרגרסיה בדקו במערך נפרד של הקלטות יומיומיות.
במה fine-tuning Whisper שונה ממילון רמזים?
מילון רמזים פועל בשלב הפענוח: רשימת מונחים וביטויים הקשריים מזיזה הסתברויות בבחירת האסימון הבא. הוא עוזר כשהמודל שומע את המילה נכון אך כותב אותה אחרת — באותיות לטיניות, בלי רווח, לא באותו רישיות. רמז לא משנה אקוסטיקה: אם הצליל פוענח לא נכון, הוא רק יגרום לבחור בביטחון רב יותר באפשרות השגויה.
גבולות עיבוד-בתר עוברים במקום שבו אפשר לתאר שגיאה בכלל על טקסט: החלפת צירופים קבועים, נרמול מספרים, תאריכים ויחידות מידה, תיוג תורות דיבור לפי הפסקות. כל עוד התקלה שיטתית ומשוחזרת בטקסט, הנתיב הזה זול ומהיר יותר.
אבל כשהכללים מתרבים, הם מתחילים להתנגש זה בזה, הפעלות שגויות שוברות קטעים תקינים, והומופונים מובחנים רק לפי משמעות — שאין לכלל. זו המגבלה של מילון הרמזים: הוא לא מבחין בצליל, הוא מנחש את הכתיב.
אימון נוסף נדרש כשהשגיאות אקוסטיות: אוצר מילים תחומי, הגייה לא שגרתית, מבטא של הדובר, ערוץ הקלטה צר, שמות וכינויים שהמודל מבלבל באופן עקבי עם מילים קרובות בצליל.
כאן משתנה המודל עצמו — מראים לו זוגות «אודיו — תמלול מדויק» על הקלטות מהדומיין שלכם, והוא בונה מחדש ייצוגים פנימיים של הצליל.
בפועל בוחרים לפי מדידה: על מערך תחומי מחשבים את שיעור השגיאות במילים ורואים איזה חלק נובע מהכתיב ואיזה מהזיהוי. את הראשון סוגרים במילון ובכללים, את השני — רק ב-fine-tuning Whisper.
הסדר בדרך כלל כזה: תחילה לסחוט את עיבוד-בתר, אחר כך לאמן את השארית — אחרת המודל ילמד את מה שכבר מטופל בטקסט.
ספקות טכניים: תקלות, נפחים, אבטחת נתונים
ספקות הנדסיים סביב אימון נוסף של מודל זיהוי דיבור מצטמצמים בדרך כלל לארבעה: כמה נתונים באמת נדרשים, מה לעשות עם מעגל שכבר פרוס, כיצד להגן על חומרי אודיו והאם האיכות נדרדרת עם הזמן. להלן כיצד אנו עונים על כל אחד.
כמה שעות הקלטה נדרשות כדי שהמודל ילמד אוצר מילים תחומי?
הסף תלוי במרחק בין דיבור כללי לדומיין שלכם. למינוח ולמבטא בדרך כלל מספיקות 10–40 שעות של דיבור נקי עם תיוג מדויק: מעבר לכך התשואה יורדת והסיכון לאימון-יתר עולה.
אם יש פחות הקלטות, מתחילים באוגמנטציה ובערבוב סינתטי, ואת האיכות מודדים על מדגם מוחזק — בו איננו משתמשים באימון באף הרצה.
האם אם המודל שלנו כבר פרוס — יהיה צורך לאמן אותו מחדש מאפס?
לא. מתאמים (adapters) מאומנים מעל המודל הנוכחי, והמשקלים הבסיסיים נשארים ללא שינוי — זה זול יותר ולא שובר את מה שכבר עובד. הגרסה החדשה נכנסת תחילה למצב צל: מעבדת את אותו זרם במקביל, אנו משווים את שיעור השגיאות על מערך ייחוס ורק אחר כך מחליפים את התעבורה. החזרה לאחור — חזרה לנקודת הבקרה הקודמת.
כיצד מגנים על חומרי האודיו של הלקוח?
ההקלטות עוברות אנונימיזציה לפני האימון: חותכים נתונים אישיים, ובמידת הצורך משנים את גוון הקול תוך שמירה על הפונטיקה. הנתונים נשמרים במעגל שלכם, הגישה — לפי תפקידים ורק למהנדסים העוסקים במשימה, תקופת השמירה נקבעת בנוהל. לאחר המסירה המאגר נמחק לפי פרוטוקול, אם זהו תנאי הלקוח.
מה עם הדרדרות באיכות הזיהוי עם הזמן?
הדיבור משתנה: מגיעים מונחים, מוצרים ושמות חדשים. אנו מחזיקים ניטור של שיעור הזיהויים הבטוחים והרצה חודשית על מערך ייחוס — פער מאותת על דריפט לפני שהמשתמשים מבחינים בו. אימון נוסף על הקלטות טריות מחזיר את המדדים בלי בנייה מחדש מלאה של המעגל.
תארו את התרחיש שלכם — נחזור עם הערכת היקף המאגר ותוכנית עבודה.
נדון במשימה שלכם: מה נדרש מכם כדי להתחיל
כדי לחזור עם הערכה ותוכנית פרויקט, ולא עם שיקולים כלליים, אנו זקוקים להקשר טכני קצר. אימון נוסף של Whisper לדיבור תחומי (fine-tuning) אינו נתקע בבחירת ארכיטקטורה, אלא בייצוגיות הנתונים: הקלטה של קריאה באולפן לא תראה כיצד המודל יתנהג בערוץ רועש. ככל שנראה דיבור אמיתי מוקדם יותר, כך נדייק יותר בשם היקף העבודה ומדד הקבלה.
נוח לדון במשימת הזיהוי לפי המערך הזה:
- דוגמאות הקלטות מהערוץ בעבודה — 20–60 דקות לכל תרחיש, כמו שהן: עם רעש, חפיפות, עוצמה משתנה, בלי ניקוי או עריכה מוקדמים.
- תמלולים לחלק מההקלטות — ייחוס שלפיו נחשב את שיעור השגיאות לפני ואחרי האימון הנוסף ונראה את האפקט במספרים.
- מילון המונחים של הלקוח: קיצורים, מספרי פריט, שמות, שמות מקום וכיצד מבטאים אותם בקול — לעתים קרובות דווקא הם יוצרים את עיקר השגיאות.
- תרחישי שימוש: מי מדבר, באיזו סביבה ומה עושים עם הטקסט אחר כך — חיפוש, פרוטוקול, ייצוא למערכת חשבונאית.
- מגבלות הסביבה: מעגל סגור בלי גישה החוצה, תמלול אצווה של ארכיונים או עיבוד בזמן השיחה, דרישות לשמירת ההקלטות.
- האיכות הנוכחית ומה כבר ניסו: היכן בדיוק הזיהוי מתפרק — שמות, מספרים, ז'רגון מקצועי, ערבוב שפות.
- אחראי מצדכם: מי מאשר את המילון ומקבל את התוצאה לפי מדד מוסכם.
עם המערך הזה נחזור עם תוכנית: היקף והרכב הנתונים, סכמת האימון הנוסף, אופן הבדיקה על מדגם מוחזק וסדר ההטמעה. תארו את המשימה — נבהיר פרטים וניתן הערכה.