התאמת מילון מותאם אישית ל-STT: יישום ואופטימיזציה

מילון STT מותאם אישית: היכן זיהוי הדיבור נשבר

זיהוי דיבור טועה באופן לא אחיד: במשפטים יומיומיים איכות התמלול נשארת גבוהה, ובטרמינולוגיה מקצועית צרה היא יורדת באופן צפוי.

מודלים כמו Whisper מאומנים על דיבור כללי, לכן במקרה של אי־בהירות בוחרים באפשרות השכיחה יותר — שם המשפחה 'קורילו' הופך ל'קורילה', ראשי תיבות נקראים אות־אות, ומק"ט של חלק בתעודת משלוח הופך לרצף ספרות אקראי.

באופן שיטתי נשברים שלושה סוגי ישויות. שמות עצם פרטיים ושמות מקום: שמות משפחה של עובדים, שמות סניפים, שיוכים נדירים. ראשי תיבות — הם נשמעים כמו מילה מחוברת שאינה קיימת במילון הכללי.

ומונחים מורכבים: ניסוחים משפטיים, שמות לפי מסווגים, שמות רפואיים וטכניים, שבהם השגיאה נוצרת במפגש בין מילים, והמודל מתחיל 'לנחש' לפי הצליל.

הגדרות כלליות לא מרפאות את זה. סף ביטחון ועריכה אוטומטית רק מסוות את הבעיה, ומחליפות מילה נדירה בשכיחה, ומודל שפה של קורפוס כללי לא מכיר את התחום שלכם ולא ילמד אותו מהקלטה אחת.

תיקונים בטקסט מוכן לא מתרחבים: הקובץ הבא מגיע עם אותן שגיאות, וישויות מעוותות ממשיכות לחיפוש בארכיון, לדוחות ולתמצירים — שיעור הישויות שזוהו נכון נשאר נמוך.

הפתרון הוא ברמת הפענוח: מילון STT מותאם אישית מרמז למערכת על מילים צפויות והגייתן לפני ניתוח ההקלטה, ולא אחריו. בהמשך נפרק איך זה נסגר — מהיכן לקחת מילון, איך לתאר הגיות ואיך למדוד ששגיאות זיהוי הדיבור באמת נעלמו.

האפקט של ההתאמה: פחות שגיאות במונחים ובשמות

את המדידה הראשונה מבצעים לפני כל תיקון: מתמללים 30–50 דקות של הקלטות אמיתיות ומסמנים ידנית פערים. הבסיס מחושב על אותו מודל שייכנס לעבודה, — בדרך כלל Whisper או ענף שאומן נוסף שלו, — אחרת ההשוואה 'לפני ואחרי' לא מוכיחה דבר.

מחשבים לא את הדיוק הכולל, אלא את שיעור השגיאות במילים של התחום: מונחים, ראשי תיבות, שמות מוצרים ושמות משפחה.

לאחר חיבור מילון מותאם אישית חוזרים על אותה מדידה על אותו סט הקלטות ועל חדשות. מסתכלים לא על המספר הממוצע, אלא על הפיזור לפי דוברים ותנאי הקלטה — הוא מראה היכן המילון עובד והיכן הוא מושך תוספות מיותרות.

• שיעור השגיאות בלקסיקון המקצועי יורד פי 2–4; בנפרד בודקים מונחים שקודם תמיד זוהו לא נכון.
• היקף התיקונים הידניים לאחר התמלול מצטמצם פי כמה, בהקלטות טיפוסיות בתוך התחום הוא מגיע לאפס.
• עמידות לדוברים: המונח מזוהה נכון ב-8–10 קולות שונים, כולל נשיים וגבריים נמוכים, בלי התאמה לדובר אחד.
• עמידות לתנאים: בודקים הקלטה מטלפון, אוזנייה, מחדר ישיבות — הירידה לא צריכה לחרוג מכמה אחוזים.
• התראות שווא: המילון לא מושך מילים כלליות דומות — בודקים על סט בלי התחום.
• רגרסיה בעת עדכון המודל: מדידה חוזרת לאחר כל עדכון, אחרת הדיוק נסוג בשקט.

דרכי התאמה של זיהוי: השוואת גישות

התאמה ללקסיקון של הלקוח נפתרת בחמש דרכים — מכללים חיצוניים ועד התאמת מודל על הקלטות של התחום. הן נבדלות בנקודת ההתערבות: אקוסטיקה, מודל שפה או טקסט מוכן, — ומכאן השוני בזמן, הפיכות וסיכון לרגרסיה בדיבור רגיל.

בפרויקטים אנחנו משלבים שניים-שלושה רבדים: התאמת מודל שפה של התחום, מילון החלפות לראשי תיבות ועיבוד לאחר למק"טים ויחידות מידה. את ההחלטה מקבלים לפי שיעור השגיאות במונחים המקצועיים, לא לפי מדד כללי — שיפור בלקסיקון עלול בקלות להוריד את זיהוי הדיבור היומיומי.

בוחרים על פי מדידות על מדגם עיוור של הקלטות הלקוח: שיעור השגיאות במונחים, מספר ההחלפות השגויות, זמן הוספת מילה. מתחילים בשכבות הפיכות; התאמה על קורפוס מחברים כשנשארות שגיאות שאי אפשר לסגור בכללים.

שלבי הטמעה: מאיסוף מונחים ועד מסירה

תיקון מילון בלי מדידות הופך לניסוי וטעייה של ניחושים: הוספת מונח, ושיעור השגיאות לא השתנה. לכן הולכים בסדר הפוך — קודם מחשבים היכן הזיהוי נשבר, אחר כך נוגעים בלקסיקון.

שלבים ובדיקות

1. ביקורת שגיאות זיהוי. מתייגים תמלולים של ערוצים אמיתיים לפי סוגים: מונח לא מוכר, ראשי תיבות, לטינית בתוך משפט, הומונימיה. בפלט — טבלת שכיחויות לפי מחלקות.
2. איסוף טרמינולוגיה של הלקוח. ראיונות עם אנשי התחום, ייצוא ממאגרי מידע. לכל מונח — הגייה, וריאציות מותרות, גבולות תחולה.
3. מדגם הקלטות לבדיקה. מקצים סט מתויג שאינו משתתף בכיול: דוברים שונים, ערוצים, רעש. אחרת אי אפשר להבדיל בין התאמה לדוגמאות לבין שיפור.
4. סכמת התאמת מילון. מחליטים היכן להזין את המונח — מילון הגיות, החלפה בפלט, מודל שפה — ובאיזה משקל.
5. כיול ובדיקת המילון. לאחר כל איטרציה מריצים את ההקלטות המושהות: בודקים את שיעור השגיאות הכולל והתראות שווא חדשות.
6. מסירת הפתרון. מוסרים תצורת מילון, נוהל תיקונים, תיוג ודוחות, ומלמדים את הצוות להוסיף מונחים בלי רגרסיות.

לאחר המסירה המילון חי במסלול שלכם: תיקונים לפי נוהל, מטריקות ניתנות לשחזור, חזרה לגרסה קודמת אורכת דקות.

ארטיפקטים של הטמעה: מילוני מונחים, כללי החלפה, נהלים

לאחר ההטמעה נשאר ללקוח לא 'מודל בקופסה שחורה', אלא סט ארטיפקטים שאפשר לעבוד איתו בלעדינו: תיקונים מבוצעים בכוחות עצמם, התנהגות המערכת ניתנת לשחזור, וזיהויים שנויים במחלוקת מנותחים לפי מסמך, לא לפי זיכרון המפתח.

• תצורת מילון — קובץ שמתחבר למנוע הזיהוי: משקלי מונחים, רישיות, צורות מילים, וריאציות כתיב מותרות. תיקון אחד משנה את הפלט בכל זרם ההקלטות.
• רשימת מונחים — רשימה מאושרת עם העסק: שמות מוצרים, סימונים של מערכות פנימיות, תפקידים, לטינית שמכתיבים בקול.
• כללי החלפה והגייה — טבלת 'איך נשמע → איך כותבים', הומופונים ועיוותים קבועים של דוברים מסוימים; מיושמת מעל הזיהוי ולא מקלקלת את התמלול המקורי.
• סט הקלטות בקרה — קטעי אודיו עם תמלול ייחוס, כולל רצועות רועשות ודיבור מהיר. הרצה עליו מראה שהתיקון לא שבר את השאר.
• סקריפטים לבדיקה ומטריקות — חישוב שיעור השגיאות לפי מונחים ודוח לפני ואחרי שינוי המילון.
• תיעוד — איך להוסיף מונח, אילו שדות חובה, מה לעשות בהתנגשות כללים.
• נוהל עדכון — מי יוזם תיקון, מי מאשר, מתי השינוי נכנס לעבודה ואיך חוזרים אחורה.

הסט מעביר את תחזוקת המילון מכיול חד־פעמי לתהליך מנוהל: מונח חדש עובר בדיקה על סט הבקרה ומגיע למסלול הייצור בלי מעורבותנו.

מקרה בוחן: איך נעלם סוג שגיאות במונחים מקצועיים צרים

המשימה הגיעה ממכון תכנון: מועצות טכניות ובדיקות קבלה מוקלטות, והתמלולים עדיין הוכנו ביד. בדיבור — ראשי תיבות, דגמי ציוד, מספרי תקנים ושמות משפחה של קבלנים. המודל הפתוח הבסיסי Whisper פירק בביטחון שפה כללית, אבל מעד דווקא על הלקסיקון הזה.

תחילה קבענו נקודת ייחוס: סט הקלטות בקרה עם תיוג ידני של מונחים. שיעור השגיאות בלקסיקון המקצועי — 17–19%, העורך השקיע כ-40 דקות על כל שעת אודיו, וטקסט מוכן של שעת הקלטה הופיע רק לקראת סוף היום.

את המילון אספנו לא 'לפי שמיעה': הוצאנו מונחים שכיחים מהקורפוס, הוספנו וריאציות הגייה — לטינית וקירילית, נטיות, כתיבה מחוברת ונפרדת, ראשי תיבות שמכתיבים אות־אות.

בנפרד כיווננו משקלי מונחים, כדי ששם נדיר אך חשוב לא יידחק על ידי מילה כללית שכיחה, והוספנו נרמול לאחר הזיהוי: מילון מונחים אחיד במקום שלוש צורות כתיב של מותג אחד.

לאחר ההתאמה שיעור השגיאות בלקסיקון המקצועי ירד ל-3%, התיקונים הידניים הצטמצמו בערך פי ארבעה, שעת הקלטה הופכת לתמלול מוכן תוך 40 דקות במקום ארבע שעות. בדקנו גם את ההיפך — שהאיכות בשפה הכללית לא ירדה: המילון מרחיב את המודל, ולא מחליף אותו בהצבות כפויות.

סוג השגיאות של שמות מעוותים של ציוד ותקנים נעלם, העורך מתקן משמעות ולא מנחש מונחים. המילון ממשיך לחיות: מילים חדשות נכנסות אליו מתיקוני העורך, וסט הרגרסיה לא מאפשר לשיפורים בנושא אחד לשבור את האחרים.

במה התאמת זיהוי שונה מאימון נוסף של המודל?

אלו שני סוגי עבודה שונים, ובלבול ביניהם יקר. התאמת לקסיקון משנה רק את שכבת זיהוי המילים: למילון מוסיפים מונחים, ראשי תיבות, שמות מוצרים, קובעים משקלים וכללי נרמול. אין נוגעים במשקלי המודל האקוסטי — התוצאה צפויה והפיכה.

אימון נוסף משנה את המודל עצמו על קורפוס דיבור מתויג. הוא מוצדק היכן שלא הלקסיקון שונה, אלא ההגייה: מבטא כבד, תחום תוכן צר עם ז'רגון יציב, הקלטה דרך מיקרופון מסוים או ערוץ תקשורת.

התמיכה מכריעה את הבחירה. מילון הוא תצורה: תיקונים מבצע מומחה תחום, השינויים מנוהלים בגרסאות, חזרה אחורה אורכת רוויזיה אחת, הבדיקה מתבצעת על סט משפטי ייחוס. מודל שאומן נוסף לא ניתן להחזיר כך: נדרש קורפוס שמור, ריצה חוזרת של בדיקות ואימון מחדש בכל שינוי בתחום.

כלל מעשי: קודם סוגרים את המשימה עם מילון ומשקלים, ורק אם שיעור השגיאות במדגם הייחוס לא יורד — עוברים לאימון נוסף. הפתרון נשאר מנוהל, והבעלות עליו צפויה.

ספקות טכניים: היקף העבודה, לוחות זמנים, תמיכה

ההתנגדויות לגבי התאמת מילון זיהוי חוזרות מפרויקט לפרויקט: לא ברור היקף העבודה, לוחות ההטמעה, איכות ההקלטות המקוריות ומה יקרה לאחר ההפעלה. להלן תשובות עם סדר פעולות, מדידות וגבולות שמעבר להם איננו מבטיחים תוצאה.

כמה זמן לחכות לתוצאה?

מתחילים בהרצה על חלק מהארכיון: מדידת שיעור השגיאות לפני ואחרי, ניתוח מונחים שעדיין הולכים לאיבוד. אחר כך מעבדים את שאר הקורפוס. לוח הזמנים תלוי בהיקף ובאיכות ההקלטות, לא במספר המילים במילון.

ומה אם ההקלטות רועשות?

איכות המקור קובעת תקרה: בדיבור חופף ובערוץ טלפוני המילון יחלץ את הטרמינולוגיה, אבל לא ישחזר את מה שאבד. לכן קודם מעריכים את ההקלטות ובמידת הצורך מתקינים עיבוד מקדים — הפחתת רעש והפרדת מקטעי דיבור.

להרכיב הכול מחדש בכל תיקון טרמינולוגיה, ומה עם תמיכה?

לא: המילון ומודל השפה מופרדים מהחלק האקוסטי. הוספת מונח או תיקון הגייה הם עדכון מילון והרצה על סט בקרה, בלי אימון מחדש מלא; באקוסטיקה נוגעים רק בשינוי תחום או ערוץ תקשורת.

לאחר ההפעלה עובדים לפי פניות: סט הקלטות רגרסיה, ניהול גרסאות של המילון, מדידת שיעור שגיאות וחזרה אחורה אם המצב הורע.

נדון במשימה: מה לשלוח להערכה ותוכנית עבודה

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם שאלות הבהרה, די לנו בסט אחד של נתוני מקור. ככל שהתחום מתואר ביתר דיוק, כך יידרשו פחות איטרציות לתיאום סכמת הפתרון.

• אודיו מערוץ אמיתי. 30–60 דקות הקלטות מכל מקור: טלפוניה, מיקרופון, שיחת וידאו — עם רעש אופייני, כמה דוברים ומבטאים.
• תמלולי ייחוס. 10–20 דקות של טקסטים מאומתים עם סימונים של מקומות שנויים במחלוקת — לפיהם מחשבים את שיעור השגיאות הבסיסי ורואים היכן המילון ייתן את עיקר השיפור.
• רשימת מונחים. שמות מוצרים, ראשי תיבות, תפקידים, שמות מלאים, שמות מקום — עם וריאציות הגייה ואיך הם אמורים להיראות בפלט.
• כללי נרמול. רישיות, פיסוק, מספרים, יחידות מידה, לטינית וקירילית במילה אחת, עיצוב חזרות ומילות מילוי.
• סכמת זרימה. מהיכן מגיע האודיו ובאיזה פורמט, היכן הוא נשמר, לאן הולך הטקסט, האם נדרש תיוג לפי דוברים.
• מגבלות. דרישות להשהיית פלט, היכן מותר לעבד נתונים, שיעור מותר של תיקון ידני.
• דוגמאות לשגיאות. 20–50 משפטים אמיתיים שמזוהים כעת לא נכון — זה מספיק כדי להעריך את היקף העבודה עם המילון.

לא חייבים לשלוח הכול בבת אחת: נתחיל מאודיו ורשימת מונחים, ואת השאר נשלים תוך כדי. תארו את המשימה — נחזור עם הערכה, סכמת פתרון ותוכנית עבודה.