סינון ניבולי פה בתמלולים: היכן נשברת האיכות
הפתרון הסטנדרטי למשימה נראה פשוט: מילון של מילים אסורות בפלט זיהוי הדיבור. בהקלטת אולפן עם דובר אחד הוא עובד — ולכן דווקא נראה שסינון ניבולי פה סגור.
בזרימה אמיתית הכלל מחמיץ חלק ניכר מהקללות ובו-זמנית חותך מילים ניטרליות, ואז התמלול מפסיק להיות מקור שמחלקת בקרת האיכות נותנת בו אמון.
הקלטות רועשות בזיהוי נשחקות הכי הרבה: חפיפות דיבור, מוזיקת המתנה, דחיסה של ערוץ טלפוני. המודל מציב מילה קרובה פונטית, והקללות בתמלול הדיבור או נעלמות או מופיעות במקום שלא היו בו. המילון משווה מחרוזות, לא משמעות, ולכן הוא לא תופס החלפה כזו.
השכבה השנייה — עקיפת כללים. קללות מגיעות בכתב לטיני, עם מקפים, כוכביות, רווחים בתוך המילה, בלשון נקייה ובסלנג של משמרת מסוימת. בו-זמנית פועלת השגיאה ההפוכה: תחת הכלל נופלים שמות משפחה, שמות מקומות ומילים יומיומיות — והנציג מקבל פירוט על משפט שלא היה.
בשיחה של שני ערוצים מתווספת שיוך דוברים. הפרדה לפי קולות בחפיפות דיבור מבלבלת בין התפקידים, והמשפט של הלקוח מיוחס לנציג, בעוד בדיוק מזה תלויה הערכת העבודה. כאן נשברת איכות התמלול של מרכז השירות: העניין אינו שהמילה חסרה במילון, אלא שההחלטה לגביה מתקבלת בלי הקשר השיחה.
נפרק כיצד זה נסגר: מילון תחומי בשילוב עם כללים מבוססי הקשר, סף ביטחון במקום התאמה קשיחה של מחרוזות, סימון קטעים שנויים במחלוקת לבדיקה מדגמית ובקרת שיעור התראות השווא לאחר כל עריכה.
מה נותנת עיבוד דיבור מבוקר: השפעות מדידות
לפני הסינון התמלול חי במצב של תיקון ידני: הנציג קורא את הטקסט ומתקן את הלקסיקון — זה 20–30% מהמשפטים בהקלטות של מרכז שירות.
כשניקוי התמלולים נעשה בתוך זיהוי הדיבור ולא מעל טקסט מוכן, שיעור התיקון הידני של התמלולים יורד לכמה אחוזים בודדים, וההקלטה עוברת למערכת הרישום כשהיא כבר שמישה.
המדד המרכזי שלפיו אנו מקבלים את העבודה הוא שיעור התראות השווא על לקסיקון תקין. הקללות ברוסית הן הומונימיות: תחת הכלל נופלים שמות משפחה, שמות מקומות, שמות תרופות ומילים דיבוריות כמו «בלין» או «חרן», ולכן המסנן נבנה לא על רשימת מילים אלא על מילון חריגים, הקשר המשפט ומורפולוגיה. במדגם הבדיקה אנו מחזיקים התראות שווא מתחת ל-0.5%, והחמצה של שפה גסה אמיתית — בטווח 1–2%.
תקן דיבור אחיד נותן יכולת חיזוי: מדיניות עיבוד אחת עובדת גם בטלפוניה, גם במיקרופון בחדר ישיבות, וגם בהקלטות וובינרים — אין צורך להחזיק מערכי כללים נפרדים לכל ערוץ.
כבסיס אנו לוקחים את המודל הפתוח Whisper ומאמנים אותו מחדש על מילון תחומי של הלקוח, כדי ששמות, ראשי תיבות ומונחים ענפיים לא יוסוו על ידי המסנן יחד עם הקללות.
יציבות זיהוי הדיבור נבדקת בהקלטות ארוכות, שבהן איכות הערוץ משתנה: טלפוניה צרת-פס, קולות חופפים, רעש רקע. המדד כאן הוא שיעור המילים הדורשות תיקון לאחר העיבוד, והפיזור שלו בין ערוצים: אם התמלול הטלפוני והאולפני נבדלים פי כמה, בונים מחדש את המדיניות עד להתכנסות.
סינון בזרימת הזיהוי ולאחר העיבוד: מה לבחור
ההסתעפות פשוטה: הכלל פועל בתוך מפענח, בזמן שהאודיו הופך לטקסט, או על תמלול מוכן. האפשרות הראשונה לא מוסיפה השהיה לזרימה, השנייה רואה את המשפט בשלמותו ועובדת עם מילונים והקשר.
הבחירה נקבעת על ידי ארכיטקטורת עיבוד הדיבור: כתוביות בזרימה וקלט קולי מצד אחד, תמלול סופי לניתוח ולפרוטוקולים מצד שני.
בנפרד מחליטים היכן נחתך המקור. הסוואת קטעים בזרימה לא משאירה טקסט «גולמי», ואילו עיבוד לאחר תמלול שומר על המקור ומאפשר לבחון התראות שנויות במחלוקת.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| כללים בשלב זיהוי הדיבור | זרימה: כתוביות, טלפוניה, קלט קולי — מילה אסורה לא צריכה להיכנס לפלט כלל | המילון תפור לתוך המודל: עדכון הרשימה מחייב בנייה מחדש ובדיקת איכות. הומופונים ושמות נפגעים, דיוק הזיהוי יורד |
| עיבוד לאחר תמלול | ניתוח, פרוטוקולים, הקלטות ארוכות שבהן השהיה של שניות מקובלת | האודיו אינו זמין: מיזוגי מילים וכתיב לא תקני חומקים. נדרש מעבר שני ופורמט ביניים יציב |
| היברידי: הטיית מפענח ושכבת טקסט | שירותים המוניים שבהם רשימת המילים משתנה וההשהיה קריטית | יש לסנכרן שני מערכי כללים כדי שההסוואה לא תפעל פעמיים |
במה בדיוק להסוות — בכוכביות, בתג ממלא מקום או בהשמטה — נקבע באותו שלב ומשפיע על האופן שבו החיפוש והאנליטיקה יקראו את התמלול לאחר מכן.
שלבי יישום: מביקורת הקלטות ועד מסירת נהלים
העבודה מתנהלת באיטרציות: קודם כל מסתכלים על הקלטות אמיתיות, לא על דוגמאות הדגמה, ורק אחר כך בוחרים את הסכימה. כך המסנן לא מתחיל להשתיק מילים רגילות ולא מחמיץ את מה שלשמו הותקן.
- ביקורת הקלטות. מייצאים ארכיון לתקופה אופיינית: סופרים את שיעור שפה גסה, בוחנים את ערוצי ההקלטה, רעש הרקע וחפיפות הקולות. בלי זה אין על מה לכוונן ספים.
- סכימת עיבוד. קובעים היכן נמצא המסנן — לפני זיהוי הדיבור, לפי פס הקול, או אחריו, לפי הטקסט — ומה קורה בעת הפעלה: השתקה, אות, החלפה או סימון עבור מנהל תוכן.
- תיוג קורפוס ביקורת. מתייגים ידנית כמה שעות הקלטה: היכן יש קללות, היכן אין, ובנפרד — מקרים שנויים במחלוקת ומילים דומות בצליל. הקורפוס הופך לאמת מידה לכל הבדיקות הבאות.
- הגדרה וכיול. אוספים מילונים תוך התחשבות בצורות מילים, מגדירים ספים בנפרד לפסים נקיים ורועשים. התראות שווא בשלב הזה חשובות יותר מהחמצות: הן שוברות את האמון במסנן.
- בדיקה על מדגם ביקורת. מריצים את הקורפוס המתויג וסופרים כמה תפסו, כמה החמיצו וכמה מילים תקינות נפגעו. מסתכלים על הקטעים הגרועים ביותר, לא על הממוצעים.
- קבלת איכות הזיהוי. מוודאים שהמסנן לא הרע את הטקסט עצמו: משמעות המשפטים נשמרה, ההשהיה בגבולות המותרים. הקבלה נעשית לפי מדדים מוסכמים, לא לפי שמיעה.
- מסירת נהלים. מוסרים תיעוד: כיצד להוסיף מילה, לעדכן מילון, לבדוק שוב שינויים על אותו קורפוס, לחבר ערוץ הקלטה חדש. הקורפוס והכללים נשארים אצל הלקוח.
מה נשאר אצל הלקוח: מילונים, כללים ונהלים
הפרויקט נסגר לא בהדגמה, אלא בסט ארטיפקטים שצוות הלקוח עורך בלעדינו. כל מה שמשפיע על התנהגות המסנן נמצא בקבצי הגדרות תחת בקרת גרסאות, ולא בתוך קוד המעבד — ולכן ניתן לבדוק עריכת מילון בסקירת עמיתים ולבטל אותה.
- מילוני מונחים. רשימה בסיסית של בסיסי מילים גסות עם נרמול: רישיות, תעתיק, הומוגליפים לטיניים, אותיות מוארכות וחוזרות. בבלוק נפרד — רשימת התראות שווא, כדי שמילים חוקיות בתוך טוקנים ארוכים לא יוסוו.
- פרופילי רגישות. מערכי ספים לפי ערוצים ותרחישים: קפדני לשידור ולהקלטת שיחות לקוח, מתירני לתמלול פנימי, שבו שלמות התמלול חשובה יותר מניקיון הטקסט.
- כללי החלפת קטעים. הסוואה תו-בתו, החלפה בתג ניטרלי, מחיקת מילה תוך שמירת חותמות זמן — הכתובית לא זזה ביחס לקול.
- סף לפי ביטחון הזיהוי. מילה מוסווית רק כאשר המודל בטוח בהשערה; בפסים רועשים דיבור רגיל מפסיק להיכנס להחלפה.
- נוהל תפעול. מי מרחיב את המילון, באיזו תדירות, כיצד מריצים בדיקה על מערך מתויג ומה עושים במקרה של התראת שווא במערכת העבודה.
- תיעוד ומסירה. תיאור פורמטי קבצי ההגדרות, תרשים זרימת האודיו, סדר פרסום הפרופיל וחזרה לגרסה קודמת.
מוסרים במאגר שלכם יחד עם דוגמאות הקלטה וסט מקרי בדיקה — יכולת שחזור חשובה יותר מהסכמות בעל פה.
מקרה בוחן: מרכז שירות, שיעור הפגמים בתמלולים לפני ואחרי
מרכז שירות עם זרימה של כמה אלפי שיחות ביממה ייצא תמלולים לבקרת איכות, לדוחות של מנהלי משמרות ולמדגם לתיוג. בטקסט הגולמי נותרו קטעים אסורים — קללות כלפי הנציג, עלבונות בדברי הלקוחות — והם התפשטו במסמכים פנימיים יחד עם התמלול.
מדדים לפני ואחרי
| מדד | לפני היישום | אחרי |
|---|---|---|
| שיעור הקטעים האסורים בתמלולים | 4.8% | 0.4% |
| התראות שווא על לקסיקון תקין | 7.1% | 1.3% |
| שיחות שנדרשו לתיקון ידני | 21% | 4% |
מה הביא לירידה בהתראות השווא
המפתח התברר לא בהרחבת המילון, אלא בהפרדה בין שני מצבים: התאמה בטוחה מוסווית מיד, ומקרה שנוי במחלוקת — לא נחתך, אלא מסומן בדגל ועובר לבדיקה.
את הספים כיווננו על מערך מתויג משלנו: קורפוס פתוח Common Voice בתוספת כמה אלפי שיחות עם תיוג כפול, שבהן שני בודקים תייגו משפטים שנויים במחלוקת באופן בלתי תלוי.
ההסוואה נעשית הפיכה: במקום הקטע נשארת תווית שירותית תוך שמירת מבנה המשפט, ולכן אנליטיקת דיבור לפי הפסקות וחפיפות ממשיכה לעבוד, והתיקון הידני הצטמצם מחמישית מהשיחות למקרים בודדים. זרימות דומות אנחנו מנתחים באותו אופן — מתיוג ועד ספים.
במה שונה הסוואה ממחיקת קטעים בהקלטה?
ההבדל מתבטא במה שקורה לציר הזמן של ההקלטה. הסוואה משאירה במקום מילת הקללה תחליף דומה בצליל או סמן קצר, ולכן משך הקטע לא משתנה והתזמון של ההקלטה נשאר מקורי.
מחיקה חותכת את הקטע כולו: הפס מתקצר, וכל חותמות הזמן הבאות זזות בשברירי השנייה שנחסכו. עבור ארכיון של ראיון זה לא מורגש, אבל עבור אנליטיקה — כן: פילוח דיבור מקשר משפטים לזמן מוחלט, ואחרי מחיקה הדובר, הכתוביות והווידאו מתפצלים.
שמירת משמעות המשפט תלויה גם היא בשיטה. בהסוואה ההקשר משוחזר לפי המילים השכנות, במחיקה נקרעים האינטונציה והקשרים, ומשפט קצר עלול להתכווץ לשורה ריקה — לפי תמלול כזה כבר אי אפשר להבין על מה דובר.
בהשהיית העיבוד מנצחת ההסוואה: ההחלפה נעשית לפי מילון על תמלול מוכן, בלי לבנות מחדש את האודיו. מחיקה בזרימה דורשת חישוב מחדש של החוצץ והדבקה חוזרת של הצליל — זה מוסיף השהיה וסיכון לנקישות במעברים.
בפועל, בשילוב עם זיהוי דיבור על Whisper, אנחנו שמים לעתים קרובות יותר היברידי: בטקסט — הסוואה, באודיו — צליל קצר או אות באותו משך. אז ההקלטה לא מכילה שפה גסה, התזמון תואם למקור, והאנליטיקה לפי משפטים עובדת בלי תיקון ידני של חותמות זמן.
מקרים שנויים במחלוקת: התראות שווא, ניבים, שמות
הומונימים ושמות פרטיים יוצרים התראות שווא לעתים קרובות ביותר: מילה קצרה בהקשר אחר או שם משפחה הדומה לבסיס של קללה חותכים משפט תקין מהתמלול. אנחנו לא מחליטים לפי התאמה אחת — פסק הדין נבנה מהקשר המשפט, מביטחון הזיהוי ומרשימה לבנה של ישויות, שנאספה ממדריכים וממאגר הלקוח.
קטעים שנויים במחלוקת לא נמחקים בשקט: הם מסומנים ועוברים לתור לקריאה חוזרת, כדי שעריכת המילון תהיה כוונון ולא שכתוב של תוצאות שכבר נמסרו.
שם הלקוח נשמע כמו מילה גסה — האם התמלול ייפגע?
לא. רשימה לבנה של שמות, שמות מקומות ושמות חברות מקבלת עדיפות על המילון הכללי: במקרה של התאמה ההחלטה מתקבלת לפי הקשר המשפט וביטחון המודל, ולא לפי עצם הימצאות תת-מחרוזת. אם הביטחון נמוך, המילה נשארת כפי שהיא עם סימון — לאבד את משמעות המשפט יקר יותר מלהחמיץ מקרה בודד.
מה עושים עם מבטאים, ניבים וערבוב שפות בהקלטה אחת?
מרחיבים את המילון בגרסאות פונטיות של הגייה, לכל שפה במשפט מחברים מודל שפה משלה, ואת המעבר מזהים לאורך ההקלטה — אחרת קטע בשפה אחרת בתוך משפט ברוסית מזוהה כרצף אקראי של צלילים.
צורות עם מבטא וניב בודקים על הקלטות אמיתיות של הלקוח, לא על סינתטיקה: כך רואים היכן המודל טועה באופן שיטתי ונדרש כוונון נוסף, והיכן די בהרחבת המילון.
צליל חלש, רעש בחדר וקולות חופפים זה לזה — המקור העיקרי לשגיאות בשני הכיוונים: המסנן או פועל על מילה תמה, או מחמיץ קללה אמיתית. כאן עובדים חיתוך של קטעים לא-דיבוריים, יישור עוצמת הקול ומעבר חוזר על השערות זיהוי פחות בטוחות. מילה פוגענית אנחנו מסווים ולא חותכים: המשמעות ואורך המשפט נשמרים, מדדי האנליטיקה לא נשברים, ושיעור התראות השווא נשאר מתחת לסף המוסכם עם הלקוח.נדון במשימה: נבנה כללים לזרימת ההקלטות שלכם
כדי לחזור עם הערכה ולא עם מילים כלליות, אנחנו צריכים את החומר שלכם: 20–30 דקות של הקלטות אמיתיות עם קולות אופייניים, רעש ותיקוני דיבור, בתוספת תיאור קצר לאן הטקסט עובר לאחר הזיהוי. לפי הנתונים האלה רואים היכן הזיהוי טועה בתדירות הגבוהה ביותר וכמה כללים יהיה צורך לתאר ידנית.
- דוגמאות הקלטה — אודיו מתנאים שונים: שיחת טלפון, מיקרופון בחדר ישיבות, הקלטה מהרחוב;
- דרישות לתוצאה — מה נחשב לאסור, מה מותר להשאיר ומי מאשר מקרים שנויים במחלוקת;
- מילון חריגים — שמות, כינויים ומונחים שאסור לחתוך;
- מסלול הטקסט — לאן מגיע התמלול הנקי: לדוח, לחיפוש, לארכיון;
- מצב עיבוד — זרימה בזמן אמת או טעינה מרוכזת של קבצים שכבר נאספו;
- קריטריוני קבלה — שיעור מותר של החמצות והתראות שווא על המערך שלכם.
מזה אנחנו בונים תוכנית יישום: סדר העבודות, לוחות זמנים לכוונון ופיילוט על ההקלטות שלכם. את הפיילוט מריצים על מערך מוגבל — אתם משווים את התוצאה על הדוגמאות שלכם ומחליטים אם להמשיך להיקף מלא.
תארו את המשימה: שלחו דוגמאות ודרישות — נחזור עם הערכה, תוכנית ולוחות זמנים.