הטמעת דיאריזציה של דוברים (Speaker Diarization) כפתרון מלא

מדוע דיאריזציית דוברים נשברת בהקלטות אמיתיות

דיאריזציית דוברים בהקלטת בדיקה נראית כמשימה פתורה: צליל נקי, ערוצים נפרדים, המשתתפים מדברים בתורות. בחומר אמיתי — ישיבה בחדר ישיבות, שיחת לקוח, ראיון ממקליט קול — התיוג מתפרק: בתמלול במקום שלושה משתתפים מופיעים שבעה, וחלק מהאמירות מיוחסות לאנשים הלא נכונים.

התקלה הנפוצה ביותר היא דיבור חופף. כאשר שני אנשים מתחילים לדבר בו-זמנית, הקולות שלהם מתמזגים לאות אחד, והמערכת רואה לא שני מקורות אלא מקור אחד לא יציב: נקודות החלפת הדובר נעות, תוספות קצרות כמו «כן», «מסכים» נעלמות, והקטע כולו מיוחס לבן שיח אחד.

הסוג השני של בעיות — הקלטה חד-ערוצית על כל החדר. מיקרופון אחד אוסף הכול בבת אחת: רעש אוורור, הד מהקירות, רשרוש ניירות, וקול המשתתף מהקצה הרחוק של השולחן מגיע חלש יותר ועם הדהוד. טביעת הקול של האדם בתחילת הפגישה ובסיומה נבדלת עד כדי כך שקיבוץ הקולות מחשיב אותו כשני משתתפים שונים.

השלישי — החלפת דובר בתוך אמירה. אדם מתחיל משפט, קוטעים אותו באמצע מילה, ואחר כך הוא משלים: מבחינת האלגוריתם זה קטיעה של מקטע, ובהמשך חלק מהטקסט מיוחס למשתתף אקראי. שגיאה של שנייה-שתיים בגבול המקטע שוברת כבר לא את התמלול, אלא את הייחוס.

ההשלכות של תקלות אלו ניכרות בהמשך השרשרת. פרוטוקול פגישה שבו האמירות מעורבבות צריך לעבור קריאה ידנית; חיפוש בארכיון השיחות לא מוצא את הקטע הנדרש, כי הוא רשום תחת עובד אחר; אנליטיקה של זמן הדיבור וחלק שאלות הלקוח מציגה מספרים שאין לתת בהם אמון. נסביר כיצד זה נסגר ברמת הכנת ההקלטה ועיבוד שאחרי.

מה נותן פיצול הדיבור לפי משתתפי השיחה

דיאריזציה הופכת הקלטה לזרם אמירות עם תגיות של דוברים — לאחר מכן תמלול, פרוטוקול ואנליטיקה עובדים לא עם «טקסט בכלל», אלא עם האמירות של אנשים ספציפיים.

דיוק פיצול הקולות בהקלטות נקיות אצלנו עומד על 90–95% אמירות עם ייחוס נכון; בדיבור חופף ובמיקרופון רחוק הוא יורד — לכן אנחנו מודדים אותו על ההקלטות שלכם, ולא לוקחים מספר ממאמר כללי.

זמן העיבוד מפסיק להיות צוואר בקבוק: שעת הקלטה מנותחת בכמה דקות, ארכיון יומי — בהרצה לילית אחת. אם התמלול כבר קיים, תיוג חוזר לא דורש האזנה מחדש — משתנה רק שכבת הדוברים, ולא הטקסט.

שיעור התיקון הידני יורד מ-30–40% מהאמירות ל-5–10%, והתיקון הופך ממוקד: שמות, חפיפות קצרות, החלפת קול נדירה בתוך משפט. זה מסיר את סעיף העבודה העיקרי אצל מי שמנהל פרוטוקול פגישה או מנתח שיחות.

סוג שלם של שגיאות נעלם: אמירה כבר לא מיוחסת למשתתף הלא נכון, והערכת עבודת הנציגים לא נבנית על טקסט מעורבב. באנליטיקת שיחות מופיעים חלקי דיבור נכונים של הלקוח והנציג, משך הפסקות והשתלטויות — מהם רואים מי מנהל את השיחה ומי עונה בתשובה קצרה.

סגמנטציה בסיסית אנחנו לוקחים מ-pyannote הפתוח ומבצעים אימון נוסף על ההקלטות שלכם — להתאמה לאקוסטיקה של חדרי ישיבות ספציפיים ולערוצי טלפוניה. תראו 10–20 הקלטות אופייניות — נחזור עם הערכת דיוק ותוכנית הטמעה.

מצבי דיאריזציית דוברים: השוואת גישות

בחירת המצב קובעת לא את דיוק המודל, אלא היכן במערכת מופיעה התשובה המוכנה. כאשר ההקלטה כבר נמצאת בארכיון, דיאריזציית דוברים מתבצעת באצווה: הקובץ נחתך לחלונות, אמבדינגים של קולות מקובצים, וגבולות הדיבור מותאמים לפי חפיפות. ניתן להריץ מעבר כזה מחדש לאחר עדכון המודל — האיכות עולה בלי להקליט מחדש את החומר.

תיוג בזרימה בונה השערה לפי השניות הראשונות ומצמיד אותה לחלונות הבאים. אמירות מתויגות מופיעות כמעט בלי השהיה, אבל קול חדש שנכנס באמצע השיחה נשאר זמן מה בלי תגית. סכימה היברידית משלבת את שני המצבים: מסלול מהיר מספק תגיות טיוטה, ומעבר רקע מתייג מחדש את ההקלטה כולה ומחליף אותן.

לאשכול ולתיוג ארכיונים אנחנו לוקחים כלים פתוחים כמו pyannote.audio ועוטפים אותם בשירות תורים משלנו. את המצב בוחרים לפי סדר עדיפויות: מהירות תשובה או דיוק התיוג הסופי.

שלבי הטמעה: מביקורת הקלטות ועד מסירת התוצאה

העבודה מתחילה מקורפוס ההקלטות, ולא מהמודל: קודם כל בודקים מה באמת יהיה צריך להפריד — ערוצים, דיבור חופף, רעש מיקרופונים. הביקורת קובעת את סכימת העיבוד ואת מדדי היעד, שלפיהם בהמשך מתקבלת התוצאה, ולא «לפי שמיעה».

1. ביקורת קורפוס ההקלטות. מנתחים כמה עשרות קבצים מקבוצות שונות — ישיבות, שיחות, ראיונות. סופרים שיעור חפיפות, מוזיקה ומיקרופונים גרועים, ומקבלים מפת מורכבות של הקורפוס.
2. סכימת עיבוד. בוחרים פיצול לפי ערוצים, איתור גבולות אמירה לפי מאפייני קול או היברידי. קובעים פורמט תיוג: קודי זמן, מזהי דוברים, חלוקה למקטעים.
3. התאמה לפרופיל דיבור. הפרמטרים נבחרים לפי מספר המשתתפים, אורך האמירות והחפיפות: לערוץ טלפוני כיול אחד, לאולם עם הדהוד — אחר. בנפרד מכוון סף ההדבקה של מקטעים של אותו אדם.
4. בדיקה על מדגם בקרה. לוקחים קבצים שלא היו בהתאמה, וסופרים שיעור אמירות מבולבלות, תוספות קצרות שהוחמצו והתראות שווא על רעש. אם המדדים גרועים מיעד — חוזרים לפרמטרים, ולא לקבלה.
5. קריטריוני קבלה. קובעים בכתב לפני ההתחלה: שיעור אמירות נכונות במדגם בקרה, יציבות מספור הדוברים, התנהגות בהקלטות עם דיבור שקט, זמן עיבוד של שעת אודיו.
6. מסירת התוצאה. מוסרים קונפיגורציות, סכימת עיבוד, סדר הרצה וכללי כיול מחדש בעת החלפת נתיב ההקלטה.

אם מתווסף ערוץ חדש או מוחלף מיקרופון, מדגם הבקרה מורץ מחדש — אחרת מדדי הקבלה בעוד חודש מפסיקים לשקף את המציאות.

מארז אספקה: קונפיגורציות, סכימות ותקנות

מארז האספקה סוגר את השאלה «מה עושים כשהקבלן הלך». אצלנו זה לא מצגת עם הבטחות, אלא סט ארטיפקטים, שכל אחד מהם עובר קבלה: אם סעיף חסר או אינו ישים בפועל — העבודה לא סגורה. להלן מה בדיוק מוסרים בדיאריזציית דוברים.

• קונפיגורציות עבודה — סף גלאי דיבור, משך מינימלי של אמירה, כלל הדבקה של קטעים קרובים של אותו דובר, רגישות המודל לדיבור חופף. הפרמטרים מוצאים לקובץ נפרד ומשתנים בלי עריכת קוד.
• סכימת עיבוד אודיו — מסלול ההקלטה מהעלאה ועד תיוג עם תגיות דוברים: היכן מתבצע ניקוי מרעש, היכן מוערך מספר הקולות במסלול, היכן נאסף הקובץ הסופי. מסומנים צמתים שאפשר להריץ מחדש בלי לאבד את מה שכבר עובד.
• כללי גישה להקלטות — תפקידים, תקופות שמירה, הפרדה בין אודיו גולמי לתיוגי טקסט, סדר הענקה ושלילת גישה, מחיקה לפי בקשה. המדיניות מתארת מי ועל איזה בסיס רואה את התמלול.
• הוראות למפעילים — פעולות טיפוסיות: העלאת שיחה, בדיקת תוצאה, תיקון ידני של תגיות שנויות במחלוקת, הפעלה מחדש של משימה. מתוך הנחה שמדובר בעובד בלי הכשרה.
• תקנון תפעול — מה לנטר מדי יום, אילו מדדים לאסוף, באילו חריגות להסלים, כיצד לעדכן מודלים בלי לעצור את השירות.
• יומן איכות — שיעור האמירות עם דובר שזוהה בביטחון, מספר החלפות לדקת שיחה, שיעור הדיבור שאבד. מנוהל מרגע ההפעלה, ומשמש בסיס לבדיקה חודשית.
• חבילת תיוגים בפורמטים פתוחים — טקסט עם קודי זמן ותגיות דוברים מיוצא לפורמטים מוכרים, שמתאימים לטעינה למערכות שלכם בלי התאמות.
• תוכנית נסיגה וקבלה — הקלטות בקרה עם מספר דוברים ידוע, מתודולוגיית מדידה וסדר החזרה לקונפיגורציה הקודמת, אם האיכות ירדה.

ניתוח פרויקט: תיוג דיבור בהקלטות של מרכז קשר

מרכז קשר עם כמה עשרות נציגים: הקלטות השיחות יוצאו מ-Genesys, ותיוג הדיאלוגים נעשה ידנית — מפקח האזין לשיחה וסימן היכן אמירת הנציג והיכן של הלקוח. במדגם של 1200 שיחות שיעור האמירות הנכונות עמד על כ-84%: הפריעו חפיפות, הפסקות בהמתנה ושיחות נכנסות שקטות.

כל שיחה שישית עברה לבקרת איכות נציגים עם תפקידים מבולבלים, ולכן דוחות לפי תסריטים והתנגדויות נבנו על תמונה מעוותת.

מה שינו בתהליך

את התיוג חילקו לשני מעברים: דיאריזציה חותכת את ההקלטה לקולות ומדביקה אותם לערוצים יציבים, ואז האמירות משויכות לתפקידים לפי הקשר הדיאלוג. קטעים עם ביטחון נמוך וחפיפות קצרות לא מצוירים על ידי האלגוריתם, אלא מסומנים ועוברים לבדיקה אנושית — חלקם היה פחות מ-4%.

התוצאה על אותו מדגם: שיעור האמירות הנכונות עלה ל-97%, זמן עיבוד ההקלטה ירד מ-25 דקות לשלוש, ובקרת האיכות של הנציגים כיסתה לראשונה את כל זרם השיחות, ולא רק חלקן. דוח ההתנגדויות נאסף כעת מכל בסיס השיחות היומי, בלי האזנה ידנית.

מה עושים אם ההקלטה כבר נעשתה בערוץ אחד?

הקלטה חד-ערוצית לא מפריעה לדיאריזציה: פיצול לפי קולות נשען על הבדלים בטמבר ובקצב הדיבור, ולא על מספר המסלולים. השאלה היא כמה הפרעות צריך להסיר מהאות לפני שמכניסים אליו את המודל.

עיבוד מקדים של אודיו סוגר חצי מהמשימה. אנחנו מדכאים רעש קבוע והמהום, מאזנים עוצמה, מחלישים הדהוד, מזהים קטעי פעילות קול ומביאים את המסלול לפורמט אחיד. בלי ניקוי האות, רעש הרקע מפצל את הדיבור לאמירות שווא, ואשכולות הדוברים מתרבים במקום שבו האדם שתק.

לאחר מכן מגיעה חלוקה למקטעים, חישוב ייצוג וקטורי של הקול עבור כל אחד ואשכול: קטעים דומים נאספים לדובר אחד, עיבוד שאחרי מחליק החלפות קצרות ומדביק אמירות קרועות. אם הרכב המשתתפים ידוע מראש, התיוג יוצא יציב יותר באופן ניכר.

דיבור חופף הוא גבול כן של השיטה. כאשר שניים מדברים בו-זמנית לאותו מיקרופון, הפיצול לפי קולות נעשה הסתברותי: אנחנו מוצאים קטע כזה ומסמנים אותו, אבל לא ניתן להבטיח פירוק מילולי של שתי האמירות. טמברים דומים בצליל והמהום קבוע בחדר גם הם מסבכים את המשימה.

אם יש ברירה, מסלולים נפרדים מדויקים יותר וזולים יותר לעיבוד: הקלטה של כל משתתף או לולאה מהמיקסר כמעט מסירה את משימת הפיצול. לכן אנחנו נותנים מראש דרישות לסכימת ההקלטה, ולגבי חומרים חד-ערוציים מוכנים אנחנו אומרים בכנות היכן הדיוק יספיק והיכן יידרש אימות ידני.

ספקות טכניים: רעש, מבטאים ומספר משתתפים

הקלטות מייצור, מחדר ישיבות או מקו תמיכה הן לעיתים רחוקות נקיות: המהום רקע, הד, מיקרופון בקצה השני של השולחן. לכן דיאריזציה מתחילה לא מתיוג קולות, אלא מהכנת המסלול — דיכוי רעש נייח, איזון עוצמה, חיתוך מקטעים לא-דיבוריים.

כל מקטע מקבל הערכת ביטחון: מקומות שנויים במחלוקת לא מוסתרים, אלא מסומנים — רואים אותם בתיוג ואפשר לבדוק אותם ידנית.

מה עם מבטא, דיבור שקט ודיבור בו-זמני?

טביעת הקול מובהרת לאורך ההקלטה, ולכן אמירות קצרות בתחילת השיחה מתויגות פחות טוב מאשר באמצע. דיבור חופף מפוצל לזרמים, אבל בדיבור בו-זמני של שניים-שלושה אנשים חלק מהמילים הולך לאיבוד — זו מגבלה של ההקלטה עצמה, ולא של השיטה.

כמה משתתפים זה מחזיק ואיפה ההקלטות נמצאות?

מבדילים בין עשרות קולות באותו מסלול: המגבלה היא לא במהירות העיבוד, אלא בטמברים דומים — קולות קרובים מתחילים להתבלבל. האודיו והתיוג נשארים בקונטור שלכם, הגישה מופרדת לפי תפקידים, ותקופת השמירה נקבעת על ידי מדיניות: למשל, אודיו נמחק לאחר התמלול, טקסט ותיוג נשארים.

נדון במשימה: מה דרוש להערכה מדויקת

כדי לחזור עם הערכת פרויקט, ולא עם מילים כלליות, אנחנו צריכים מינימום נתוני פתח לגבי הנתונים שלכם. מניסיון, בדיאריזציית דוברים דיוק ההערכה ב-80% נקבע על ידי איכות ומבנה ההקלטה — לכן אנחנו מבקשים ארטיפקטים ממשיים, ולא תיאור «בקווים כלליים».

מה מספיק לשלוח בהתחלה:

• דוגמת הקלטה — 10-20 דקות אודיו אמיתי מהערוץ שלכם: שיחת טלפון, מיקרופון חדר ישיבות, זרם מועידת וידאו.
• מספר ערוצים ומסלולים — מונו, סטריאו או רצועות שכבר הופרדו לפי משתתפים: מזה תלוי אם בכלל צריך דיאריזציה או שמספיק פיצול ערוצים.
• מספר הדוברים הצפוי בהקלטה והאם יש חפיפות דיבור — חפיפת אמירות קובעת דרישות לאלגוריתם הסגמנטציה.
• קריטריוני קבלה — איזה שיעור זמן מתויג נכון ואיזה דיוק בזיהוי מספר הקולות נחשבים עבורכם לעבודה.
• פורמט התוצאה — תיוג עם קודי זמן, תמלול עם ייחוס אמירות או JSON מוכן למערכת שלכם.
• נפח ומצב עיבוד — כמה שעות הקלטה בחודש והאם נדרש ניתוח בזמן אמת או שמספיק עיבוד באצווה.
• מגבלות קונטור — עיבוד בשרתים שלכם, מבודד או עם שירותים חיצוניים.

לאחר מכן אנחנו מנתחים דוגמת הקלטה, משווים מדדים על הנתונים שלכם וחוזרים עם הערכת פרויקט ותוכנית עבודה: שלבים, לוחות זמנים, נקודות בקרת איכות. דיון במשימה אורך שיחת ועידה אחת — בהמשך אתם מקבלים מספרים לחומר שלכם, ולא ממוצעים.