תמלול אוטומטי של הרצאות וובינרים: זיהוי דיבור עם דיאריזציה

למה תמלול הרצאות נשבר בהקלטות אמיתיות

הרצאה אקדמית ווובינר רק לעיתים רחוקות דומים למונולוג באולפן: המרצה מסתובב אל הלוח, המאזינים שואלים שוב מהקהל, המיקרופון נמצא בקצה הרחוק של האולם ואוסף יחד עם הקול הדהוד, רעש מקרן וצעדים. תמלול הרצאות מדף על חומר כזה מפיק טקסט שצריך לקרוא בקול מחדש כדי לשחזר את המשמעות.

מחלקת התקלות הראשונה — דיבור חופף. כאשר שניים מדברים בו-זמנית, זיהוי הדיבור מחזיר את הקול הדומיננטי, והתגובה השנייה נעלמת לחלוטין: שאלה מהקהל והתשובה עליה מתמזגות למשפט אחד. משם גם נובעים טיימקודים מוסטים — הצמדת התמלול לשקפים ולמסך נעה בעשרות שניות.

השנייה — הפרדה לפי קולות. תגובות של אנשים שונים מתמזגות לזרם אחד, ותמלול וובינרים מאבד את העיקר: מי בדיוק אמר זאת.

דיאריזציה פותרת את המשימה לא לפי עוצמת הקול, אלא לפי מאפיינים ספקטרליים של הקול, ולכן הדובר נשאר אותו דובר גם בתגובה שקטה, והחלפת דובר בתוך הפסקה לא שוברת את הפסקה לחלקים.

השלישית — מונחים בשילוב עם איכות הקלטת השמע. מונחים ענפיים, שמות מחברים וראשי תיבות מזוהים כמילים יומיומיות דומות בצליל, אם למודל אין מילון מתאים לתחום.

מיקרופון רחוק, קודקים של שיחות ועידה ותדרי הקלטה שונים מוסיפים אובדן: החומר מובא לפורמט אחיד ומנוקה מרעש, אבל בלי סינון אגרסיבי שחותך עיצורים והופך את הדיבור לעיסה.

כל ארבע הסיבות נראות רק בהקלטות אמיתיות — בסרטון הדגמה הן לא קיימות. בהמשך נפרק כיצד כל אחת מהן נסגרת במסלול העיבוד שלנו: מהכנת השמע ועד הגהה של הטקסט הסופי.

מה נותן תמלול הרצאות: אפקט מדיד

שעת הרצאה — זה 8–10 אלף מילים, שבניתוח ידני נמתחות על פני כמה שעות עבודה. תמלול אוטומטי של שיעורים נע במהירות גבוהה פי כמה מזמן ההקלטה, ולכן ארכיון של מאות וובינרים מפורק בתוך ימים ספורים.

בזרימה של עשרות קורסים זה מסיר כמעט לחלוטין את העבודה הידנית: אדם בודק מונחים ושמות, ולא מקליד טקסט.

האיכות נשענת על שני דברים — אקוסטיקה והתאמת המודל לתחום התוכן. זיהוי דיבור עם דיאריזציה מתייג את הדוברים בעצמו: תגובות המרצה, שאלות מהקהל והתשובות מתחלקות לפי קולות, והטקסט נקרא כדיאלוג.

את המודל הפתוח Whisper אנחנו מאמנים מחדש על המילון של הקורס הספציפי — בפיזיקה או במשפטים חלק התיקונים הידניים יורד ליחידות אחוזים במקום הגהה מלאה.

ארכיון חיפוש אחיד נבנה מהטקסט ומהטיימקודים: התמלולים מאונדקסים לפי ביטויים, מונחים ושמות, וכל שורה מקושרת לרגע בהקלטה. החיפוש מחזיר לא קובץ, אלא קטע מדויק עם מעבר לדקה הרצויה, ולכן הסטודנט מוצא את התשובה בלי לצפות שוב בסרטון בן שעתיים. כיסוי ההקלטות מתקרב לשלם: מתומלל כל מה שנכנס לאחסון, ולא רק שיעורים נבחרים.

סוג הכשל שנעלם יחד עם הניתוח הידני — חומרים אבודים: הקלטה שלא תומללה בזמן, בדרך כלל לא מתומללת כלל. כאשר העיבוד מופעל אוטומטית עם הפרסום, הארכיון מפסיק להיות תלוי בכך שמישהו טרח להעלות אותו.

פורמטים של תמלול: אצווה, זרימה, היברידי

מצב העיבוד נבחר לפי שני פרמטרים: כיצד מגיעות ההקלטות וכמה מהר צריך את הטקסט. מסלול אצווה לוקח קובץ שלם ומריץ אותו במספר מעברים — המודל מספיק לחדד את גבולות התגובות ולבדוק מחדש את הדובר לאורך כל השיעור, כולל קטעים שבהם הקולות נשמעו דומים.

מסלול זרימה מקבל שמע מהמיקרופון או מהשידור ומוסר טקסט תוך כדי: השהיה נמדדת בשניות, אבל הדיאריזציה נשענת על חלון קצר וטועה במקומות שבהם המשתתפים מפריעים זה לזה או מתרחקים מהמיקרופון. שילוב היברידי מסיר את הסתירה הזו, אך דורש שני מסלולים מקושרים.

בפועל, בחירת מצב העיבוד מצטמצמת לשאלה אחת: האם אדם קורא את התמלול במהלך השיעור או מפרק אותו אחר כך. מהתשובה תלויה גם סכימת אחסון ההקלטות, וגם מתי אנחנו מפעילים עיבוד מחדש — אם איכות תיוג הדוברים תהיה נמוכה מהצפוי.

שלבי הטמעה: מביקורת ארכיון ועד מסירה לעבודה

סדר העבודות בנוי כך שהאיכות בסוף תהיה צפויה, ולא תלויה במזל עם הקלטה מסוימת. תחילה סופרים את היקף הארכיון ואופיו, אחר כך בונים סכימת עיבוד, ורק לאחר מכן מפעילים מעבר מלא.

1. ביקורת ארכיון ההקלטות. סופרים את משך הזמן הכולל ומספר הקבצים, מפרקים את המקורות: מיקרופון באולם, ערוץ וובינר, הקלטה ממערכת ועידות. מתעדים את מספר הקולות, חפיפות דיבור, רעש וקטעים שקטים — ומקבלים מפת ארכיון עם אזורי סיכון.
2. סכימת עיבוד. קובעים היכן נספרות ההקלטות, כיצד מנרמלים את הצליל, היכן חותכים לפי הפסקות, כיצד מפרידים קולות ובאיזה אופן מוסרים את התוצאה: טקסט, כתוביות עם טיימקודים, תיוג לפי תפקידים.
3. הגדרת מילונים. מונחי הקורס, שמות המרצים, ראשי תיבות וטקסט לטיני נכנסים למילוני הגייה לפני המעבר הראשי, ובנפרד — רמזים למילים שנשמעות לא נכון.
4. מדגם בקרה. קטעים מתנאי הקלטה שונים נבדקים מול תמלול ידני: שיעור המילים הנכונות, בלבול בין דוברים, דיוק טיימקודים. תיקונים נכנסים למילונים ולפרמטרים, ולא לעיבוד ידני של הטקסט.
5. מעבר מלא. ההקלטות מעובדות באצווה, התוצאה מחוברת ללוח הזמנים של הקורס ומיוצאת בפורמטים מוסכמים עם תיוג לפי דוברים.
6. קבלת התוצאה. הקריטריונים סוכמו מראש: דיוק במדגם הבקרה, נכונות התפקידים, טיימקודים, מוכנות לחיפוש לפי טקסט.
7. מסירה והדרכה. מוסרים הרשאות והוראות לעדכון מילונים ולעיבוד חוזר של הקלטות ישנות, כדי שהצוות יוכל להריץ את הזרימה בעצמו.

מה מוסרים לידיים: סכימות, נהלים, הרשאות

אנחנו מוסרים לא רק שירות עובד, אלא גם שכבת מסמכים שלפיה הצוות יוכל להריץ תמלול בעצמו: כיצד הקלטה נכנסת לעיבוד, למי יש גישה אליה, לפי אילו קריטריונים מתקבלת התוצאה. כל סעיף מסוכם איתכם לפני המסירה — כדי שהנהלים יתארו את התהליכים שלכם, ולא את התפיסות שלנו לגביהם.

• סכימת עיבוד הקלטות: המסלול מהעלאת קובץ ממערכת הוובינרים ועד טקסט עם תיוג לפי קולות — נקודות כניסה, אחסון ביניים, משך חיי הנתונים בכל שלב.
• קונפיגורציות השירות: מילון מונחים, קיצורים תחומיים ושמות דוברים, כללי הפרדת קולות, פרמטרים לחיתוך לפי הפסקות, תבניות תיוג.
• נוהל תמלול: מה נחשב לתוצאה מוכנה, סובלנות בזיהוי מונחים, סדר תיקון ידני של קטעים שנויים במחלוקת והאחראי לכך.
• מדיניות הרשאות להקלטות: תפקידים ורמות נראות, תקופות שמירה, סדר מחיקה לבקשת מחבר ההרצאה.
• הוראות לעובדים: כיצד לייצא הקלטה, להפעיל עיבוד, למצוא את הקטע הרצוי, למסור טקסט לסיכום או לכתוביות.
• נוהל קבלה: הקלטות בקרה, שיעור המילים שזוהו נכון ודיוק הפרדת הקולות, קריטריונים למסירה וסדר החזרה לתיקון.
• סדר עדכון מילונים וחזרה לקונפיגורציה קודמת, יומן שינויים עם אחראי לכל תיקון.

את הרשימה מסכמים בהתחלה, כדי שהערכה תכסה את העבודה כולה: עובד חדש יוצא לתמלול עצמאי לפי המסמכים האלה, בלי לפנות אלינו.

איך פירקנו ארכיון הרצאות: מדדים לפני ואחרי

ההקלטה אצל הלקוח — זה ארכיון הרצאות ווובינרים: כמה מאות שעות, מוובינרים באולפן ועד סמינרים שבהם ארבעה אנשים מפריעים זה לזה. פירקנו ידנית: תמלול, תיוג תגובות, הגהת מונחים. שעת הקלטה דרשה כשלוש שעות עבודה, ותור הארכיון גדל מהר יותר מקצב הטיפול בו.

נקודת פתיחה

שיעור התיקונים לאחר הגהה ידנית הגיע עד לרבע מהטקסט: נשברו שמות, שמות שיטות, מונחים תחומיים. הגרוע מכל היו חפיפות קוליות — בסמינרים תגובות התמזגו לאחת, וקטעים כאלה פשוט נזרקו מהתמלול, תוך אובדן חלק מהדיון.

מה עשינו ומה יצא

הרכבנו מסלול עיבוד: נרמול צליל לפני זיהוי, תיוג אוטומטי של דוברים לפי פרופילים קוליים עם בדיקה חוזרת בדיאלוגים ארוכים, מילון מונחי הקורס מעל המודל הפתוח Whisper. קטעים שנויים במחלוקת לא נמחקים, אלא מסומנים להגהה מהירה — העורך רואה לאן להסתכל, ולא קורא מחדש את כל הטקסט.

את הארכיון פירקנו בארבעה ימים במקום שישה שבועות, ושיעור התיקונים ירד מרבע ל-7%. הכיסוי גדל לכל ההקלטות, כולל ישנות עם סאונד גרוע, והכשלים בחפיפות קוליות נעלמו: הדיאלוג שומר על השיוך של כל תגובה.

במה שונה הפרדה לפי קולות מחלוקה לפי הפסקות

חלוקה לפי הפסקות — זו סגמנטציה לפי אקוסטיקה: הזרם נחתך במקום שבו האות יורד מתחת לסף למשך מרווח מוגדר. התגובות לא משויכות לאנשים, ובפלט מתקבל טקסט עם פסקאות, לא דיאלוג.

הפרדה לפי קולות, או דיאריזציה, פותרת משימה אחרת: עבור כל קטע נקבע הדובר, וקטעים של אותו אדם מודבקים לערוץ אחד. ההבדל נראה בחומר חי — במקום שבו המשתתפים מפריעים זה לזה. דיבור חופף לא משאיר הפסקה: שני קולות מתמזגים לפסקה אחת, והשיוך של התגובה אובד.

הסף ומשך ההפסקה המינימלי מותאמים לחומר: להרצאת קריינות מספיק פער קצר, לדיון — ארוך יותר, אחרת הפסקה נקרעת בכל נשימה. דיאריזציה עמידה יותר לרעש ולחפיפות, אך דורשת או ערוץ נפרד לכל משתתף, או מספר מספיק של קולות מובחנים.

בפועל משלבים בין הגישות: הפסקות קובעות את גבולות המשפטים, המודל הקולי — את השיוך של התגובה, וחפיפה מסומנת בתווית נפרדת. מודלים פתוחים ברמת Whisper נותנים טקסט קוהרנטי, אבל לא מציבים תווית דובר — השכבה הזו יושבת מעל זיהוי הדיבור. בפלט מתקבל תיוג דיאלוג עם טיימקודים ותגובות לפי דוברים, שאפשר לתקן נקודתית בלי להאזין להקלטה כולה.

הקלטות מורכבות: רעש, מונחים, חפיפות קוליות

את דיוק התמלול מגבילה לא המודל, אלא ההקלטה עצמה: חפיפות קוליות, מיקרופון רחוק, הדהוד אולם ודחיסת זרם בוובינר יוצרים יותר שגיאות מאשר לקסיקה נדירה. לכן את המדד מחשבים על החומר שלכם — לפי קטעים עם שאלות מהקהל, ולא לפי דגימה אולפנית.

סוגי הקלטות מפרידים לפי מצבים: קורס אולפני והרצאה מהקהל מעובדים אחרת. להלן הספקות שעולים לרוב לפני ההתחלה.

כיצד מתומללים מונחים צרים וראשי תיבות?

אוספים מילון לקורס: מונחים, שמות, שמות מוצרים, קיצורים. עיבוד לאחר מעשה מביא את הכתיב לצורה אחידה, ראשי תיבות נפתחים בהזכרה הראשונה. המילון מתרחב לפי ההרצאות הראשונות — עד אמצע הזרימה מונחים נדירים מזוהים ביציבות.

המרצה מערבב רוסית ואנגלית — מה עושים עם זה?

השפה נקבעת לפי מקטע, לא לפי הקובץ כולו, ולכן החלפות בתוך משפט לא מבלבלות את התיוג. טקסט לטיני וסלנג מובאים לכתיב אחיד, והתמלול נשאר מתאים לחיפוש לפי מילות מפתח.

ההקלטות פנימיות — מה עם סודיות והרשאות?

העיבוד מתבצע במסלול מבודד: השמע והתמלולים לא יוצאים החוצה. הרשאות ניתנות לפי תפקידים, תקופת השמירה נקבעת על ידכם, ומקורות נמחקים לבקשה. אנחנו שומרים גרסאות קודמות, ולכן חזרה להגהה קודמת אפשרית.

נדון במשימה: מה להבהיר לפני ההתחלה

הערכה מדויקת של תמלול נבנית לא על מילים כלליות, אלא על ההקלטות שלכם. שלחו 2-3 קבצים מהרצאות או וובינרים אמיתיים — לפיהם אנחנו מבצעים ביקורת הקלטה: בודקים רמת רעש, חפיפת קולות, איכות מיקרופון, מינוח. הערכת פרויקט תמלול נשענת על עובדה, לא על הנחה לגבי צליל "ממוצע".

כדי שנחזור עם תוכנית הטמעה, ולא עם שאלות הבהרה, כדאי לאסוף מראש:

• דוגמאות להקלטות באיכות שונה — מהאולם, ממיקרופון המנחה, מוועידת וידאו;
• היקף וקצב: כמה שעות חומר בשבוע ובאיזו תדירות יוצאים וובינרים חדשים;
• הרכב הדיבור: כמה דוברים בהקלטה, האם יש מבטא חזק, ערבוב שפות, מינוח צר;
• מה נחשב לתוצאה מוכנה: טקסט עם הפרדה לפי דוברים וטיימקודים, כתוביות או פרוטוקול קצר;
• לאן התוצאה צריכה להגיע: אחסון קבצים, בסיס ידע, עורך כתוביות, מערכת פנימית;
• דרישות לעיבוד: האם סביבה חיצונית מותרת או שצריך התקנה במסלול שלכם, מי מנפיק הרשאות;
• מי בצד שלכם מקבל את התמלול ומעדכן את מילון המונחים.

לאחר ביקורת ההקלטה אנחנו חוזרים עם הערכת פרויקט תמלול ותוכנית הטמעה: תורי עיבוד, נקודות קבלה, סדר עדכון מילונים לתחום התוכן שלכם. תארו את המשימה וצרפו דוגמאות — תחילת העבודה מתחילה בשלב מסוכם, ולא בתיקונים תוך כדי.