תמלול ראיונות עם דיאריזציה ופורמט שאלות ותשובות

היכן נכשל תמלול אוטומטי של ראיונות

תמלול אוטומטי נכשל לא בדיבור סטודיו נקי, אלא בדיבור חי. ברגע ששניים מתחילים לדבר בו-זמנית — ובראיון זה קורה כל כמה דקות — המודל שומע אות אחד רציף ומחלק את האמירות לדוברים הלא נכונים.

בנפרד קורסת הפיסוק: במקומות שאין בהם הפסקות, גבולות המשפטים просто לא נמצאים, והדיאריזציה משתבשת לפי תפקידים. לפי טקסט כזה כבר אי אפשר לשחזר היכן שאלת המראיין והיכן תשובת המרואיין.

איכות ההקלטה המקורית שוקלת יותר מהמודל עצמו. שיחה בערוץ טלפוני או דרך מיקרופון של מחשב נייד מאבדת עיצורים, מוסיפה הד ותשאול משרדי: בפלט מתקבל טקסט שהוא לכאורה רוסי, שנקרא כמו חידה.

חפיפות בהקלטה הורגות את התוצאה — קטעי משפטים נדבקים למשפטים שלא קיימים, ושמות פרטיים, פטרונימיים ומונחים ענפיים הופכים לצירופי צלילים אקראיים, כי הם לא הופיעו בנתוני האימון.

התוצאה צפויה: העורך לא סומך על הטקסט הממוחשב ומאזין לראיון כולו מחדש, בהשוואת פסקאות. הגהה ידנית אוכלת את אותן שעות כמו תמלול באוזן — אין רווח. בהמשך נפרק איך זה נסגר: הכנת סאונד, דיאריזציה מבוקרת ומילון מונחים במקום תקווה למודל «חכם».

מה נותן תמלול עם הפרדה לפי דוברים

זיהוי דיבור מחזיר זרם מילים בלי תיוג: לפיו לא רואים למי שייכת האמירה ואיפה נגמרה השאלה. דיאריזציה סוגרת את זה — המודל קובע את מספר הדוברים, מציב גבולות לאמירות ומקצה להן תגיות יציבות, והעיבוד שאחרי מאחד את האמירות לבלוקים של «שאלה — תשובה». בפלט מתקבל לא תמלול גולמי, אלא מסמך שהעורך עובד איתו מיד, בלי שלב של «להאזין ולתייג».

זמן הכנת הטקסט מצטמצם פי כמה. בעבר העורך האזין להקלטה כולה וסימן ידנית מי מדבר — כעת הוא מתקן טקסט מתויג מוכן, ועל ראיון של שעה יוצא לא יום עבודה שלם, אלא כשעה. שיעור התיקונים אחרי התמלול נשמר בטווח של 5–10% מהתווים, ואלה בעיקר שמות, מונחים ענפיים ומספרים, ולא שחזור מבנה הדיאלוג.

יציבות נותן מילון מותאם לפרויקט: שמות חברות, תפקידים ומונחים מוגדרים מראש, ולכן אותה מילה לא נכתבת בטקסט בשלוש דרכים. קוד זמן לכל אמירה מקשר את הטקסט להקלטה — אפשר לבדוק ציטוט תוך שניות, והחיפוש בארכיון הראיונות נעשה לפי תוכן, ולא לפי שמות קבצים.

את הזיהוי אנחנו מחזיקים על מודל פתוח Whisper עם מודול דיאריזציה נפרד: הרכיבים ניתנים להחלפה, והחלפת שפה או מודל לא דורשת בנייה מחדש של כל העיבוד.

נעלם גם סוג שלם של כשלים: «לא ברור מי אמר את זה», «אמירות של שני דוברים מתבלבלות», «הציטוט נשלף מהשאלה». הפרדה לפי דוברים ומבנה «שאלה — תשובה» הופכים שגיאות כאלה לבלתי אפשריות מבנית, ולא לבלתי סבירות — השיוך של האמירה נבדק לפני הפרסום.

מצבי תמלול אוטומטי: השוואת אפשרויות

את המצב בוחרים לא לפי «חוכמת» המודל, אלא לפי שלושה משתנים: מאיפה מגיעה ההקלטה, מה עושים איתה בהמשך ואילו דרישות יש למעגל העיבוד. ארכיון ראיונות לרבעון ושיחה חיה נפתרים אחרת — ובאילוצים שונים.

להלן חלופות שבאמת בוחרים ביניהן. בפתרון אחד הן לעתים קרובות משולבות: זרם בכניסה, אצווה בארכיון, הקלטות שנויות במחלוקת — להגהה.

המגבלה של כל מצב היא איכות המקור: קולות חופפים, מיקרופון רחוק ורעש רקע יוצרים שגיאות דיאריזציה שהמצב לא מרפא. לכן בדרישות אנחנו מקבעים את שיעור הקטעים להגהה ואת האחוז המותר של אמירות לא מתויגות, ואת המצב בודקים על מדגם בדיקה של הקלטות אמיתיות — לפני ההטמעה, ולא אחריה.

איך אנחנו מטמיעים תמלול ראיונות: שלבי העבודה

אנחנו מתחילים לא מהמודל, אלא מההקלטות שלכם: איכות התמלול נקבעת לפי מידת הדיוק שבה תיארנו את החומר, האקוסטיקה ותפקידי הדוברים. להלן הרצף שלפיו עוברת הטמעת תמלול אוטומטי.

1. ביקורת הקלטות. אנחנו מאזינים לקטעים מפרקים שונים, סופרים דוברים, מסמנים חפיפות דיבור, רעש רקע, איכות שונה של מיקרופונים ושיעור מילים לועזיות. בפלט — מפת הארכיון: אילו סוגי הקלטות קיימים ומה בהם מפריע לזיהוי.

2. סכמת עיבוד. מתכננים מסלול של החומר: נרמול סאונד, הפרדה לפי קולות (דיאריזציה), זיהוי, תיוג אמירות, ייצוא. מקבעים היכן נדרשים קודי זמן והיכן מספיק טקסט עם תפקידים «מראיין / אורח».

3. הגדרת מילון מונחים. אוספים מילון: שמות, שמות חברות, מונחים ענפיים וראשי תיבות. המילון מתחבר גם לזיהוי וגם לעיבוד שאחרי — אחרת ראשי תיבות מתפרקים לאוסף מילים אקראי ומתוקנים ידנית בכל פרק.

4. כללי תיוג Q&A. מנסחים מבנה: אמירה של המראיין — שאלה, תשובה — בלוק נפרד, מילות מילוי מוסרות, תוספות משמעותיות נשארות. בודקים שאותה תבנית משוחזרת מראיון לראיון.

5. בדיקה על חומר אמיתי. מריצים כמה פרקים בשלמותם וסופרים את שיעור המילים הדורשות תיקון, בנפרד בודקים קטעים עם חפיפת דיבור ומיקרופון גרוע. השגיאות שנמצאו נכנסות למילונים ולכללים — זהו איטרציה, ולא הרצה חד-פעמית.

6. מסירה לתפעול. מוסרים נוהל תיקונים, תבניות ייצוא, הוראות למערכת ובקרת איכות בזרם. מאמנים את העובדים על ההקלטות שלהם עצמם, כדי שהרצת התמלול לא תהיה תלויה בנו.

נהלים, סכמות ומילונים: מה נשאר בידיים שלכם

אנחנו מוסרים לא «גישה לשירות», אלא מתחם עובד: אחרי ההרצה אתם מעבירים דרכו ראיונות חדשים בעצמכם, משנים כללים ולא תלויים בנו בתיקונים שגרתיים. להלן מה בדיוק נשאר במאגר שלכם ובתיעוד הפנימי.

• קו עיבוד מוגדר — קליטת אודיו, תיוג ערוצים ודוברים, דיאריזציה, חלוקת אמירות לפי תפקידים, הבאה לפורמט שאלה-תשובה.
• סכמת מסלול ההקלטה — מנקודת העלאת הקובץ ועד הפקת הטקסט: היכן ההקלטה נמצאת, באיזה שלב נמחק המקור, אילו עותקים נשארים.
• כללי גישה להקלטות — תפקידים «רואה מקור», «רואה טקסט בלבד», «רואה גרסה אנונימית»; יומן פניות ותקופות שמירה לכל סוג ראיון.
• מילון מונחים ושמות — רשימות החלפה ללקסיקה מצומצמת, ראשי תיבות ושמות משפחה. דווקא הוא נותן את עיקר הירידה בתיקונים ידניים בהקלטות ארוכות.
• תבניות פלט טקסט — פרופילים נפרדים למתודולוגים, בסיס ידע ופרסום: עומק ניקוי שונה, תיוג אמירות, עיצוב ציטוטים.
• הוראות למערכת — איך לסמן מקומות שנויים במחלוקת, היכן המודל מאותת על ביטחון נמוך, כמה אמירות לסקור באופן סלקטיבי ולא ברצף.
• נוהל תיקונים — לאן מגיעה האמירה המתוקנת, איך היא חוזרת למילון ואיך מתועדות גרסאות של כללים, כדי שהשינויים יהיו הפיכים.
• ערכת מסירה — תיאור סכמת המתחם, תצורת כללים ומילונים, רשימת בדיקה להרצת פרויקט חדש בצד שלכם.

כל ארטיפקט מנוהל בגרסאות וחי במתחם שלכם: תיקונים מבצעת המערכת שלכם, ואנחנו מתחברים כשמשתנה ההיגיון עצמו של העיבוד.

מקרה בוחן: זרם ראיונות בלי תמלול ידני

מערכת עם זרם קבוע של ראיונות ארוכים — 20–25 שעות הקלטה בחודש, שיחות של 60–90 דקות עם שניים-שלושה מרואיינים. התמלול הוחזק בידיים: העורך האזין לקובץ, תייג ידנית דוברים לפי קודי זמן והקליד טקסט.

שעת הקלטה דרשה 6–8 שעות עבודה, התור לא התפנה, וחלק מהחומרים יצאו שבוע אחרי הצילום, כשהחדשות כבר התקררו.

קו העיבוד נבנה מחדש לחלוטין. ההקלטה נכנסת לאחסון ועוברת לתור לזיהוי: מודל הדיבור Whisper עובד באתר שלנו, ולכן האודיו לא יוצא ממתחם הלקוח. דיאריזציה מתייגת דוברים, המעבד שאחרי מביא את האמירות לפורמט «שאלה — תשובה», מסדר פסקאות ומושך שמות דוברים מהמילון של המערכת. העורך מקבל טיוטה ומתקן אותה, ולא מקליד מאפס.

שיעור התיקונים הידניים מחושב אוטומטית — בהשוואה בין הטיוטה לטקסט שפורסם. הוא גם הפך למדד העבודה של מקרה בוחן זה של תמלול ראיונות: אם המדד עולה מעל רבע, המהנדסים מעדכנים את מילון המונחים ובודקים את איכות הסאונד בכניסה. נפח ההקלטות המעובדות גדל פי שלושה עם אותה מערכת — לא הגדילו את הצוות, אלא את קו העיבוד.

במה שונה הפרדה לפי דוברים מחלוקה לפי ערוצים?

חלוקה לפי ערוצים נשענת על סכמת ההקלטה הפיזית: אם לכל בן שיח יש מיקרופון משלו והרצועות נכתבות בנפרד, המערכת מסמנת כל אחת כמשתתף נפרד. ייחוס האמירות מתקבל באופן מיידי, אבל עובד בדיוק עד הרגע שבו בני השיח מפריעים זה לזה או מתרחקים מהמיקרופון.

הפרדה לפי דוברים (דיאריזציה) פותרת את המשימה ההפוכה: הקול מנותח לפי גוון וקצב הדיבור, והמערכת בעצמה קובעת מי מדבר, גם אם ההקלטה נעשתה במיקרופון אחד משותף.

השיטה עמידה בפני הפרעות צולבות וחפיפת דיבור, אך רגישה לקולות דומים, לאמירות קצרות כמו «כן» ו«אה-הא» ולהחלפת דובר בתוך אותה רצועה.

עבור ראיון בשני מיקרופונים שילוב אמין יותר: הערוצים נותנים תיוג עוגן קשיח, וההפרדה לפי דוברים מדייקת אותו במקומות שבהם הרצועות התערבבו. אחר כך מגיעה הדבקת האמירות — קטעים קצרים של אותו אדם נאספים לפסקאות קוהרנטיות, ומקומות בלי קול יציב מסומנים כלא בטוחים, ולא מיוחסים באקראי.

עבור תמלול אוטומטי זה עקרוני: אם ייחוס האמירות משקר, התמלול מאבד את כל משמעותו — אי אפשר לבדוק ציטוטים, ולפי הטקסט אי אפשר להבין למי שייכת המחשבה.

ספקות טכניים לפני הפעלת תמלול

בתיאום טכני שואלים לא אם המערכת מזהה דיבור, אלא על התנהגות בחומר מסוים — הקלטה רועשת, חפיפת אמירות, מונחים משלכם. להלן תשובות לשאלות שעולות לפני ההתחלה.

איך מופרדים קולות דומים של משתתפים?

ההפרדה נעשית לפי טביעות קול, ולכן גוונים קרובים עלולים להתמזג לדובר אחד. אם ההרכב ידוע מראש, מספר המשתתפים נקבע בכפייה, והאמירות השנויות במחלוקת עוברות להגהה.

מה עם מונחים, ראשי תיבות ושמות משפחה?

לפני העיבוד טוענים מילון תחום ומילון משתתפים. הוא מיושם בעת הרכבת הטקסט, ולכן שמות ושמות משפחה לא מוחלפים במילים דומות בצליל, ומונחים חדשים נכנסים למילון.

העיבוד מתבצע במתחם סגור?

כן: זיהוי, הפרדה לפי קולות והרכבת אמירות לזוגות שאלה-תשובה עובדים במתחם שלכם, האודיו לא יוצא לשירותים חיצוניים. הגישה — לפי תפקידים, הפעולות נרשמות ביומן גישה.

כמה זמן לחכות לטקסט מוכן?

העיבוד מהיר יותר מזמן אמת, ולכן פגישה של שעה נמסרת הרבה לפני שעה. מערכים גדולים אנחנו מוסרים בחלקים — טיוטה לפי הרצועות הראשונות מגיעה בזמן שהשאר עוד בתור.

נדון במשימה: מה נדרש מצדכם

כדי שההערכה ותוכנית העבודה יישענו על הנתונים שלכם, ולא על הנחות ממוצעות, מספיקים כמה נתוני פתיחה. לא צריך להכין משהו במיוחד — שלחו את מה שכבר נמצא בעבודה; זה מספיק כדי להבין את מורכבות ההקלטה ולהעריך את מאמץ העבודה.

• דוגמאות הקלטות — 2-3 קבצים באיכות אופיינית: ראיון בווידאו, הקלטה מרשמקול בחדר ישיבות, קטע רועש עם חפיפת דיבור. מהם רואים היכן הזיהוי טועה וכמה הגהה ידנית תידרש.
• דרישות לפורמט הטקסט — האם נדרשים קודי זמן, האם אמירות חתומות בשמות או בתפקידים («מראיין», «מרואיין»), האם נדרשת חלוקה לזוגות שאלה-תשובה בבלוקים, האם חשובה מילוליות או עריכה ספרותית עם הסרת מילות מילוי.
• הרכב המשתתפים והשפות — כמה דוברים בדרך כלל בהקלטה, האם יש החלפת שפה בתוך אמירה, דיאלקטים, מונחים צרים, ראשי תיבות ושמות שאי אפשר לזהות «לפי מילון כללי».
• כללי גישה — היכן נשמרות ההקלטות, מי מהצוות שלכם מקבל את התוצאה, האם נדרש אנונימיזציה: בראיונות לעתים קרובות נשמעים נתונים אישיים, וזה משפיע על סכמת העיבוד.
• נפח ומצב עיבוד — כמה שעות הקלטה בחודש, מערך חד-פעמי או זרם קבוע, עד כמה דחוף הטקסט: באצווה עד הבוקר או כמעט מיד אחרי ההקלטה.
• נקודת מסירה — היכן לאחסן טקסטים מוכנים: באחסון שלכם, במסמך עם מבנה מוגדר או במערכת שבה כבר מנוהל בסיס ראיונות.

עם סט כזה אנחנו חוזרים עם הערכה ותוכנית עבודה: שלבים, לוחות זמנים, סדר קבלה, מדדי איכות — שיעור האמירות המתויגות נכון ודיוק ייחוס הדוברים על הדוגמאות שלכם, וגם מה מכווננים במיוחד ללקסיקה ולטרמינולוגיה שלכם. תארו את משימת התמלול ושלחו הקלטות — נדון בפרטים ונחזור עם תוכנית.