STT מווידאו: יישום זיהוי דיבור, כתוביות, תמלול

STT מווידאו: היכן אובדים הדיוק והזמן

STT מווידאו בהקלטת אולפן נקייה עם דובר אחד נותן טקסט כמעט מוכן. ברגע שמדובר בראיון ברחוב, בשיחת ועידה עם הד, או בוובינר עם שני מרצים, שגיאות הזיהוי גדלות: שמות, ראשי תיבות, מספרים ושמות מוצרים הופכים לצירוף חסר משמעות, ותמלול וידאו מפסיק לחסוך זמן.

נושא נפרד הוא חותמות הזמן של הכתוביות. המודל עשוי לשמוע מילה נכון, אבל להציב גבול תור באמצע המשפט, למתוח כתובית או להזיז אותה ביחס לשמע. הצופה רואה חוסר סנכרון, והעורך מתקן את התזמון ידנית לאורך כל הרצועה — בחומר של שעה אלו שעות עבודה שלא נכנסו לתוכנית.

המקור השלישי לתקלות — דיבור חופף והחלפת דובר. בלי דיאריזציה התורות מתמזגות לזרם אחד, ובמפגש בין משפטים המודל מייחס מילים לאדם הלא נכון. התיקון הופך לבדיקה ידנית מול ההקלטה.

את הדיוק מעלים לא על ידי החלפת מודל, אלא באמצעות שרשרת עיבוד: הפחתת רעש ויישור עוצמה, סימון דיבור לפי פעילות, דיאריזציה, מילון מונחים ושמות לפרויקט הספציפי, הערכת ביטחון של זיהוי הדיבור. להגהה ידנית מגיעים רק קטעים עם ביטחון נמוך — שברי אחוזים, ולא כל הטקסט. מפרקים איך זה נסגר.

מה נותן תמלול אוטומטי של ארכיון

דיבור בארכיון הוא נושא המשמעות הצפוף ביותר והיקר ביותר לעיבוד: שעת הקלטה דורשת כמה שעות עבודה ידנית של מפעיל. תמלול אוטומטי מסיר את הפרופורציה הזו: להגהה מוקדשים 5–10% מהזמן המקורי, והשאר — לקטעים שנויים במחלוקת, לרעש ולחפיפות קולות, שבהם המודל עצמו מסמן ביטחון נמוך.

הזמן עד לתמלול מוכן מפסיק להיות תלוי בהיקף הארכיון: הקלטה באורך כמה יממות מעובדת בלילה אחד, והתוצאה מופיעה מיד עם חותמות זמן וסימון לפי דוברים. בהמשך הטקסט פועל חיפוש בדיבור — הקטע הרצוי נמצא לפי ביטוי, ולא לפי זיכרון המחבר, ונפתח בהקלטה בשנייה המדויקת.

סוג נפרד של כשלים שנעלם יחד עם הסימון הידני: כתוביות שהתפרקו, מקטעים שאבדו במעברים, שמות שונים לאותו דובר. כתוביות לווידאו נבנות מאותו תמלול ומיוצאות ל-SRT — חותמות הזמן מקושרות לרצועה, ולא מוצבות באומדן.

תמלול הארכיון הופך לא לפרויקט חד-פעמי, אלא לשירות: הקלטות חדשות מתווספות לאינדקס המשותף, ישנות לא דורשות סימון ידני חוזר, והאיכות מאושרת בהאזנה מדגמית לקטעי ביקורת.

מצבי עיבוד וידאו: באצווה וזורם

בחירת הסכימה נקבעת לא לפי גודל הארכיון, אלא לפי האם התוצאה נדרשת ברגע הדיבור. עיבוד וידאו באצווה לוקח קובץ שלם: הזיהוי פועל על כל הסרטון, המודל רואה הקשר לפני ואחרי המשפט, ולכן הדיוק ברצועות רועשות, בהחלפת קריין ובמעבר בין שפות גבוה יותר. המחיר לכך — השהיה: התמלול מופיע לאחר העלאת הקובץ, ולא בשידור חי.

זיהוי זורם חותך את השמע לחלונות קצרים ומחזיר טקסט בהשהיה של שברירי שנייה — כך פועלות כתוביות לוובינרים וניתוח שיחות. המגבלה הפוכה: למודל אין גישה להקשר ההמשך, שמות, מונחים ומעידות הוא משחזר פחות טוב, ובחיבור לא יציב חלונות הולכים לאיבוד.

את שני המצבים אנחנו מרכיבים על אותה ליבה (מודלים ממשפחת Whisper והמקבילים שלהם), ולכן המעבר לא דורש אינטגרציה שנייה ואימון חוזר על הנתונים שלכם.

הסכימה ההיברידית מכסה את שני התרחישים: הזרם נותן כתוביות טיוטה בשידור, ולאחר סיום ההקלטה אותו קובץ עובר ריצה באצווה, והטיוטה מוחלפת בתמלול מדויק. מסלול מקומי פורסים במקום שבו ההקלטה לא צריכה לצאת מהתשתית שלכם: אותה קבוצת מודלים עובדת על המשאבים שלכם, והחוצה יוצאים רק מדדי העיבוד.

שלבי הטמעת זיהוי דיבור

סדר העבודה נבנה כך שהאיכות תהיה מדידה, ולא "לפי שמיעה". תחילה מקבעים נקודת ייחוס על הקלטות אמיתיות, אחר כך מכוונים את העיבוד ובודקים את התוצאה על אותם מקטעים — ורק לאחר מכן מוסרים את נוהל התחזוקה.

1. ביקורת הקלטות: מפרקים את המלאי — מקורות, ערוצים, פורמטי מכלים, חלקם של קבצים רועשים ורב-ערוציים, שפות ומבטאים, אורך הרצועות. בפלט — מפת נתונים והבנה היכן נדרש עיבוד מקדים.
2. סימון מדגם בקרה: מתמללים ידנית כמה עשרות מקטעים, כולל חפיפות דיבור והקלטה גרועה. זהו קו הבסיס לשיעור שגיאות ברמת המילה ובו-זמנית מדגם הקבלה.
3. דיאריזציה של קולות ותזמון: מפרידים תורות לפי דוברים, מציבים חותמות זמן, מטפלים בחפיפות ובהוספות קצרות. המאזין מקבל לא טקסט רציף, אלא שיחה עם ייחוס.
4. מילון ונרמול: מוסיפים שמות, ראשי תיבות, שמות מוצרים ומונחים תחומיים, מביאים מספרים, תאריכים וסימני פיסוק לצורה אחידה — בדיוק בשלב הזה נעלם עיקר השגיאות באוצר המילים העסקי.
5. הרכבת הפלט: כתוביות עם חותמות זמן, טקסט לפי דוברים, אינדקס חיפוש לפי מילות מפתח וקישורים לרגע בהקלטה.
6. קבלה על מדגם בקרה: חוזרים על המדידה על אותה קבוצה, משווים לקו הבסיס, מפרקים את אי-ההתאמות שנותרו ומחליטים מה מתקנים במילון ומה בסכימת העיבוד.
7. נוהל תחזוקה: מתארים כיצד להוסיף מונחים, לעדכן את המילון עם הופעת נושאים חדשים ולהפעיל מחדש עיבוד ארכיונים עם גידול בהיקפים.

רצף כזה מכסה את הסיכון המרכזי בהטמעת זיהוי דיבור — כשהמערכת עובדת על הקלטת הדגמה ומתפרקת על ארכיון אמיתי.

תצורות, מילונים ונוהלי זיהוי

לאחר הטמעת זיהוי דיבור נשאר לצוות הלקוח לא שירות סגור, אלא ערכת ארטיפקטים: איתם אפשר לשנות את התנהגות המערכת בעצמכם, בלי לחכות לנו. הכול נמצא במאגר הלקוח ומנוהל בגרסאות יחד עם הקוד — שינויים עוברים סקירה רגילה, ולא אישור דרך התכתבות.

• תצורת צינור העיבוד — קבצים דקלרטיביים עם פרמטרים לפיצול הזרם לערוצים, חיתוך למקטעים, ספי זיהוי דיבור וכללי טיפול בהפסקות. שינוי של ערך אחד משנה את התנהגות כל המסלול בלי בנייה מחדש.
• מילון מונחים — גלוסר תחומי: שמות מוצרים, תפקידים, ראשי תיבות, שמות מקומות. מתחבר לזיהוי כרמז ומתווסף על ידי הלקוח כקובץ טקסט רגיל.
• מדיניות גישה — הפרדה לפי הקלטות, תפקידים ותקופות שמירה: מי מייצא תמלול מלא, מי רואה רק כתוביות, מה נמחק אוטומטית.
• תבניות כתוביות — כללי פיצול לשורות, משך תצוגה, שוליים ופרופילי ייצוא לפלטפורמות שונות.
• נוהל איכות — בדיקה מדגמית: שיעור התמלולים שעוברים לבדיקה ידנית, הקלטות ייחוס וסף שיעור שגיאות במילים, שמתחתיו הגרסה לא מתקבלת.
• נוהל עדכון מודלים — כיצד להשוות מודל חדש לגרסת העבודה על קבוצת הייחוס, מתי העדכון מותר וכיצד לחזור אחורה אם האיכות ירדה.
• הוראות הפעלה — היכן לראות יומני עיבוד, מה משמעות תקלות אופייניות, למי נשלחת התראה וכיצד להפעיל מחדש עיבוד של הקלטה מסוימת.

כל ארטיפקט אנחנו מפרקים עם צוות הלקוח במסירה: מראים על מה הוא משפיע, ומקבעים אחראי.

מקרה בוחן: ארכיון ראיונות והרצאות בכתוביות

הלקוח הגיע עם ארכיון ראיונות והרצאות — יותר מ-300 שעות הקלטה. חלק מהקבצים — עם מיקרופון צווארון בחלל רועש, חלק — עם שני מיקרופונים ודיבור חופף.

התמלול נעשה ידנית: העורך השקיע על שעת הקלטה כשש שעות, כתוביות להרצאות יצאו שבועות אחרי הפרסום, ומחצית הארכיון נשארה בלי טקסט ולא נמצאה בחיפוש.

איך נבנה צינור העיבוד

תחילה העברנו את השמע דרך נרמול וחיתוך לפי הפסקות, אחר כך — זיהוי דיבור על מודל Whisper עם דיאריזציה: התורות מסודרות לפי דוברים, חותמות הזמן נשמרות בטווח של שברירי שנייה. שלב נפרד — גלוסר: שמות, ראשי תיבות ומונחים ענפיים, שהמודל כברירת מחדל שומע באופן שגוי.

לאחר הזיהוי מגיע עיבוד לאחר — סימני פיסוק, פיצול לתורות, ייצוא ל-SRT ול-VTT עם עריכה ידנית בחלון אחד.

מדדים לפני ואחרי

את האיכות מדדו על מדגם בקרה שנבדק ידנית מתוך 20 קבצים — לפי שיעור מילים שזוהו באופן שגוי ודיוק חותמות הזמן. בהקלטות נקיות שיעור השגיאות ירד מ-27% ל-6%, ברעשות — מ-40% ל-14%; מקטעים שהעורך מתקן ידנית הפכו ל-12% במקום כולם.

ארכיון של 40 שעות עובד בלילה אחד: שעת הקלטה אורכת כמה דקות. כתוביות להרצאות מפורסמות כעת יחד עם הווידאו, וטקסט הארכיון הפך לנגיש לחיפוש לפי ביטויים בתוך התורות.

במה שונה תמלול מכתוביות ומפרוטוקול

תמלול, כתוביות ופרוטוקול טקסטואלי — אלו שלושה מוצרים שונים, שנבנים מאותו זיהוי דיבור. תמלול שומר את כל הנאמר: זרם רציף של תורות עם סימוני זמן, סימוני דוברים, מעידות וחזרות. כתוביות — טקסט מחולק למקטעים, מקושר לפריימים ומקוצר לפי אורך השורה, כדי שהצופה יספיק לקרוא. פרוטוקול — תמצית משמעותית בלי תזמונים: החלטות, מטלות, סיכומים.

הפער מתחיל לאחר המודל האקוסטי. הזיהוי מחזיר זרם מילים עם סימוני זמן והערכת ביטחון — זהו קלט משותף לכל שלושת הווריאנטים.

בהמשך פועלים מעבדי לאחר שונים: לתמלול חשובים סימני פיסוק, נרמול מספרים ותאריכים, הפרדה לפי קולות; לכתוביות — פיצול לתורות קצרות, שבירת שורות לפי משמעות ובקרת זמן תצוגה בפריים.

פורמט הכתוביות קובע מסגרת נוקשה: כמה תווים מותרים בשורה, כמה שורות בפריים, מה משך התצוגה המינימלי והמקסימלי. מכאן SRT ו-WebVTT טיפוסיים לנגנים ולפלטפורמות פרסום, וכן טבלאות עם סימון ברמת המילה לעריכה.

בסרטונים רב-לשוניים מתווסף לכך סנכרון התרגום עם התזמון המקורי — אחרת התורות מתחילות "לזוז" ביחס לדיבור.

פרוטוקול טקסטואלי נבנה אחרת: חזרות ומעידות מוסרות, מונחים מובאים למילון אחיד, תורות מסומנות לפי משתתפים, ונקודות מפתח מוצגות בבלוק נפרד. דווקא כאן מחברים מילון תחומי והגהה — בלעדיהם תמלול ישיבה נשאר טקסט גולמי, שאי אפשר לקבל לפיו החלטה.

בחירת פורמט הפלט נקבעת לפי הצרכן, ולא לפי הטכנולוגיה. לעורך וידאו דרושים קבצי כתוביות וסימונים ברמת המילה, למחלקת תמיכה — אינדקס חיפוש לפי תמלול, למנהל — פרוטוקול עם מטלות.

ריצת זיהוי אחת משמשת בסיס לכל הווריאנטים: בהמשך מכוונים כללי עיבוד לאחר וייצוא, ולכן סט הפורמטים מתרחב בלי תמלול חוזר של ההקלטה.

ספקות טכניים לגבי איכות הזיהוי

ספקות לגבי זיהוי מצטמצמים לשלושה דברים: דיוק על חומר אמיתי, גורל ההקלטות המקוריות והיקף התיקונים הידניים לאחר התמלול. אף אחד מהסעיפים לא נסגר בהבטחה "המודל יבין הכול" — לכל אחד נדרש קריטריון מדיד, שנקבע לפני ההתחלה.

לכן לפני העבודה אנחנו מודדים איכות על מדגם בקרה מההקלטות שלכם: סופרים שיעור שגיאות במילים, איכות סימון לפי קולות והפסדים ברעש, במבטא ובחפיפת דיבור. אותם מספרים הופכים לרף קבלת התוצאה.

לאן מגיעות ההקלטות ולמי יש גישה אליהן?

אודיו ותמלולים מעובדים במתחם מבודד — שלכם או ייעודי שלנו, בלי ייצוא לשירותים חיצוניים. הגישה מופרדת לפי תפקידים, קבצי המקור נמחקים לפי נוהל מוסכם, והפעולות מתועדות בלוג. לחומרים רגישים אנחנו פורסים עיבוד בתוך התשתית שלכם, והנתונים לא יוצאים מהמתחם.

כמה תיקונים יישארו לעורך?

את היקף התיקונים קובעים מילון לפי התחום וסימון לפי תפקידים. אנחנו אוספים מונחים, ראשי תיבות, שמות מוצרים ושמות, מוסיפים החלפות בהתחשב בהקשר, כדי שקיצורים לא ישברו מילים סמוכות.

כתוביות נמסרות עם חותמות זמן וטקסט בפורמטים הנדרשים — התיקון מצטמצם להגהה של קטעים שנויים במחלוקת, ולא לכתיבה מחדש.

נדון במשימת זיהוי ההקלטות שלכם

כדי שהערכת הפרויקט תתבסס על הנתונים שלכם, ולא על מספרים ממוצעים מדוחות כלליים, שלחו תיאור משימה וכמה דוגמאות הקלטה. לפיהם מחושב עומס העבודה לניקוי השמע, התאמת מודלים לאוצר המילים שלכם והרכבת צינור העיבוד — ונחזור עם הערכה ותוכנית עבודה.

• מדגם פיילוט: 3–5 הקלטות של 5–15 דקות — חדר שקט וחלל רועש, מיקרופון וקו טלפון, דובר אחד ושיחה של כמה אנשים.
• שפה