יצירה אוטומטית של כתוביות לווידאו על בסיס Whisper large-v3

מדוע יצירה אוטומטית של כתוביות נשברת על סרטונים אמיתיים

יצירה אוטומטית של כתוביות עובדת בביטחון על הקלטת דמו בחדר שקט ומתפרקת כבר על החומר האמיתי הראשון. ברצועה יש מוזיקה, רעש אוורור, הד של אולם כנסים, מיקרופונים בעוצמות שונות אצל המשתתפים.

מודל זיהוי הדיבור, כולל הענף העדכני של Whisper, מפיק טקסט במקום שבו אדם שומע מילה אחת, ונותן שגיאות זיהוי במקום שבו ההקלטה נקייה באופן אובייקטיבי: שני קולות חופפים באמצע מילה, ובפלט מתקבלת אמירה ממוזגת המיוחסת לדובר הלא נכון.

הסוג השני של תקלות — לקסיקה. ז'רגון ענפי, שמות של מערכות פנימיות, ראשי תיבות ולטינית בתוך משפט בעברית מזוהים "לפי הצליל" והופכים לצירוף אותיות חסר משמעות.

סיפור נפרד — החלפת שפה בתוך ההקלטה: משתתף עובר לאנגלית לשני משפטים, ומכאן תמלול הווידאו לטקסט ממשיך כבר עם מודל שפה זר, עד שהקובץ נחתך לsegמנטים באופן ידני.

הסוג השלישי — נפח. כתוביות לארכיון וידאו נדרשות לא לסרטון אחד: מדובר בעשרות שעות של הרצאות, וובינרים והקלטות פגישות. תמלול ידני של הקלטות בכוחו של עורך נותן איכות סבירה, אך נתקל בשעות אדם — על שעת הקלטה הולכות כמה שעות עבודה, והארכיון גדל מהר יותר משמספיקים לפרק אותו. כשהתור נמדד בחודשים, המשימה מפסיקה לזוז בשקט.

מפרקים איך זה נסגר: היכן לתקן את הסאונד הנכנס, היכן לחבר מילון והפרדת דוברים, והיכן לבנות קו עיבוד אצווה של הארכיון.

האפקט מהטמעה: מהירות, תקן אחיד, כיסוי

תמלול על Whisper מתבצע מהר יותר מזמן אמת: פרק בן שעה הופך לרצועה מוכנה בדקות, ולא במשמרת של עורך. דיוק זיהוי הדיבור על סאונד אולפני מספיק לפרסום ללא תיקונים, ובראיונות עם רעש ומבטאים נשארת הגהה — אך ממוקדת, לפי הקטעים המסומנים, ולא על כל הטקסט ברצף.

בקטלוג הפיילוט הפער בשלבים נראה כך:

פורמט אחיד של רצועות מסיר סוג שלם של שגיאות הקלדה ידנית: אי-התאמות בטיים-קודים, אמירות שאבדו, פיסוק שמתפצל. כשהסימון מיושר על פני כל הקטלוג, חיפוש בכתוביות, תרגום אוטומטי וחיתוך גרסאות אנכיות מתחילים לעבוד על כל הארכיון, ולא רק על הפרסומים האחרונים.

בדיוק על האפקט הזה מושתתת המשמעות של יצירה אוטומטית של כתוביות: התמלול מפסיק להיות צוואר בקבוק בהוצאה.

דרכים לקבל כתוביות: באצווה, בזרימה, משולב

מצב העבודה נבחר לא לפי טעם, אלא לפי מהיכן מגיע הווידאו ומה נדרש בפלט. ארכיון, שידור חי וקטעים בודדים דורשים ארגון תור שונה: במקום מסוים חשוב תפוקה, במקום אחר — השהיה, ובמקום נוסף די לתמלל עשר דקות מתוך הקלטה בת שלוש שעות.

עיבוד אצווה שם קבצים בתור ומחזיר רצועות מוכנות בחבילה, תמלול זורם מחזיר טקסט בעקבות הדיבור, וביניהם מונחים שני תרחישי פשרה. להלן — כיצד הם נבדלים בפועל.

בחירת המצב היא תמיד חליפין בין השהיה לדיוק: הקו הזורם טועה בשמות ובמונחים בתדירות גבוהה יותר מהאצווה, אבל מחזיר טקסט מיד. בפועל משלבים בין הקווים: השידור הולך בזרימה, וההקלטה שלאחר השידור מורצת באצווה על מודל זיהוי הדיבור ומחליפה את רצועת הטיוטה. מפרקים איך זה נאסף לתהליך אחד.

כיצד נבנית ההטמעה: מאודיט הארכיון ועד מסירה

הטמעת התמלול מתחילה לא בהרצת המודל, אלא במלאי הארכיון: אורך המאגר, שפות ומבטאים, שיעור הדיבור החופף והמוזיקה, איכות רצועות הסאונד, קיום טקסטים מוכנים ודפי מונטאז'.

מהנתונים הללו תלויים גם פרופיל העיבוד וגם היקף ההגהה הידנית — לכן אודיט של ארכיון וידאו הולך בשלב ראשון, ולא מתברר כבר במנה הראשונה.

1. אודיט של ארכיון וידאו והדרישות. מפרקים את המאגר לקטגוריות ולאיכות סאונד, מסמנים היכן נדרשת הגהה ידנית. כאן גם מתאמים פורמטים: כתוביות מוטמעות, קבצים נפרדים, סימון דוברים.
2. סכימת עיבוד. קובעים חיתוך לפי שקט, סדר הערוצים בהקלטה מרובת רצועות, התנהגות המערכת על מוזיקה וקטעים שלא זוהו.
3. התאמה לפי סוגי הקלטות. לראיונות, וובינרים, הרצאות וצילומים ברחוב קובעים פרופילי פילוח משלהם: הגדרות אחידות נותנות איכות שונה בז'אנרים שונים.
4. מילון מונחים של הפרויקט. שמות, ראשי תיבות, שמות מוצרים, לקסיקה מקצועית. זו הדרך המהירה ביותר להעלות את הדיוק בלי לאמן מחדש את המודל.
5. מדגם ביקורת של הקלטות. מודדים את שיעור המילים הנכונות, נכונות תגי הזמן, אורך השורות. מקרים שנויים במחלוקת מפרקים לפני ההגדרה, ולא אחרי המסירה.
6. תקנון קבלת רצועות. קובעים קריטריונים מדידים: שיעור שגיאות מותר לפי קטגוריה, אורך שורה, קצב החלפה, הפסקות. לפיו אתם מקבלים את העבודה לפי רכיבים.
7. מסירה. מוסרים קונפיגורציות, מילונים והוראות, ומראים כיצד להריץ עיבוד של הקלטות חדשות בכוחות עצמכם.

לאחר המסירה נשארים קו עבודה פעיל ותקנון קבלה ברור — חומרים חדשים עוברים יצירה אוטומטית של כתוביות באותה דרך, בלי מעורבותנו.

מילונים, קונפיגורציות וכללי סימון בפלט

יצירה אוטומטית של כתוביות מבוססת Whisper מהענף העדכני מסתיימת לא רק בקבצים מוכנים, אלא בסט ארטיפקטים שלפיהם הצוות שלכם מריץ בעצמו הקלטות חדשות. קונפיגורציות, מילונים וכללי סימון נמצאים במאגר הפרויקט, ולכן החומר הבא מתומלל באותן הגדרות — בלעדינו.

• פרופילי קונפיגורציה לתרחישים טיפוסיים. סטים נפרדים של פרמטרים לראיונות, הרצאות עם מצגת והקלטות עם כמה דוברים: אורך שורה, הפסקה עד רצועה חדשה, התנהגות בחפיפת דיבור.
• מילון מונחים של הפרויקט. שמות מוצרים, ראשי תיבות, שמות דוברים ואפשרויות הכתיבה שלהם. מחובר לפני היצירה, ולכן שיעור השגיאות בלקסיקה צרה יורד בלי הגהה ידנית.
• כללי סימון רצועות וחלוקה לפי זמן. גבולות האמירות מקושרים לקבוצות משמעות, ולא למספר תווים: משך מינימלי של הכיתוב, שבירת שורה, פיצול בהפסקה.
• תיעוד התמלול. פורמטי ייצוא — SRT ו-VTT, קידוד, מספור רצועות, התאמת קולות לדוברים, שמירת המקורות.
• הוראה לעורך. מה חובה לתקן, אילו אי-התאמות מותרות, כיצד לסמן מקומות שנויים במחלוקת ולעדכן את המילון, כדי שהתיקון יעבוד בהרצות הבאות.
• סדר קבלת התוצאה. מדגם ביקורת, נורמה לשיעור מילים עם אי-התאמות, נקודות עצירה של הקבלה עד להסרת ההערות.
• תקנון הרצה חוזרת. כיצד לעדכן פרופיל או מילון ולחדש את הכתוביות, בלי להרכיב מחדש את הווידאו.

מקרה בוחן: מהגהה ידנית לתמלול זורם של הארכיון

המדיה-טקה הגיעה עם ארכיון של כ-900 שעות: ראיונות, הרצאות, הקלטות כנסים. התמלול נעשה ידנית — עורך אחד הקשיב והקליד טקסט, שני הגיה מונחים וכתיבת שמות. על רצועה אחת הלכו שש-שמונה שעות, ולכן כתוביות הוצאו באופן סלקטיבי: בערך כל הקלטה שלישית.

כיצד אורגן העיבוד

הקבצים נכנסים לתור, Whisper בקונפיגורציית מודל גדולה מחזיר טקסט עם תגי זמן, ושכבת נרמול מכניסה מספרים, ראשי תיבות וכתיבת שמות למילון הפרויקט. סגמנטים ארוכים נחתכים לפי הפסקות, כדי ששורה לא תתפוס חצי מסך.

לאחר מכן בדיקה אוטומטית משווה את אורך הטקסט לסאונד, מחפשת מרווחים ריקים ולקסיקה שנויה במחלוקת — העורך פותח רק מקומות מסומנים, ולא את כל הרצועה.

מה התקבל

שיעור הרצועות שפורסמו ללא תיקונים עלה מ-31% ל-86%. זמן ההוצאה של רצועה אחת הצטמצם משש שעות ל-35 דקות: כתוביות יוצאות יחד עם פרסום הווידאו, ולא אחרי שבוע. הארכיון פורק בשלושה שבועות, ומכאן הזרימה נמשכת ברציפות — הקלטות חדשות מקבלות תמלול ביום ההעלאה.

התמלול מונח לצד הווידאו כשכבה טקסטואלית, ולכן החיפוש במדיה-טקה עובד לפי אמירות, ולא רק לפי שמות קבצים.

במה נבדל תמלול זורם מעיבוד אצווה?

תמלול זורם חותך את הסאונד לחלונות קצרים ומחזיר טקסט עם ההגעה: השהיית התמלול נמדדת בשניות, אבל המודל רואה רק הקשר מוגבל. במפגשי הסגמנטים נשבר הפיסוק, הולכים לאיבוד שמות ומונחים, ודיבור חופף של שני דוברים מתמזג לאמירה אחת. המהירות כאן משולמת באיכות: הטקסט מתאים לקריאה, אך לא לפרסום ללא תיקון.

עיבוד אצווה מקבל את הקובץ כולו: לפני הזיהוי מודל Whisper מהענף העדכני עובד עם ההקשר המלא של ההקלטה ועם הטיימקודים. על חומרים מורכבים — רעש, מבטא, החלפת שפה בתוך אמירה, כמה קולות בערוץ אחד — תוצאה ראויה נותן דווקא המעבר באצווה. המחיר לכך — המתנה: הכתוביות מוכנות לא ברגע הדיבור, אלא עם סיום העיבוד.

כל סכימה נשברת בדרכה: הזרם לא מחזיק ראיון עם קטיעות וכתוביות על גבי הדיבור, האצווה חסרת תועלת לשידור, שבו הכתוביות נדרשות ברגע השיחה. לכן המצב נבחר לא לפי אורך הקובץ, אלא לפי הדרישה לרגע הופעת הטקסט.

מצב עיבוד היברידי מסיר את הסתירה הזו: בזרם הולכת רצועת טיוטה בהשהיה של שניות, ולאחר הפרסום ההקלטה מורצת באצווה — עם מילים חמות ומילון מונחים — והטקסט הסופי מחליף את הטיוטה לפי טיימקודים, בלי החלפת קישור והגדרות נגן.

את המצב בוחרים לפי סוג התוכן: שידור חי — זרם, ארכיון קורס או ראיון — אצווה, אירוע עם הקלטה — היברידי.

ספקות טכניים: איכות, שפות, הרשאות

רוב השאלות כלפי יצירה אוטומטית של כתוביות — לא על מודל זיהוי הדיבור Whisper עצמו, אלא על האופן שבו הוא מתנהג על ארכיון אמיתי. להלן — ספקות שבדרך כלל עולים לפני ההתחלה: איכות זיהוי הדיבור, תמיכה בשפות, גישה להקלטות הווידאו.

מה לעשות עם שפות מעורבות בהקלטה אחת?

השפה נקבעת לפי קטע, ולא לפי הקובץ כולו, ולכן הוספות קצרות בשפה אחרת מזוהות בענף השפה שלהן. שמות, ראשי תיבות ומונחים ענפיים עוברים למילון החלפות, שנאסף מהגלוסרי שלכם — עליהם נופל עיקר התיקונים.

האם אתם צריכים גישה להקלטות הווידאו המקוריות?

אנחנו מעבדים עותק של הארכיון בקו שלנו, או פורסים הכל בתוך ההיקף שלכם — ואז המקורות לא יוצאים מהתשתית. נדרשות הרשאות קריאה של וידאו וכתיבה של כתוביות, שאנחנו מוציאים בחשבון שירות נפרד עם תוקף מוגבל.

יש לנו ארכיון מסומן חלקית — זה יעזור או יפריע?

יעזור. אם לחלק מההקלטות כבר יש כתוביות, נשתמש בהן כתקן: משווים לסימון האוטומטי, מחשבים את שיעור ההתאמות ומכווננים את כללי הפורמט. בדרך כלל די בעשירית מארכיון מסומן כדי למשוך את האיכות של שאר ההקלטות.

מה קורה לאחר תיקוני העורך?

התיקונים נשמרים כשכבה נפרדת מעל המכונה. לאחר שינוי הגלוסרי או ההגדרות אנחנו מחדשים רק את הקטעים שנגעו בהם, ולא את כל הארכיון; היסטוריית הגרסאות והתזמונים נשמרים, וחזרה לאחור — פעולה אחת.

נדון במשימה: נחזור עם הערכה ותוכנית

כדי שהערכת פרויקט התמלול תהיה מדויקת, ולא "פחות או יותר סדר גודל", נדרשים לנו מינימום נתוני פתיחה. להלן — מה לשלוח לתחילת הדיון: זה מספיק כדי לחשב משאבים ולהציע תוכנית הטמעה.

• נפח וסוגי הקלטות: כמה שעות בחודש, פורמטי מכולות, כמה רצועות בכל הקלטה.
• דוגמאות לקטעים מורכבים: 3-5 קטעים שבהם הדיבור חופף, יש הרבה מונחים, שמות או רעש רקע.
• דרישות לרצועות: איזו רצועה ראשית, כיצד להפריד קול ממוזיקה, האם נדרש מיקס ודיבוב.
• שפות: שפה ראשית, הוספות בשפות אחרות, האם נדרש סימון שפה תוך כדי.
• דרישות לסימון: פורמט קובץ הכתוביות, אורך שורה, מספר תווים בשנייה, סגנונות, האם נדרשים תגי דוברים.
• מגבלות הרשאות: היכן נשמרות ההקלטות, האם ניתן להוציא אותן החוצה, מי וכיצד צופה בתוצאה.
• קריטריוני קבלה: כיצד לחשב איכות (שיעור שגיאות) ומי מבצע את ההגהה.

בתגובה אנחנו חוזרים לא במילים כלליות: הערכת פרויקט תמלול לפי נפח, טיוטת תוכנית הטמעה ודרישות לרצועות לפי החומר שלכם. המודל ממשפחת Whisper בענף העדכני מכסה את עיקר העבודה, אבל הדיוק נשען על הכנת האודיו — ולכן דוגמאות של קטעים מורכבים הן החשובות ביותר.

תארו את המשימה — נחזור עם הערכה ותוכנית.