הטמעת Batch STT: זיהוי דיבור מקבצי אודיו

Batch STT על ארכיונים: היכן העיבוד נשבר

עיבוד ארכיון הקלטות בדרך כלל מתחיל באותו אופן: סקריפט עובר על קבצים ושולח כל אחד לזיהוי בבקשה נפרדת. כל עוד יש עשרות הקלטות, הסכמה עובדת.

על קורפוס של מאות שעות אודיו היא נתקלת בטיימאאוט של הזיהוי: הקלטה ארוכה לא מספיקה לחזור בחלון שהוקצה, החיבור נשבר, ואובד לא חלק מהתוצאה אלא הקובץ כולו. יתרה מכך, הכשל משוחזר על אותן הקלטות — ישיבות, ראיונות, שיחות ארוכות, כלומר בדיוק במקום שבו תמלול נחוץ ביותר.

צוואר הבקבוק השני — אובדן תור המשימות. כאשר המעבר מתבצע בתהליך אחד, כל הפעלה מחדש מאפסת את המצב: לא ידוע אילו קבצים כבר עובדו ואילו לא. המעבר הבא לוקח הכול מחדש, משכפל תמלולים מוכנים, שוב נתקל באותו טיימאאוט — ולא זז מהמקום.

אם לפני כן הקבצים פורקו לחלקים, לבעיה מצטרפת ההרכבה: קטעים של אותה הקלטה מתערבבים, חותמות הזמן מתקלקלות, והטקסט מפסיק להתאים לקול.

את שארית הארכיון סוגרים בתמלול ידני. זהו החלק היקר ביותר בעבודה: הוא לא מתרחב, כובל אנשים לשעות אודיו, ובכל זאת לא נותן קורפוס אחיד — סימון דוברים, חותמות זמן ומבנה הדיאלוג בקבצים שונים מעוצבים בצורה שונה. בסופו של דבר מתקבל לא ארכיון מוכן לחיפוש ולניתוח, אלא אוסף של טקסטים מפוזרים עם חסרים.

כל אחד מהכשלים האלה נרפא בארכיטקטורה, לא בסבלנות: פיצול הקלטות ארוכות לסגמנטים משמעותיים, הצבת משימות בתור עם יומן מצב, חזרה עם המשך במקום חזרה מאפס, והרכבה מחדש של הסגמנטים לתמלול שלם. בהמשך נפרט כיצד זה נסגר ברמת המימוש.

מה נותן עיבוד ארכיון הקלטות אודיו בשלמותו

תמלול באצווה משנה את הצבת המשימה: לא קובץ בודד בלחיצת כפתור, אלא כל הארכיון בהרצה אחת. המתזמן מפרק את ההקלטות המצטברות למשימות, מפזר אותן בתור ומוסר למעבדים כמה שרשורים מקבילים שהתשתית יכולה לשאת. ארכיון שבדיקה ידנית מתחה על פני שבועות נסגר בשעות — את התהליך מפעילים פעם אחת ולא עוקבים אחריו.

ההבדל המרכזי הוא בסוג הכשלים. בעיבוד נקודתי כשל של קובץ אחד או ניתוק החיבור למודל עוצרים את העבודה ודורשים הפעלה מחדש ידנית, והבלתי גמור מצטבר לזנב בלתי מורגש. במצב אצווה המשימה מסומנת ככושלת, עוברת לניסיון חוזר עם השהיה גדלה, והתור ממשיך הלאה. בסוף ההרצה יש דוח: כמה הקלטות זוהו, כמה נדחו ומדוע.

עומס צפוי מראש — לא תופעת לוואי אלא תנאי. הגבלת המקביליות וחלונות ההרצה לא מאפשרות לארכיון לדחוק את שאר השירותים, ולכן מערך ארוך לא הופך לזינוק בהשהיות במערכות סמוכות. זו גם התשובה לעלות זמן ההשבתה: המשאבים תפוסים בדיוק למשך ההרצה, ולא נמתחים בשכבה דקה על פני שבוע.

מה לתעד בצ'ק-ליסט: זמן עיבוד הארכיון מההרצה ועד הדוח, שיעור ההקלטות שנסגרו ללא התערבות אדם, והתנהגות התור כאשר שירות חיצוני אינו זמין. שלושת המדדים האלה מראים אם התוצאה משוחזרת על מערך הבא או שההצלחה הקודמת הייתה מקרית.

אפשרויות הרצה של Batch STT והמגבלות שלהן

סכמת ההרצה של batch STT חשובה יותר מבחירת המודל: היא קובעת כמה עבודה ידנית נשארת סביב הזיהוי ומה קורה אם העיבוד נכשל באמצע הארכיון. להלן ארבע אפשרויות שביניהן בוחרים בפועל; אנו עובדים עם מודלים פתוחים כמו Whisper ומתאימים את המעטפת לתרחיש הספציפי.

מגבלה משותפת לגישה: זיהוי באצווה אינו נותן תוצאה בזמן אמת, וכאשר הנפח גדל צוואר הבקבוק הופך לא למודל אלא להצבת המשימות ולאחסון התמלולים. בניתוח המשימה אנו מתבוננים בגודל הארכיון, בתדירות הגעת ההקלטות ובדרישות הזמנים — ומציעים סכמה, לא אוסף סקריפטים.

כיצד אנו בונים קו תמלול אודיו

קו התמלול הוא לא הרצת מודל על קובץ בודד, אלא זרימת משימות עם זמן מעבר צפוי ואיכות ניתנת לשחזור. כל עוד סדר השלבים לא קבוע, כל ארכיון חדש מפורק ידנית, והתוצאה נשענת על אדם אחד. להלן כיצד נראית העבודה שלנו מקבלת ההקלטות ועד מסירת המערכת.

1. ביקורת הארכיון ואיכות הקול. עורכים מלאי של מכולות, משך, מספר ערוצים, שיעור ההקלטות עם רעש, מוזיקה או דחיסה טלפונית. על מדגם ביקורת מודדים את הבהירות — היא קובעת היכן נדרש עיבוד מקדים והיכן המודל יתמודד כפי שהקלטה.
2. סכמת תורים. הקלטות ארוכות נחתכות לסגמנטים ומפוזרות בין זרמים: פניות חדשות בעדיפות גבוהה, ייצואים ארכיוניים — ברקע. מספר המשימות המקבילות נבחר כך שהתור לא יגדל מהר יותר מהקצב שבו הוא מתפרק.
3. הגדרת ניסיונות חוזרים. כשלים זמניים — אי-זמינות של אחסון, חריגה מזמן המתנה — מפרידים מכשלים קבועים: מכולה פגומה, פס ריק. את הראשונים חוזרים עם השהיה גדלה ומגבלה, השניים עוברים להסגר עם סיבה, ולא נעלמים בשקט.
4. בקרת איכות הזיהוי. סופרים שיעור מילים עם ביטחון נמוך, משווים לתמלול ייחוס על מדגם ביקורת, ועוקבים אחרי יציבות חותמות הזמן. את הסף שמתחתיו הקלטה עוברת לבדיקה ידנית מתאמים לפני ההרצה.
5. מסירה לתפעול. מוסרים תצורה, סכמת תורים, נוהל הפעלה מחדש ולוח מדדים. המהנדסים שלכם מריצים את הארכיון שלהם בעצמם — מכאן הקו עובד ללא מעורבותנו.

מה כלול באספקה: סכמות ונוהלים

אנו מוסרים לא רק את הקו המוגדר, אלא כל מה שנדרש כדי שיתקיים בלעדינו: פרמטרי עיבוד, סכמת מעבר הקלטה, מדיניות גישה ונוהלים למקרה כשל. כל ארטיפקט מתאמים בקבלה — מהנדס הלקוח צריך לדעת להפעיל עיבוד חוזר ולהסביר מדוע קובץ מסוים זוהה באופן חלקי.

• תצורות הקו — פרמטרים של סגמנטציה לפי שקט, בחירת מודל לפי שפה ואיכות ערוץ, מילונים של מונחים תחומיים, ספי ביטחון שמתחתם קטע עובר לזיהוי חוזר.
• סכמת עיבוד — כיצד הקלטה עוברת מהעלאה ועד תמלול מוכן: הצבה בתור, נרמול עוצמת קול, פיצול לקטעים, הרכבת התוצאה, מסירה דרך אחסון קבצים או הודעה על מוכנות.
• מדיניות גישה להקלטות — תפקידים ותחומי נראות, זמני שמירה של אודיו וטקסטים, הצפנה בזמן העברה ועל הדיסק, יומן פניות לחומרים רגישים.
• פורמטים למסירה — תמלול עם חותמות זמן וסימון דוברים, וכן גרסאות טקסט וכתוביות; אנו מקבעים את מבנה השדות כדי שניתן יהיה לטעון אותו למערכת חשבונאית בלי עריכה ידנית.
• נוהל טיפול בכשלים — קטלוג של כשלים אופייניים (קובץ פגום, חפיפת קולות, רעש, שפה לא מוכרת), סדר הסלמה, כללים להפעלה מחדש אידמפוטנטית כדי שחזרה לא תכפיל תוצאות.
• תיעוד תפעולי — הוראות להרצת החבילה, סכמת פריסת רכיבים, סדר עדכון מילונים וקבוצת הקלטות ביקורת לבדיקה לאחר שינויים.
• ניטור ודיווח — מדדים של שיעור קבצים שעובדו בהצלחה, זמן המתנה בתור והיקף השלמה ידנית; התראות נשלחות לבעל האחריות לפני שהתור נעצר.

מקרה בוחן: ארכיון מוקד שירות וזמן תמלול

הלקוח — מרכז קשר עם הקלטה רציפה של כל הקווים. בארכיון מוקד השירות עד למועד ההתחלה היו כ-12,000 שעות אודיו, ומהן תומללו ידנית לא יותר מ-4% — כלומר רק מדגם שמפעילי בקרת האיכות הספיקו לפרק.

שיעור ההקלטות שתומללו אוטומטית היה אפס: כל חיפוש לפי תוכן השיחה חייב האזנה. פירוק הקלטה אחת ארך עשרות דקות, ולכן הסיבה לגידול בפניות חוזרות במערך המצטבר פשוט לא נמצאה.

מה שינינו

הרכבנו קו זיהוי באצווה (batch STT): קבצים מהאחסון נחתכים לסגמנטים, מנורמלים לפי עוצמת קול, וכל אחד מהם מקבל מטא-נתונים של השיחה — קו, מפעיל, זמן, תג קמפיין.

המשימות עוברות בתור, והתוצאה נכתבת לפי מפתח ההקלטה, ולכן הפעלה חוזרת של סגמנט לאחר כשל לא יוצרת כפילות במסד ולא שוברת את ההרצה. כבסיס לקחנו את משפחת המודלים הפתוחה Whisper ואימנו אותה על שיחות מסומנות עם לקסיקון ענפי, שמות תעריפים וראשי תיבות.

מה קרה בסוף

כל הארכיון פורק בשלושה ימים במקום חודשים של עבודה סלקטיבית, הכיסוי — 100% מההקלטות. שיעור שגיאות הזיהוי בזרימה ירד מ-11% ל-4.5%, וההתערבויות הידניות עמדו על כששים בחודש לעומת כמעט אלפיים: המפעיל מתחבר רק לשמות, כתובות ומספרים שנויים במחלוקת.

שיחות חדשות נכנסות לחיפוש בתוך שעה לאחר השיחה. הייצוא מתבצע כעת לפי ביטויים ותגים על פני כל המערך בבת אחת, ובקרת האיכות נשענת על מדדים לפני ואחרי, ולא על האזנה אקראית.

במה עיבוד ארכיון שונה מתמלול בזרימה

תמלול בזרימה ופירוק ארכיון פותרים משימה אחת — להפוך דיבור לטקסט — אך מייעלים גדלים שונים. בזרימה ההקלטה נחתכת לחלונות קצרים, והתוצאה נמסרת עם הגעתה: מדויקות ומלאות ההקשר מקריבים למען השהיית עיבוד מינימלית. זיהוי באצווה (batch STT) עובד עם קובץ שלם, ולכן את התור מתכננים לפי משאבים זמינים, לא לפי שעון עצר.

סכמת זרימה נדרשת היכן שהטקסט נחוץ ברגע הדיבור: כתוביות, רמזים למפעיל, בקרת שיחה בזמן אמת. המחיר — הקשר קטוע בגבולות החלונות, רגישות להשהיות ולרעש, חוסר יכולת לחזור ולחדד קטע שכבר נמסר.

לפירוק ארכיון אין מגבלות כאלה: הקובץ ידוע בשלמותו, ולכן זמינים מעברים חוזרים, נרמול קול, הפרדה לפי דוברים והשוואה למילון המונחים של תחום.

על מערכים מצטברים — הקלטות שיחות, ראיונות, ספריית מדיה, ייצואים לתקופה — דווקא העיבוד באצווה מנצח. כאן חשובים לא השהיית העיבוד אלא תפוקה ויכולת שחזור: אותו קובץ בהרצה חוזרת נותן את אותו טקסט, ומודל או מילון מונחים מעודכן ניתן להחיל על כל הארכיון בבת אחת. השהיה של דקות ושעות לצורכי דיווח וחיפוש בהקלטות אינה קריטית.

קריטריונים של ישימות מצטמצמים לשלוש שאלות. האם נדרשת תוצאה ברגע הדיבור או שאפשר להמתין לסיום עיבוד המנה? האם נדרש עיבוד חוזר — למשל, להחיל מילון מונחים מעודכן על הקלטות ישנות? עד כמה הקלט הוא אחיד: קבצים ארוכים בלי גבולות ברורים של משפטים עדיף למסור לסכמת אצווה. לעתים קרובות בוחרים בהיבריד: תמלול ראשוני בזרימה לניווט, וסופי — בפירוק הארכיון באצווה.

ספקות טכניים לפני תחילת הפרויקט

את איכות התמלול קובעים לא רק המודל אלא גם מה שמוזן לכניסה. זיהוי באצווה (batch STT) מעבד קבצים בשלמותם, ולכן העבודה מתחילה בפירוק הארכיון: רמת רעש, מספר דוברים, משך השהיות, פורמט ואיכות המקורות.

חלק מהשאלות חוזרות כמעט בכל פגישה טכנית — אנו עונים לפני ההתחלה, כדי שהערכת דיוק הזיהוי תישען על מדידות ולא על הבטחות.

בהקלטות מעורבות שפות וניבים — הזיהוי לא יתבלבל?

את השפה אנו קובעים לפי סגמנטים, לא לפי הקובץ כולו, ולכן החלפה בתוך אותו דיאלוג מטופלת כראוי. עבור ניבים ולקסיקון ענפי אנו מוסיפים מילונים ואימון על החומר שלכם — שיעור ההחלפות של מילים "דומות" יורד. את השפה הראשית מגדירים במפורש, כדי שתגובות קצרות לא יטו את המודל.

הארכיון תומלל חלקית, והאודיו רגיש. מה עם עיבוד חוזר והעברה?

איננו מחשבים דבר מחדש: אנו מנהלים יומן לפי סכום ביקורת של הקובץ והגדרות העיבוד, ולכן הקלטות שלא השתנו מדולגות, ורק חדשות או ששונו מופעלות מחדש. על מערך של עשרות אלפי שעות זה ההבדל בין הרצה לילית לבין שבועות של חישוב.

האודיו מועבר בערוץ מאובטח לאחסון עם גישה מוגבלת ויומן פניות; אם הקלטה אינה אמורה לצאת מההיקף שלכם, אנו פורסים את המערכת בתשתית שלכם — החוצה יוצאות רק תוצאות התמלול.

נדון במשימה ונחזור עם תוכנית עבודה

כדי שהערכת ההיקף תהיה עניינית ולא "הערכה בעין", בתחילת הדרך כדאי לקבל מכם דוגמאות הקלטות וסטטיסטיקה על הארכיון. הניתוח אורך כמה ימים: המהנדסים שלנו מאזינים לקטעים, בוחנים משך, מספר דוברים ואיכות קול, ומחשבים את שיעור החומר שידרוש עיבוד נפרד. בסוף התהליך אתם מקבלים תוכנית עבודה עם שלבים וגבולות אחריות, ולא "נעשה" כללי.

מה לשלוח כדי שהשיחה תיגש ישר לעניין:

• 5-10 דוגמאות מקבוצות שונות — הקלטת אולפן, שיחה טלפונית, חדר רועש: לפיהן רואים את המורכבות האמיתית
• היקף: כמה שעות אודיו בחודש וכמה מהר הארכיון גדל
• דרישות לתוצאה — רק טקסט, סימון לפי דוברים, חותמות זמן, פורמט ייצוא
• רשימת מונחים, שמות וראשי תיבות שיש לזהות במדויק
• סכמת הגעת חומרים: ייצוא חד-פעמי של ארכיון, תיקיות קבועות, חילוף עם המערכת שלכם
• מגבלות תשתית: היכן מחושב batch STT — בהיקף שלכם או בצד שלנו

בהמשך אנו מקבעים שלבים, זמנים וקריטריוני קבלה על מנת פיילוט, ולאחר מכן עוברים להיקף המלא. תארו את המשימה ושלחו חומרים — נחזור עם הערכת היקף ותוכנית עבודה.