אינטגרציה של AssemblyAI לתמלול וניתוח דיבור

AssemblyAI: מדוע זיהוי דיבור נשבר בזרימה

זיהוי דיבור נראה כמו משימה פתורה — עד שמתחילים לתמלל שיחות מערוץ אמיתי: רוחב פס צר של טלפוניה, דחיסה, הד של אוזנייה ורעש משרדי — חלק מההברות אובדות עוד לפני המודל. עם דיקטפון בחדר ישיבות אותו סיפור: מזגן, רשרושים, דיבור המופנה הצידה מהמיקרופון.

המקור השני לאובדן — חפיפה של דיבורים. הלקוח והנציג מפריעים זה לזה, על הקו נשמעים המתנה ומוזיקה. בלי הפרדה של קולות לפי דוברים הכול נופל לתמלול אחד — וכבר אי אפשר להבין למי שייכת האמירה על סירוב או על תנאי העסקה.

השכבה השלישית, היקרה ביותר — טרמינולוגיה. סלנג ענפי, ראשי תיבות, מקטי"ם, שמות משפחה ושמות מקום — המודל הבסיסי שומע «בדרכו שלו»: שגיאות הזיהוי מתרכזות בדיוק היכן שהמשמעות קריטית. התמלול קיים פורמלית, אבל איכות האודיו והלקסיקון לא מכניסים אותו לדיווח.

אחר כך מצטרפת הגהה ידנית: האנליסט מקשיב לקטעים מחדש, מתקן שמות וסכומים, מצליב מול CRM — על זה מתבזבז יותר זמן מאשר על הניתוח עצמו של השיחה. הנפח גדל, לוחות הזמנים מתפזרים, האמון בנתונים יורד.

AssemblyAI סוגר את הפער הזה לא על ידי «הפעלת מודל», אלא על ידי התאמה לזרימה מסוימת: דיכוי רעש ונרמול לפני הזיהוי, הפרדה לפי דוברים, מילון תחום והנחיות לביטויי מפתח, כללים נפרדים להקלטות קצרות וארוכות. בהמשך נפרק איך זה נבנה למעגל עבודה.

מה משתנה אחרי ההטמעה: דיוק, מהירות, תיוג

דיוק הזיהוי מפסיק להיות תלוי באיכות ההקלטה: המודל עובד עם רעש, הד, דיבור חופף וערוץ טלפוני. על מאגר הקלטות גדל שיעור האמירות שזוהו נכון, וקטעים שנויים במחלוקת מסומנים לבדיקה — במקום החלפה שקטה של מילים, שאחר כך מחפשים אחריה ידנית.

מילון מונחי התחום וכללי נרמול של מספרים, תאריכים וראשי תיבות מותאמים לשפה המקצועית שלכם, ולכן שמות וכינויים לא «מתנדנדים» מהרצה להרצה.

דיאריזציה מפרידה בין המשתתפים לפי קול ומשייכת כל אמירה לדובר — גם כשהמשתתפים יותר משניים והם מפריעים זה לזה. זה מסיר את הפעולה הידנית היקרה ביותר: האזנה לשם מענה על השאלה «מי אמר מה». בפלט מתקבל דיאלוג מתויג עם חותמות זמן, שאפשר לדפדף בו ולהצליב עם ההקלטה לפי שניות.

מהירות העיבוד משנה את סדר העבודה: מאגר ההקלטות עובר לעיבוד אצווה ומנותח במקביל, בזמן שהאצווה הבאה נטענת. ניתוח, שנמשך קודם ימים של האזנה, הופך לתהליך רקע — התוצאה מגיעה במנות לפי המוכנות, ולא בגוש אחד בסוף השבוע.

תיוג הדיבור הופך את התמלול לראוי לאנליטיקה: תפקידי הדוברים, נושאים, אותות סנטימנט, ביטויי מפתח, חיפוש בטקסט במקום גלגול לאחור.

את העיבוד והתיוג אנחנו בונים על AssemblyAI, ואת הלוגיקה שמעל — לפי הדוחות שלכם, כך שהנתונים המיוצאים יגיעו ישירות למערכת החשבונאית או למאגר בלי הדבקה ידנית.

בנפרד נעלם סוג שלם של שגיאות ידניות: אי-התאמות בין התמלול להקלטה, אמירות שאבדו, חותמות זמן שהתפזרו, גרסאות שונות של אותו מסמך אצל עובדים שונים. מקור אחיד עם כללי גישה והיסטוריית עריכות סוגר את זה — הבדיקה הופכת להצלבה מדגמית, ולא לניתוח חוזר.

מצבי AssemblyAI: אצווה, זרימה ועיבוד נדחה

שלושה מצבי עבודה מכסים תרחישים שונים: עיבוד אצווה מקבל הקלטות מוכנות, זיהוי בזרימה — אודיו חי, עיבוד נדחה — ארכיונים שנצברו. המצב קובע לא רק את השהיה עד לטקסט, אלא את כל סכמת המעגל: היכן מאוחסן הצליל, איך נמסרת התוצאה, ואילו תקלות יהיה צורך לפצות בצד השירות.

בצד AssemblyAI מדובר בשלוש דרכים שונות למסירת התוצאה, וכל אחת מהן מכתיבה סט הגנות משלה. במעגל האצווה והנדחה, התראות על מוכנות אמינות יותר מסקירת סטטוס מתמדת: הן מסירות עומס מיותר ולא מאבדות את המשימה בעת אתחול השירות. בזרימה חובה חוצץ ושחזור סשן — אחרת בישיבות ארוכות אובדות דקות של תמלול.

בפועל, מצבים משמשים לעתים רחוקות לבדם: זיהוי בזרימה מספק הנחיות ברגע, ועיבוד אצווה או נדחה — פרוטוקול מהודק עם הפרדת דוברים. את שתי התוצאות יש לאחד לפי זמן ותגיות דוברים, וזה חלק מתכנון המעגל, ולא תוצר לוואי.

שלבי ההטמעה: מסקר הקלטות ועד העברת המעגל

סדר השלבים אינו פורמליות: זיהוי דיבור ואנליטיקה מתפרקים לא על המודל, אלא על איכות נתוני הקלט. רעש, חפיפת ערוצים ולקסיקון ענפי נותנים טקסט אחיד «בממוצע», אבל השגיאות מצטברות בדיוק היכן שמקבלים החלטות לפי התמלול — לכן מתחילים בסקר הקלטות, ולא בהגדרת השירות.

1. סקר הקלטות. מקשיבים למדגם מהמאגר: יחס דיבור לשתיקה, איכות ערוצים, חפיפות, רעש, שפות. בפלט — מפת בעיות והבנה אילו סוגי שיחות מזוהים באופן אמין.
2. מילון מונחים. אוספים מונחי תחום, ראשי תיבות, תפקידים ושמות, מגדירים הנחיות ל-AssemblyAI וכללי נרמול של מספרים, תאריכים ויחידות. אחרת «חמש מאות» ו-«500» בדוחות יהפכו לישויות שונות.
3. הגדרת הזיהוי. בוחרים מצב, הפרדת אמירות לפי דוברים, פיסוק וסף ודאות שבו קטע עובר לבדיקה ידנית. הכול מתועד בקונפיגורציה, ולא בראש של המהנדס.
4. מדגם בקרה. מתייגים ידנית סט הקלטות ומצליבים את התמלול מילה במילה, כשבודקים בנפרד שגיאות במונחים ובשמות. שיעור השגיאות נעשה לקריטריון קבלה ומורצה מחדש אחרי כל שינוי בהגדרות.
5. אנליטיקה מעל התמלול. מוסיפים תיוג: סנטימנט, עמידה בתסריט, ביטויים נדרשים, הפסקות, חפיפות. את הכללים מתאמים עם הצוות שלכם, כדי שהדוח ייקרא באופן חד-משמעי.
6. הטמעה והעברת המעגל. מפרסים את העיבוד במעגל שלכם, מאמנים עובדים, מעבירים מילונים, קונפיגורציות, תיוג של מדגם הבקרה ונוהל רגרסיה.

מה מועבר לידיים שלכם: קונפיגורציית AssemblyAI ונהלים

הפרויקט לא מסתיים בהצגת תמלול, אלא ברגע שבו הצוות שלכם יכול בעצמו להרים, לשנות ולתקן את האינטגרציה. לכן את הערכה מוסרים לפי רשימה: כל חפץ נפרס מהמאגר בסביבה נקייה ומורץ על סט הקלטות בקרה.

• קונפיגורציית זיהוי. פרופילים לכל סוג הקלטה: שפה וניב, הפרדת אמירות לפי דוברים, פיסוק, פורמט התשובה, זמן המתנה מקסימלי ומגבלת אורך לקובץ.
• מילונים. לקסיקון ענפי, ראשי תיבות ושמות מוצרים בהנחיות, כללי נרמול של מספרים, תאריכים ושמות — כדי שהתמלול לא יאבד משמעות במונחים ייחודיים.
• סכמות אינטגרציה. מפת תנועת האודיו מהמקור עד המאגר: פורמטים, חיתוך לחלקים, התראות על מוכנות, ניסיונות חוזרים בעת ניתוק.
• מדיניות גישה. הפרדה בין סביבות, הרשאות מינימליות, תוקף ורוטציה של מפתחות, הצפנת הקלטות ותוצאות, כללי מחיקת נתונים אישיים.
• נהלי תפעול. ספים לשיהוי ולשיעור שגיאות זיהוי, התראות לתורן, נוהל חזרה לפרופיל הקודם.
• תיעוד. סכמת נתונים, ייעוד כל שדה בתשובה, התאמה לשדות של מערכת החשבונאות שלכם, יומן שינויים בקונפיגורציה.

לערכה מצורפות הקלטות בקרה עם תמלולי אמת ונוהל קבלה: לפיהם תקבלו את העבודה ובהמשך תבדקו איכות אחרי כל שינוי בפרופיל.

מקרה בוחן AssemblyAI: זרימת השיחות הפסיקה לאבד משמעות

לפני ההטמעה: תמלול מדגמי ותור גדל

מוקד שירות קיבל כמה אלפי שיחות ביממה, אבל לניתוח הגיעו לא יותר מ-3% מההקלטות — השאר פשוט נשמר. התמלול נעשה ידנית: מומחה אבטחת איכות הקשיב שוב לקטעים, הקליד טקסט, ורק אחר כך תייג את הפניות לפי נושאים. תור העיבוד גדל מהר יותר משהספיקו לטפל בו, ושיחות קונפליקט עלו לפני השטח רק אחרי שהלקוח כבר עזב.

מה שינינו בסכמת העיבוד

שילבנו זיהוי דיבור מבוסס AssemblyAI במעגל המוקד: ההקלטה עוברת לעיבוד מיד עם סיום השיחה, ולא באצווה לילית. הפעלנו הפרדת דוברים וחותמות זמן — התמלול מגיע עם תיוג «מי אמר ומתי», מחפשים בו לפי ביטויים ומכניסים לאנליטיקה בלי עריכה ידנית. תור העיבוד הפך לעדיפותי: פניות קצרות עוברות ראשונות, ושעות שיא כבר לא יוצרות פקק ליממה שלמה קדימה.

מדדים לפני ואחרי

• שיעור השיחות שמגיעות לאנליטיקה: 3% → 100%
• השהיה עד תמלול מוכן: שעות → דקות בודדות
• תיוג לפי תפקידים ונושאים: ידנית → אוטומטית
• חיפוש ביטויים בתוך השיחה: לא זמין → בכל הארכיון

ניתוח מצבי קונפליקט הפסיק להיות תלוי בכך שהשיחה נכנסה למדגם או לא. מחלקת האיכות רואה את כל הזרימה בשלמותה ומגיבה באותו יום, ולא לפי סיכום שבועי.

AssemblyAI או סטאק זיהוי משלכם: מה לבחור

שירות מוכן כמו AssemblyAI ומודל עצמאי פותרים משימה אחת — הופכים דיבור לטקסט עם תיוג לפי דוברים — אבל נתקלים במגבלות שונות. השירות נותן תוצאה מיד: זיהוי זרימה, הפרדת קולות, חותמות זמן, עמידות לרעש. מודל עצמאי דורש מאגר הקלטות ותיוג, אבל לומד מהלקסיקון שלכם ולא מוציא אודיו החוצה.

ההסתעפות עוברת דרך שלוש שאלות: איכות בתחום שלכם, דרישות לאחסון האודיו, ותדירות השינויים במילון המונחים.

בפועל, לרוב ההיברידי מנצח: השירות מכסה את הזיהוי, ומעליו מונח מילון הישויות של החברה וכללי נרמול — של שמות, מקטי"ם ותפקידים. מעגל כזה עולה לאוויר תוך שבועות, ולא חודשים, ואפשר להחליף אותו בהדרגה במודל עצמאי במקומות שבהם השירות טועה הכי הרבה.

בחירת ספק מתכנסת לדבר אחד: האם הוא מודד איכות. אנחנו מבקשים סט הקלטות אמיתיות עם תמלול אמת, מריצים דרך שתיים־שלוש אפשרויות ומשווים את שיעור המילים הנכונות בקטעים השנויים במחלוקת — ההחלטה מתקבלת לפי מספרים, ולא לפי הבטחות.

ספקות טכניים: דיוק, שפות, הגנת נתונים

מדדי האיכות נקבעים לפני ההתחלה, ולא אחרי: שיעור המילים שזוהו נכון בקטע מתויג, בתוספת ספירה נפרדת לפי ישויות מפתח — שמות, מקטי"ם, תפקידים. כך רואים היכן המודל טועה והאם נדרש מילון לתחום שלכם, במקום ויכוח על «דיוק בכלל».

בהקלטות רועשות — שיחות, פגישות עם הד, רשומות דיקטפון — האיכות יורדת בגלל הצליל, ולא בגלל הזיהוי. לכן קודם נרמול האודיו והפרדה לפי קולות, ורק אחר כך טקסט: מי ומתי מדבר חשוב לא פחות ממה שנאמר. דיבור מעורב וטרמינולוגיה ענפית נסגרים במילון הנחיות.

איך מטופלים נתונים אישיים?

האודיו והתמלולים מוצפנים בהעברה ובאחסון, הגישה מופרדת לפי תפקידים, ותקופת האחסון נקבעת לפי המדיניות שלכם. לפני הייצוא למאגר האנליטי אנחנו חותכים מהטקסט טלפונים, כתובות ומספרי מסמכים — לדוחות עוברת גרסה בלתי מזוהה.

אפשר לבדוק דיוק לפני אינטגרציה מלאה?

כן. לוקחים קטע מתויג מההקלטות האמיתיות שלכם ומחשבים מדדים לפי ישויות מפתח. אם הסף לא הושג, מדייקים את המילון וההנחיות, ורק אחר כך בונים את זרימת העיבוד — חזרה להגדרה הקודמת אורכת דקות.

נדבר על המשימה: זיהוי דיבור לזרימת הנתונים שלכם

כדי לחזור עם הערכה, ולא עם ניסוחים כלליים, די לנו בתיאור זרימת ההקלטות שלכם: מאיפה מגיע הצליל, באיזה פורמט ומה צריך לקרות איתו בהמשך. ספרו על המשימה בצורה חופשית — שאלות הבהרה נשאל בעצמנו, לפני שנציין לוחות זמנים והרכב העבודה.

לחישוב נדרש:

• מאיפה מגיע האודיו: טלפוניה, הקלטת פגישות, העלאת קבצים, זרימה ממיקרופונים;
• נפח — שעות ביממה ובחודש, פיזור לפי אורך ואיכות ערוצים;
• מה צריך להיות בפלט: טקסט, תיוג לפי דוברים, חותמות זמן, תקציר, חיפוש לפי ביטויים;
• לאן מגיעה התוצאה: מאגר, מערכת חשבונאית, בסיס נתונים, ממשק נציג;
• דרישות לגישה ולאחסון: מי רואה את ההקלטות, תקופת אחסון, אנונימיזציה;
• מגבלות על המעגל — ענן, מעגל סגור או סכמה היברידית;
• עשר הקלטות אמיתיות בלי עריכה, כולל רועשות ועם חפיפת קולות.

בתשובה תקבלו הערכת עבודה בפילוח לפי שלבים, תוכנית עבודה עם נקודות בקרה ותחומי אחריות, וגם סכמת פיילוט. אנחנו עובדים עם AssemblyAI ואלטרנטיבות — את המנוע בוחרים לפי דיוק על ההקלטות שלכם, ולא לפי סקירות.

הפיילוט לוקח מקטע צר של הזרימה, מורץ על הנתונים שלכם ומראה דיוק בשדות מפתח לפני שהפרויקט יוצא לנפח מלא. תארו את המשימה בכתב או שנדון בה בקול — נחזור עם הערכה ותוכנית עבודה.