פיתוח מערכת AI להערכה אוטומטית של שיחות נציגים

הערכה אוטומטית של שיחות: היכן נשבר השליטה הידנית

בקרת איכות השירות עדיין נשענת על האזנה מדגמית: סופרבייזר מצליח פיזית לנתח אחוזים בודדים מהשיחות במשמרת. שאר הזרם כלל אינו מוערך, והמדגם עצמו מוטה — לתוכו נכנסות השיחות הארוכות ביותר, השנויות ביותר במחלוקת או אלו שכבר בעייתיות, שנפתחו בעקבות תלונה. בסופו של דבר המדד מתאר לא את עבודת המחלקה, אלא את מה שנוח היה לפתוח.

המקור השני לעיוות — אנושי. אותה הקלטה בדיוק מוערכת באופן שונה בידי שני בודקים: פער של נקודה או שתיים בסולם נחשב לנורמה, מפני שהקריטריונים חיים בראש ובהסכמות בעל-פה, ורשימת הבדיקות מתעדכנת לעתים רחוקות יותר משמשתנה המוצר. הערכת הנציגים מפסיקה להיות ברת-השוואה — לא בין אנשים ולא בין חודשים.

הבעיה השלישית — זמן. הניתוח מגיע לעובד כעבור שבועות, כשהוא כבר לא זוכר לא את ההקשר, לא את הלקוח ולא את הניסוחים שלו עצמו. המשוב מגיע ברגע שבו ההתנהגות כבר אינה משוחזרת, והלמידה אינה נקשרת לאמירה מסוימת.

נבחן כיצד זה נסגר באמצעות הערכה אוטומטית מקיפה של שיחות: סימון שיחות לפי תרחישים טיפוסיים, קריטריונים אחידים לכל זרם ההקלטות ומשוב באותו יום, בעוד השיחה עדיין בטיפול.

מה נותנת המערכת: ויתור על מדגמיות וסולם אחיד

בדיקה מקיפה של שיחות משנה את ההיגיון של הבקרה: המערכת מעבדת את כל זרם השיחות, ולא מדגם של כמה אחוזים שהמנהל מצליח פיזית להאזין לו.

הדיבור מזוהה באמצעות Whisper ומחולק לפי דוברים, לאחר מכן כל אמירה נבדקת מול רשימת הקריטריונים — ניסוחים מחייבים, קטיעות, נכונות התנאים, התמודדות עם התנגדות. כל הקלטה מקבלת הערכה, וקטע שנוי במחלוקת מסומן בחותמת זמן: הניתוח מתבצע לפי ציטוט, לא לפי זיכרון.

סולם הערכה אחיד — ההשפעה השנייה. הקריטריונים והמשקלים חיים בקונפיגורציה, ולא בראשו של הבודק, ולכן אותה שיחה בבדיקה חוזרת מקבלת ציון קרוב. הפער בין שני בודקים מצטמצם מנקודה וחצי לעשיריות, ומקרים שנויים במחלוקת עוברים למדגם נפרד לצורך כיול.

הזמן עד המשוב נמדד בדקות: הניתוח מגיע לנציג באותה משמרת, בעוד ההקשר של השיחה טרי, ולא כעבור שבוע באסיפה כללית. זה משנה את משמעות הבקרה — הניתוח הופך ללמידה, לא לדוח.

בנפרד נעלם סוג שלם של הפרות שהוחמצו. קריטריונים קריטיים — לא הושמעו התנאים, הסכום או המועדים — מסומנים בדגל ללא תלות בציון הסופי, והמנהל רואה רשימה של שיחות כאלה, במקום להניח שהן לא נכנסו למדגם.

על רקע זה איכות העבודה של המחלקה הופכת למדידה: רואים את שיעור השיחות עם הפרות קריטיות, את תזוזת התפלגות ההערכות ואת הדינמיקה לפי כל קריטריון.

אפשרויות הטמעה: שירות מוכן, מודל עצמאי, היברידי

שלושה מצבים נבדלים בכך של מי המודל שמפיק את ההערכה ועל אילו נתונים הוא אומן. פתרון מוכן פועל על מודל שאומן על זרם שיחות כללי; מודל עצמאי — על ההקלטות שלכם ועל התקנון שלכם; גישה היברידית משאירה מודל בסיסי, אך מוסיפה לו לקסיקון ענפי וכללי שיחה.

הבחירה מצטמצמת לשלושה פרמטרים: מועד ההפעלה עד להערכות הראשונות, היקף עבודות ההכנה מצדכם ודרישות ללקסיקון ענפי — עד כמה חשוב שהמערכת תבין שמות פנימיים, קיצורים וניסוחים מהתקנון.

בפועל ההסתעפות לעתים רחוקות בינארית: בדרך כלל מתחילים בפתרון מוכן — כדי לקבל הערכות ראשונות ולהשוות אותן לבדיקה ידנית מדגמית — ובמקביל צוברים שיחות מסומנות. כעבור מספר שבועות מעבירים את ההערכה למודל עצמאי או היברידי בלי לעצור את בקרת האיכות.

שלבי העבודה: מביקורת הקלטות ועד מסירת המערכת

מתחילים לא בקוד, אלא בארכיון ההקלטות: בלי הבנה כיצד השיחות נשמעות בפועל, כל סולם יהיה מנותק מהפרקטיקה. להלן שלבי ההטמעה; איננו משנים את הסדר, מפני שכל שלב נשען על התוצרים של השלב הקודם.

1. ביקורת הקלטות. מייצאים מדגם מהארכיון על פני מספר חודשים, מסירים שקט וקטעי שירות, בודקים את איכות הערוצים. התוצר — מפת שיחות: תרחישים טיפוסיים, שיעור שיחות חריגות, מקומות שבהם ההקלטה דורשת עיבוד מקדים.

2. הגדרת הסולם. אוספים קריטריונים יחד עם מנהלי התחום: מה נחשב לברכה, לזיהוי צורך, להתמודדות עם התנגדות, לעמידה בתקנון. לכל קריטריון — משקל ותיאור של מקרי גבול, כולל «לא רלוונטי».

3. סימון ואימון המודל. מסמנים כמה מאות שיחות לפי הסולם המאושר, מקרים שנויים במחלוקת מנותחים בין המסמנים. כך הניסוחים מפסיקים לאפשר פרשנות כפולה, והמערכת לומדת מדוגמאות מוסכמות.

4. בדיקה על מדגם בקרה. שיחות שנשמרו בצד ולא השתתפו באימון נבדקות מול סימון ידני — לפי כל קריטריון בנפרד, ולא לפי ציון ממוצע. פער גבוה מהמותר משמעו חזרה לניסוח, ולא כיוונון סף.

5. פיילוט על זרם חי. מפעילים את המערכת על חלק מהשיחות, משווים הערכות לניתוח של מנהל המשמרת, מכווננים ספי התראות. רואים כמה שיחות דורשות תשומת לב ובאיזו תדירות ההערכה שנויה במחלוקת.

6. הדרכת הצוות. מראים למנהלים כיצד לקרוא את הדוח וכיצד לערער על הערכה של שיחה מסוימת, לנציגים — כיצד לנתח את שלהם. מוסרים תיאור של הסולם ותקנון לעדכונו.

קונפיגורציות, סכמות הערכה ותקנוני סימון

אנחנו מוסרים לא מצגת, אלא חבילת עבודה: כל מסמך מקושר לקובץ במאגר של הלקוח, ולכן ניתן לערוך את כללי ההערכה בלי השתתפותנו. להלן מה שנשאר אצל הצוות לאחר הפעלת הערכה אוטומטית של שיחות.

• קונפיגורציות הערכה. משקלי הקריטריונים, ספי הפעלה ומערכי כללים לפי סוגי שיחות — כקבצים שמנוהלים בגרסאות יחד עם הקוד; עריכה עוברת את אותה ריצת בקרה על מדגם ייחוס.
• סכמת אינטגרציה עם הטלפוניה. נקודת החיבור למרכזייה, תבניות ייצוא הקלטות, התנהגות בעת קטיעת מקטע או עיכוב, לאן עובר אות שגיאה וכיצד נטענות שיחות שהוחמצו.
• תיאור הסולם. מה משמעות כל ציון, כיצד מחושב הסיכום, אילו קריטריונים מחייבים ואילו רק מתקנים את ההערכה, היכן הגבולות של «משביע רצון» ו«דורש ניתוח».
• מדיניויות גישה. תפקידים — נציג, סופרבייזר, מתודיסט, אנליסט: מי רואה את ההקלטה והתמלול, מי משנה את הסולם, תקופות אחסון וכללי אנונימיזציה.
• תקנון מקרים שנויים במחלוקת. כיצד הנציג מערער על הערכה, מי מנתח את המחלוקת ובאיזה מועד, כיצד ההחלטה מתועדת ונכנסת לאימון נוסף של המערכת.
• הוראות לבודקים. כיצד לאסוף מדגם לבקרת איכות, מה נחשב לפער מול המודל, לפי איזה סף פערים לעדכן את הכללים.

בנפרד אנו מנהלים יומן שינויים: תאריך, מחבר וסיבה לכל עריכה של הסולם — כדי שכעבור חצי שנה יהיה ברור מדוע ההערכה זזה.

מקרה בוחן: כיצד ביטלו בדיקה מדגמית במחלקת מכירות

מחלקת מכירות — כ-40 נציגים בשני קווים. בקרת האיכות נשענה על שלושה מנהלים בכירים: הם האזינו ל-2-3% מהשיחות, כל אחד לפי רשימת הבדיקות שלו.

המשוב הגיע לנציג כעבור שבוע-שבועיים, והפער בהערכות בין הבודקים על אותה שיחה הגיע לשליש מהסולם — לא היה במה לערער על ההערכה, הקריטריונים לא היו בידיים.

הרכיבו הערכה אוטומטית: הקלטות נמשכות מהטלפוניה ומ־Битрикс24, הדיבור מזוהה, המודל מסמן את השיחה לפי רשימת הבדיקות — תסריט וברכה, זיהוי צורך, התמודדות עם התנגדויות, סיכומים מוסכמים. כל ציון מקושר לקטע בהקלטה, ולכן הנציג רואה על מה הורדה ההערכה ומה לשנות בשיחה הבאה.

הבודקים כבר לא מאזינים להכול ברצף: הם מנתחים מקרים שנויים במחלוקת, שהמערכת מסמנת בעצמה — ביטחון נמוך בזיהוי, התנגשות בין קריטריונים, התנגדות בלי תגובה של הנציג.

מדדים לפני ואחרי

• שיעור השיחות הנבדקות: 2-3% → 100%.
• הזמן עד למשוב לנציג: 7-14 ימים → באותו יום, בדרך כלל בתוך שעה אחרי המשמרת.
• פער בהערכות בין בודקים על אותה שיחה: כ-30% → בטווח של 5%.
• מקרים שנויים במחלוקת שנדונו ביום הפנייה: 10-15% → 9 מתוך 10.
• האזנות ידניות אצל המנהלים הבכירים פחתו בערך פי שלושה עם כיסוי מלא של השיחות.

מה לעשות אם ההקלטות נמצאות במערכות מפוזרות

טלפוניות שונות כמעט תמיד משמעותן מקורות נתונים שונים: מרכזייה בענן כותבת שיחות באחסון שלה ומוסרת אותן דרך API, הקלטות ממערכת שנייה מיוצאות כקבצים לשרת, וחלק מהשיחות מגיעות מאפליקציות מסרים ומאפליקציות מובייל של המנהלים.

גם התבניות אינן תואמות — דחוסות וזורמות, סטריאו ומונו, עם אורך ערוץ שונה וסימון שונה של ערוצי «נציג/לקוח». כל עוד זה לא מובא לצורה אחת, כל הערכה של שיחות מתחילה בטרחה ידנית, לא בניתוח.

השלב הראשון — מיפוי מלאי של המקורות: אילו מערכות כותבות שמע, היכן הוא נשמר, לפי איזה סימן כל הקלטה מקושרת לעסקה. לאחר מכן נבנה שכבת איסוף: מחברים ל-API של הטלפוניה וה-CRM, ייצוא ארכיונים, השלמת קבצים שהוחמצו בתקופה.

כל הקלטה מקבלת דרכון טכני אחיד — מקור, זמן, כיוון, משתתפים, ערוץ. זהו הבסיס שבלעדיו לא ניתן להרכיב מערכת סימון אחידה.

הבעיה המרכזית בפרויקטים כאלה — התאמה להיסטוריית העסקאות. מספר הלקוח, מזהה פנימי ב-amoCRM, מספר שלוחה של הנציג וחותמת זמן רק לעתים רחוקות מתלכדים באופן מושלם, ולכן אנו מבצעים קישור רב-שלבי: התאמה מדויקת לפי מזהה, אחר כך לפי מספר וחלון זמן, ואז תור ידני למקרים שנויים במחלוקת. שיעור ההקלטות המקושרות לעסקה נמדד בכל ריצה — לפיו רואים היכן נקרע הקשר.

מעל זה נבנה מערך סימון אחיד: תמלול עם הפרדה לפי דוברים, קישור לשלב בעסקה, תוצאות הערכה אוטומטית של שיחות והערכת הנציג. לאחר מכן אפשר להשוות שיחות מכל הטלפוניות ביניהן — לפי מחלקות, מוצרים, ותק של הנציג.

אם חלק מההקלטות נשארו היסטורית בלי קישור, הן נכנסות לשכבה נפרדת: אפשר לסמן אותן לפי תוכן, ולשחזר את הקשר עם הלקוח מאוחר יותר, כשתיווצר עסקה.

תחילה אנו מנתחים את מפת המקורות שלכם ומראים איזה שיעור של שיחות נקשר לעסקאות אוטומטית, ואיזה דורש עבודה נוספת.

מקרים מורכבים: רעש, קטיעות, דיאלקט, אירוניה

רעש וקטיעות שוברים את הזיהוי לא מעצמם, אלא במעברים: המערכת מסמנת קטע שבו שני הערוצים מדברים בו-זמנית, ואינה מדביקה אמירות לאחת. ההקלטות מגיעות בערוצים נפרדים — הדיבור של הנציג והלקוח אינו מתערבב, ולכן חפיפות נראות באופן מיקומי, ולא לפי ניחוש.

קטעים כאלה אינם נזרקים מההערכה: הם מסומנים כשנויים במחלוקת, מפני שדווקא שם לרוב הולך לאיבוד המשפט המרכזי.

דיאלקט ומבטא חזק פוגעים בסיומות, במילות שירות ובשמות — משמעות המשפט מנוחת, והדיוק בישויות יורד. אנו מרחיבים את המילון בהקלטות מאזור מסוים ומקבלים החלטה לפי כוונה: אם המודל בטוח במהות הבקשה, אך לא בטוח במילים בודדות, המקרה מוערך לפי המשמעות ולא נזרק.

לגבי משמעות מטפורית הכלל מחמיר יותר: אירוניה, סרקזם ואלגוריות יוצרים התנגשות בין הטונאליות לתגית המשמעות, והתנגשות כזו אינה נפתרת אוטומטית.

במקום שבו מתחיל ניחוש, אנו משאירים במודע בדיקה ידנית. הביטחון של המודל מושווה לסף שמכוונן לזרם מסוים: בדרך כלל להאזנה עוברים כמה אחוזים מהשיחות — אלו שבהן ההערכה סוטה מהצפויה או שהאות קטוע. כל הקלטה שנבדקה חוזרת לסימון, והכללים מתחדדים, ולא נשארים קבועים לנצח.

האם אפשר לוותר לגמרי על בדיקה ידנית?

מבחינה טכנית — כן, אפשר להעלות את הסף לאפס, וכל השיחות יוערכו אוטומטית. אבל אז קטעים שנויים במחלוקת עם אירוניה, חפיפות ודיאלקט יקבלו הערכה פורמלית, שנראית משכנעת ויקרה בניתוח מול הנציג.

מצב היברידי נותן איכות יציבה: המכונה מכסה את עיקר ההיקף, והאדם — רק את מה שההחלטה לגביו אינה חד-משמעית.

נדון במשימה ונחזור עם תוכנית עבודה

כדי לדון במשימה באופן ענייני, ולא באופן כללי, מספיק לתאר את התהליך כפי שהוא בנוי כעת: מי בודק שיחות, לפי אילו קריטריונים וכמה זמן לוקח מדגם אחד. אין צורך להכין אפיון טכני מראש — נבנה אותו יחד לפי הנתונים המקוריים שלכם, ומסמך פורמלי בשלב הזה רק יאריך את הדרך. אם יש הקלטות שיחות ותקנון הערכה לפחות בטיוטה, זה מספיק כדי לעבור מדיבורים להערכת היקף.

• תיאור בקרת האיכות הנוכחית: מי מעריך, לפי אילו קריטריונים, באיזו תדירות ובאיזו תקופתיות;
• מדגם הקלטות אנונימי על פני כמה שבועות — הכרחי שיכלול את השיחות שאותן מעריכים היום כשנויות במחלוקת;
• תקנון או רשימת בדיקות פעילה של ההערכה, גם אם היא חיה בטבלה ואינה מאושרת בשום מקום;
• נתונים על עומס: כמה שיחות ביום, איזה שיעור נכנס לבדיקה, כמה זמן לוקח ניתוח של שיחה אחת;
• מידע על המערכות שבהן כבר נשמרות הקלטות ותוצאות ההערכה, וכיצד ניתן להתחבר אליהן;
• מגבלות על גישות ואחסון של נתונים אישיים שיש לקחת בחשבון לפני ההתחלה, ולא אחריה.

לאחר הניתוח נחזור עם הערכת היקף, סדר שיתוף הפעולה ותוכנית עבודה לפי שלבים: הכנת נתונים וסימון מקרים שנויים במחלוקת, התאמה וכיול של המערכת על המדגם שלכם, בדיקת דיוק על שיחות שבהן הדעות חלוקות, והפעלה בתהליך הקיים. את התוכנית נתאם לפני תחילת העבודה, כדי שהציפיות לגבי ההיקף והתוצאה יתאימו.