פיתוח מערכת AI להערכה אוטומטית של צ׳אטים של נציגים

מדוע הערכה ידנית של צ'אטים של נציגים אינה ניתנת להרחבה

נציג סוגר עשרות שיחות במשמרת, והסופרבייזר מספיק לנתח שברירי אחוז מהן. ניתוח אחד אורך 8–15 דקות, כלומר 15–20 התכתבויות ביום בזמן שהזרימה היא אלפים.

התכתבויות ב-Zendesk ובמערכות דומות נשמרות במלואן, אך נבדקות באופן מדגמי: האוטומציה סופרת את זמן התגובה הראשונה, ועמידה בקריטריונים המהותיים — ברכה, זיהוי צורך, העברה נכונה למחלקה הבאה — נשארת בידי האדם.

האזנה מדגמית להתכתבויות הופכת להגרלה: טעות מערכתית בתסריט או בהעברה בין קווים חיה חודשים, עד שהיא נופלת למדגם אקראי. לכך מתווספת אי-התאמה בקריטריוני הבדיקה — שני סופרבייזרים נותנים לאותה שיחה הערכות שונות, והפער מגיע לעשרות אחוזים. הנציג מקבל אותות סותרים, לא מבין לאיזה תקן לשאוף, והלקוח רואה את הטעות לפני הסופרבייזר.

השהיית המשוב משלימה את המכה: הניתוח מגיע כעבור כמה ימים, כשההקשר נשכח וההתנהגות כבר התקבעה. העומס על הסופרבייזר במקרה זה גדל באופן ליניארי יחד עם המצבת — פי שניים נציגים דורשים פי שניים בודקים, והכיסוי בכל זאת נשאר שבריר אחוז מהנפח הכולל.

נבחן כיצד זה נסגר: כיצד בנויה הערכה אוטומטית של צ'אטים של נציגים לפי קריטריונים אחידים ומה היא משנה בעבודת המשמרת.

האפקט של בדיקה מקיפה: מהירות, שלמות, קריטריונים אחידים

בדיקה מקיפה של שיחות מעבירה את בקרת האיכות ממצב מדגם למצב זרימה: כל ההתכתבות עוברת הערכה, ולא 5–10% אקראיים ממנה. הסימון מתבצע לפי רובריקה פורמלית, לכן התוצאה אינה תלויה במי מהנציגים הבכירים פתח את הצ'אט הספציפי.

את ההערכה מוביל מודל שפה — בפרויקטים דומים אנו נשענים על OpenAI ופתרונות דומים באיכותם, ולא על מנוע אחד מקודד קשיח.

שלמות המדגם במקום עשרה אחוזים אקראיים

• כיסוי — 100% מהשיחות לעומת 5–10% בבדיקה ידנית; צ'אט קונפליקטואלי כבר לא נופל מהבקרה בגלל שהוא לא נכנס לשבוע הדיווח.
• זיהוי מוקדם של בעיות: שיעור התקריות שעולות מתלונת לקוח, ולא מניתוח התכתבות, יורד מ-40–50% לאחוזים בודדים.
• סטטיסטיקה נאספת במהירות: צוואר בקבוק בתסריט נראה כבר ב-20–30 שיחות, ולא אחרי ניתוח של מאות פניות זהות.

מהירות הניתוח וסקאלת קריטריונים אחידה

• מהירות ניתוח ההתכתבות — מ-10–15 דקות קריאה ידנית ל-1–2 דקות לבדיקת טיוטת ההערכה ואישורה.
• עקביות: אי-ההתאמה בין הבודקים בשיחות שנויות במחלוקת מצטמצמת מ-25–30% ל-5–7%.
• מקרים שנויים במחלוקת עוברים לתור נפרד עם ציון סיבת הספק, ולא נכתבים מחדש "לפי העין".

בסך הכל משתנה סוג הטעויות: הבעיה מתועדת בתוך השיחה, ולא כעבור חודש בסיכום הנשירה. לכן בהמשך נבחן כיצד בנויה הרובריקה וכיצד היא מתעדכנת בלי לאמן מחדש את כל המערכת.

אפשרויות ארכיטקטורה: חוקים, מודל מוכן, אימון נוסף

הבחירה היא בין ארבעה סוגי פתרונות, וממנה תלויים היקף הסימון, תדירות האימון מחדש והתנהגות המערכת כאשר הנציגים יתחילו לכתוב אחרת.

חוקים ומילונים: צפוי, אך שביר

חוקים ניתנים להסבר מלא: לכל הערכה רואים איזה תנאי פעל, לכן קל להגן עליהם בפני הנציג ושירות האיכות. אבל השפה אינה מצטמצמת לתבניות — די לשנות ניסוח בתסריט, והמילון מתחיל לתת התראות שווא, והתיקונים נעשים ידנית ועוברים בקלות לנושאים סמוכים.

אימון נוסף על הסימון שלכם וגבולות הישימות

אימון נוסף מעביר למודל את הקריטריונים שלכם: הוא לומד מהערכות של מומחים, ולא מאדיבות מופשטת, ומנתח בביטחון ניסוחים שאינם במילונים. הגבולות נראים מיד — המודל יורש הטיות סימון, לכן הערכות גבוהות ל"נציגים שלנו" ייכנסו למשקלים. יש צורך במדגם ייחוס ובדיקה על נתונים חדשים, אחרת האיכות יורדת בשקט עם החלפת מוצרים ותסריטים.

התכנית ההיברידית מנצחת מפני שהיא מפרידה בין המשימות: חוקים מכסים בדיקות פורמליות, המודל — משמעות והקשר, ושכבת התיאום פותרת אי-התאמות ושולחת שיחות שנויות במחלוקת לניתוח ידני. מעגל כזה נותן גם הסבריות להערכה וגם עמידות לניסוח מחדש.

שלבי ההטמעה: ביקורת התכתבויות, תכנית, הגדרה, קבלה

ביקורת היסטוריית השיחות נותנת בסיס עובדתי: היקף הזרימה, שיעור ההסלמות, פניות חוזרות, נושאים אופייניים. על נתונים אלה מקבעים את סקאלת הקריטריונים ורק אחר כך עוברים להגדרה.

1. ביקורת היסטוריית שיחות: מייצאים את ההתכתבות, מסמנים נושאים, אורך פניות, הסלמות ופניות חוזרות.
2. תיאום סקאלת הקריטריונים: לכל הפרה — ניסוח, משקל ודוגמאות "כן/לא", כדי שמקרים שנויים במחלוקת ייפתרו באותה צורה.
3. תכנית סימון: מה נחשב ליחידת הערכה — שיחה או תגובה בודדת, מי מסמן וכיצד נבדקת איכות הסימון.
4. הגדרת מודל הערכה: אימון על קורפוס מסומן וכיול ספי הפעלה לפי שיחות גבול.
5. קבלה על מדגם ייחוס: הרצה על שיחות שהמערכת לא ראתה, והשוואה להערכות של מנחים.
6. מסירה והדרכת צוות: ניתוח דוחות עם סופרבייזרים, סדר ערעור על הערכה ואימון נוסף על דוגמאות חדשות.

כיצד נוצר מדגם הייחוס

את המדגם אוספים באופן מרובד: לפי כל נושא לוקחים שיחות ביחס לחלקן בזרימה, ובנפרד מוסיפים מקרים נדירים אך קריטיים — קונפליקטים, תלונות, הפרות תקנון. כל שיחה מוערכת באופן בלתי תלוי על ידי שני מנחים, ואי-ההתאמות מנותחות בפגישת תיאום. זה מונע התאמת המודל לדוגמאות נוחות.

מה נחשב לקבלה מוצלחת

הקבלה עוברת אם המערכת משחזרת את הערכות המנחים בעקביות שאינה נמוכה מזו שבין המנחים עצמם, ואינה מחמיצה הפרות קריטיות. בנפרד עוקבים אחרי שיעור התראות השווא: הסופרבייזר צריך לנתח את הסימונים בזמן סביר, ולא לטבוע בהם. את התוצאה מתעדים בפרוטוקול — מה עובד, מה מכוונן נוסף ומי אחראי לבחינה מחדש.

ערכת מסירה: סימון, חוקים, תקנונים, לוח דוחות

לאחר ההרצה, הערכת הצ'אטים של הנציגים מפסיקה להיות תלויה במי בדיוק מנתח היום את השיחות. את ערכת התיעוד מעבירים למאגר שלכם: חוקים, סימון והגדרות נמצאים לצד המערכת ומשתנים על ידי הצוות שלכם, בלי לפנות אלינו בכל הבהרה.

• חוקי סימון: רשימת קריטריונים עם ניסוחים "תקין / הפרה", סקאלה, מקרים שנויים במחלוקת עם הסבר כיצד לפרש אותם.
• קורפוס שיחות מסומן: התכתבויות ייחוס עם הערכות שהוזנו — עליהן המערכת מכווננת ואותן משווים לחוקים חדשים.
• תצורת הערכה: משקלי קריטריונים, סף ניתוח אוטומטי, רשימת ביטויי עצירה וחריגים — בקבצים, בלי עריכת קוד.
• לוח דוחות: חתכים לפי נציגים, משמרות ונושאי פניות, דינמיקת הערכה לפי שבועות, ייצוא מדגם לבדיקה ידנית.
• מטריצת הרשאות: תפקידים, הרשאות צפייה ועריכה, סדר הענקה ושלילה.
• תקנונים לניתוח שיחות שנויות במחלוקת ולבחינה מחדש של קריטריונים עם אחראים ולוחות זמנים.

תקנון לניתוח שיחות שנויות במחלוקת

הערכה שנציג או מנהל אינם מסכימים איתה אינה נמחקת ואינה מתוקנת ידנית — השיחה עוברת לתור של הקו השני. מסמן בכיר מנתח אותה לפי אותם חוקים, ההחלטה מתועדת עם נימוק ומצטרפת לקורפוס כאמת מידה חדשה.

מקרים שנויים במחלוקת חוזרים ונשנים הופכים לסעיף נפרד בחוקים — שיעור ההערכות המעורערות יורד מאיטרציה לאיטרציה, ואיתו גם הזמן לבדיקות ידניות.

מטריצת הרשאות והפרדת תפקידים

נציג רואה את השיחות שלו ואת ההערכה הסופית, ראש משמרת — את המחלקה שלו ואת הסיבות לירידת הניקוד, אנליסט — מדגם אנונימי ללא נתונים אישיים. מנהל מערכת שולט בחוקים ובהגדרות, אך אינו מעריך שיחות ידנית.

ההרשאות ניתנות לפי תפקידים מהקטלוג שלכם, שינויי גישה מתועדים ביומן, וייצוא הערכות אל מחוץ למעגל סגור.

מקרה בוחן: קיצרנו את זמן הבדיקה והסרנו אי-התאמות בקריטריונים

לפני ההטמעה בקרת האיכות נשענה על מדגם ידני: סופרבייזר ניתח 5–7% מההתכתבויות במשמרת, על שיחה אחת הושקעו 12–15 דקות. הקריטריונים חיו בתקנון ובראשו של הבודק, לכן שתי הערכות לאותה שיחה נבדלו בכשליש מהמקרים. המשוב הגיע לנציג כעבור שניים-שלושה ימים, כשהשיחה כבר סגורה ומאוחר לשנות התנהגות.

מה הראו השבועות הראשונים לאחר ההרצה

בשבוע הראשון המערכת פעלה במצב צל: העריכה את כל הזרימה, אך הניקוד לא נשלח לנציגים. את הסימון השוו למסקנות שלושה סופרבייזרים וחיברו למערכת הפניות הפעילה (Zendesk) באמצעים סטנדרטיים, בלי לגעת בעמדות העבודה. חלק מהאי-התאמות התבררו לא במודל, אלא בתקנון עצמו — ניסוחי הקריטריונים הובהרו ועוגנו בדוגמאות שיחות.

הערכות שנויות במחלוקת כבר לא הולכות לאיבוד: הנציג רואה את הניקוד לצד ציטוט מהשיחה וקישור לקריטריון ויכול לערער עליו, בהמשך מחליט הסופרבייזר. ידנית מנתחים רק ערעורים — שברירי אחוז מהשיחות במקום מדגם כולל, והזמן שהתפנה מופנה להדרכה של אלה שההערכות שלהם ירדו ביותר.

מה לעשות אם תקנון הערכת האיכות כבר מאושר?

התקנון הקיים נשאר מקור האמת, ולא טיוטה שצריך לכתוב מחדש עבור המערכת. הקריטריונים, הסקאלות והניסוחים מועברים כפי שהם: עץ הקריטריונים, משקלם וכללי ההסתעפות חוזרים על המסמך המאושר, כולל מצבים שנויים במחלוקת וחריגים — הם הופכים לחוקים נפרדים, ולא הולכים לאיבוד בעת האוטומציה. ההוראות הפנימיות לבודקים נשארות בתוקף, רק הכלי שבו הם משתמשים משתנה.

המעבר מבדיקה ידנית מתבצע דרך הרצה מקבילה. המערכת מעריכה את אותן שיחות כמו הבודק, אך האיטרציות הראשונות אינן משפיעות על דבר: אי-ההתאמות מנותחות ידנית, ומהן רואים אילו ניסוחי קריטריון נקראים באופן דו-משמעי.

בדרך כלל אחרי שניים-שלושה סבבים כאלה, העקביות של ההערכות עם בודקים מנוסים הופכת למספקת כדי שההערכה האוטומטית תהפוך לעיקרית, והאדם יעבור לבקרה מדגמית.

המערכת משתלבת בתהליכים הקיימים בלי לשנות את נקודת הכניסה לנציג: השיחות נמשכות מהמקום שבו הן נמצאות כעת, ותוצאת ההערכה חוזרת לאותו מקום — לכרטיס השיחה, לדוח או לפורטל הפנימי. הערכות בביטחון נמוך עוברות לתור לניתוח ידני, לכן הבודק עוסק בחריגים, ולא בזרימה.

התקנון חי ומשתנה, לכן הקריטריונים אינם מקובעים לנצח. תיקון מוכנס למערכת הקריטריונים, מריצים כיול על מדגם מסומן ובמידת הצורך מאמנים את המודל מחדש. גרסאות התקנון וגרסאות מערכת הקריטריונים מותאמות זו לזו, לכן הערכות ישנות נשארות ניתנות לשחזור ולהשוואה בין תקופות.

ספקות טכניים: אינטגרציות, הרשאות, סימון, עמידות

הצד ההנדסי לפני ההתחלה בודק ארבעה דברים: חיבור לערוצי ההתכתבות הפעילים, פרטיות והרשאות, עמידות לשפה חיה, התנהגות בעת שינוי נושאי הפניות. עונים בקצרה, בלי מילים כלליות.

הערכת צ'אטים של נציגים קוראת את ההתכתבות במצב קריאה ומאחסנת את התוצאות במאגר נפרד — תהליך העבודה של הנציג אינו משתנה. ההרשאות נורשות מתפקידי מערכת העבודה, וכל פנייה לשיחות מתועדת ביומן.

מה עם פרטיות והרשאות גישה?

נתונים אישיים עוברים אנונימיזציה לפני הכניסה למודל: שמות, טלפונים ומספרי הזמנות מוחלפים בתגיות. הגישה לטקסטים המקוריים ניתנת לפי תפקידים, עם יומן פעולות.

כיצד המערכת מתמודדת עם סלנג, שגיאות הקלדה ודיבור משולב?

ההערכה נעשית לפי משמעות, ולא לפי התאמת מילים, לכן קיצורים, שגיאות הקלדה וטקסט לטיני בתוך ביטוי אינם שוברים את הניתוח. שיחות שנויות במחלוקת עוברות לבדיקה ידנית ומאמנות את המודל נוסף.

מה קורה בשינוי נושאי הפניות וגידול בנפח?

מוצרים חדשים וסוגי פניות חדשים דורשים עדכון קריטריונים וכמה דוגמאות בסימון — אין צורך להרכיב את הפתרון מחדש. הנפח גדל בלי אובדן מהירות: שיחות מעובדות במנות ונארכבות לפי מועד מוגדר.

נדון במשימה: מה להביא לניתוח הראשון

כדי שהשיחה תהפוך להערכת היקף העבודה, ולא לחילופי ציפיות, כדאי להביא לפגישה הראשונה סט חומרים קונקרטי. אין צורך להכין דבר מראש — די במה שכבר קיים במערכות העבודה.

• שיחות היסטוריות מ-2–4 שבועות עם פילוח לפי ערוצים: צ'אט באתר, מסרים מיידיים, דואר אלקטרוני. זהו הבסיס להרצה ראשונית על הנתונים שלכם, ולא על מדגם הדגמה.
• רשימת קריטריונים שלפיהם מעריכים כעת נציגים ידנית: עמידה בתסריט, טון, שלמות התשובה, פתרון בפנייה הראשונה. לפי אלה נבנית תכנית הסימון.
• דוגמאות להערכות סופרבייזרים — לפחות מאה שיחות עם ניקוד והערות, כדי להשוות את לוגיקת המודל לדעת שירות בקרת האיכות שלכם.
• תקנון הערכה וכללי הסלמה של מקרים שנויים במחלוקת: אי-התאמות בשיחות קונפליקטואליות חשובות מקריטריונים פורמליים.
• תכנית ניתוב פניות: מהיכן מגיעות השיחות, היכן נשמרות, האם יש אפשרות לייצוא ואנונימיזציה.
• מגבלות על נתונים אישיים: מה אסור להוציא אל מחוץ למעגל, האם נדרשת הסתרה של מספרים, כתובות ופרטי תשלום.
• תפקידים בצד שלכם: מי מנתח הערכות שנויות במחלוקת ומי מקבל את התוצאה.

בהמשך אנו בודקים איזה חלק מהשיחות מסומן באופן חד-משמעי, היכן הקריטריונים מתנגשים זה עם זה, וחוזרים עם תכנית ולוחות זמנים לפיילוט: היקף המדגם, שיעור ההתאמות עם הערכת הסופרבייזר, נקודות חובה לבדיקה ידנית. תארו את המשימה בצורה נוחה — נדון בה באופן ענייני ונחזור עם הערכת היקף העבודה.