זיהוי כוונות לצ'אטבוט: טקסונומיה, מודל, ניטור

מדוע זיהוי כוונות נשבר בתעבורה חיה

בפיילוט, זיהוי כוונות מניב דיוק של כמעט 95% על סט מתויג של כמה מאות רפליקות. בתעבורה חיה אותה מודל טועה בכל משפט שלישי, ושיעור ההעברה הידנית לנציג עולה כבר מהימים הראשונים של העבודה.

המקור הראשון לשגיאות הוא הזנב הארוך של השאילתות. אנשים כותבים באופן שהמודל לא ראה: "אפשר עם משלוח, אבל לא השבוע", "תגידו לי, אני הסתבכתי עם התעריפים". כל ניסוח כזה מופיע פעם אחת, לא נכנס למדגם האימון, ובסך הכל הרפליקות האלה מהוות מחצית מהפניות.

השני — ניסוחים דו-משמעיים ונושאים מעורבים ברפליקה אחת. "החזירו את הכסף ונתקו את המנוי" — אלו שתי כוונות שונות בהודעה אחת, והמסווג מאומן לבחור מחלקה אחת ומאבד בשקט את השנייה. המשתמש לא מקבל תשובה לחצי מהשאלה וחוזר עליה, כבר בעצבנות.

השלישי — היעדר מילון אחיד. כל עוד המתייגים והאנליסטים לא הסכימו היכן הגבול בין "לבטל הזמנה" ל"לשנות הזמנה", ביטויים דומים נודדים למחלקות שונות. הטקסונומיה מיטשטשת, המדד על מדגם נפרד נראה סביר, ושגיאות זיהוי הכוונות צפות כבר בתוך הדיאלוג.

מלמעלה מונח רעש הקלט — שגיאות כתיב, תעתיק, דיבור מזוהה. דווקא עליו נשבר כל מה שעבד היטב בדמו. בהמשך נפרק כיצד זה נסגר.

מה נותנת טקסונומיה מנוהלת של כוונות

כל עוד הכוונות אסופות כרשימת ביטויים "כמו שיצא", מחלקות קרובות חופפות, והבוט עונה שלא לעניין. טקסונומיה מנוהלת היא היררכיה תחום → כוונה → תת-כוונה, שבה לכל מחלקה יש כלל תשובה, ולכל מה שאינו מכוסה הוגדרה מחלקה נפרדת מחוץ לתרחיש. הדיוק מחושב לכל תחום בנפרד, ותחום חלש אינו מטשטש את התמונה הכוללת.

האפקט נראה בשלושה מדדים. שיעור התשובות האוטומטיות עולה מ-50–60% ל-85%: המודל מפסיק לנחש בין כוונות דומות. שיעור ההעברות הידניות יורד פי 2–3 — הנציג מתחבר רק כאשר הביטחון נמוך מהסף או בבקשה מפורשת מחוץ לתרחיש.

עמידות בנושאים חדשים נותנת המחלקה מחוץ לתרחיש: ניסוח לא מוכר אינו נמשך לכוונה הקרובה, אלא נופל לתור לבחינה, והטקסונומיה נבחנת מחדש לפי הדוגמאות האלה. נעלם גם מעמד שלם של כשלים — "הבוט ענה בביטחון משהו אחר", שיקר מהעברה כנה לנציג. סף ביטחון לכל תחום והיררכיה מפורשת — פרקטיקה מבוססת בפלטפורמות פתוחות כמו Rasa.

גישות לזיהוי כוונות: חוקים, אימון, היברידי

הבחירה כאן נקבעת לא לפי אופנה, אלא לפי היקף הדיאלוגים ויציבות תחום העיסוק. חוקים ומילונים נותנים צפיות על סט כוונות צר, אימון על תיוג — הכללה לניסוחים חלופיים, והיברידי — פשרה בין ניהוליות לגמישות.

ההיברידי נבנה בדרך כלל כמפל: שכבת המילון מסירה פניות חד-משמעיות, המודל מקצה את השאר, וסף הביטחון מכריע אם לענות אוטומטית או להבהיר. הסף נבחר לפי מטריצת שגיאות — גבוה מדי דוחף את שיעור ההעברות לנציג כלפי מעלה, נמוך מדי מגדיל את מספר התשובות השגויות. אנחנו מקבעים אותו בולידציה ובוחנים מחדש בכל שינוי של הטקסונומיה, אחרת האיכות נסחפת בשקט.

מה לבחור — תלוי במה שיקר יותר דווקא לכם: תשובה שגויה או העברה מיותרת לנציג. תארו את המשימה והראו לוגים של דיאלוגים — נחזור עם הערכה, איזו משלוש האפשרויות תסגור את הכוונות שלכם.

הטמעה: מביקורת דיאלוגים ועד מסירת נהלים

הטמעת זיהוי כוונות אינה אימון חד-פעמי של המודל, אלא מחזור: ביקורת של דיאלוגים אמיתיים מגדירה את הטקסונומיה, התיוג מדייק אותה, ומדגם נפרד מראה היכן המסווג טועה על ניסוחים חדשים.

הולכים בשלבים, אחרי כל אחד נראה תוצאה מדידה — שיעור סימונים נכונים, מספר הבהרות מיותרות, עומק התור לנציג.

1. ביקורת דיאלוגים. מייצאים היסטוריית פניות לתקופה, מחשבים את שיעור הלא-מזוהות ואת התרחישים עם הבהרות חוזרות. כך רואים אילו כוונות כדאי להפריד בנפרד, ואילו נסגרות בתפריט רגיל.
2. סכמת טקסונומיה. אוספים כוונות להיררכיה: למעלה משימת הלקוח, למטה הבהרות וישויות. בודקים חפיפות בין מחלקות, כדי ששאילתות קרובות לא יתחרו על אותה תווית.
3. תיוג כוונות. כותבים כללים למקרים שנויים במחלוקת ושומרים מדגם ביקורת לבדיקת עקביות. פער בין מתייגים מעל הסף מחזיר אותנו לתיקוני סכמה, ולא לאימון.
4. כיול ביטחון. קובעים סף שמתחתיו הבוט שואל שאלת הבהרה במקום לנחש, וכלל העברה לנציג. ביטחון שגוי במחלקה נדירה יקר מהבהרה מיותרת.
5. מדגם נפרד. סט דיאלוגים שלא נכנס לאימון מריצים לפני עלייה לאוויר: מסתכלים על מטריצת שגיאות לפי מחלקות, ולא על דיוק כולל אחד — אחרת כוונות נדירות מתחבאות מאחורי הממוצע.
6. בדיקה ומסירת נהלים. מוציאים במצב צל: המודל מסווג, עונה עדיין התרחיש הישן. אחר כך מוסרים נהלים לעדכון — תדירות אימון מחדש, מדדי ירידה, אחראי על תיקוני הטקסונומיה.

ערכת אספקה: טקסונומיה, סכמה, נהלים

הארטיפקטים שמתארים מה אנחנו מחשיבים לכוונה וכיצד אנו נוהגים בכל תשובה, נשארים אצל הלקוח יחד עם הקוד. בלעדיהם המודל הופך תוך חודש לקופסה שחורה, וכל שינוי בתרחיש דורש חזרה לספק. להלן — הערכה שאנחנו מקבעים בקבלה.

• מילון כוונות (טקסונומיה). עץ כוונות עם תיאור, דוגמאות ביטויים לכל מחלקה, גבולות בין כוונות קרובות וכללי תיוג למקרים שנויים במחלוקת. כבלוק נפרד — מה שאנחנו במודע לא מייחסים לאף כוונה.
• סכמת ניתוב. טבלת "כוונה → תרחיש או נציג", ספי ביטחון, התנהגות בביטחון נמוך ועדיפויות אם הופעלו כמה מחלקות בו-זמנית.
• מדיניות עיבוד. מה נכנס ללוגים, מה ממוסך או לא נשמר כלל, תקופת שמירה, תפקידי גישה וסדר ייצוא נתונים לניתוח שגיאות.
• תיעוד טקסונומיה. סדר הוספה ושינוי שמות של כוונות, ניהול גרסאות של המילון, בעלים מצד הלקוח ונקודות תיאום עם העסק.
• נוהל אימון מחדש. טריגרים לעדכון (שיעור הלא-מזוהות, סחיפת ניסוחי משתמשים), תדירות, מי מתייג דוגמאות חדשות וכיצד בודקים איכות לפני עלייה לאוויר.
• סט ביקורת ודוח איכות. מדגם קבוע של דיאלוגים, מדדים לכל כוונה, השוואה לגרסה הקודמת וסדר חזרה לאחור בירידה.
• הוראות לתמיכה. היכן לפתוח פניות לא טיפוסיות, כיצד להסלים ומי מעדכן את המילון, כדי שמקרים חדשים לא יאבדו בין הצוותים.

מקרה בוחן: כיצד הוסרו העברות שווא לנציג

מה היה

הלקוח הגיע עם בוט תמיכה שהעביר לנציג יותר משליש מהדיאלוגים — כולל אלה שבהם התשובה כבר הייתה בבסיס הידע. טקסונומיית הכוונות נאספה ידנית והכילה מחלקות חופפות: "סטטוס הזמנה" ו"איפה החבילה" נכנסו לקטגוריות שונות, והמודל ייחס את השאילתה לשתיהן בביטחון שווה. סף הביטחון קובע בעת ההשקה ולא נבחן מחדש.

על מדגם נפרד שיעור הזיהויים הנכונים עמד על 72%, שיעור ההעברות השווא לנציג — 34%. כל דיאלוג שלישי גזל זמן נציג, למרות שהאוטומציה הייתה סוגרת אותו מהר יותר.

מה שינו

בנו מחדש את הטקסונומיה: הסירו חפיפות, הפרידו כוונות קרובות והוסיפו מחלקה נפרדת "לא זוהה" במקום למתוח את השאילתה לקטגוריה הקרובה. תייגו מדגם נפרד מרובד ב-Label Studio — עכשיו המדדים מחושבים על אותם נתונים.

סף הביטחון כויל לפי מטריצת שגיאות: העברה שגויה יקרה משאלת הבהרה, לכן הבוט קודם שואל שוב, ולא מזעיק אדם.

מה נהיה

שיעור הזיהויים הנכונים על אותו מדגם — 94%, העברות שווא לנציג — 7%. שיעור הדיאלוגים שנסגרו בלי מעורבות נציג עלה מ-58% ל-88%.

הניטור הוצמד לשיעור הזיהויים בביטחון נמוך, להתפלגות הכוונות לפי ימים ולפער מול תיוג ידני: אחרי תיקון ניסוחים בממשק הצמיחה של תשובות כאלה נראתה באותו יום, והאימון מחדש ארך שעות במקום שבוע של תלונות.

במה שונה כוונה מתרחיש דיאלוג

כוונה היא מה שהאדם רוצה לקבל ברפליקה אחת: להחזיר הזמנה, לדעת סטטוס משלוח, להחליף כתובת. תרחיש הוא רצף הצעדים והמצבים של הדיאלוג שמשרת את הרצון הזה: הבהרת פרטים, סלוטים, קריאות למערכות פנימיות, נקודת סיום.

השכבות חיות לפי חוקים שונים: הכוונה נקבעת על ידי המודל לפי הטקסט ומתעדכנת באימון מחדש על תיוג, התרחיש מתואר בגרף מעברים ומתעדכן בתיקון ענף.

אם מערבבים אותן בסכמה אחת, כל ניסוח חדש של הלקוח הופך לענף נפרד בגרף. הטקסונומיה מתפשטת, מספר המעברים גדל קומבינטורית, וכל תיקון ניסוח דורש רגרסיה של כל הדיאלוג כולו.

גרוע מכך: רפליקות עם נושאים מעורבים — "אני רוצה להחזיר הזמנה ובמקביל להחליף כתובת" — אין היכן להניח, כי ענף הגרף מניח מטרה אחת בכניסה.

בין השכבות האלה נדרשת שכבת ניתוב. היא מקבלת את הרפליקה, מחשבת אומדן ביטחון לכל כוונה מהטקסונומיה, מחילה את הסף ואת כלל פתרון הקונפליקטים, ורק אחר כך מעבירה שליטה לתרחיש יחד עם המצב הנוכחי של הדיאלוג. התרחיש לא יודע דבר על הניסוחים, והמודל — על סלוטים וצעדים. התיקונים משני הצדדים נשארים מקומיים, והרגרסיה לא מתפזרת על כל הסכמה.

שאלת הבהרה היא חלק מהניתוב, ולא ענף נפרד. כאשר שתי כוונות קרובות בביטחון או ברפליקה מעורבים נושאים, הראוטר שואל שאלת הבהרה ומחזיק את הדיאלוג עד שיבחר מטרה אחת. כך גרף התרחישים נשאר ליניארי וצפוי, ומקרים שנויים במחלוקת נפתרים במקום אחד — שם שהם אמורים להיפתר.

ספקות טכניים לפני ההתחלה

לפני ההתחלה הלקוח בודק לא את המודל עצמו, אלא את התפעול שלו: כיצד מועברת הלוגיקה הנוכחית, כמה נתונים נדרשים ומה יהיה עם האיכות בעוד חצי שנה. להלן — חמש שאלות שאנחנו מרבים לפרק בדיון הטכני.

כמה ביטויים צריך לתייג ידנית?

היקף מחושב ממספר הכוונות ומגוון הניסוחים, ולא "בעין". התחלה — כמה מאות ביטויים למחלקה, בהמשך המדגם גדל לפי תחזיות בביטחון נמוך.

לאן לשים ביטויים שלא זוהו?

לתור בחינה, ולא למציין מקום. מגדירים סף ביטחון ומחלקת "לא הבנתי"; שיעור הפניות האלה — מדד שמראה היכן הטקסונומיה חסרה.

המודל נשחק עם הזמן?

כן, אם השפה של הלקוחות משתנה. עוקבים אחר התפלגות השאילתות והדיוק על מדגם הביקורת, בירידה מאמנים על נתונים עדכניים — בסטאק על Rasa זה מחזור קבוע.

כיצד מתעדכנת הטקסונומיה?

מחלקות חדשות נפתחות לפי סטטיסטיקת הביטויים הלא-מזוהים, תוך שמירת תאימות שמות. ישנות לא נמחקות בחתך — מועברות לארכיון, כדי שהדוחות יישארו בני השוואה.

נדון במשימה ונחזור עם הערכה

לצורך הערכה נדרשים לא משאלות כלליות, אלא הנתונים שלכם: בשיחה הראשונה נפרק כיצד הבוט מטפל בשאילתות כעת והיכן הוא מאבד משתמשים. אם יש ייצוא של התכתבות ורשימת אינטגרציות, היקף טקסונומיית הכוונות והרכב העבודה נאמד כבר לפי תוצאות השיחה.

מה נדון ואילו נתוני פתיחה יידרשו מצדכם:

• ביקורת הבוט הנוכחי — איזו שכבה אחראית לזיהוי: חוקים, ביטויים רגולריים או מודל מאומן, ועל אילו שאילתות הוא טועה.
• נתוני פתיחה לדיאלוגים — ייצוא לוגים לתקופה, שיעור רפליקות לא-מזוהות, כמה מאות דוגמאות מתויגות בתרחישי המפתח.
• גבולות הטקסונומיה — רשימת תרחישים והפירוט הרצוי: כוונות גסות או תת-מחלקות עם תגובה נפרדת לקלט לא ברור.
• נתונים והרשאות — ערוצים (מסרים, ווידג'ט ווב, טלפון), אינטגרציות עם CRM או ספר עזר, קונטור בדיקה להרצת המודל.
• שפה וסגנון — השפות והדיאלקטים המטופלים, שיעור שגיאות הכתיב והתעתיק, האם נדרש עיבוד של הודעות קוליות.
• קריטריוני קבלה — שיעור יעד של סימונים נכונים, רמה מותרת של שווא, על איזה מדגם מחשבים איכות.
• סדר התחלה — מה עושים קודם כל: מדידת האיכות הנוכחית, תיוג, טיוטת טקסונומיה.
• תכנית עבודה — שלבים, נקודות בקרה, הרכב הצוות וסדר מסירת המודל למהנדסים שלכם.

אחרי השיחה נחזור עם הערכה, תכנית עבודה ורשימת סיכונים. תארו את המשימה ושלחו ייצוא לוגים — זה מספיק כדי להתקדם הלאה.