KPI עבור סוכני AI: היכן נשבר בקרת האיכות
הסוכן הופעל במסלול העבודה: הוא עונה לפניות, וחלק מהפניות נסגרות ללא מעורבות אדם. עם זאת, קבלת המוצר בדרך כלל מסתכמת בעשרה שאלות — הן נשאלו לפני ההפעלה, התשובות סיפקו, ומכאן והלאה איש אינו מודד את האיכות.
הזרם האמיתי של הפניות שונה מזה של הבדיקות, ולכן האות הראשון על בעיה מגיע ממשתמשים לא מרוצים ולא מהמערכת.
הידרדרות התשובות כמעט לעולם אינה נראית כמו תקלה. עדכנו את הוראת המערכת לתרחיש חדש, הרחבנו את בסיס הידע, החלפנו את המודל בהתאם לעומס — ובחלק מהפניות הסוכן מתחיל לענות בביטחון ללא הסתמכות על מקור. כל שינוי בנפרד נראה בלתי מזיק, והאפקט המצטבר נראה רק בהשוואה: באותה שאלה, שנשאלה לפני ואחרי.
KPI עבור סוכני AI פועלים כאשר מדובר בקבוצה של כמויות מדידות, ולא במדד מצטבר אחד של «מרוצים או לא». שיעור הפניות שנסגרו ללא העברה לאדם; שיעור התשובות עם מקור מאומת; שיעור הפניות החוזרות באותה שאלה; הזמן עד לתשובה מועילה; שיעור הדיאלוגים שבהם המשתמש שאל שוב. כמויות אלה נמדדות בשתי דרכים — בהרצה שוטפת של מערך פניות ייחוס ובמדגם חי מתוך הדיאלוגים.
הערכת עבודת הסוכן ללא מערך ייחוס נתקעת בתיוג ידני, וללא מדגם חי — בהטעיה עצמית: שאלות הבדיקה מפסיקות לשקף ניסוחים אמיתיים.
אנחנו מפרקים כיצד להרכיב את שני החלקים, לקשור מדדים לשינויי תצורה ולהשיג בקרת איכות של סוכנים, שבה בעיות בהטמעת סוכנים נתפסות לפני התלונות, וההחלטה מוחזרת לאחור לפי מדד מסוים ולא לפי תחושה.
מה נותנת מערכת מדדים עבור סוכני AI בעבודה
מדדי סוכני AI מתחילים לעבוד כאשר מחשבים אותם בכל דיאלוג, ולא לפי עובדת תלונה. הכמות הבסיסית — שיעור התשובות הנכונות: מערך קבוע של פניות אמיתיות עם תיוג מורץ בכל החלפה של פרומפטים, כלים ומודל, והתוצאה מושווית לגרסה הקודמת. פער מעל הסף — העדכון אינו יוצא לסביבת הייצור, אלא חוזר לשיפור.
המסלול השני — זמן התגובה לסטייה. כל עוד עוקבים אחר האיכות בעיניים, בין הירידה לבין גילויה חולף יממה, וכל אותו זמן הסוכן עונה בביטחון תשובות שגויות.
המדד ממיר את פרק הזמן לדקות: ירידה בשיעור התשובות הנכונות או עלייה בכשלי קריאה לכלים מרימה אות מיד, התורן פותח דיאלוג מסוים ורואה את הסיבה, ולא רק את העובדה.
צמצום ההסלמות הוא מדד אינטגרלי, ולכן אנחנו מפצלים אותן למחלקות: הסוכן לא מצא נתונים, זיהה כוונה באופן שגוי, חרג ממסגרת התקנון, פגע בזמן התשובה. לכל מחלקה יש מדד משלו ובעלים משלו בצוות הלקוח, ולכן מטפלים בסיבה ולא במקרה בודד מהתור.
זה נאסף על גבי טלמטריה סטנדרטית: אירועי הדיאלוג, קריאות לכלים, השהיות ותוצאות מגיעים למסלול נראות משותף, והפאנלים ב-Grafana מתעדכנים ללא ייצוא ידני. הירידה נעשית גלויה לפני שהלקוח יכתוב עליה, והחזרת גרסת התצורה אורכת דקות.
גישות למדידה: פירוק דיאלוגים ובדיקות אוטומטיות
אין טעם להעריך סוכן בספרה אחת: השיטות נבדלות במחיר, בכיסוי ובאילו שגיאות בכלל נכנסות לשדה הראייה. להלן ארבע אפשרויות עבודה והנקודות העיוורות שלהן: מהרצות ממוחשבות לחלוטין ועד פירוק ידני.
| שיטה | מתי מתאימה | היכן נתקעת במגבלות |
|---|---|---|
| בדיקות אוטומטיות לפי כללים | פורמט התשובה, שלבים מחייבים, תקינות הקריאה לפונקציות פנימיות | תשובה נכונה פורמלית אך חסרת תועלת עוברת כהצלחה |
| בדיקה אוטומטית בידי מודל שופט לפי רובריקה | הרצות המוניות, רגרסיה אחרי כל עריכה של הוראות הסוכן | יורשת את הנקודות העיוורות של המודל, דורשת כיול על בני אדם |
| מערכי ייחוס של דיאלוגים | השוואה בין גרסאות הסוכן, הגנה מפני הידרדרות | מתיישנים, מכסים רק תרחישים ידועים |
| פירוק דיאלוגים בידי מומחה | מקרים שנויים במחלוקת, השקת קו חדש, פירוק כשלים | יקר בזמן מומחים, מדגם קטן |
השיטות אינן מתחרות, אלא מחלקות ביניהן תפקידים. מערך הייחוס מקובע כמסלול רגרסיה: עריכה של הוראות מורצת עליו, וניתן לראות מה בדיוק נעשה גרוע יותר. בדיקות אוטומטיות פועלות על כל תגובה בזרם, ופירוק בידי מומחה — לפי מדגם מתוך הפערים והכשלים.
החיבור נשען על כיול: כל עוד הערכת השופט והערכת המומחה נבדלות בכמה אחוזים בודדים, ניתן לראות בהרצות הממוחשבות מדד. ברגע שהפער גדל, אנחנו בוחנים מחדש את הרובריקה — אחרת ה-KPI עבור הסוכנים מתחיל למדוד לא את איכות התשובות אלא את החלקות שלהן.
כיצד אנחנו בונים KPI עבור סוכני AI: שלבי העבודה
KPI עבור סוכני AI מתחיל לא בגרפים אלא בביקורת: כל עוד לא תואר כל תרחיש ולא ברור היכן בדיוק הסוכן טועה, כל ספרה בדוח שנויה במחלוקת. לכן הימים הראשונים של העבודה מוקדשים לפירוק זרם הפניות ולזיהוי הנקודות שבהן ניתן למדוד את האיכות באופן אובייקטיבי.
- ביקורת תרחישים. אנחנו מפרקים את כל המסלולים שבהם הסוכן מנהל את הדיאלוג: פניות טיפוסיות, ענפים נדירים, העברות לנציג. בכל אחד מהם אנחנו מתעדים מה נחשב להצלחה ומה לכשל.
- איסוף נתונים. אנחנו מגדירים את התיעוד כך שיישמרו הפנייה, תשובת הסוכן, המקורות שבשימוש ופעולת המשתמש. בלי זה לא יהיה על מה לבדוק את הספים.
- תיאום מדדים. אנחנו מאחדים את המדדים הטכניים עם מטרות העסק: שיעור הפניות שנסגרו ללא נציג, דיוק התשובה לפי בסיס הידע, הזמן עד לתשובה, שיעור הכשלים.
- הגדרת ספים. לכל מדד אנחנו קובעים לא ערך אחד אלא מסדרון: תקין, אזהרה, רמת חירום. את הגבולות מחשבים לפי סטטיסטיקה מצטברת ולא לפי העין.
- בדיקת המדדים. אנחנו מריצים את המערכת על מדגם נפרד ושוברים תרחישים בכוונה: אם המדד לא מבחין בכך, הוא אינו עובד.
- הטמעה ומסירה. אנחנו מוציאים את המדדים לניטור משותף, מתארים את תקנון התגובה לסטיות ומלמדים את צוות הלקוח לשנות ספים בעצמו.
לאחר המסירה התקנון ממשיך להתקיים בלעדינו — תרחישים חדשים ועריכות ספים הצוות מוסיף בעצמו.
מה הלקוח מקבל לידיו בסיום הפרויקט
פרויקט המדדים עבור עובדי AI מסתיים לא במצגת אלא בערכה עובדת: כל פריט בצוות הלקוח משתמש בו ללא מעורבותנו. אנחנו מוסרים הכול עם ציון הבעלים, הגרסה וסדר השינויים — כדי שכעבור חצי שנה איש לא ישחזר את ההיגיון של המדד מתוך התכתבות.
- קטלוג מדדים. עבור כל מדד: מה בדיוק הוא מודד, באיזו רמה הוא נספר (דיאלוג בודד, תרחיש, מבצע), המסדרון היעד ומה נחשב לסטייה.
- סכֵמות חישוב של מדדים. נוסחאות, מקורות נתונים, חלון צבירה, כללי טיפול בחסרים ובפניות חוזרות. אותו מדד נותן תוצאה זהה בעת חישוב מחדש על תקופה אחרת.
- לוח ניטור. חתכים לפי תרחישים ומבצעים, דינמיקה לאורך זמן ובלוק נפרד של סטיות — התורן רואה את הבעיה לפני שהמשתמש מבחין בה.
- מדיניות גישה לנתונים. מי ועל איזה בסיס רואה דיאלוגים, מי רואה רק מצטברים, היכן מתבצע אנונימיזציה בייצוא וכיצד מנוהל יומן הפניות.
- תקנוני פירוק. ערכי הסף שבהם מופעל הפירוק, התפקידים האחראים, זמני התגובה וסדר תיעוד המסקנה לגבי האירוע.
- תיעוד ומסירה. הוראה להוספת מדד חדש, סכֵמה של הקשר שלו למדדי העסק של היחידה והקלטה של מפגש הדרכה עבור המהנדסים והנציגים שלכם.
ערכה כזו שורדת החלפת ספק וגידול במספר עובדי ה-AI: מדדים נוספים לפי ההליך המתואר, ולא מומצאים מחדש עבור כל תרחיש חדש.
מקרה בוחן: איכות תשובות הסוכן לפני ואחרי ההטמעה
נקודת מוצא
סוכן ייעוץ ענה באופן לא מדויק בכ-4 מתוך 10 פניות: הוא החמיץ תנאי מבסיס הידע או הציג נתונים מיושנים על השירות.
האיכות נמדדה באופן מדגמי בלבד — 30 דיאלוגים בשבוע באופן ידני, ופירוק של סטייה אחת ארך בממוצע 40 דקות: יומן הדיאלוג שכן בנפרד מקריאות הכלים ומהקטעים שהסוכן הוציא מבסיס הידע.
פניות חוזרות באותו נושא היו 23% — הלקוח חזר כי התשובה הראשונה הייתה נכונה פורמלית, אך לא סגרה את המשימה.
מה שינינו
הנהגנו סכֵמת תיוג של תשובות: נכונה, חלקית, עובדה מומצאת, סירוב. את יומן הקריאות חיברנו ליומן הדיאלוג ב-Langfuse — במסך אחד נראית כל השרשרת: הפנייה, הקטעים שחולצו, הכלי שנקרא, התשובה הסופית. פירוק הסטייה הפסיק להיות ארכאולוגיה בין קבצים מפוזרים.
הרכבנו מערך ייחוס של 240 שאלות עם תשובות צפויות ותלינו הרצה על כל מהדורה של הוראות הסוכן: ירידה בשיעור התשובות הנכונות מתחת לסף חוסמת את ההפצה.
שיעור התשובות הנכונות עלה מ-61% ל-89%, זמן פירוק הסטייה הצטמצם מ-40 ל-8 דקות, הפניות החוזרות באותו נושא ירדו מ-23% ל-9%. המדדים מוצבים בלוח הניטור לצד מספר הפניות — את הירידה בדיוק לאחר עריכת בסיס הידע רואים באותו יום, ולא כעבור חודש לפי תלונות.
במה נבדלים מדדי האיכות ממדדי העומס
מדדי עומס מודדים את מה שקל לקחת מהתשתית: מספר הפניות, הזמן עד לאסימון הראשון, השהיית התשובה המלאה, שיעור השגיאות הטכניות, נפח האסימונים שנצרכו. הם עונים על השאלה «השירות חי ומתמודד עם הזרם», אך אינם אומרים דבר על האם הסוכן פתר את משימת המשתמש. גרף השהיות אחיד נראה טוב באותה מידה אצל עוזר עובד ואצל משיב אוטומטי מנומס שמשחזר הוראה.
מדדי האיכות מודדים את תוצאת הדיאלוג ולא את השירות שלו.
המרכזיים שבהם: שיעור התרחישים שנסגרו ללא העברה לאדם; שיעור הפניות החוזרות באותו נושא בתוך סשן אחד; שיעור התשובות המגובות במקור ולא מיוצרות מהזיכרון; שיעור הדיאלוגים שבהם המשתמש ניסח מחדש את הפנייה פעמיים ויותר — זהו סימן ישיר לכך שתועלת התשובה נמוכה.
הפער בין שתי הקבוצות מתגלה מהר. אנחנו מאיצים את הייצור תוך קיצור שרשרת הבדיקות — ההשהיה יורדת בחצי, אך שיעור ההסלמות לנציג עולה, משום שהסוכן עונה לעיתים קרובות יותר בביטחון ובאופן שגוי. מדדי העומס נראים אז טוב יותר מאשר לפני השינויים, וקל לקבל החלטה שגויה.
ניתן לחשב איכות רק על מדגם מתויג של דיאלוגים אמיתיים: מערכי ייחוס עם תוצאה צפויה, תיוג ידני תקופתי, עקיבה אחר שלבי הסוכן. אצלנו לשם כך נפרס מסלול נראות — למשל LangSmith — שבו כל הרצה מושווית לקודמתה לפי שיעור המשימות שנפתרו ולא לפי המהירות.
המסקנה המעשית פשוטה: עומס הוא רקע ותנאי לכשירות, איכות היא קריטריון קבלה. KPI עבור סוכני AI נבנים על השני, אחרת האופטימיזציה מובילה את המערכת לעבר תשובות מהירות אך חסרות תועלת.
ספקות לגבי מדדי סוכנים: עונים לגופו של עניין
ההתנגדויות לגבי מדדים הן בדרך כלל אותן התנגדויות: אין תשובות ייחוס, יומני הדיאלוגים מגיעים חסרים, והסוכן עובר את הבדיקות פורמלית ובפניות חיות מתנהג אחרת.
אף אחד מהספקות הללו אינו מבטל את המדידה — הוא משנה את הסכֵמה: היכן לקחת עוגן במקום ייחוס, מה נחשב לשלמות היומן וכיצד להבחין בין איכות אמיתית לבין התאמה לבדיקה.
אין לנו תשובות ייחוס — עם מה אם כן להשוות?
ייחוס נדרש רק במקום שבו התשובה חד-משמעית. עבור תרחישי דיאלוג העוגן שונה: רובריקות הערכה לפי קריטריונים, השוואות זוגיות בין שתי גרסאות של הסוכן, ותיוג מדגם בידי בני אדם עם כיול הפערים. מערך כזה יציב יותר מתשובה «נכונה» אחת ומראה את תנועת האיכות מגרסה לגרסה.
יומני הדיאלוגים חסרים — האם ההערכה תהיה בלתי מהימנה?
שלמות היומן היא כשלעצמה מדד. אנחנו מתעדים כמה שלבים נשמרים: קריאות לכלים, נתוני קלט ופלט, עצם ההעברה לאדם. אם ברשומה הולכים לאיבוד שלבי ביניים, זהו סוג נפרד של כשלים — לפיו רואים היכן נעלם ההקשר, והוא נסגר לפני שמחשבים את המדדים לפי המשימה.
הסוכן עובר את הבדיקות פורמלית — כיצד זה נתפס?
מעבר פורמלי הוא סימן לכך שהבדיקות נעשו צפויות. לכן חלק מהמערכים אנחנו מחזיקים נסתרים, את המשימות מערבבים ואיננו מציגים אותן ברצף, ואת ההחלטה על כשירות מקבלים לפי העבודה על זרם פניות אמיתי ולא לפי הרצות פנימיות. גם את הפער בין הבדיקה לעבודה החיה אנחנו מודדים: הוא מראה היכן הסוכן למד תבנית במקום את המשימה.
נדון במשימה: נפרק תרחישים ונאסוף מדדים
כדי שהפירוק לא יהפוך לחילופי רשמים כלליים, די בשלושה דברים לשיחה הראשונה: רשימת תרחישים שבהם עובד ה-AI כבר עובד או אמור לעבוד, דוגמאות לתשובותיו בשבועות האחרונים, והבנה מי בחברה מקבל את ההחלטה «האם התשובה נכונה או לא». זה מספיק כדי לשרטט KPI עבור סוכני AI ולא לנחש בחשכה.
מה אנחנו מפרקים בהתחלה:
- אילו תרחישים הסוכן סוגר והיכן עובר גבול האחריות שלו;
- כיצד נראית תשובה נכונה ותשובה שגויה בכל תרחיש — מכאן צומח התיוג;
- אילו מדדים כבר נאספים ואילו יהיה צורך להוסיף לתיעוד;
- היכן נדרש פיקוח אוטומטי והיכן מדגם עם בדיקה ידנית;
- מי מצד הלקוח מאשר את תשובות הייחוס ובאיזו תדירות;
- אילו מגבלות על נתונים והרשאות יש לצוות הסוכן.
לאחר הפירוק אנחנו חוזרים עם תוכנית עבודה: רשימת מדדים עם הגדרות וספים, סכֵמת איסוף נתונים, שלבי הטמעה עם נקודות בקרה. שם גם — הערכת לוחות זמנים לכל שלב והרכב הצוות: מי אחראי על התיוג, מי על הערכת האיכות, מי על שיפור הוראות הסוכן וכללי החזרה לאחור. תארו את המשימה — נדון בתרחישים ונחזור עם הערכה ותוכנית.