איכות מודל שעבר כוונון עדין: מדדים, LLM-as-judge, מומחים

הערכת האיכות של מודל מכוונן: למה המטריקות משקרות

סט מוחזק ותעבורה חיה כמעט תמיד נבדלים זה מזה. על סט קבוע המודל עונה לפי תבנית שאנחנו עצמנו הטבענו בו בזמן התיוג, ואילו בפרודקשן מגיעים שאילתות קצרות בלי הקשר, שגיאות כתיב, שפות מעורבות ודיאלוגים רב-שלביים. המטריקה על סט מוחזק מראה עד כמה המודל חזר על המתייג, ולא עד כמה הוא מועיל למשתמש.

אחרי כיוונון עדין הפער מתחזק. המודל לומד-יתר את פורמט התשובה מדוגמאות האימון ומאבד חלק מהיכולות הבסיסיות: איכות יורדת בתרחישים נדירים, גדלים הסירובים וקטיעות הייצור, ונשברת העמידה בהוראות המערכת. ובדוח, לעומת זאת, הכל ירוק — אותו סט, אותה תבנית, ומחיר הטעות — החזרת שחרור ואובדן אמון בדיווח.

אנחנו מסתכלים על האיכות בשכבות: מטריקות אוטומטיות על סט מוחזק, הערכת LLM-as-judge עם תשובות ייחוס מתויגות, ובדיקה ידנית של מומחים על דוגמאות שנויות במחלוקת.

בנוסף אנחנו מריצים את המודל במצב צל על זרם אמיתי ומשווים לשחרור הנוכחי לפי מקטעים — לפי תרחישים, אורך הדיאלוג, שיעור הסירובים והקטיעות.

אישור שחרור של מודל בנוי כמערכת של ספים, ולא כמספר אחד. השחרור לא עובר אם ההידרדרות אחרי כיוונון עדין פוגעת בתרחישים מוגנים, גם כשהמטריקה הממוצעת עלתה. גישה כזו מתוארת בסטים פתוחים של מטריקות כמו Ragas ומשלימים אותה בסטי הייחוס שלנו לפי המשימה.

מה משתנה כשההערכה מתבצעת בכל שחרור

זמן הבדיקה לפני ההפצה — ימים במקום שבועות

כשמערכת הבדיקות והמטריקות קבועה, היא לא נבנית מחדש לכל שחרור. הריצה מתבצעת לפי אותו תרחיש על אותם נתונים, והפער מול הגרסה הקודמת נראה בדוח מיד. זמן הבדיקה לפני ההפצה מצטמצם משבועות ליום-יומיים — באותה מידה עבור מודל מכוונן ועבור תיקון ההנחיות שלו.

שיעור ההפצות הכושלות יורד

מטריקה על סט מוחזק, הערכה בידי מודל-שופט ובדיקה עיוורת בידי מומחים נותנות שלושה אותות בלתי תלויים. אם לפחות אחד מהם לא עובר את הסף, השחרור לא יוצא למשתמשים — ההחלטה הופכת למספרית, ולא ל«כנראה נעשה טוב יותר». מספר ההחזרות אחרי ההפצה קטן פי כמה: רגרסיות נתפסות לפני ההפצה, ולא לפי תלונות בתמיכה.

כללי אישור אחידים במקום סיכומים בעל פה

סף האישור נקבע מראש: איזו מטריקה, על איזה מדגם, עם איזה מרווח. כללי אישור אחידים מסירים את התלות במי שבודק היום ובמידת האופטימיות של הדוח שלו. ויכוח על טעם מוחלף בניתוח סטיות לפי מספרים.

הערכה סדירה של שחרורים צוברת היסטוריה

כל ריצה מותירה חתך: גרסת המודל, הרכב הנתונים, ערכי המטריקות. אחרי כמה שחרורים רואים אילו תיקונים באמת מזיזים את האיכות ואילו הם רעש. מחזור ההערכה הבא מהיר יותר, כי בודקים את מה שכבר הראה השפעה.

דרכי בדיקת שחרור: בדיקות אוטומטיות, סט ייחוס, מומחים

שלוש דרכי בדיקה עונות על שאלות שונות ואינן מחליפות זו את זו. מטריקות אוטומטיות תופסות רגרסיות במקום שבו אפשר לבדוק את התשובה פורמלית, אבל הן עיוורות לשינויים במשמעות כשהצורה תקינה. מסלול שיפוט מכסה תשובות חופשיות, אך יורש את ההטיות של אותו מודל. תיוג מומחים נותן ייחוס, אבל המשאב שלו מוגבל ואינו מתרחב לכל ריצה.

איך השכבות משתלבות

אנחנו מפרידים ביניהן לפי תדירות ההרצה: בדיקות פורמליות רצות על כל שינוי וחותכות תקלות ברורות; מסלול שיפוט — על מדגם מורחב לפני שחרור, שבו חשוב לראות הידרדרות במשמעות; מומחים מתחברים במקרי גבול ובשביל כיול השופט. סדר כזה נותן משוב מהיר ובמקביל נשען על ייחוס אנושי במקום שבו הוא באמת נדרש.

מביקורת ועד מסירה: איך נבנה מסלול הבדיקה

מסלול הבדיקה נבנה כך שההחלטה על אישור תישען על מדידה חוזרת, ולא על רושם מדמו מוצלח. סדר העבודה זהה לכל משימה — משתנים המטריקות, הרובריקות והספים, אבל הרצף נשמר: קודם מתארים איך מעריכים איכות היום, אחר כך קובעים ייחוס, ורק לאחר מכן מבצעים אוטומציה.

1. ביקורת תהליך. מנתחים איך מתקבלות החלטות על איכות היום: איפה ההערכה נעשית בעין, איפה לפי דוגמה אחת שהוצגה, ואילו פגמים כלל לא נרשמים. בפלט — מפה של מקומות שבהם פסק הדין אינו משוחזר.
2. סט ייחוס. אוספים מדגם שמכסה תרחישים שכיחים, נדירים ומקרי גבול. הסט מנוהל בגרסאות יחד עם המודל — בלעדיו השוואה בין שחרורים אינה אפשרית.
3. תיוג והסכמת מומחים. שניים-שלושה מומחים בתחום מתייגים דוגמאות באופן בלתי תלוי, מקרים שנויים במחלוקת נדונים בנפרד, ושיעור ההתאמה מחושב לפני תחילת העבודה. אם המומחים לא מסכימים ביניהם, הערכה אוטומטית לא תיתן עוגן.
4. בדיקה אוטומטית. מוסיפים כללים דטרמיניסטיים ובדיקה באמצעות מודל שני: השופט מקבל תשובת ייחוס, רובריקה ודרישות פורמט. השופט מכויל על תיוג המומחים, ובמקרה של פער מעל לרמה שנקבעה — הרובריקה נכתבת מחדש, ולא התוצאה מותאמת.
5. כיול ספים. לכל סוג שגיאה קובעים גבול בנפרד: החמצת פגם קריטי אינה מתקזזת עם עלייה בציון הממוצע. הספים נקבעים לפני הריצה.
6. ריצת רגרסיה. המודל המכוונן ומודל הבסיס מורצים על אותו סט, וההפרש מחושב לכל מטריקה בנפרד. שיפור נחשב רק למה שמאושר על הייחוס.
7. נוהל אישור ומסירה. מוסרים מסמך עם הרכב הסט, הרובריקות, הספים והנוהל לעדכונם, וכן הרשאות להרצות.

אחרי המסירה הלקוח מריץ את הבדיקה בעצמו ורואה סטייה לפני ההפצה. היקף הייחוס והספים נבחנים מחדש ככל שמופיעים תרחישים חדשים.

מערכת מטריקות, נתוני ייחוס ונוהל אישור

אנחנו מוסרים לא רק מודל מכוונן, אלא גם את מסלול ההערכה שלו: אחרי המסירה צוות הלקוח יכול להריץ גרסה חדשה על הנתונים שלו ולקבל את אותו פסק דין שקיבלנו. כל ההגדרות, התצורות וכללי הגישה נקבעים במסמכים שאין צורך לשחזר מהתכתבות — מספיק לפתוח ולבצע.

• מרשם מטריקות — טבלה שבה לכל מטריקה מצוינים הגדרה, שיטת חישוב, חתך נתונים, סף אישור ובעלים. פערי פרשנות נסגרים לפני תחילת ההערכה, ולא אחרי שחרור שנוי במחלוקת.
• סט ייחוס מתויג — מדגם מוחזק מרובד: מחלקות נדירות ומקרי גבול מיוצגים במפורש, כל דוגמה מתויגת בידי שני מומחים, שנויות במחלוקת נדונות בידי מכריע, והסכמת המתייגים נקבעת במספר.
• דוח כיול של השופט האוטומטי — עד כמה ההערכה הממוחשבת תואמת את הערכת המומחים: התאמה לפי מחלקות, שיעור פערים, הטיה שיטתית לטובת תשובות ארוכות או בטוחות.
• מדיניות גישה לנתונים — מי ועל איזה בסיס רואה את הייחוס, מה עובר אנונימיזציה, ואיך מתנהל יומן פניות. בנפרד סוגרים את הסיכון של אימון על מדגם הבדיקה.
• נוהל אישור — אילו מטריקות ועל אילו ספים צריכות להתכנס, מה עושים כשאחת מהן נכשלת ובאילו מקרים הגרסה נדחית לחלוטין.
• תיעוד המסלול — תרשים הריצה, מילון המטריקות, הוראות המתייג ורשימת בדיקה להרצה: את ההערכה משחזר מהנדס שלא השתתף בפיתוח.
• תצורות והרצת הערכה — ריצה אחידה על חתך אנונימי נותנת דוח בפורמט קבוע, ולכן תוצאות שתי גרסאות מושוות שורה-שורה.

מקרה בוחן: מטריקות שחרור לפני ואחרי ההטמעה

הלקוח — מערך תמיכה עם בסיס ידע של כמה אלפי מאמרים, שמעליו פועל מודל מכוונן. הוא עונה לא «באופן כללי», אלא לפי מסמכים ספציפיים, וכל שחרור הוא ענף כיוונון עדין חדש. את האיכות היה צריך להעריך באופן סלקטיבי וכבר אחרי ההפצה: לא היה סט בדיקות משוחזר.

לפני ההטמעה מומחה ניתח ידנית כמאתיים דיאלוגים לכל שחרור — זה שני ימי עבודה ופחות מחמישה אחוזי כיסוי. את השאר בדקו לפי תחושה, תשובות שנויות במחלוקת הוערכו «בעין», וארבעה שחרורים מתוך עשרה חזרו לתיקון כבר אחרי ההשקה, כשהמשתמשים ראו את הטעות.

איך נבנו המדידות

אספנו סט ייחוס של שש מאות דיאלוגים מתויגים: שאלה, תשובה נכונה לפי בסיס הידע, ומה שאסור שיופיע בתשובה. עליו אנחנו מחשבים שלושה דברים — פגיעה בעובדה מהמסמך, היעדר פרטים מומצאים, ושלמות התשובה.

את הריצה אוטומטנו דרך Ragas, ואת התיוג הראשוני של מקרים שנויים במחלוקת העברנו ל-LLM-as-judge: המומחה מנתח לא את כל השחרור, אלא רק את הפערים מול הערכת המודל, שנשארים בסביבות עשרה אחוזים.

מה נהיה: בדיקת שחרור אורכת שלוש-ארבע שעות במקום יומיים, והכיסוי — כל מאה האחוזים של הדיאלוגים מסט הייחוס. ההחזרות לתיקון הצטמצמו מארבעה שחרורים לאחד מתוך עשרה, ורגרסיה בתרחישים קודמים נראית עוד לפני ההפצה. הסט מנוהל בגרסאות יחד עם המודל, ולכן שני ענפי כיוונון עדין מושווים על אותן דוגמאות.

במה שונה בקרה מקוונת מבדיקה על סט ייחוס?

סט ייחוס הוא חתך קפוא של שאילתות עם תיוג, שמריצים לפני ההפצה. הוא עונה על השאלה «האם לא שברנו את מה שכבר עבד», ומאפשר להשוות גרסאות מודל זו לזו על נתונים קבועים. בקרה מקוונת עונה על שאלה אחרת: אחרי השחרור גם התנהגות המשתמשים וגם נתוני הקלט כבר אינם כמו בהכנת הכיוונון העדין.

בקרה מקוונת מחשבת שיעור סירובים, שלמות ואורך תשובות, פנייה למקורות חיצוניים והתפלגות ציוני השופט. כשמטריקה יוצאת מטווח שהוגדר, מופעל מעקב אחר סחיפה, ותשובות שנויות במחלוקת עוברות לבדיקה ידנית של מדגם.

בהמשך המסלולים מתחברים: מקרים שנותחו אחרי תיוג מומחים משלימים את סט הייחוס, ולכן הוא גדל יחד עם המוצר ולא מתיישן. את הקו הראשון של ההערכה מחזיק LLM-as-judge בהשוואה בזוגות של גרסאות, ואת השני — מומחים על מדגם; חישוב המטריקות ואחסון הריצות סוגר Ragas.

אם להשאיר רק מסלול אחד, מתקבלות שתי תקלות צפויות: הסט הופך בלי משים למוזיאון של המוצר הקודם, והאות המקוון — לזרם תלונות שאין אל מה לקשור אותו.

שאלות טכניות נפוצות על מסלול הבדיקה

מסלול הבדיקה נבנה לפני תחילת הכיוונון העדין — אחרת המטריקות מותאמות בלי משים לתוצאה שכבר התקבלה. בדיון על ההסכמה בדרך כלל עולים אותם שאלות: היקף סט הייחוס, תיוג בלי מומחי תחום, רעש במדגם והעברת מטריקות בין איטרציות.

האם אפשר לתייג מדגם בלי מומחי תחום?

קריטריונים פורמליים — כן: הוראה כתובה, שני מתייגים וקול שלישי במקרה של אי-הסכמה. דרישות מהותיות אי אפשר לסגור כך — כיול מומחים קטן קובע את הייחוס, ואת שאר ההיקף משלים מודל-שופט בפיקוח על הסכמה עם המומחה.

מה עושים עם רעש במדגם?

אנחנו מרַבדים את הסט לפי תרחישים ומסירים דוגמאות כמעט זהות — הן מטות את שיעור ההצלחה. מקרי גבול מוציאים לשכבה נפרדת: מטריקה ממוצעת בלי פיזור לפי תת-קבוצות לא מראה היכן המודל נשבר.

האם אפשר לעשות שימוש חוזר במטריקות מפרויקטים אחרים?

השלד מועבר: בדיקות פורמט, שלמות תשובה וסירובים אינן תלויות בתחום התוכן. אנחנו מרכיבים מחדש דוגמאות ייחוס, קריטריונים וסף הפעלה לפי המשימה הספציפית.

איך הלקוח משתתף בבדיקה?

בעל המוצר מסכים על הקריטריונים ומקבל את התוצאה על סט ייחוס סגור. דרושות כמה שעות של מומחה תחום לכיול — לאחר מכן הריצות מתבצעות בלעדיו.

נדבר על המשימה: מה לשלוח כדי שנחזור עם תוכנית

כדי לדון במשימה באופן ענייני ולחזור עם תוכנית עבודה, ולא עם הרהורים כלליים, צריך מינימום של נתוני קלט להערכה — את מה שכבר יש לכם ביד. מיומני הפיילוט רואים היכן המודל טועה הכי הרבה, ומתשובות ייחוס — איזו רמת איכות נחשבת למקובלת. תארו את המשימה בצורה חופשית: זה מספיק כדי להתחיל.

• סט ייחוס: 200–500 שאילתות אמיתיות עם תשובות ותיוג «נכון / לא נכון» — עליו מכיילים הערכה אוטומטית במודל שני ומודדים את דיוק הכיוונון העדין;
• יומני פיילוט: דיאלוגים גולמיים, גרסאות פרומפטים ותשובות המודל כפי שהמשתמשים ראו אותן;
• קריטריוני אישור: אילו שגיאות קריטיות, אילו מותרות ובאיזה שיעור מקרים;
• תיאור התחום והתרחישים: למי המודל עונה, על אילו שאלות ומה אסור בתשובות;
• נקודת ייחוס להשוואה: מטריקות של מודל הבסיס או של הגרסה הקודמת של הכיוונון העדין;
• מגבלות נתונים והרשאות: היכן נמצאים הנתונים, האם נדרשת אנונימיזציה, האם אפשר לגייס מומחי תיוג חיצוניים;
• דוגמאות לתשובות שנויות במחלוקת: 10–20 מקרים בלי דעה אחידה — הם קובעים את גבול התיוג.

בהמשך נשלח תוכנית עבודה: הרכב השלבים מאיסוף סט הייחוס ועד האישור, נקודות בקרה בכל שלב, ותפקידים בצוות. אם משהו מהרשימה אינו בהישג יד — אמרו ישירות: חלק מנתוני הקלט אנחנו אוספים ומתייגים בעצמנו, בשלב נפרד.