כיוונון עדין של LLM: הכנת מערך נתונים — פורמטים, דה-דופליקציה וצ'קליסט

למה מערך נתונים ל-LLM קובע את איכות הכיוונון העדין

כיוונון עדין לעיתים רחוקות נכשל בהגדרות האימון: המודל עובר בביטחה בדיקה מושהית ומתפרק בשאילתות חיות. הסיבה אינה מספר הצעדים, אלא איכות מדגם האימון. חתך נתונים גולמי נותן מספר יפה בבדיקה ותוצאה חלשה בעבודה.

המקור הראשון לכישלון — כפולים במדגם. אותה דוגמה במספר ניסוחים גורמת למודל לשנן ביטוי מסוים במקום דפוס, ומחלקה נדירה מנופחת מושכת אליה תשובות על חשבון האחרות. הכנת נתונים לכיוונון עדין מתחילה בנרמול ובהסרת כפולים לפי משמעות, ולא לפי התאמת מחרוזת מדויקת.

השני — דליפת חלק הבדיקה אל תוך האימון. ניסוחים מחדש, תשובות תבניתיות וקטעים של אותו מסמך שנשארו בשני המערכים הופכים את הבדיקה לפיקציה: המדד עולה, אך ההתנהגות על נתונים חדשים לא משתנה. לכן את החלוקה מבצעים לפי מקורות וישויות, ולא לפי שורות.

השלישי — חוסר אחידות בתיוג: המבצעים מפרשים את ההוראה בדרכם, במקום אחד שינו שם שדה, במקום אחר התשובה חתוכה, ובמקום נוסף נוסף טקסט מיותר. המודל לומד את הרעש הזה במסירות.

מערך נתונים ל-LLM נחשב מוכן כאשר סכימת השדות קבועה, דוגמאות שנויות במחלוקת הוסרו, ושיעורי המחלקות ואורך התשובות נבדקו לפי חתכים.

בהמשך נפרט כיצד זה נסגר: כללי הסרת כפולים, חלוקה קבוצתית, סכימת תיוג אחידה ורשימת בדיקה לאישור המדגם לפני תחילת האימון.

מה נותן מדגם מדויק: אפקט במדדים מדידים

הסיכון העיקרי בכיוונון עדין אינו הארכיטקטורה, אלא הרכב המדגם. כפולים וכמעט-כפולים גורמים למודל להחשיב ניסוח חוזר לאות הראשי, ותיוג מתנגש על אותן דוגמאות מלמד אותו לנחש במקום לענות.

לאחר הסרת כמעט-כפולים, הבאת התיוג לכלל אחיד וניתוח דוגמאות שנויות במחלוקת, שיעור התשובות הנכונות על מדגם בקרה מושהה עולה ב-8–15 נקודות אחוז. והפער בין חלק האימון לחלק הבקרה מצטמצם — כלומר, השיפור נובע מאות בנתונים, ולא משינון.

מספר ההרצות החוזרות של כיוונון עדין יורד משש-שמונה לשתיים-שלוש. הסרת כפולים מסירה דוגמאות שהמודל משייך פעם למחלקה אחת ופעם לאחרת, והאימון מפסיק להתנדנד בין אפוקים בחיפוש אחר פשרה.

בתעבורה חיה זה נראה כיציבות: שיעור הסירובים וההימנעויות מתשובה יורד, ופורמט הפלט נשמר גם בניסוחים שלא היו במדגם. בנפרד מחשבים את שיעור התשובות הקטועות — זהו סימן מוקדם לכך שהנתונים עדיין מעטים, ולא לכך שהמודל „לא מסוגל”.

את הניהול מנהלים ב-Argilla: גרסאות המערך, תיוג בידי כמה מתייגים והיסטוריית עריכות במקום אחד — אחרי כל איטרציה רואים איזה שינוי בדיוק הניב שיפור.

את המדדים מחשבים על מערך בקרה קפוא שאינו נכנס לאימון, ולכן התוצאה ניתנת לשחזור בהרצה הבאה.

פורמטים של מערך נתונים ל-LLM ומצבי כיוונון עדין: השוואה

פורמטים של נתונים מתויגים ומצבי כיוונון עדין בוחרים לפי המשימה, ולא לפי הרגל. אותו קורפוס אפשר לפרוס לזוגות שאילתה-תשובה, להוראות או לדיאלוגים עם תפקידים — מכך תלוי אילו תרחישים המודל בכלל יראה באימון.

להלן השוואה של אפשרויות תיוג ומצבי כיוונון עדין לפי התאמה ומגבלות; תבנית אחידה, למשל ChatML עם אסימוני שירות של תפקידים, מאפשרת לכסות במדגם אחד גם הוראות וגם דיאלוגים.

אפשר לערבב פורמטים במדגם אחד, אבל התבנית חייבת להיות אחת: סמני תפקידים שונים במערך יוצרים פער בהתנהגות המודל בשאילתות דומות. טריק עבודה — להביא הכול לתבנית אחת, לקבע אותה בתצורת האימון ולשמור גרסת תיוג לצד הנתונים.

אז הרצה חוזרת משחזרת את התוצאה, והשוואה של מצבי כיוונון עדין נעשית על אותם נתונים, ולא על גרסאות שונות של מערך הנתונים.

שלבי הכנת נתונים: מביקורת מקורות ועד קבלה

סדר השלבים כאן אינו פורמליות: אם מתחילים לתייג לפני ביקורת המקורות, חלק מהקורפוס צריך לעבד מחדש — הנתונים אינם מכסים את התרחישים הנדרשים או מכילים קטעים שאסור להשתמש בהם. לכן קודם קובעים ממה מרכיבים את המדגם, ורק אחר כך משקיעים משאב בתיוג.

1. ביקורת מקורות. ספירת מלאי: לוגים של פניות, מאגר ידע, התכתבות תמיכה, תקנות פנימיות. לכל מקור — בעלים, זכות שימוש, נפח, כיסוי תחומי ושיעור רשומות פגומות.
2. סכימת רשומה. מסכמים על שדות, פורמט אחסון אחיד וכללי תיאור התשובה של עוזר הייחוס, כדי שהמתייגים לא ייפרדו בפרשנות.
3. ניקוי והסרת כפולים. מסירים תיוג-על (HTML, כותרות שירות), מנרמלים טקסט, מאתרים כפולים מדויקים וכמעט-כפולים, חותכים נתונים אישיים. חזרות קרובות מעוותות את האימון יותר מרעש.
4. תיוג והצלבה. כל רשומה נבדקת בידי מומחה שני; מקרים שנויים במחלוקת מנותחים בנפרד ומוספים לכללים.
5. חלוקה לחלק אימון ולחלק בדיקה. מחלקים לפי מקורות ואשכולות סמנטיים, ולא באקראי — אחרת ניסוחים דומים ייפלו לשני החלקים והאיכות בבדיקה תיראה גבוהה מדי.
6. מדידת בקרה. מריצים את המודל המכוונן עדין על חלק הבדיקה ומשווים למודל המקורי לפי תרחישים שחשובים למזמין.
7. אישור המערך. רשימת בדיקה לפי הרכב, סטטיסטיקה, גרסת המדגם ותיאור מגבלות — מה המודל לא יוכל לשלוט בו על הנתונים האלה.

האישור סוגר את השלב כאשר המזמין רואה לא „מערך נתונים מוכן”, אלא ארטיפקט מובן: כמה רשומות, באיזו איכות, עם אילו חריגים. כך המחזור הבא של כיוונון עדין מתחיל מנקודה ידועה, ולא מניתוח חוזר של המקורות.

סכימות שדות, כללי תיוג ונוהל בנייה מחדש

ערכת תיעוד אנו מוסרים יחד עם המודל המאומן — אחרת אי אפשר לשחזר או להרחיב את המדגם בלעדינו. להלן מפורט מה שנשאר בצד המזמין ועובד לאחר המסירה: די להעבירו לצוות מתייגים חדש או למהנדס שימשיך את מחזור הכיוונון העדין.

מה כלול במערך הנמסר:

• סכימת שדות תיוג: שדות חובה ורשות, סוגי ערכים, טווחים מותרים, כללי קשר בין רשומה למסמך המקור ולגרסתו.
• כללי תיוג והוראות למתייג: מקרי גבול לכל מחלקה, מה לעשות באי-בהירות, אילו פרשנויות להימנע מהן, סדר הסלמה של דוגמאות שנויות במחלוקת.
• דוגמאות ייחוס: כמה רשומות מתויגות לכל מחלקה, המשמשות נקודת הצלבה בגיוס מבצעים חדשים.
• סקריפטים לבדיקת איכות נתונים: איתור כפולים לפי טקסט מנורמל, בקרת שדות ריקים וחתוכים, בדיקת איזון מחלקות ואורך רשומות, הצלבת הסכימה עם תוכן הקובץ בפועל.
• דוח בקרת תיוג: שיעור ההתאמה בין מתייגים על החלק החופף של המדגם, רשימת אי-התאמות עם ניתוח סיבות.
• נוהל עדכון המדגם: תדירות בנייה מחדש, מי יוזם, לפי איזה סימן מחשיבים שהמודל נסוג ושאין מספיק נתונים.
• יומן גרסאות של מערך הנתונים: מה ומתי השתנה, על איזו גרסה אומן כל פרסום, וכיצד זה קשור לתוצאות המדידות.

מסמכים כאלה מסירים את הסיכון העיקרי באימון חוזר — פער בין האופן שבו תויגו הנתונים בפעם הראשונה לבין האופן שבו יתויגו בעוד חצי שנה. כאשר הסכימה, הכללים והבדיקות קבועים, עדכון המדגם הופך להליך שגרתי, ולא לפרויקט חדש. תארו את המשימה — נחזור עם הערכה ותוכנית עבודה.

מקרה בוחן: כיצד בנייה מחדש של המדגם הסירה שטף תשובות זבל

הלקוח — עוזר פנימי למאגר תקינה: עובדים שואלים על תקנות, והמודל עונה עם הפניה לסעיף. את הגרסה הראשונה כיווננו עדין על ייצוא מפניות קו ראשון — כחמישים אלף זוגות „שאלה-תשובה” בשנה. בהדגמות הכול נראה חלק, אבל בשאילתות חיות המודל הפנה לצווים שבוטלו והדביק סעיפים ממסמכים שונים.

מה נמצא במדגם

שליש מהזוגות התבררו ככפולים עד כדי פיסוק — המודל שינן ניסוחים שכיחים במקום כלל. ב-12% מהמקרים לשאלה אחת היו שתי תשובות שונות משני נציגים: תיוג מתנגש, והמודל מיצע את הסתירות. בעוד 7% התשובה הודבקה מהשורה הסמוכה בייצוא — תקלה בייצוא, ולא טעות אנוש. את התיוג ניהלו ב-Label Studio, אבל בלי הוראה אחידה: כל נציג הבין „ענה בקצרה” בדרכו.

מה שינו

הרכבנו הוראה מארבעה קריטריונים: הפניה לסעיף מסוים, מענה רק לפי המהדורה התקפה, אורך קבוע, סירוב במקום ניחוש. הסרת הכפולים נעשתה לפי טקסט מנורמל, וזוגות מתנגשים עברו להכרעת עורך דין, ולא הוכרעו בהצבעה. המדגם הצטמצם מ-48 ל-29 אלף דוגמאות, אבל הפסיק ללמד סתירות.

בשאילתות חיות שיעור התשובות עם הפניה לסעיף לא קיים ירד מ-22% ל-3%, ושיעור הסירובים הכנים „לא מוצא בתקנון” עלה מ-4% ל-15% — המודל הפסיק לנחש. ההסלמות לעורך דין אנושי פחתו באופן ניכר: העוזר הפסיק להיות מקור להפניות שווא.

מה לעשות אם הנתונים כבר מתויגים בפורמט אחר?

תיוג מחדש מלא נדרש לעיתים רחוקות: בקורפוס רגיל 80–90% מהרשומות מועברות אוטומטית, כי הסכימות הישנה והחדשה נבדלות בפרטים, לא במהות. העברת התיוג נעשית כשכבה נפרדת בין נתוני המקור לייצוג האימון, ולא כעריכת קבצים במקום. התיוג המקורי נשאר ללא שינוי — זו נקודה שתמיד אפשר לחזור אליה.

העבודה מתחילה בתיאור פורמלי של סכימת היעד: שדות חובה, רשימת תוויות מותרת, כללי תיוג גבולות ישויות, מה נחשב דוגמה שלילית. לאחר מכן נכתב ממיר שמפרק את התיוג הישן לשדות האלה ומביא לסכימה אחידה נתונים מכל המקורות — מילון תוויות אחד, סוג גבולות אחד, ייצוג דיאלוג אחד.

על מדגם בקרה של כמה אלפי רשומות בודקים שההעברה לא מאבדת דבר ולא מכפילה תוויות, לפני הפעלתה על כל הנפח.

חלק מהרשומות לא נכנס להמרה: כמה תוויות על קטע אחד, תגובות מקוננות, תוויות שאין כלל בסכימה החדשה. מקרים כאלה לא „משלימים” אוטומטית, אלא מעבירים לתור לתיוג מחדש חלקי — בדרך כלל 5–15% מהנפח, והם בדיוק נותנים את עיקר השיפור באיכות. לתייג ידנית את השאר — לעשות שוב עבודה שכבר נעשתה.

שמירת היסטוריית עריכות כאן אינה פורמליות: כל עריכה — רשומה נפרדת עם מחבר, תאריך וסיבה, והממיר עצמו מתקיים כקוד תחת בקרת גרסאות. אם הסכימה תשתנה שוב, ההמרה מופעלת מחדש על כל הקורפוס תוך דקות, ולא נבנית מחדש. זה גם מאפשר לאמן מודל על תיוג ישן וחדש ולהשוות תוצאה על אותו מדגם בדיקה, לפני מעבר לחדש.

הסרת כפולים, רישיונות ופרטיות: שאלות של מהנדסים

בניתוח המשימה כמעט תמיד עולה אותו מערך היסוסים: איך לסנן דוגמאות כמעט זהות, שאינן חופפות מילה במילה אך חוזרות על אותה תשובה, ומה לעשות עם זכויות על מקורות. אנחנו עונים עליהן לפני ההתחלה, כי בנייה מחדש של המדגם לאחר התיוג היא התיקון הגדול ביותר בפרויקט.

להלן ארבע שאלות שנשמעות יותר מאחרות, עם תשובות קצרות של מהנדסים. אם המקרה שלכם לא נכלל בהן, ננתח אותו בנפרד.

מה בודקים ברישיונות לנתוני אימון?

מנהלים מרשם מקורות: סוג הרישיון, האם שימוש מסחרי מותר, האם נדרש ייחוס, האם יש הגבלות על מערכים נגזרים. מקורות עם תנאים לא ברורים או מוציאים או מחליפים. בסיום — דרכון מדגם: מהיכן הנתונים, כיצד הושגו, מה אסור לעשות איתם.

כיצד נתונים אישיים נכנסים למדגם וכיצד להוציא אותם משם?

מתייגים קטעים שעלולים להיות רגישים לפני האימון — שמות, אנשי קשר, כתובות, מספרי מסמכים — תוך שימוש גם ב-Presidio. לאחר מכן מיסוך ובדיקה ידנית של מקומות שנויים במחלוקת במדגם. עבור קורפוסים קטנים עדיף לנקות את המקור מאשר לקוות למסנן.

איך לוודא שהמודל לא „שינן” את הנתונים בעל פה?

בדיקת דליפה היא שלב נפרד: מזינים שאילתות-קידומות מהקורפוס ומודדים באיזה שיעור מהמקרים המודל משחזר את ההמשך מילה במילה. אם השיעור ניכר, מגבירים הסרת כפולים ומיסוך ומבצעים שוב מדידה. את התוצאה מתעדים בדוח — לפיו רואים שסיכון הדליפה נשלט.

בואו נדון במשימה: איזה חתך נתונים נדרש להערכה

כדי לחזור עם הערכת היקף העבודה ותוכנית להכנת המדגם, איננו צריכים את כל הקורפוס — די בחתך מייצג. כמה מאות דוגמאות אמיתיות מציגות מבנה, שיעור כפולים וזבל, פיזור אורך תשובות וכמה עבודה ידנית ידרוש התיוג. לפי חתך כזה מחשיבים את עומס העבודה לפי מצב בפועל, ולא לפי תיאור המשימה.

• רשימת חומרי מקור: מהיכן מגיעים הנתונים — פניות לתמיכה, התכתבויות, מאגר ידע פנימי, מסמכים — ובאיזה צורה הם נשמרים כעת.
• חתך נתונים להערכה: דוגמאות „שאלה — תשובה צפויה” בדיוק בצורה שבה הן עולות בעבודה, כולל כושלות וחסרות.
• תיוג ייחוס: 20–30 דוגמאות שתויגו ידנית בידי המומחה שלכם — לפיהן מכיילים בדיקות איכות וכללי ניקוי.
• מילון מונחים: שמות מוצרים, מונחים, ראשי תיבות וצורות כתיב מקובלות אצלכם, כדי שהמודל לא יעוות את תחום התוכן.
• הגבלות: נושאים וניסוחים שאסור שיופיעו בתשובות, וכללי התנהגות בשאילתות שנויות במחלוקת או חסרות.
• דרישות לתשובה וקריטריוני קבלה: מה אתם מחשיבים תוצאה תקינה, ומה — שגיאה שמחייבת עיבוד מחדש של המדגם.

שלחו את מה שכבר קיים — אפילו רשימה חלקית וייצוא ללא תיוג יספקו די חומר לניתוח. נדון במשימה: נראה היכן החתך אינו אחיד, אילו שדות יהיה צורך להביא לצורה אחידה וכמה דוגמאות צריך להשלים כדי להגיע לאיכות היעד. לאחר מכן נחזור עם הערכת היקף העבודה ותוכנית להכנת המדגם לפי שלבים.