יצירת נתונים סינתטיים לכוונון עדין של מודלי שפה גדולים כפתרון מלא

נתונים סינתטיים לאימון מחדש של LLM: היכן נשברת האיכות

בתחום צר — משפטים, רפואה, תקנות תעשייתיות — לעתים רחוקות נאספים יותר מכמה אלפי דוגמאות איכותיות. תיוג ידני נתקע: מומחים מתדיינים שבועות על ניסוחים, ואימון מחדש על מדגם קטן מוביל ל-overfitting — המודל משחזר בביטחה ביטויים ממערך האימון ואינו מעביר את ההיגיון למקרים חדשים. הפיתוי הראשון — להשלים את המדגם באמצעות המודל, וכאן מתחילה ההידרדרות באיכות.

כאשר המודל המשמש כמחולל הוא מודל קרוב, הוא משכפל את ההטיות של עצמו: פתיחות תבניתיות, מבנה היסק אחיד, תשובות זהות. המגוון קורס — אלפי דוגמאות מתארות מקרה אחד. הרעש בתיוג אינו מתמצע אלא מוכפל: הטעות של המורה חוזרת על עצמה במאות שורות והופכת עבור המודל לחוקיות.

המלכודת השנייה — בקרה. אם הבדיקה נעשית על אותו מדגם שנוצר, המדדים עולים, אבל אינם אומרים דבר על ההתנהגות בבקשות אמיתיות. בנוסף — דליפה: דוגמאות מאותם מסמכי מקור מגיעות גם לאימון וגם לבדיקה — המודל לומד את התשובות בעל פה. בתעבורה חיה המערכת מתפרקת כבר בבקשה הראשונה שאינה טיפוסית.

נתונים סינתטיים עבור LLM עובדים כאשר היצירה מבוקרת: הוגדרה תבנית דוגמה והתפלגות נושאים, שיעור הנתונים שנוצרו מוגבל, כל דוגמה עוברת סינון לכפילויות ולהתאמה לעובדות, וחלק מהמדגם נבדק על ידי אדם. נבחן כיצד זה מכוסה.

מה מעניקה יצירה מבוקרת של מערכי אימון

מחלקות נדירות נושרות מהמדגם ראשונות: דוגמאות חיות עבורן ספורות, והמודל מכווץ אותן אל המחלקה הרוב. יצירה מבוקרת של מערכי אימון סוגרת את החור הזה — עשרות מקרים אמיתיים מושלמים במאות דוגמאות עקביות במשמעותן, והמיצוע המקרו על פני מחלקות מפסיק להיכשל בזנב ההתפלגות.

תיוג ידני מחליף תפקיד: האדם בודק לא כל דוגמה, אלא מדגם מרובד ומקרי גבול. את השכבה הגסה מבצע המחולל — הסרת כפילויות לפי אמבדינגים, בדיקת עקביות של זוגות «שאילתה — תשובה», סינון ניסוחים תבניתיים.

היקף העבודה הידנית מצטמצם פי כמה, והזמן שהתפנה מוקדש לדוגמאות שנויות במחלוקת, שבהן החלטת האדם באמת משנה את התנהגות המודל.

בקרת האיכות של הדוגמאות נשמרת כשכבת תיוג נפרדת, ולא בתוך הסקריפט: Argilla מספקת תור לבדיקה, ניהול גרסאות של עריכות ותיעוד אי-ההסכמות בין הבודקים. נראים שיעור הדוגמאות הפסולות, מידת ההסכמה בין המתייגים והכיסוי של כל מחלקה — לפי המספרים האלה מחליטים מה להשלים באיטרציה הבאה.

יכולת השחזור של האימון נשענת על קיבוע גרסת המערך, גרסת הפרומפטים וזרע היצירה: אותו מערך נתונים מניב אותה תוצאה, ופער במדדים בין ריצות מעיד על שינוי בנתונים ולא על מקריות. הדבר מאפשר להשוות ניסויים זה לזה ולגלגל את המדגם חזרה לגרסה קודמת אם האיכות ירדה.

גישות לבניית מדגמים: יצירה, השלמה, העברה

את המדגם כמעט לעולם לא אוספים בדרך אחת: סינתזה טהורה סוגרת את ההיקף ואת האיזון בין מחלקות, דוגמאות אמיתיות שומרות על התפלגות קרובה לזו שבעבודה. את המצב בוחרים לפי כמות הנתונים שכבר תויגו ועד כמה מחמירות הדרישות לסגנון התשובות.

המגבלה המשותפת של הסינתזה — סחיפת התפלגות: ככל ששיעורה במדגם גבוה יותר, כך גדל הסיכון שהמודל ילמד את המאפיינים של המחולל ולא את התחום המהותי. לכן מקבעים את שיעור הנתונים האמיתיים, מבצעים הסרת כפילויות ומעריכים את התוצאה על מדגם אמיתי שנשמר בצד.

אנחנו מתאימים את המצב לתחום שלכם: תחילה מנתחים על אילו דוגמאות המודל טועה כעת, ורק לאחר מכן מחליטים מה ליצור, מה להשלים והיכן די בהעברת סגנון.

שלבי העבודה על המדגם: מביקורת ועד מסירה

ללא סדר עבודה מקובע, המדגם לאימון מחדש הופך לאוסף דוגמאות שעל איכותן מתווכחים על טעם. אנחנו הולכים מביקורת הנתונים אל בדיקה על דוגמאות שהמחולל לא ראה: קריטריוני הקבלה של המדגם ידועים לפני ההתחלה, ולא נדונים לאחר הריצה הראשונה.

מה מקבעים בכל שלב

1. ביקורת נתונים. סופרים היקף, כפילויות, איכות תיוג, התפלגות לפי נושאים, אורך ומורכבות. בפלט — מפת פערים: אילו תרחישים אינם מכוסים ומה יהיה צורך ליצור.

2. תבנית יצירה. בוחרים עוגן — הקורפוס שלכם או מערכת כללים, מגדירים התפלגות מטרה לפי מחלקות ורמת מורכבות. בנפרד מקבעים מה עושה המודל ומה כותב האדם: אחרת המערך יוצא אחיד מדי.

3. כללי סינון. הסרת כפילויות מדויקת וסמנטית, סינון דוגמאות החופפות למערך הבקרה, בדיקה לנתונים אישיים, איזון מחלקות. הכללים נמצאים בקונפיג — ניתן לשנות אותם.

4. אימות דוגמאות. בדיקה אוטומטית של פורמט ומבנה בתוספת הערכה ידנית מדגמית: סופרים שיעור ההתאמות לאמת המידה, ובנפרד מנתחים מקרי גבול.

5. בדיקה על מדגם שנשמר בצד. מדדים על נתונים שלא השתתפו ביצירה, השוואה למודל הבסיסי ולמערך הנוכחי שלכם. אם השיפור לא אושר — חוזרים לתבנית היצירה.

6. מסירה. מוסרים את מערך הנתונים בפורמט מוסכם, את קונפיגורציות היצירה והסינון, דוח מדדים ותקנון שחזור. מלמדים את הצוות שלכם להשלים את המדגם בלי לערב אותו במערך הבקרה.

מה נשאר אצלכם: מדגם, מחולל, תיעוד

אנחנו מוסרים לא ארכיון עם קבצים, אלא תהליך עובד: מערך עם היסטוריית מקור של כל דוגמה, מחולל שרץ בצד שלכם, ומסמכים שלפיהם הצוות משחזר את התוצאה בלעדינו. הקבלה נעשית לא לפי תיאור אלא לפי ריצה — היצירה מופעלת בסביבה שלכם, והפלט שלה נבדק מול מערכי הבקרה.

• מערך נתונים עם דרכון מקור: שיעור הדוגמאות האמיתיות והסינתטיות, התפלגות לפי נושאים, ואילו בדיקות עבר כל בלוק.
• מחולל בסביבה שלכם: פרמטרי הרצה, תבניות שאילתות, כללי סינון ופסילה, סקריפטים להרצה חוזרת.
• כללי בחירת דוגמאות: כיצד נפסלים כפילויות וניסוחים דומים, לפי אילו קריטריונים דוגמה עוברת לאימון ולפי אילו — לפסול.
• תיעוד המדגם: תבנית השדות, סטטיסטיקה לפי אורך ונושאים, מגבלות ידועות ונקודות עיוורות של המערך.
• מערכי בקרה: החלק שנשמר בצד ותשובות אמת-מידה, שלפיהם משוות גרסאות המודל לפני ואחרי אימון מחדש.
• תקנון עדכון: תדירות הוספת דוגמאות, מי מפעיל את היצירה, ואילו ספי איכות נחשבים לקבלה.
• הוראות לצוות: הפעלה שלב אחר שלב, ניתוח תקלות טיפוסיות, למה להסתכל בלוגים ומתי לפנות אלינו.

בסעיף נפרד נמסר המחולל: ריצה משותפת על הנתונים שלכם עם ניתוח ההגדרות, כדי שתבניות ומסננים תמשיכו לשנות בעצמכם. החבילה נבנתה כך שאימון מחדש לא יהיה תלוי בספק: להרחיב את הנושאים או להפעיל מחדש את היצירה ניתן בכוחות הצוות שלכם, ואנחנו מצטרפים במקרים מורכבים.

תרגול: כיצד המדגם סגר את המחסור בדוגמאות בתמיכה

הלקוח — שירות תמיכה עם זרם פניות במספר שפות: סיווג פניות ויצירת טיוטת תשובה לנציג. את המודל אימנו על ייצוא מ-Zendesk, שבו תרחישים נדירים — החזרות, חיובים שנויים במחלוקת, תקלות אינטגרציה — היו מיוצגים בדוגמאות בודדות. עליהם העוזר השיב בתבנית או סירב לענות, ואת הדוגמאות לנושאים נדירים תייגו המומחים ידנית במשך חודשים.

מה עשינו

ניתחנו את היסטוריית הפניות, זיהינו תרחישים נדירים ויצרנו נתונים סינתטיים באמצעות LLM: זוגות «שאילתה — תשובת אמת מידה» עם וריאציות של ניסוח, טונאליות ושפה.

כל זוג הועבר דרך כללים אוטומטיים והשוואה לתקנון החברה, את השנויים במחלוקת — דרך קבלה ידנית מדגמית; השארנו כשני שלישים מההיקף שנוצר.

מה השתנה

על מדגם פניות אמיתיות שנשמר בצד, שיעור התשובות הנכונות עלה מ-61% ל-89%, ושיעור הסירובים ירד מ-18% ל-4%. הכיסוי של תרחישים נדירים במערך האימון עלה מיחידות למאות דוגמאות לנושא, והיקף התיוג הידני הצטמצם פי שלושה בערך — המומחים בודקים מקרים שנויים במחלוקת במקום לכתוב דוגמאות מאפס. את מדדי האיכות מחשבים על אותו מערך כמו לפני אימון מחדש, ולכן ההשוואה לפני ואחרי נשארת תקפה.

במה נבדלים נתונים סינתטיים מתיוג לוגים אמיתיים?

תיוג לוגים אמיתיים נשען על עובדה: אלו ניסוחים אמיתיים, רעש חי, התפלגות אמיתית של מחלקות. הבעיה היא במקום אחר — תרחיש נדיר מגיע ללוגים לעתים רחוקות, ועל דוגמאות גבול המתייגים מפרשים את ההוראה באופן שונה, וההסכמה בין התוויות יורדת. בסופו של דבר, המחלקה שלשמה מאמנים את המודל מחדש מיוצגת בעשרה דוגמאות בלבד.

הסינתטיקה נבנית בסדר הפוך: תחילה מתארים טקסונומיה של תרחישים ואת כללי התשובות המותרות, לאחר מכן יוצרים דוגמאות לפי תבניות ודרך מודל שפה. לאחר מכן — מעגל בדיקות חובה: הסרת כפילויות, פסילת חזרות תבניתיות, בדיקה לדליפת נתונים רגישים והערכה על ידי מודל שופט. זה מעניק כיסוי אחיד למחלקות שכמעט אינן קיימות בלוגים.

בפועל, המדגם המעורב מנצח. הסינתטיקה משלימה את הכיסוי ואת האיזון בין מחלקות, הלוגים האמיתיים מחזיקים עוגן בשפה חיה ובהתפלגות אמיתית — יחד הם מסירים גם את ההטיה לתרחישים נדירים וגם את המלאכותיות של הניסוחים.

את הפרופורציה מתאימים לפי מחלקות: היכן שדוגמאות עובדתיות מעטות, שיעור הסינתטיקה גבוה יותר; היכן שיש די — משאירים רק תיוג של לוגים.

את מערך הבקרה אוספים במקרה כזה אך ורק מלוגים אמיתיים, אחרת המדדים מודדים את איכות המחולל ולא את המודל על נתונים מבצעיים. פיצול כזה נראה בבירור: היכן הסינתזה באמת הוסיפה מחלקה, והיכן רק דיללה את המדגם בדוגמאות דומות.

שאלות נפוצות על נתונים, פרטיות וקבלת עבודות

לפני תחילת היצירה עולות אותן שאלות: מה עובר למודל, היכן הגבול בין מסמכים אמיתיים לסינתטיקה ומה נחשב לקבלה. אנחנו עונים לגופו של עניין.

פרטיות הנתונים נפתרת על ידי סכמת העבודה: היצירה מתבצעת בסביבה שלכם או בסטנד מבודד, המסמכים אינם יוצאים ממנה, ובפלט — רשומות סינתטיות עם התפלגות מבוקרת.

האם נדרש התיוג שלכם?

בדרך כלל לא: התוויות נוצרות יחד עם הדוגמאות וידועות מראש. התיוג שלכם נדרש למערך הבקרה — חלק קטן של דוגמאות אמיתיות, שעליהן בודקים שהמודל לא עבר overfitting על הסינתטיקה.

כיצד מתבצעת קבלת העבודות?

על מערך הבדיקות שלכם: שיעור התשובות הנכונות, עמידות לניסוחים מחדש, והיעדר הידרדרות על נתונים אמיתיים. את המדדים לוקחים על אותו מערך לפני ואחרי אימון מחדש.

מה כלול בתמיכה לאחר המסירה?

מוסרים קונפיגורציות של המחולל, סקריפטים לבדיקה ותיעוד — כדי שאימון חוזר יופעל בלעדינו. לאחר מכן מלווים: מעדכנים את המערך כאשר התפלגות הנתונים האמיתיים משתנה.

נדון במשימה ונחזור עם הערכה ותוכנית

לצורך הערכה איננו זקוקים למערך נתונים מוכן — אנחנו זקוקים לתחום שלכם ולהבנה אילו טעויות של המודל יקרות ביותר. בשיחה הראשונה אתם מתארים את התחום המהותי, מציגים 5–10 שאילתות ותשובות אמיתיות, ומסמנים מקומות שבהם המודל הנוכחי טועה, מסרב לענות או עונה באופן כללי מדי.

אנחנו מצדנו בודקים אם יש בדוגמאות האלה אות ליצירה: סוגי ישויות, מינוח, פורמטי פלט, מגבלות וניסוחים אסורים — בלי זה נתונים סינתטיים של LLM יוצאים חלקים אך חסרי תועלת לאימון מחדש.

לאחר מכן העבודה מתנהלת בשלבים, וכל שלב מסתיים בארטיפקט שניתן לבדוק:

• ניתוח התחום — מרכיבים רשימת תרחישים שהמודל צריך לכסות, ובנפרד את אלה שבהם הוא חייב לסרב.
• תבנית יצירה — מקבעים ממה מורכבות הדוגמאות: כללים, תבניות, קטעים אמיתיים, עץ נושאים והתפלגות לפי מורכבות.
• שלב פיילוט — מריצים היקף מוגבל, בוחנים את שיעור הדוגמאות שעברו בדיקת איכות ואת השיפור בשאלות המבחן שלכם.
• הערכת לוחות זמנים — את היקף העבודה מקשרים למדד הקבלה, ולא ל«נעשה יפה»: כמה דוגמאות, באיזו איכות, עם איזו בדיקה.
• תוכנית עבודה — שלבים, נקודות תיאום ומה שנדרש מכם: גישה לדוגמאות, מומחה ל-2–3 מפגשים של שעה, תשובות במקרים שנויים במחלוקת.
• מסירה — תרחישי יצירה, כללי סינון, דוח מדדים ותקנון שלפיו תוכלו להרחיב את המערך בעצמכם.

מה נדרש מצדנו: איש קשר של מומחה לתחום, מדגם של פניות אמיתיות ובהירות איזו תוצאה נחשבת לטובה. חלק מזה בדרך כלל כבר קיים אצלכם — זה מספיק כדי להתחיל.

תארו את המשימה בשתי פסקאות וצרפו דוגמאות נתונים — נחזור עם הערכת לוחות זמנים, תוכנית עבודה וגבולות שלב הפיילוט. אם הדוגמאות עדיין מעטות, נציע כיצד לאסוף מערך מינימלי להתחלה.