מסווג סנטימנט מותאם אישית: כוונון עדין עד 95% F1

Fine-tuning של ניתוח סנטימנט: היכן המודל המוכן נשבר

מודל מוכן מאומן על קורפוס כללי ומבחין בביטחון בין "מוצא חן בעיניי / לא מוצא חן בעיניי" בטקסטים ניטרליים. על נתונים ענפיים הדיוק של המסווג צונח ל-60–70%: המודל לא יודע ש"חם" בביקורות על מוצרי טכנולוגיה הוא יתרון, ו"קר" בהיסטוריות לקוח הוא חיסרון. לקסיקון תחומי משנה את סימן ההערכה, ומילון אוניברסלי לא רואה זאת.

סרקזם וביקורות מעורבות שוברים את המודל יותר מכל. "נו תודה, חיכיתי שלושה ימים" מכיל פורמלית הבעת תודה, אך במשמעותו — תלונה; הביקורת "המשלוח מהיר, אבל המוצר הגיע מעוך" נושאת שתי הערכות מנוגדות במשפט אחד, והמודל ממצע אותן לניטרלי.

בזרימה זה יוצר התראות שווא: שלילי נופל לסל הניטרלי, שירות התמיכה לא רואה את הבעיה, ומדדי האיכות נראים תקינים.

Fine-tuning של ניתוח סנטימנט פותר זאת באמצעות אימון נוסף של המודל על התיוג שלכם לביקורות. אנו אוספים קורפוס מפניות אמיתיות, מתייגים מקרים שנויים במחלוקת — סרקזם, שלילות, הערכות מעורבות — ומאמנים את המודל מחדש על דוגמאות אלו. המודל מפסיק להישען על מילון כללי ולומד על הניסוחים שלכם: ז'רגון ענפי, שמות מוצרים, תלונות טיפוסיות.

השלב המרכזי — איכות התיוג. אם שני מתייגים שמים תוויות שונות על אותו טקסט, המודל ילמד רעש במקום אות. לכן אנו מקבעים כללי תיוג, מעבירים דוגמאות שנויות במחלוקת דרך תיאום ומחזיקים מדגם נפרד לבדיקה — הוא אינו משתתף באימון ומראה את הדיוק האמיתי של המסווג, ולא כזה שהותאם למערך האימון.

בפלט — מודל עם F1 עד 95% בתחום שלכם במקום 60–70% אצל האוניברסלי. אנו מפרקים כיצד זה נסגר על הנתונים שלכם.

מה נותן אימון מחדש על קורפוס הטקסטים שלכם

אימון מחדש מתחיל לא מהמודל, אלא מהקורפוס שלכם: ייצוא פניות, ביקורות, טיקטים ותגובות לתקופה, סימון מחלקות ומקרי גבול על ידי המומחים שלכם. מודל שאומן על מאגר טקסטים כללי מבחין בביטחון בין "טוב/רע", אך נשבר על לקסיקה ענפית — שמות תעריפים, סלנג פנימי, קיצורים. אימון מחדש על הדוגמאות שלכם מעביר את הזיהוי של הניסוחים שלכם בדיוק, ולא של שפה ממוצעת של האינטרנט.

Hugging Face ומודלים מקדימים מאומנים בקוד פתוח נותנים נקודת התחלה: אנחנו לא בונים מסווג מאפס, אלא מתאימים מודל שפה מוכן לסימון שלכם.

זה מקצר את נפח הדוגמאות הנדרשות ואת הזמן עד לגרסה עובדת — אבל האיכות בכל זאת נקבעת על ידי מידת הדיוק שבה מסומנים מקרי הגבול: סרקזם, טונאליות מעורבת, אזכורים ניטרליים של המותג.

מה משתנה במספרים

מדד F1 — דיוק וכיסוי משולבים — על קורפוס כללי נשמר בסביבות 0.7–0.8, ועל שלכם לאחר אימון מחדש מגיע ל-0.93–0.95. המשמעות המעשית היא אחרת: שיעור הפניות שעוברות למודרציה ידנית יורד מרוב לכמה אחוזים בודדים.

השארית — אלה בדיוק המקרים השנויים במחלוקת, שבהם החלטת אדם באמת נדרשת, ולא בדיקה מכנית של המובן מאליו.

עמידות לטקסט אמיתי

שלב נפרד — בדיקה על נתונים "מלוכלכים": שגיאות כתיב, תעתיק, לטינית בערבוביה עם קירילית, תנועות מוארכות, אימוג'י במקום מילים. מסווג שלא ראה דבר כזה באימון מאבד דיוק ב-15–20 נקודות; מאומן מחדש עם אוגמנטציה — שומר על איכות הסיווג בטווח של כמה נקודות מטקסט נקי. זה בדיוק ההבדל בין דמו לבין מערכת שעובדת על זרם חי.

גישות לאימון: השוואה לפי משימה ונתונים

הבחירה בין מודל מוכן, כיוונון עדין של מודל מאומן מראש ואימון מאפס נקבעת לא לפי אופנה, אלא לפי היקף הקורפוס ואיכות הסימון של הנתונים. אנחנו תמיד מתחילים בהערכה של מה שכבר קיים: אם אצל הלקוח הצטברו עשרות אלפי ביקורות מסומנות עם הסכמת המסמנים, כיוונון עדין מניב תוצאה צפויה במהירות. אם הקורפוס קטן ורועש, הוגן יותר לומר זאת עוד לפני ההתחלה מאשר להבטיח דיוק שהנתונים לא יעמדו בו.

הפשרה המרכזית היא בין עלות הסימון לתקרת האיכות. כיוונון עדין של מודל מאומן מראש דורש פי כמה פחות דוגמאות מאימון מאפס, אך יורש את ההטיות של הקורפוס המקורי. אימון מאפס מוצדק רק בתחומים צרים עם שפה ייחודית משלהם — במקומות שבהם המודל הכללי טועה באופן שיטתי בטרמינולוגיה.

בפועל, ברוב המקרים כיוונון עדין מנצח: הוא מספק F1 מקובל כבר על קורפוס קטן, והאיכות עולה ככל שמצטבר סימון. אנחנו בונים מחזור שבו המודל מכוונן עדין על דוגמאות חדשות, והמדדים מנוטרים על מדגם נפרד — כך הדיוק אינו נשחק עם הזמן.

כיצד מתבצע הטמעת מסווג

ההטמעה אינה מתחילה באימון המודל, אלא בביקורת של מה שכבר קיים: ייצוא פניות, לוגים של תמיכה, ביקורות, טיקטים. בשלב זה אנו בוחנים אילו מחלקות חסרות, היכן התיוג סותר, כמה דוגמאות יש לקטגוריות נדירות — בדרך כלל חוסר איזון פי 10-20, ובלי איזונו המודל פשוט ילמד את המחלקה השכיחה.

לאחר מכן אנו מקבעים את סכמת התיוג: רשימת מחלקות, כללי שיוך, מקרים שנויים במחלוקת עם דוגמאות. זהו מסמך שלפיו מתייגים אנשים ולפיו לאחר מכן בודקים את המודל — בלעדיו מדדים על הוולידציה לא אומרים דבר.

1. ביקורת נתונים ותיוג נוכחי. מאחדים מקורות, מחשבים התפלגות מחלקות, מוצאים כפילויות ורעש, מעריכים אם יש מספיק דוגמאות לכל מחלקה.
2. סכמת תיוג והוראות למתייגים. מנסחים באופן פורמלי מחלקות, כללים, מקרי גבול; מתאמים עם הצוות שלכם מה בדיוק נחשב לטונאליות הרצויה.
3. השלמת תיוג וניקוי הקורפוס. משלימים מחלקות נדירות, מסירים סתירות, בודקים עקביות בין מתייגים על מדגם בקרה.
4. חלוקת נתונים. מפרישים ולידציה וטסט כך שלא ייכנסו אליהם כפילויות מהאימון — אחרת המדד מנופח ובנתונים אמיתיים המודל נחלש.
5. Fine-tuning וכיוונון פרמטרים. מאמנים על הקורפוס המתויג, משווים למודל בסיס ולכללים פשוטים, בוחרים תצורה לפי F1 על מדגם מופרש, ולא לפי accuracy.
6. ולידציה של המודל. בוחנים F1 לכל מחלקה בנפרד, מטריצת שגיאות, התנהגות על קטגוריות נדירות ועל טקסטים מחוץ להתפלגות האימון.
7. מסירה לתפעול. פורסים inference, מגדירים ניטור של שיעור וביטחון התחזיות, מתעדים כיצד לאמן מחדש את המודל על נתונים חדשים.

בקרת איכות משולבת בכל שלב: בלי תיוג מתואם אין מדד הוגן, ובלי טסט מופרש אין תוצאה ניתנת לשחזור. בסיום אתם מקבלים לא רק מודל, אלא גם קורפוס, הוראות תיוג ונוהל אימון מחדש — מה שמאפשר לשמור על איכות כשזרימת הפניות משתנה.

ארטיפקטים: מה נשאר לצוות שלכם

מסווג סנטימנט הוא לא "מודל מאומן על שרת", אלא ערכה שהצוות שלכם יכול להריץ, לבדוק ולאמן מחדש בלעדינו. לכן אנחנו מעבירים לא רק אינפרנס, אלא את כל מה שדרוש לשחזור התוצאה: מנתונים מתויגים ועד לתקנונים שלפיהם נשלטת האיכות על זרמי טקסט חדשים.

• משקולות המודל — מסווג סנטימנט מאומן עם סף ודאות קבוע, הגרסה מקושרת למערך הנתונים ולקונפיגורציית האימון, כדי שהתוצאה תשתחזר באופן חד-משמעי.
• סכמת תיוג — הנחיה למתייגים: קטגוריות סנטימנט, כללים לאמירות מעורבות ואירוניות, ניתוח מקרים שנויים במחלוקת עם דוגמאות, סדר הכרעה בין מתייגים.
• מערך נתונים מתויג — מדגמי אימון, ולידציה והשהיה עם חלוקה קבועה, כדי שמדדים בהרצות חדשות יושוו למקוריים על אותם נתונים.
• סקריפטים לאימון מחדש — קונפיגורציות fine-tuning, הכנת מאפיינים, בקרת overfitting, חישוב F1 לפי מחלקות; מופעלים בפקודה אחת על הנתונים שלכם.
• תקנון בקרת איכות — תדירות הבדיקות, מדדים וספי דגרדציה, סדר פעולות כאשר F1 יורד מתחת לרמה המוסכמת.
• ניטור ולוגינג — דשבורד לפי התפלגות התחזיות וחלק הוודאות הנמוכה, ייצוא דוגמאות מפוקפקות לתיוג נוסף.
• תיעוד והעברה — תיאור הארכיטקטורה, הנחיות להרצה ולעדכון, סשן משותף עם המהנדסים שלכם לפריסה על התשתית שלכם.

בנפרד אנחנו מקבעים קריטריוני קבלה: שיעור התשובות הנכונות על מדגם ההשהיה, עמידות לשינוי ניסוחים והיעדר ירידה במחלקות נדירות. כך אתם מקבלים לא קופסה שחורה, אלא נכס מנוהל שמתפתח בכוחות הצוות שלכם.

מקרה בוחן: מסווג סנטימנט לזרם ביקורות

הלקוח — מרקטפלייס עם זרם ביקורות במספר שפות. מודל בסיסי על נתונים פתוחים נתן איכות מקובלת על "חיובי" ו"שלילי", אך בלבל מחלקות נדירות: סרקזם, תלונה סמויה על משלוח, תלונה על מוכר ספציפי. תיוג ידני אכל משאבים של צוות התמיכה, וחלק מהפניות הלכו לתור הלא נכון.

אספנו קורפוס מהיסטוריית הפניות של הלקוח, תייגנו מקרים שנויים במחלוקת יחד עם המומחים שלו ואימנו מחדש את המודל על הדומיין הזה. בנפרד עבדנו על המחלקות הנדירות: הוספנו משקלים לפונקציית ההפסד ודוגמאות סינתטיות לקטגוריות החסרות בייצוג, קבענו סף ביטחון שמתחתיו רשומה עוברת לבדיקה ידנית.

Hugging Face שימשה כבסיס לעבודה עם מודלים מאומנים מראש ואימונם מחדש על הקורפוס של הלקוח.

מדדים לפני ואחרי

ה-F1 הכולל על כל המחלקות עלה מ-0.72 ל-0.94, שיעור הרשומות שעוברות לבדיקה ידנית הצטמצם מ-38% ל-9%. במחלקות הנדירות הפיזור בין הרצות הצטמצם — המודל הפסיק "לקפוץ" על סרקזם ותלונות סמויות, שקודם לכן הלכו לנייטרלי.

מה זה נתן בעבודה

תור התמיכה הפסיק לשקוע במיון ידני: המהנדסים מטפלים רק במקרי גבול, ולא בכל הזרם. המסווג מתעדכן על נתונים חדשים בלי בנייה מחדש מאפס — אימון מחדש על חתך ביקורות טרי אורך שעות, לא שבועות.

במה שונה אימון נוסף (fine-tuning) מהוראות בפרומפט

ניהול התנהגות באמצעות ניסוח הפרומפט הוא עבודה עם הקונטקסט: אתם מתארים כללים בפרומפט, מביאים דוגמאות ישירות בטקסט ומקווים שהמודל יתחשב בהם. דרך זו טובה לאב-טיפוס: אין צורך בנתונים, בתיוג או באימון — שיניתם את ההוראה ומיד ראיתם תוצאה. אך התנהגות המודל נשארת הסתברותית.

בטקסטים ארוכים, בטונאליות מעורבת, באירוניה ובסלנג ענפי ההוראה מתחילה "לזלוג": המודל פעם פועל לפי הכלל ופעם מתעלם ממנו, ועל אותם קלטים מפיק תשובות שונות. אין שחזוריות — בעדכון הבא של מודל הבסיס ההתנהגות תשתנה, ותצטרכו לחפש מחדש את הניסוחים.

אימון נוסף מעביר את הכללים מהפרומפט למשקולות. אתם מתייגים את הדוגמאות שלכם — ביקורות אמיתיות, פניות, תגובות עם הלקסיקון שלכם — והמודל לומד מהן, ולא מתפיסות כלליות על השפה.

זה נותן התנהגות נשלטת: מחלקות הטונאליות מוגדרות על ידכם, הגבולות ביניהן קבועים, והתוצאה על אותו קלט חוזרת על עצמה. המדד מפסיק להיות "לפי העין" — האיכות נמדדת על מדגם נפרד, ואתם רואים היכן המודל טועה ומדוע.

גם עלות האינפרנס מתהפכת לכיוון השני. פרומפט עם הוראות מפורטות ודוגמאות הוא קונטקסט ארוך לכל בקשה, ואתם משלמים עליו בכל פנייה. מודל שעבר אימון נוסף פותר את אותה משימה בקלט קצר: מגיע טקסט — חוזרת תווית. בזרימה של אלפי מסמכים זה הבדל של פי כמה בנפח העיבוד ובהשהיית התשובה.

המסקנה המעשית: הוראות בפרומפט — לבדיקה מהירה של השערה ולתרחישים נדירים, אימון נוסף — כאשר המשימה חוזרת על עצמה, האיכות צריכה להיות מדידה, והתנהגות המודל צריכה להיות צפויה.

לעתים קרובות הדרך ההגיונית היא להתחיל מהפרומפט, לאסוף עליו את הדוגמאות המתויגות הראשונות, ואחר כך לעבור ל-fine-tuning על אותם נתונים.

ספקות טכניים נפוצים

מה לעשות עם חוסר איזון בין המחלקות?

בנתונים אמיתיים שלילי כמעט תמיד במיעוט, ומודל שאומן "כפי שהוא" פשוט ינבא את מחלקת הרוב. אנו עובדים לא עם מדד accuracy בודד, אלא עם F1 לכל מחלקה בנפרד, ומאזנים את משקולות המחלקות באימון. בנוסף אנו בודקים את סף ההפעלה על מדגם נפרד — כך שמחלקה נדירה אך חשובה אינה הולכת לאיבוד.

כיצד לתחזק את המודל לאחר ההשקה?

השפה משתנה: מופיעים ניסוחים חדשים, סלנג, שמות מוצרים. אנו מגדירים ניטור דריפט — עוקבים אחר התפלגות התחזיות ואחר שיעור הביטחון הנמוך. כאשר המדדים יורדים, אנו מאמנים מחדש את המודל על דוגמאות טריות, בלי לבנות מחדש את כל המערכת מאפס. ניהול גרסאות של מודלים ושל תיוג שומר על היכולת לחזור לגרסה קודמת.

מה אם האיכות לאחר ההשקה תהיה נמוכה מהצפוי?

אנו מסכמים מראש על מדד יעד ועל אופן המדידה שלו על מדגם בלתי תלוי. אם המודל אינו עומד ביעד, אנו מנתחים את השגיאות לפי מחלקות: היכן בלבול בתיוג, היכן חסרות דוגמאות, היכן נדרש מאפיין אחר. זו עבודה הנדסית עם תוכנית ברורה, ולא "נכוונן ונראה".

בואו נדון במשימת הסיווג שלכם

כדי שההערכה תהיה מבוססת ולא "פחות או יותר בסדר גודל", בשיחה הראשונה אנחנו צריכים את הנתונים שלכם ואת הקונטקסט של השימוש. שלחו מה שיש — אפילו קבצי נתונים גולמיים ללא תיוג יתאימו: לפיהם נבין את ההיקף, את מחלקות הסנטימנט ואת המורכבות האמיתית של המשימה.

מה כדאי להכין:

• 200–500 דוגמאות טקסט אמיתיות מהזרימה שלכם — ביקורות, פניות, תגובות, מכתבים: לפיהם רואים את השפה, הסלנג, האורך וערבוב הנושאים.
• תיוג קיים, אם יש כזה: כמה מחלקות, מי ולפי איזו הנחיה תייג, היכן מקרי ספק.
• מדדי יעד: איזה שיעור של תשובות נכונות נחשב לעובד, ובאילו מחלקות הטעות קריטית יותר.
• כיצד התוצאה משתלבת בתהליך: עיבוד מרוכז של קבצי נתונים, תשובות בזמן אמת או ניתוח בפאנל.
• מגבלות: שפות וניבים, דרישות לאחסון נתונים, היכן מותר להציב את המודל.
• מה כבר ניסיתם: שירותים מוכנים, תיוג ידני, כללים לפי מילונים — ומדוע התוצאה לא סיפקה.

בשיחה נבחן כיצד המודל יתנהג על המחלקות שלכם, היכן יידרש אימון נוסף על הדוגמאות שלכם, והיכן תספיק התאמה של מודל מוכן. נדון בסכימת התיוג, בסדר בדיקת האיכות ובנקודות שבהן ניתן לתקן את הפתרון בלי לעשות מחדש. תארו את המשימה — נחזור עם הערכת לוחות זמנים ותוכנית עבודה לפי שלבים.