יישום סיווג טקסט: מ-TF-IDF ועד LLM

סיווג טקסט: מדוע ניתוח ידני אינו ניתן להרחבה

זרם הפניות גדל מהר יותר מכפי שהצוות מספיק לנתח אותו. ניתוח ידני של פניות נתקל בתקרת התפוקה של בני אדם: נציג אחד במשמרת מעבד מספר מוגבל של הודעות, וברגע שהזרם עולה על הנורמה, תור עיבוד הפניות גדל מהר יותר מקצב פינויו. ההשהיה מצטברת — מה שלא נותח ממתין, ומתווספים אליו תזכורות ופניות חוזרות.

מחיר ההשהיה אינו רק זמן התגובה לפנייה. כל עוד התור קצר ממשמרת, ההשהיה כמעט אינה מורגשת; כשהתור עובר את גבול היממה, חלק מהפניות הופכות ל«לקוח עזב בלי להמתין».

במקביל, גם התוויות אינן יציבות: אי-התאמות בתוויות בין נציגים נוצרות באופן עקבי בקטגוריות שנויות במחלוקת, וככל שהקצב גבוה יותר, כך חלקה של אי-ההתאמות גדול יותר — לבני האדם אין לא זמן ולא קריטריון אחיד להכריע באופן זהה.

מכאן נפגעת האנליטיקה: אי-ההתאמות המצטברות בתוויות שוברות את הדוחות המסכמים, והחלטות מתקבלות על בסיס נתונים רועשים — הנושא נראה לא פופולרי, בעוד שהביקוש פשוט התפזר בין קטגוריות שכנות.

סיווג טקסט סוגר את השלב היקר ביותר — ניתוב: המודל משייך את הפנייה לקטגוריה, מחזיר ציון ביטחון ומעביר לאדם רק את המקרים השנויים במחלוקת.

בהמשך נפרט כיצד זה נסגר בפועל: ממודלים סטטיסטיים כמו TF-IDF ועד מודלים לשוניים, במה הם נבדלים, כיצד נמדדת האיכות וכיצד השלב החדש משתלב בתור עיבוד הפניות הקיים בלי לעצור את התמיכה.

היכן ניתוח אוטומטי של פניות מניב אפקט מדיד

חלקן של הפניות שנותחו אוטומטית הוא מדד בסיסי, ויש לחשב אותו לפי פניות שנסגרו ללא מעורבות אדם, ולא לפי מספר תשובות המודל. בזרם טיפוסי — פניות, שאלות על הזמנה, תלונות, בקשות למסמכים — סיווג טקסט סוגר בביטחון בין מחצית לשלושה רבעים, והשאר עובר ביודעין לנציג.

מהירות מיון הזרם משתנה באופן מורגש יותר מכפי שנדמה: קודם הפנייה חיכתה לנציג בתור הכללי, בשעות שיא — עד המשמרת הבאה. כעת ניתוב הפניות מתרחש ברגע ההגעה: נושא, דחיפות, שפה ונמען נקבעים מיד, וההמתנה נמדדת בדקות ולא במשמרות.

הפחתה בעיבוד הידני היא תוצאה של כך שהנציג מפסיק להיות ממיין ועובד רק עם מקרים מורכבים. אם ביטחון המודל נמוך מהסף, הפנייה עוברת לאדם עם סימון וסיבת ההחלטה, ולא למחלקה אקראית או לתור הכללי.

הדבר היקר ביותר כאן הוא סוג השגיאות שנעלם, ולא המהירות. אלה פניות ששכבו יממות ללא ניתוח, כפילויות מלקוח אחד, פניות שנשלחו לנמען הלא נכון ועדיפות נמוכה מדי לפניות דחופות. סוג כזה נסגר באמצעות כלל עיבוד, ולא באמצעות ערנותו של עובד מסוים.

יכולת הבדיקה של האפקט נקבעת עוד לפני תחילת הניתוח האוטומטי: לוקחים זרם היסטורי, מתייגים מדגם ובודקים איזה חלק מנותח ללא אדם ובמה המודל טועה. אם הזרם קטן או אחיד, לא יהיה חלק מורגש של החלטות אוטומטיות — גם זו תוצאה כנה של הבדיקה, ומוטב לקבל אותה לפני תחילת העבודה.

השוואת גישות: כללים, למידה מדוגמאות, מודלים מוכנים

בחירת הגישה נקבעת לפי שלושה פרמטרים שבדרך כלל לא נאמרים בקול בתחילת הדרך: כמה מחלקות צריך להבחין ביניהן, כמה דוגמאות מתויגות קיימות, ועד כמה הניסוחים שנכנסים בנתוני הקלט «חיים».

על אוצר מילים פורמלי מנצחים הכללים, על תחום יציב — למידה מדוגמאות מתויגות, ועל זנב ארוך של מחלקות וזרם של ניסוחים חדשים — מודל לשוני מוכן. להלן השוואה עם המגבלות שמתגלות בתפעול, ולא בהדגמות.

מדידות חיצוניות על מערכי משימות פתוחים לעיבוד טקסט, אשר מרוכזות ב-Papers with Code, מראות: כשיש 1–2 אלף דוגמאות מתויגות למחלקה, הפער בין מודלים קלאסיים למודלים לשוניים מוכנים כמעט נעלם. הוא נשמר בשני מקומות — מחלקות נדירות וניסוחים שלא הופיעו במדגם.

לכן בתפעול מרכיבים לרוב היברידי: מודל על מאפיינים סוגר מחלקות תכופות כמסנן מהיר, והמודל המוכן נכנס לפעולה היכן שביטחון המסווג נמוך מהסף.

הטמעת סיווג טקסט: שלבים מהערכה ועד מסירה

תיוג ואימון הם מחצית מהעבודה; המחצית השנייה היא תהליך משוחזר שבו התוצאה מועברת לנתונים חדשים. להלן שלבי ההטמעה של סיווג טקסט כפי שאנו עוברים אותם: מהערכת נתונים ועד מסירת המודל לתפעול.

1. הערכת נתונים. מוציאים את הקורפוס, מחשבים את חלקם של כפילויות, שדות ריקים וטקסטים בלי תוכן מועיל, ובוחנים את ההתפלגות לפי נושאים. מתעדים מה מתויג ומה יצטרך תיוג, וכמה דוגמאות צריך להשלים לנפח עבודה.
2. סכמת מחלקות. בונים טקסונומיה בלי חפיפות: טקסט אחד — מחלקה אחת או כמה, מה עושים עם מקרים מעורבים. את המדגם השנוי במחלוקת מעבירים דרך שני מתייגים ומסירים אי-התאמות באמצעות כללים, ולא בהסכמות בעל-פה.
3. מודל עבודה וקו בסיס. הולכים ממודלים תכופים פשוטים לייצוגים וקטוריים ולמודלים לשוניים, ומוסיפים מורכבות רק היכן שהיא מניבה שיפור במדגם מוחזק. את סף הביטחון מכווננים לפי מחיר הטעות.
4. כיוונון ואינטגרציה. מתארים עיבוד מקדים של הקלט, סינון רעש, ניהול גרסאות של המודל והתיוג, ותיעוד תחזיות יחד עם הביטחון — בלי זה ניתוח שגיאות בעוד חודש הופך לניחושים.
5. בדיקת איכות. מחשבים דיוק וכיסוי לכל מחלקה, מנתחים את מטריצת השגיאות ואת המקרים הגבוליים. בנפרד בוחנים את ההתנהגות על נתונים מתקופה או ממקור אחרים: כך רואים היכן המודל נשען על מאפייני זמן ולא על משמעות הטקסט.
6. מסירה לתפעול. מוסרים נוהל אימון חוזר, כללי נסיגה לגרסה הקודמת, ניטור של חלק התשובות חסרות הביטחון והוראות לצוות המזמין.

מארז האספקה: מודלים, סכמות ונוהלי תיוג

מודל בלי סביבה הוא ממצא שאף אחד לא יוכל לאמן מחדש או להסביר בעוד חודש. לכן אנחנו מרכיבים את מארז האספקה כך שמשימת סיווג הטקסט תתקיים בלעדינו: מהמשקלים ועד לכללים שלפיהם המתייגים מכריעים במקרים שנויים במחלוקת.

• מודל מאומן וקוד קריאה — משקלים, עטיפה להסקה, תלויות מקובעות; עולה בסביבה שלכם בפקודה אחת, בלי הרכבה «מהזיכרון».
• סכמת מחלקות — טקסונומיה עם גבולות בין קטגוריות דומות, דוגמאות לכל אחת ורשימת הזוגות המתבלבלים ביותר.
• נוהל תיוג — הוראות למתייגים: יישוב קונפליקטים, סדר הסלמה של מקרים שנויים במחלוקת, דרישות להסכמה בין מתייגים.
• מדיניות גישה לנתונים — היכן הטקסטים מאוחסנים, מי קורא אותם ובאיזו עילה, מה מוסתר לפני תיעוד ביומן וכיצד בנוי עקבות הפניות.
• תיעוד המודל — מדדי איכות לכל מחלקה, ולא מספר ממוצע אחד; מגבלות ידועות וסימנים של דעיכה מתחילה.
• מערך דוגמאות בדיקה — מדגם ייחוס עם תוויות, שכל גרסה חדשה מורצת עליו: ירידה ניכרת לפני עלייה לאוויר, ולא אחרי תלונות.
• תצורות פריסה — תיאורי סביבות, סכמות שירותים, מגבלות ותורים; הסביבה משוחזרת בלי לקרוא קוד של אחרים ובלי לשאול אותנו.

את כל זה אנחנו מוסרים יחד עם הסבר לצוות שלכם: היכן לשנות את רשימת המחלקות, כיצד להוסיף דוגמאות ומתי הגיע הזמן לאמן מחדש.

מקרה בוחן: ניתוח פניות נכנסות לפני ואחרי ההטמעה

התמונה ההתחלתית

הפניות נפלו לתור הכללי, והניתוח נשען על כללים של מילות מפתח: הם ניתחו בביטחון 42% מהזרם והתפרקו לנוכח ניסוחים מחדש. את השאר מיינו הנציגים ידנית — החציון עד להגעה למומחה המתאים עמד על כשלוש שעות, ושיעור התוויות השגויות הגיע ל-28%. בימי שיא התור גדל מהר יותר מקצב הניתוח.

מה שינינו

מהארכיון הרכבנו קורפוס של פניות וקבענו את סכמת המחלקות, ואת מדגם הבקרה — אלף פניות — הפרשנו ולא השתמשנו בו באימון. עליו מדדנו את האיכות בכל שלב: תחילה מודל בסיס על מאפיינים תכופים, אחר כך מודל על ייצוג לשוני מאומן מראש, ומעליו — כללים לקטגוריות נדירות ובעלות משמעות משפטית. את התיוג תיאמנו עם הנציגים, כדי שהתוויות יתאימו לתמונת העולם שלהם.

אחרי ההטמעה מנותחות אוטומטית 88% מהפניות, שיעור התוויות השגויות — 6%, וזמן המיון הצטמצם ל-12 דקות. מדגם הבקרה מתויג מחדש מדי חודש: אם אי-ההתאמות בו עולות על 5%, מופעל אימון חוזר על נתונים טריים.

לולאה כזו מראה שינוי בשפת הלקוחות או הופעת קטגוריה חדשה לפני שמבחינים בכך דרך תלונות — ההיגיון של הערכת האיכות מנותח בפרסומים של ACL Anthology.

במה נבדל מודל עצמאי ממודל לשוני מוכן?

זו אינה בחירה בין «טוב יותר או גרוע יותר», אלא לפי אילו נתונים ומה מחיר הטעות. מסווג עצמאי מאומן על התיוג שלכם, ומודל לשוני מוכן פותר את המשימה לפי הנחיה, בלי אימון. ההבדל מתגלה במחלקות שלכם, ולא בדוגמאות הדגמה.

מודל עצמאי מנצח היכן שהמחלקות צרות וקרובות: «תלונה על זמני אספקה» ו«טענה לגבי איכות» הן כמעט אותו דבר עבור מודל כללי, אך עבור העסק — מסלולי עיבוד שונים. באימון על הדוגמאות שלכם, המסווג משרטט את הגבול כפי שאתם שרטטתם אותו, ועל המחלקות שלכם מניב איכות הניתנת למדידה על מדגם מוחזק.

מודל לשוני מוכן נדרש כשאין דוגמאות מתויגות ונדרש פתרון מהיר. הוא מנתח ניסוחים שלא הופיעו באימון ואינו דורש הכנת קורפוס — אבל במדורים נדירים הוא עונה בצורה לא יציבה, ואת האיכות יש לבדוק באופן מדגמי: התשובה נוצרת מחדש בכל שאילתה.

גם ההתאמה למחלקות חדשות בנויה אחרת. למודל עצמאי מוסיפים דוגמאות מתויגות ומאמנים מחדש — ההתנהגות משוחזרת, והמדדים ברי-השוואה מגרסה לגרסה. במודל מוכן מתקנים את ההנחיה ומלקטים דוגמאות מוצלחות, ולאחר התיקון אין ערובה לכך שתשובות שנכונות קודם לא זזו.

בפועל עובד לרוב שילוב: מודל לשוני מוכן מתייג מאגר טקסט גדול, על התיוג הזה מאומן מסווג עצמאי, ומכאן הוא פועל מהר ובאופן צפוי. קריטריון הבחירה הוא אחד — האיכות על המחלקות שלכם ותדירות השינוי של מחלקות אלה.

שאלות טכניות נפוצות בפרויקט

התיוג והתמיכה במודל קובעים אם הסיווג ישתלם. להלן חמש שאלות שנשמעות לרוב במפגשים טכניים, עם תשובות ענייניות.

מה עושים אם אין נתונים היסטוריים?

מתחילים מכללים ומחיפוש לפי משפטי מפתח: הם סוגרים מקרים ברורים ובמקביל מתייגים את הקורפוס. תשובות בטוחות הופכות למדגם אימון — ההיסטוריה מצטברת תוך כדי התהליך, ואין צורך בארכיון נפרד.

המתייגים מפרשים קטגוריות באופן שונה — האם זו בעיה?

זו תקרת האיכות העיקרית. לפני התיוג מקבעים הוראה עם דוגמאות גבול, אחר כך מחשבים את ההסכמה בין המתייגים, ואת השנוי במחלוקת מנתחים במפגש. אם אפשר לקרוא קטגוריה בשתי דרכים — מתקנים את ההוראה, ולא את הנתונים.

כיצד לתפוס דעיכה באיכות?

עוקבים אחרי שיעור התחזיות הבטוחות, התפלגות המחלקות ושיעור הפניות שעברו לניתוח ידני. שינוי בטקסטי הקלט הוא סחיפת נתונים, והוא מטופל באימון מחדש; ירידה במדדים באותו קלט היא דעיכה, ונסיגה לגרסה הקודמת מחזירה את האיכות.

כל כמה זמן צריך לאמן את המודל מחדש?

לפי אירוע, ולא לפי לוח שנה: המדדים חצו את הסף או שהצטבר מקבץ של תיקונים מתויגים. כל מחזור מניב גרסה עם יומן מדדים ואפשרות נסיגה, ולכן האימון החוזר אינו הופך לבלתי הפיך.

נדון במשימה: מה נדרש מכם ומתי נחזור עם תוכנית

כדי שההערכה תהיה עניינית ולא «לפי תחושה», אנחנו צריכים מינימום של הקשר: היכן הסיווג משתלב בתהליך, איזה נפח טקסטים עובר דרכו ומה נחשב טעות. השיחה דורשת מהמזמין שיחה אחת, אבל מסירה מחצית מהבירורים בשלב ההערכה.

• הגדרת המשימה: איזה תהליך אנחנו משרתים — ניתוב פניות, תיוג ביקורות, מיון מסמכים — ומה בדיוק פותר המודל.
• נתוני מקור מהמזמין: ייצוא טקסטים לתקופה, רצוי עם תוויות שכבר הוצבו לפחות על חלק מהדוגמאות.
• רשימת הקטגוריות והכללים לחפיפה ביניהן: מה עושים אם טקסט מתאים לשתיים בבת אחת.
• דרישות איכות: איזה שיעור שגיאות מותר ואיזו שגיאה יקרה יותר — החמצה או התראה שווא.
• נקודת אינטגרציה: לאן מחזירים את התוצאה — למערכת הפניות, למאגר המסמכים או לשירות פנימי, ובאיזה פורמט.
• מגבלות: נתונים אישיים, סביבה סגורה, דרישות אחסון — הן קובעות אילו מודלים מותרים.

סדר ההערכה הוא כזה: מנתחים את הנתונים, בודקים אם יש מספיק דוגמאות לאימון, וחוזרים עם תוכנית עבודה. בשלב הראשון אנחנו מציבים פיילוט על תהליך אחד — הוא מראה את האיכות האמיתית על הטקסטים שלכם, ורק אחריו מרחיבים לשאר הזרמים.

תארו את המשימה וצרפו את מה שיש מבחינת נתונים — נחזור עם הערכה ותוכנית עבודה.