ניתוח סנטימנט מבוסס היבטים (ABSA) של ביקורות באמצעות LLM

ניתוח סנטימנט לפי היבטים: מה מסתתר מאחורי הציון הממוצע

ציון ממוצע של 4.2 נראה בריא בדיוק עד הרגע שבו מסתכלים על ההתפלגות. בתוך ציון אחד חיים אותות מנוגדים: השליח הגיע בזמן, אבל את החלקים היה צריך להחליף פעמיים.

הלקוח נותן ארבעה כוכבים, הצוות קורא "בסך הכול סביר" ולא נוגע לא בלוגיסטיקה ולא בהרכבה — בדיוק משום כך הדירוג הממוצע מעוות את התמונה, וההחלטות לפיו מתקבלות באקראי.

ניתוח סנטימנט לפי היבטים מסיר את המגבלה הזו ברמת המודל: כל ביקורת מפורקת לנושאים סמנטיים — איכות, מחיר, תמיכה, נוחות, משלוח — ולכל אחד מהם מחושבת קוטביות נפרדת. אותו טקסט בדיוק יכול להיות נלהב לגבי השירות ושלילי בחריפות לגבי האריזה, וזה כבר לא ממוצע למספר אחד.

צוואר הבקבוק של עריכה ידנית של ביקורות הוא שהיא אינה ניתנת להרחבה. האנליסט מתייג ביושר כמה מאות טקסטים, ואז מתחילה הבחירה: או לאבד עומק ולספור לפי כוכבים, או לטבוע בנפח.

משוב על המוצר מגיע באיחור של שבועות — עד למועד הדוח הסיבה כבר התפשטה בביקורות ובסקירות, והתיקון נעשה לפי עקבות שהתקררו.

פירוק ביקורות לפי היבטים משנה את קצב העבודה עצמו: מנה טרייה של משוב מתויגת תוך שעות, ולא תוך שבועות של עריכה ידנית. המוצר מקבל אות על נושא ספציפי — "הרכבה", "תשלום", "אחריות" — במקום ציון כללי על הכול בבת אחת. בהמשך נפרט איך זה עובד בפועל: מהכנת הנתונים ועד לדוח סדיר שאפשר להישען עליו.

מה משתנה לאחר ההטמעה: האפקט במדדים

ניתן למדוד את האפקט של פירוק ביקורות בחמש величин: שיעור הקורפוס המתויג, זמן התגובה לשלילי בהיבט מסוים, העומס הידני שהוסר, מידת גילוי היבטים נדירים ודינמיקת מדדי איכות המוצר.

מהירות עיבוד זרם הביקורות

בעבר הזרם פורק באופן סלקטיבי: האנליסט הספיק לעבור על חלק מהקורפוס, והשאר חיכה בתור. ניתוח סנטימנט לפי היבטים על מודלים מסוג GPT מפרק את כל הנפח, ולכן תלונה על "משלוח", "ממשק" או "תמיכה" נכנסת לדוח באותו יום, ולא אחרי דגימה ידנית.

• שיעור הביקורות המתויגות — עד 100%: טקסטים קצרים ודו-משמעיים כבר לא נופלים מהמדגם.
• זמן התגובה לשלילי לפי היבט — משבועות ליממה: הירידה בציון נראית בדינמיקה, ולא בדיעבד.
• תיוג ידני מוסר: האנליסט בודק אי-התאמות של המודל, ולא מתייג את הקורפוס מאפס.

מה מפסיק ללכת לאיבוד בתיוג ידני

בן אדם נמשך לנושאים תכופים וברורים: היבטים נדירים וביקורות מעורבות, שבהן משפט אחד גם משבח וגם מבקר בו-זמנית, נופלים מהתיוג. היבטים שציון שלהם יורד חיים חודשים בגבולות שיעור הטעות וצפים רק כשמדדי איכות המוצר כבר ירדו.

• היבטים נדירים ומנוסחים בעקיפין נרשמים באותה מידה כמו ההמוניים — סוג הפספוסים נעלם.
• לכל היבט מופיעה היסטוריה: רואים באיזה רגע הציון החל לרדת, ולא רק את הירידה הסופית.

גישות לפירוק ביקורות: השוואת מצבי עבודה

ההשוואה בין גישות לפירוק ביקורות מצטמצמת לשלושה מצבים, והבחירה ביניהם נקבעת לא לפי אופנה, אלא לפי יציבות הלקסיקון בתחום ובעומס הדוגמאות המתויגות.

שלושתם מפיקים סנטימנט היבטי מהסוג "משלוח מהיר, אריזה מעוכה", אבל מתמודדים באופן שונה עם סלנג, שגיאות כתיב וביקורות עם ציון מעורב.

מתי מספיקים כללים ומילונים

השיטה המילונית היא רשימות של מונחים, מחזקים וכללים לטיפול בשלילה. היא ניתנת להסבר: רואים איזה כלל נתן את התיוג, אין צורך בתיוג כלל, והעומס צפוי מראש. זה מספיק כשהביקורות אחידות, מספר ההיבטים כעשרה והלקסיקון משתנה לאט.

היכן נדרשים מודלים לשוניים גדולים

המודל קורא את הביקורת כולה: בעצמו מזהה היבטים שלא היו ברשימה, מצמיד את ההערכה לאזכור הנכון ומעביר את ההיגיון לשפה חדשה בלי תיוג נפרד. במקום אלפי דוגמאות מתויגות מספיקה חבורה של דוגמאות עוגן ועוד סכמת תשובה קשיחה, ואי-התאמות נתפסות בהשוואה על מדגם ביקורת. המחיר של הגמישות — חוסר יציבות בניסוחים ובדיקה מחייבת של הפירוק.

בפועל משלבים בין המצבים: מילונים ומסווג מכסים מקרים המוניים ואחידים, והמודל — היבטים נדירים וטקסט חופשי.

איך אנחנו מטמיעים: שלבים מביקורת נתונים ועד למסירה

ההטמעה של פירוק ביקורות מתחילה לא בהגדרת המודל, אלא בנתונים: בלי ביקורת של הקורפוס, מדדים אוטומטיים נראים משכנעים אבל סוטים מהמציאות. להלן — הרצף שלפיו אנחנו מובילים את הפרויקט עד למסירה ולהדרכת הצוות שלכם.

ביקורת נתונים וסכמת היבטים

1. ביקורת הקורפוס של הביקורות. סופרים נפח ושפות, שיעור כפילויות מפלטפורמות שונות, מפרידים רעש — אמוג'י, תעתיק, קטעי טפסים. התוצאה — מפת נתונים: מה מפורק אוטומטית ומה מנקים בכניסה.

2. סכמת היבטים ותת-נושאים. בונים עץ: היבט ברמה עליונה (משלוח, איכות המוצר, תמיכה) ותת-נושאים בתוכו. את הסכמה מתאמים איתכם, כך שכל ענף עונה על שאלה ניהולית.

3. הגדרת החילוץ. המודל של הענף הרלוונטי מקבל את הסכמה, מילוני מילים נרדפות ודוגמאות של ניסוחים גבוליים. את הכלל לביקורות בלי ציון מפורש קובעים בנפרד: "לא הוזכר" אינו שווה ל"ניטרלי".

4. בדיקת איכות התיוג. על מדגם עיוור משווים את תשובות המודל לתיוג אנושי ב-Label Studio וסופרים אי-התאמות לפי היבטים ומחלקות סנטימנט. את הכללים מדייקים עד להסכמה יציבה — אחרת האוטומציה נשברת כבר בגרסה הראשונה.

השקה ובדיקה בזרם חי

• סכמת עיבוד זרם הביקורות. מחברים מקורות ותור: ביקורות חדשות מפורקות באופן אינקרמנטלי, עם שמירת הטקסט המקורי וגרסת הסכמה — זה נותן שחזוריות בעת בחינות חוזרות.

• כיול ספים. בזרם חי מכיילים את גבול הביטחון ומעבירים מקרים שנויים במחלוקת לטיפול ידני. שיעור הביקורות המפורקות אוטומטית עולה, והשגיאות בהיבטים נדירים פוחתות.

• מסירה והדרכת הצוות. מוסרים קונפיגורציות, תיעוד של סכמת ההיבטים ותקנון אימון מחדש, ומקיימים הדרכה — את העדכונים תבצעו בכוחות עצמכם.

מה הלקוח מקבל לידיו: קונפיגורציות ותקנות

יחד עם המערכת העובדת מוסרים ארטיפקטים שאפשר לפתח לפיהם גם בלעדינו: תיאור ההיבטים, סכמות של ממשק עם מקורות הביקורות, כללים לטיפול בנתונים ונהלים לבדיקת איכות. לכל מסמך יש ייעוד — להוסיף קטגוריה, לחבר ערוץ חדש או לפרק אי-התאמה בהערכות.

תיעוד וסכמות

• מפת היבטים: אונטולוגיה של קטגוריות עם גבולות, דוגמאות של ביקורות גבוליות וכללים לפרשנות של סנטימנט מעורב.
• סכמות אינטגרציה: מאיפה מגיעות הביקורות, איך בנויים קליטה חוזרת, דה-דופליקציה וייצוא התוצאות למערכות הנה"ח.
• תיעוד של פירוק הביקורות: מה משמעות הביטחון לפי היבט, איפה ניטרליות ואיפה חוסר בנתונים.
• מדיניות גישה לנתונים: תפקידים, אנונימיזציה לפני ההגעה למחסן הנתונים, יומן גישות, תקופות שמירה.
• קונפיגורציות: מילונים, כללי עיבוד-מחדש וספי ביטחון מוצאים לקבצים נפרדים, ולא לקוד.

תקנות תפעול

• בקרת איכות התיוג: בדיקה ידנית של מדגם, מדידת הסכמה בין מתייגים, פעולות בירידת�יוק מתחת לסף.
• הוראה לקטגוריות חדשות: תיאור ההיבט, סט דוגמאות, הרצה על ביקורות היסטוריות, השוואה לגרסה הנוכחית, החזרה לאחור בעת הרעה.
• ניהול גרסאות של האונטולוגיה: לכל שינוי יש גרסה משלו, והתוצאות הישנות נשארות ברות-שחזור.

מקרה בוחן: איך הסרנו את הנקודה העיוורת בביקורות על המשלוח

הלקוח — שירות משלוחים של אוכל מוכן Ложка: כמה עשרות אלפי ביקורות בחודש מהאפליקציה, מאגרגטורים ומרשתות חברתיות. לפני ההטמעה כל ביקורת הצטמצמה להערכה אחת — שליח, אריזה, טמפרטורת המנה והרכב ההזמנה התערבבו לציון כללי. כשל בהיבט בודד, למשל אריזה שמתפרקת, התמוסס בציון ממוצע של שלוש ולא הגיע לאחראי.

מה היה לפני ומה נהיה אחרי

לפני כן הפירוק נעשה ידנית: עברו על כעשירית מהזרם, את השאר לא ניתחו, והתגובה לשלילי ארכה עד יומיים. אחרי כן המודל מתייג כל ביקורת לפי חמישה היבטים — שליח, אריזה, טמפרטורה, הרכב ההזמנה, אפליקציה — ומעריך בנפרד את הסנטימנט של כל אחד. שיעור הביקורות המפורקות עלה מ-12% ל-96%.

כשל בהיבט בודד נראה עכשיו כבר למחרת: באריזה שיעור השלילי עלה בתוך שבוע פי ארבעה, אף שהציון הממוצע של ההזמנה ירד בסך הכול ב-0.2 נקודות ובתמונה הכללית זה לא נקרא. כלל סף לפי היבט שולח התראה לאחראי, וזמן התגובה לשלילי הצטמצם מיומיים לשלוש-ארבע שעות.

תיוגים שנויים במחלוקת — כ-5% — עוברים לבדיקה ידנית, ולכן לפי היבט רואים לא "מצב רוח" אלא סיבה קונקרטית: בחלק מהמסעדות החליפו אריזה, ושיעור השלילי בהיבט הזה חזר לרמתו הקודמת בתוך שלושה שבועות.

איך לחשב סנטימנט אם הביקורות בכמה שפות?

מחשבים לא את הסנטימנט של הביקורת כולה, אלא את הסנטימנט לפי כל היבט — משלוח, איכות המוצר, עבודת התמיכה. בביקורות רב-לשוניות זה עקרוני: היבטים בשפות שונות מתוארים במילים שונות, וביקורת מעורבת אינה מצטמצמת לתיוג אחד.

סכמת הפירוק מצטמצמת לשלושה וריאנטים, ולכל אחד מהם מחיר משלו ביציבות ובתחזוקה.

בפועל אנחנו מציבים ניתוב: זיהוי שפה בכניסה, מודל אחיד כבסיס, וקונטורים נפרדים — לשפות עם נתח גדול ואיכות חלשה של מודל הבסיס. ביקורות מעורבות מפרקים לפי מקטעים: חותכים את הטקסט למשפטים וכל מקטע נשלח לקונטור שלו.

הבקרה — על מדגם מתויג בכל שפה: שיעור ההיבטים שנמצאו ושיעור הקוטביות שנקבעה נכון. רואים איזו שפה גוררת את המדד הכולל למטה ודורשת קונטור נפרד.

ספקות טכניים: דיוק, תיוג, אימון מחדש

ההסתייגויות ההנדסיות מניתוח סנטימנט לפי היבטים מצטמצמות לשאלה אחת: איפה ההבטחה שהמודל לא ימציא היבט ולא יקרוס בקטגוריות חדשות. ארבעה ספקות להלן מפרקים עוד לפני ההתחלה — מהתשובות להם תלויים סכמת התיוג וסדר ההשקה.

מה עושים בלי תיוג היסטורי?

התחלה קרה מכסים בתיוג חלש: כללים ומילונים לפי קטגוריות נותנים תיוגי טיוטה, שאותם מתקנים באופן סלקטיבי. בשבועות הראשונים המודל רק מציע היבטים, ההחלטה נשארת בידי אדם, והתיקונים שלו הופכים לסט אימון.

איך נתפסת סחיפת איכות בקטגוריות חדשות?

פעם בשבוע מדגם אקראי עובר לבדיקה ידנית. בנפרד סופרים את שיעור ההיבטים שאינם במדריך — כך בנויה הבקרה של היבטים מומצאים. השיעור עולה — הופיע סוג חדש של תלונות, מרחיבים את המדריך ואת הפרומפט.

מה עם ביקורות קצרות ושגיאות כתיב?

עיקר השגיאות — ביקורות קצרות וטקסטים עם שגיאות כתיב: בשלוש מילים ההיבט לרוב אינו מנוסח באופן ברור. את הדיוק עליהן סופרים בנפרד, ואם הוא נמוך מהכללי, מנמיכים את הביטחון של המודל ושולחים את הביקורת לבדיקת אדם, ולא מנחשים.

נדבר על המשימה: נשלח הערכה ותוכנית עבודה

כדי לחזור עם הערכה ותוכנית עבודה, יש צורך במינימום קלט: ייצוא הביקורות כפי שהן — עם שגיאות כתיב, אמוג'י, ערבוב שפות וחזרות; רשימת ההיבטים שחשוב להפריד ("משלוח", "איכות ההרכבה", "עבודת התמיכה"); מגבלות על קונטור הנתונים — מחשבים על החומרה שלכם או שמותר לפנות למודל חיצוני. אם אין מילון היבטים, נבנה אותו מהקורפוס ונתאם אותו איתכם על מדגם מתויג.

בתגובה נשלח את היקף העבודה לפי שלבים עם הערכת לוחות זמנים ונקודות קבלה. בנפרד נציג את סכמת העיבוד: איפה המודל מזהה היבטים וסנטימנט, כמה תיוג ידני נדרש לבקרת איכות ואיך נמדדת ההתאמה לתיוג המומחה.

• סכמת העיבוד: קליטת ביקורות, ניקוי, זיהוי היבטים, סנטימנט, אגרגציה לפי מוצרים וערוצים.
• היקף העבודה לפי שלבים, התלויות ביניהם ונקודות הקבלה.
• מילון היבטים מסוכם וכללי פירוק של ניסוחים שנויים במחלוקת.
• דרישות לקונטור הנתונים: איפה נשמרים הטקסטים, למי יש גישה, מה מתועד ביומן.
• מדדי איכות: שיעור ההיבטים שזוהו נכון ודיוק הסנטימנט על מדגם בקרה.
• תוכנית העלאה לעבודה: הרצה חד-פעמית על הארכיון, ואחר כך עדכון סדיר.
• רשימת סיכונים: מה המודל לא יראה בנפח הנתונים הנוכחי.

תארו את משימת פירוק הביקורות — שלחו דוגמאות וציינו את המגבלות על הקונטור. נחזור עם הערכה, תוכנית והיקף עבודה; תחילת הפרויקט אפשרית מיד לאחר אישורם.