מערכת בינה מלאכותית לניתוח משוב של משתתפי אירוע

למה ניתוח משוב ידני לא מחזיק את עומס הזרימה

שאלונים אחרי אירוע מגיעים בזרימה אחת: סולמות סגורים ותשובות פתוחות, שבהן אנשים כותבים את מה שלא נכנס לדירוגים. יד אדם מעבדת מאגר כזה באופן סלקטיבי — ביממה אפשר לקרוא כמה עשרות שאלונים, ואת השאר סורקים באלכסון.

צוואר הבקבוק בעיבוד משוב כאן אינו מהירות הקריאה, אלא העובדה שקריטריוני התיוג נשמרים בראשו של אדם מסוים ומשתנים מערב לערב.

תשובות פתוחות מתקשות להשתלב בתיוג ידני: אותה משמעות בדיוק מגיעה במילים שונות, ואירוניה והסתייגויות נקראות בקלות בכיוון ההפוך. ניתוח תשובות פתוחות הופך לאוסף של נושאים מעורפלים — "בסך הכול היו מרוצים", "הארגון בסדר" — שלפיהם אי אפשר לקבל ולו החלטה אחת.

גרוע מכך: אובדן אותות קריטיים קורה בשקט, כי הערה נדירה על הכניסה, ההרשמה או הקור באולם טובעת בין מאות משובים ניטרליים ואין לה ציון ממוצע גבוה שיגרום להבחין בה.

אחרי כמה מחזורים של עבודה כזו אובד האמון בנתונים עצמם: הצוות בטוח ש"הכול בסדר", ואילו תלונות חוזרות צפות בדיעבד, כבר באירוע הבא. תיוג ידני של משובים אינו מתרחב — מספר השאלונים עולה, מספר המסקנות לא. נבחן איך זה נסגר, כך שזרימת השאלונים תהפוך לרשימת החלטות מתועדפת, ולא לדוח לשם ה"וִי".

האפקט מההטמעה: מהירות, שלמות וחזרתיות

את האפקט מההטמעה רואים בשלושה שינויים: כמה זמן לוקח הסיכום, איזה חלק מהמשובים בכלל נכנס לניתוח, והאם התיוג זהה מהרצה להרצה. להלן מה שאנחנו מתעדים בקבלה, ולא מילים כלליות על "נהיה נוח יותר".

זמן הסיכום: שעות במקום ימים

בעבר האנליסט הוציא את התשובות מהטופס, איחד את הדירוגים לטבלה וקרא את ההערות בעיניים — המסקנות הראשונות הופיעו אחרי כמה ימים, כשהזרימה כבר התקררה וההחלטות לגבי האירוע הבא כבר התקבלו.

המערכת מנתחת את המאגר במנות מיד עם סגירת השאלונים: עד הבוקר שלמחרת יש ביד סיכום לפי נושאים עם ציטוטים מהמקור. עבור סדרת אירועים זה אומר ניתוח של כל אחד ואחד, ולא רק של האירוע המרכזי.

שלמות הניתוח: כל המאגר, ולא מדגם

לניתוח הגיעו בדרך כלל הערות ארוכות ודירוגים מתחת לסף — הערות קצרות כמו "הכול היה נחמד, אבל…" נשארו ללא ניתוח. המסווג עובר על כל התשובות, כולל שדות פתוחים ללא דירוג, ומפזר אותן לנושאים: תוכנית, לוגיסטיקה, הסעדה, מרצים, ארגון. שיעור המשובים שקיבלו לפחות תגית אחת מגיע לכיסוי מלא, במקום 10–15% הרגילים.

חזרתיות התיוג ומדדי האיכות

אותו משוב בדיוק מקבל בהרצה חוזרת את אותו נושא — ההסכמה בין הרצות גבוהה מזו שבין שני אנשים שקוראים את הטקסט זה אחר זה. בקבלה אנחנו בודקים דיוק וכיסוי בכל נושא, את שיעור התשובות שנפלו ל"מחוץ לטקסונומיה", ואת הפער בעיבוד חוזר של אותה קבוצה.

תיוג לפי Net Promoter Score ותשובות פתוחות מחושבים באותה סכמה, ולכן קטע המבקרים נראה מיד, בלי הצלבה נפרדת.

דרכים לעיבוד משובים: ניתוח באצוות, זרימה ומדגם ידני

את אופן עיבוד המשובים בוחרים לא לפי "מהירות בכלל", אלא לפי ההשהיה המותרת בין הגעת המשוב לבין הופעת המסקנה. ניתוח באצוות פועל לפי לוח זמנים על המאגר המצטבר: מעבר אחד על כל המדגם, חישוב מחדש מלא של המדדים, ואפשרות להריץ מחדש את המודל על כל ההיסטוריה אם כללי התיוג השתנו.

מצב הזרימה מחשב לפי ההגעה, מחזיק חלונות צבירה ונותן אות על דירוגים מדאיגים כמעט מיד, אבל חישוב מחדש של העבר בו יקר יותר. היברידי משלב את השניים: האנליטיקה הסופית מחושבת באצוות, והחתך החם עובר בזרימה. מדגם ידני משלים את מה שהמודל לא לוקח בביטחון — אירוניה, דירוגים מעורבים, ניסוחים נדירים.

איך בוחרים מצב

מסתכלים על שלושה דברים: האם נדרשת מסקנה במהלך האירוע, האם נדרש חישוב מחדש על כל ההיסטוריה לאחר שינוי הקטגוריות, וכמה רשומות גולמיות אנחנו מחויבים לשמור. אם התשובה היא "לא, כן, הרבה" — עובדים באצוות; אם נדרש אות ברגע — מוסיפים זרימה ומעבירים את המדגם הידני לבקרת איכות.

איך עוברת ההטמעה: מביקורת הנתונים ועד למסירה

ההטמעה מתחילה לא במודל, אלא בנתונים: כל עוד לא ברור מה בדיוק נאסף בקלט, כל מסווג נותן מספרים יפים בהדגמה וחסרי תועלת בעבודה. לכן שני השלבים הראשונים גוזלים פרק זמן כמו כל שאר השלבים יחד.

1. ביקורת נתוני האירוע. מפרקים את כל מקורות המשוב: שאלונים, הערות חופשיות, התכתבויות תמיכה, משובים בפלטפורמות. מתעדים פורמטים, שפות, שיעור תשובות ריקות וכפולות, ומוצאים שדות שבהם המשתתפים כותבים טקסט במקום לבחור אפשרות.

2. סכמת הנתונים וכללי האחידות. מסכמים על ייצוג אחיד של רשומה: מה נחשב למשוב אחד, איך מקשרים אותו להרצאה, למרצה ולמפגש. בלי זה, אותה הערה בדיוק מתנהגת אחרת בהפקות שונות.

3. הגדרת מסווג הנושאים. מרכיבים רשימת נושאים בהתאם לתוכנית ולמינוח שלכם, מתייגים ידנית סט ייחוס, ומכוונים את המודל כך שיתבסס על הדוגמאות הללו ולא על תפיסות כלליות של "אירוע טוב".

4. בדיקת איכות התיוג. מחשבים את שיעור ההתאמות עם התיוג הידני ומנתחים את כל אי-ההתאמות לפי קטגוריות. בנפרד בודקים נושאים נדירים אך חשובים — תלונות על הארגון, נגישות, בטיחות: החמצה שלהם יקרה יותר מטעות בקטגוריה המונית.

5. הרכבת דוחות והטמעה בתהליכים. קובעים מי ומתי מקבל את הסיכום: אחרי כל מפגש, מדי יום או בסיום האירוע. מגדירים את ההפקה בצורה נוחה, כדי שהניתוח לא ידרוש הרכבה ידנית.

6. הדרכת הצוות וקבלת המערכת. מראים איך להוסיף דוגמאות, לשנות נושאים ולבדוק איכות לאחר התיקונים. הקבלה נעשית לפי מדדים שסוכמו מראש על הנתונים שלכם, ולא על סט בדיקה.

בסיום אתם מקבלים מערכת עובדת, תיעוד של הנושאים וכללי התיוג, הרשאות וסדר תחזוקה ברור — מכאן והלאה הצוות מנהל אותה בעצמו, ואנחנו מצטרפים בשינויים.

מה נשאר אצלכם אחרי הפרויקט: מסמכים, סכמות, נהלים

שירות עובד אינו נקודת הסיום של הפרויקט. בעוד חודש יופיעו בשאלונים ניסוחים חדשים, חלק מהקטגוריות יפסיקו לפגוע במטרה, ואת הכללים יהיה צריך לתקן בכוחות הצוות שלכם. לכן יחד עם הקוד אנחנו מוסרים סט ארטיפקטים שלפיהם מבצעים שינויים בלי לפענח מחדש את מבנה המערכת.

• נהל תיוג משובים — טקסונומיה של קטגוריות, כללים לסיווג מקרים שנויים במחלוקת, סף הביטחון של המודל ומה עושים עם משובים מתחתיו.
• סכמת זרימת הנתונים — מהפקת השאלונים ורשימות המשתתפים ועד למאגר האגרגטים: היכן אנונימיזציה, היכן מניעת כפילויות, היכן אימות.
• כללי עיבוד מוגדרים — סיווג לפי נושאים וטונאליות, מילוני חריגים, קיבוץ משובים דומים, והפרדה בין שאלות לתלונות.
• מדיניות הרשאות — תפקידים, למי נגישים טקסטים גולמיים עם נתונים אישיים ולמי רק אגרגטים, תקופות שמירה וסדר האנונימיזציה.
• תיעוד המערכת — הרכב הרכיבים, תלויות חיצוניות, נקודות כשל, הוראות לעדכון כללים ולניתוח שגיאות.
• נהל תחזוקה — אילו מדדי איכות ואיזה שיעור של לא-מתויגים בודקים, מתי מופעלת התראה, ואיך חוזרים לסט הכללים הקודם.
• תוכנית מסירה לתחזוקה — הדרכת הצוות שלכם על נתונים אמיתיים, ניתוח מקרים מורכבים וסדר ההסלמה למהנדסים שלנו.
• סט משובי ייחוס עם תיוג ידני — לפיו בודקים איכות אחרי כל שינוי, בלי להמתין לאירוע הבא.

מקרה בוחן: סיכום של זרימת משובים במקום ניתוח ידני

איך זה היה בנוי קודם

מארגן של סדרת כנסים בענף אסף שאלונים אחרי כל אירוע: טופס ביציאה, מכתבי תזכורת, וחלק מהתשובות — בקול. האנליסט הספיק לקרוא כעשירית מהמאגר, והשאר נשאר בהפקה — ובכל זאת המסקנות לתוכנית האירוע הבא נעשו בדיוק לפי המדגם הזה.

ניתוח של גל אחד ארך כמעט שבוע: הפקה וניקוי, תיוג ידני לפי נושאים, ואיחוד לסיכום. עד לרגע שהסיכום היה מוכן, האירוע הבא כבר עבר — מאוחר מדי היה להכניס תיקונים בלוגיסטיקה ובלוח הזמנים.

מה שינו ומה השתנה

אספו את הזרימה למסלול אחד: שאלונים והערות חופשיות נאספים אוטומטית, תשובות קוליות מתומללות באמצעות Whisper, והטקסט מתויג לפי קטגוריות, צביעה ונושאים. האשכול הוא משוחזר — אותו נושא בדיוק מקבל שם אחד, בלי תלות במי שמפעיל את הניתוח.

• כיסוי: היה כ-10% מהשאלונים, הפך ל-100% בכל גל.
• מהירות הסיכום: מ-5 ימי עבודה ל-12 שעות — לפני תחילת האירוע הבא.
• הסכמה בתיוג בין אנליסטים על אותה קטגוריה: 0.6 → 0.9, ופי שניים פחות תיקונים ידניים.
• יציבות הנושאים: 14 קטגוריות קבועות במקום סט "צף" מהרצה להרצה.
• תגובה: בעיה בניווט צפה ביום הראשון של סדרה בת חמישה ימים, התיקונים הוכנסו בין האירועים — ושיעור הדירוגים השליליים בסעיף ירד פי שלושה.

מה עושים כשהמשוב מגיע בערוצים שונים

שאלונים אחרי מפגשים, התכתבויות בצ'אטים, מכתבים למארגנים וטפסים פתוחים נאספים בידי אנשים שונים ובזמנים שונים, ולכן כל הפקה מגיעה עם מבנה משלה: במקום אחד חמש שאלות, במקום אחר טקסט חופשי בשדה אחד, ובמקום שלישי דירוג בסולם של עשר דרגות.

כל עוד יש שני מקורות, אפשר עוד לאחד אותם ידנית; במקור החמישי מופיעות רשומות אבודות וספירה כפולה של אותם משובים.

הצעד הראשון — פורמט נתונים אחיד. כל הודעה הופכת לרשומה עם סט שדות זהה: ערוץ המקור, חתימת זמן המיושרת לאזור אחד, מזהה משתתף אנונימי, טקסט, דירוג מספרי, וזיקה להרצאה או למפגש.

דירוגים בסולמות שונים מנורמלים לאחד, טקסט חופשי מופרד מתשובות מובנות — ומכאן והלאה הניתוח עובד עם מאגר אחיד ואינו תלוי מהיכן הגיעה השורה.

הצעד השני — מניעת כפילויות בתשובות. משתתף אחד לעתים קרובות כותב בצ'אט בזמן המפגש וחוזר על אותה מחשבה בשאלון בערב: חזרות מדויקות נחתכות בהשוואת טקסט מנורמל, וקרובות במשמעות — לפי קרבה סמנטית של הניסוחים. סף הדמיון מכוון על מדגם מתויג: נמוך מדי ידביק דעות שונות, גבוה מדי ישאיר כפילויות.

הצעד השלישי — איחוד המקורות לניתוח משותף. רשומות מכל הערוצים נכנסות לזרימה אחת, שבה מיושמים עליהן תיוג נושאי, הערכת טונאליות וזיקה למרצה. אם מקור לא סיפק את הנתונים בזמן, הניתוח לא נעצר: הוא מסומן כלא שלם, ושיעור כל ערוץ נראה בדוח.

בסיום — חתך אחד על כל הערוצים: רואים אילו נושאים מעלים רק בצ'אטים ואילו רק בשאלונים, והיכן הדירוגים חלוקים. להפריד מקורות לפי שדות ומפתחות זול יותר מלאחד אותם ביד בכל אירוע.

ספקות טכניים: תיוג, שפות, פרטיות הנתונים

הספקות בדרך כלל אותם ספקות: האם המודל יבין סרקזם, מה עושים עם משובים במספר שפות, והאם מאגר טקסטים עם שמות ופרטי קשר יהפוך לדליפה. להלן איך שלושת המקומות האלה סגורים במערכות לניתוח משוב שאנחנו בונים.

משובים מגיעים בשפות שונות — המשמעות לא תאבד?

כל משוב מנותח בשפת המקור, התרגום מחובר רק לדוח ונשמר לצד המקור: כשדירוג שנוי במחלוקת, רואים את המקור. ביטויים מעורבים, שבהם בתוך הטקסט יש השתלה בשפה אחרת, עוברים במעבר אחד — חצי מהמשמעות לא אובדת בגבול בין השפות.

איך משובים עם שמות ופרטי קשר לא יוצאים החוצה?

שמות, טלפונים, דואר אלקטרוני ומספרי הזמנות מוחלפים בתגיות לפני שהטקסט מגיע למודל: אנונימיזציה בקלט, ולא בדיעבד. הרשאות, תפקידים ותקופות שמירה מתוארים לפי דרישות ISO 27001; המאגר האנונימי נשאר בכל זאת ראוי לניתוח לפי ימים, אתרים ופורמטים של מפגשים.

נדבר על המשימה: אילו נתונים והרשאות נדרשים להערכה

כדי שהערכת הפרויקט תתבסס על עובדות ולא על הנחות, נדרשים שלושה דברים: דוגמאות של משוב אמיתי, הרשאות לנתונים, והבנה איזו החלטה אתם רוצים לקבל לאור הניתוח.

ככל שהנתונים הראשוניים מדויקים יותר, כך יש פחות הנחות בלוחות הזמנים ותוכנית העבודה מדויקת יותר — בלי שלב של "נבהיר תוך כדי".

• דוגמאות של משובים מהתקופה האחרונה — הפקה בצורתה המקורית: טקסט חופשי, דירוגים, ערוצי הגעה (שאלונים, צ'אטים, דואר, פלטפורמות חיצוניות). לפיהן רואים את שפת הקהל, את אורך ההודעות ואת שיעור הרעש הלא רלוונטי.
• סכמת האחסון — היכן המשוב נמצא כעת, באיזו תדירות הוא מתעדכן, והאם יש הפקות ידניות מהשאלונים וטבלאות מסכמות שמישהו מנהל במקביל.
• הרשאות לנתונים — גישה לבדיקה למאגר או הפקה אנונימית. בנפרד מסכמים אילו שדות אישיים ואיך למסך אותם לפני ההעברה לעיבוד.
• מה כבר עשו עם הנתונים האלה — תיוג ידני, דוחות, ניסיונות לחשב טונאליות. זה מראה אילו קטגוריות באמת חשובות לכם ומה לא החזיק מעמד.
• מגבלות סביבה — היכן המערכת צריכה לעבוד, מי בעל הנתונים, ומי מאשר הרשאות מצד האבטחה והדרישות המשפטיות.
• התוצאה המצופה — אילו החלטות אתם מתכננים לקבל: לתקן את תוכנית האירוע הבא, להחליף אולם, להגיב לשליליות ביממה הראשונה.

עם הסט הזה אנחנו חוזרים עם הערכת הפרויקט: היקף העבודה, הרכב השלבים, ומה יידרש מצדכם בכל אחד מהם. תארו את המשימה בפורמט נוח — שיחה קצרה או מכתב עם נתוני פתיחה — ואנחנו נציע תוכנית עבודה עם גבולות אחריות.