מערכת בינה מלאכותית לניתוח דעת קהל על בסיס נתונים פתוחים

מדוע ניתוח ידני של דעת קהל אינו ניתן להרחבה

ניטור ביקורות ידני נתקל במגבלת האדם: האנליסט עובר אחת לאחת על הפלטפורמות — רשתות חברתיות, מרקטפלייסים, אתרי ביקורות, פורומים, תגובות תחת פרסומי תקשורת. לכל אחת כללי חיפוש משלה, פורמט ייצוא וסף נראות: במקום אחד יש ייצוא לפי בקשה, במקום אחר רק העתקה ידנית. בזמן שמשמרת מתקדמת ברשימה של עשרות כתובות, חלק מהאזכורים פשוט לא מגיע לתורו.

מקורות נתונים מפוזרים אינם מתכנסים לתמונה אחת: אותה ביקורת מגיעה בניסוחים שונים, עם שגיאות כתיב, תעתיק וסלנג, וחלק מהפלטפורמות מוסרות טקסט בלי נושא ובלי מחבר.

קישור של זה למוצר, לעיר ולערוץ מכירה אפשרי רק ידנית — בעשרים מקורות האנליסט מחזיק בראשו כל כך הרבה הקשרים, שחלק מהקשרים הולך לאיבוד.

ההשהיה בתגובה לנגטיב נמדדת לא בשעות העבודה של האנליסט, אלא במהירות התפשטות הנושא. שיא הנגטיב חי כמה שעות, ואובדן פרסומים מחוץ לשעות העבודה משמעו שפרץ לילי או סוף־שבועי מנותח בבוקר — כשהדיון כבר עבר לשיתופים וקודם על ידי קהילות שכנות.

בעיה נפרדת היא הרקע: תלונות שקטות וחוזרות, כל אחת לבדה, אינן נראות דחופות, אבל מצטברות למגמה יציבה שאיסוף ידני אינו מבחין בה בגלל הנפח.

לכן מעבירים את ניתוח דעת הקהל למערכת שאוספת את הזרם ברציפות, מכניסה את הטקסטים לסכמה אחידה, מעריכה טון ואנומליות, ומרימה פרצים למעלה לפי קצב הגידול. להלן כיצד זה נסגר.

מה נותנת עיבוד רציף של ביקורות ופרסומים

עיבוד רציף הופך זרם ביקורות מפוזר לתהליך מנוהל. הודעה נכנסת למערכת כמה דקות לאחר הפרסום: אוספים עוברים על פלטפורמות פתוחות לפי לוח זמנים ומסירים כפילויות עם העתקות.

מכאן הטקסט עובר לסימון אוטומטי של טון דיבור — המודל מסווג אותו כנגטיב, ניטרלי או פוזיטיב ומקשר אותו לנושא הדיון. שיעור ההודעות המסומנות ללא מעורבות אדם עומד על 90–95%, ורק ניסוחים שנויים במחלוקת ואירוניים נבדקים ידנית.

סיכום אחיד לפי מקורות נאסף בחלון אחד: רואים איזו פלטפורמה יצרה פרץ, אילו נושאים גדלים ואילו דועכים. העברה ידנית של ייצואים מ־מדיאלוגיה ומרשתות חברתיות נעלמת — האנליסט עובד עם חתכים מוכנים ולא עם קבצים גולמיים.

איתור פרצי נגטיב מבוסס על סטייה מהתדירות הרגילה של הודעות. כאשר בחלון זמן קצר שיעור הביקורות השליליות בנושא עולה על רמת הבסיס, מגיעה התראה עם קישורים למקורות הראשוניים.

מהירות התגובה לאירוע נמדדת בדקות מהפרסום ועד הכניסה לסיכום, וסוג הכשל «שמו לב מאוחר מדי» נעלם יחד עם סבבי הסריקה הידניים. ההחלטות נשענות על תמונה מלאה לפי מקורות, ולא על מדגם נוח.

דרכי איסוף נתונים: ממשקי פלטפורמות, ייצואים, זרם

הדרך שבה משיגים נתונים קובעת גם את שלמות התמונה וגם את יציבות הניתוח. הממשק הרשמי של הפלטפורמה מחזיר שדות מובנים, ייחוס מחבר ומדדי מעורבות, אך מוגבל במכסת בקשות ובעומק ההיסטוריה.

ייצוא תקופתי תופס נפח גדול, אבל מפגר בזמן, בעוד שהזרם תופס את הפרסום בדקות הראשונות ודורש יותר משאבי עיבוד.

בפועל משלבים בין המקורות: ממשק — לאותות תפעוליים, ייצואים — לרטרוספקטיבה, זרם — לנושאים בוערים. להלן השוואה לפי התאמה ומגבלות.

מגבלות נפח האיסוף והגבלות הגישה מוטמעות בארכיטקטורה מראש: תור עם ניסיונות חוזרים, הסרת כפילויות לפי מזהה פרסום, שמירת התגובה הגולמית. כך הפסקה בייצוא או שינוי כללים בצד הפלטפורמה אינם קוטעים את הניתוח — המערכת משלימה את החסר וממשיכה לחשב מדדים. את התאמת המקור בודקים על מדגם פיילוט לפני שמכניסים אותו למעגל הקבוע.

שלבי ההטמעה: מביקורת מקורות ועד מסירת המערכת

סדר השלבים אינו משתנה: כל שלב נשען על התוצרים של זה שלפניו. אם סכמת האיסוף אינה מתחשבת בשיתופים ובציטוטים, הערכת הטון מוטה לטובת החשבונות הפעילים ביותר, ומילונים שנאספו לפני ביקורת המקורות מכסים לא את הפלטפורמות שבהן מתנהל הדיון האמיתי. לכן אנחנו מתעדים את התוצאה של כל שלב כמסמך שאפשר לבדוק, ולא כהסכמה שבעל פה.

1. ביקורת מקורות נתונים. עורכים מיפוי של פלטפורמות וערוצים, מעריכים את צפיפות הפרסומים בנושאים הנדרשים, את יציבות התוצאות ואת מידת החוקיות של האיסוף. מקורות בלי זרם קבוע או עם רוב של חזרות אוטומטיות נפסלים מיד — הם נותנים נפח, אבל לא אות.
2. סכמת איסוף ואחסון. פרסומים גולמיים נשמרים בשכבה בלתי משתנה, ובנפרד מנוהלת שכבה מנורמלת: שדות אחידים של זמן, פלטפורמה, נושא ומחבר אנונימי. הסרת כפילויות ואיחוד העתקות מוגדרים כאן — אחרת ידיעה אחת נספרת כעשרות הודעות.
3. מילונים וכללי סימון. בונים מילונים נושאיים וכללים לסיווג טון תוך התחשבות בשלילה, אירוניה, הומונימיה ושמות מקומיים. את הכללים מתארים בטקסט, כדי שאפשר יהיה לערוך אותם בלי מפתח.
4. בקרת איכות הסימון. על מדגם בקרה משווים בין הסימון האוטומטי לידני, ומחשבים את שיעור ההתאמה לפי נושאים ולפי טון. פערים מנותחים לפי סיבות והכללים משופרים; המחזור חוזר עד שהתוצאה מתייצבת.
5. מסירת המערכת והדרכה. מוסרים תיעוד, נהלים לעדכון מילונים, הרשאות והוראות לבקרת הזרם. מעבירים הדרכה לצוות הלקוח ומלווים את התיקונים העצמאיים הראשונים.

תוצרי הפרויקט: קונפיגורציות, סכמות זרימה, נהלים

הסט העובדי נשאר אצלכם, ולא במאגר שלנו: אפשר לפרוס אותו בצד שלכם, לשנות ספים ולהוסיף מקורות בלי לפנות אלינו. להלן מה בדיוק נמסר ולשם מה כל תוצר נדרש בתפעול.

• קונפיגורציות לאיסוף נתונים — רשימת המקורות, לוח זמני הסריקה, כללי הסרת כפילויות, מסננים לפי שפה וגיאוגרפיה. עריכת הקבצים האלה משנה את הכיסוי בלי לבנות מחדש את הקוד.
• סכמות של זרמי נתונים — מפה מקצה לקצה מקליטת רשומות גולמיות ועד לשכבות התצוגה: היכן הנרמול, היכן ההעשרה, היכן נשמרת ההיסטוריה. לפיה רואים באיזה שלב אבדה רשומה.
• דרכוני סימון ומילונים — הגדרת הנושאים, כללים לשיוך רשומה לקטגוריה, ניתוח מקרים שנויים במחלוקת, הגרסה הנוכחית של המילון.
• מדיניות גישה לנתונים — תפקידים, תחומי נראות, אנונימיזציה של אזכורים אישיים, יומן שאילתות למאגר.
• הוראות לאנליסטים — כיצד להרכיב מדגם, כיצד לקרוא את מדד הטון, אילו מגבלות יש למקור מסוים.
• נוהל עדכון מילונים — תדירות הסקירה, סדר אישור התיקונים, בדיקת איכות לפני פרסום במעגל הפעיל.
• נוהל כשלים ושחזור — מה לעשות כאשר מקור אינו זמין, כיצד לקרוא מחדש את הקטע שהוחמץ בלי כפילויות.

את הסט בודקים בקבלה: פורסים את המערכת בצד שלכם ומריצים את התרחישים המרכזיים יחד עם המהנדסים שלכם. אם תרחיש אינו משוחזר לפי המסמכים — משפרים עד שהוא מתחיל להיות משוחזר.

מקרה בוחן: ניטור ביקורות עבור רשת חנויות קמעונאיות

הלקוח — רשת חנויות שכונתיות, כמה מאות נקודות מכירה. הביקורות מגיעות לפלטפורמות מסחר, לשירותי מפות, לרשתות חברתיות, לטפסים באתר ולמוקד טלפוני, ולפני הטמעת המערכת הן נותחו ידנית — ורק חלק קטן מהזרם הגיע לניתוח.

מה היה לפני ההטמעה

לא היה מאגר אחיד: ייצואים מכל מקור התקיימו בטבלאות נפרדות, חזרות של אותה תלונה נספרו כמה פעמים, ושיעור הסימון האוטומטי היה אפס — אנשים עסקו בסיווג. זמן התגובה לנגטיב עמד על 2-3 יממות: ביקורת על איכות המוצר או על עימות עם הצוות נכנסה לדוח כשהנקודה כבר איבדה קונים. מקרים דחופים — סכנה לבריאות, עלבונות — לא הובדלו מתלונות שגרתיות על מגוון המוצרים.

מה שינו ומה השתנה

הרכבנו מעגל איסוף אחיד והפעלנו עיבוד שפה טבעית: הטון מחושב לפי היבטים — מוצר, מחיר, שירות, משלוח — ולא כציון ממוצע לביקורת. ישויות מקשרות את ההודעה לנקודה מסוימת ולקטגוריית תלונה, הסרת כפילויות מאחדת חזרות, וכללי ניתוב מעבירים נושאים קריטיים לאחראי בתוך שעה. את מדגם הייחוס סימנו ידנית — הוא משמש בקרת איכות למודל.

האנליסטים עברו ממיון ביקורות לעבודה עם הסיבות: רואים איזו נקודה יוצרת עלייה בנגטיב בהיבט מסוים, וזה עובר להחלטות תפעוליות ולא לדוח בדיעבד.

במה ניתוח חד־פעמי שונה מניטור מתמשך

ניתוח חד־פעמי הוא חתך לתאריך מסוים: מדגם הודעות לתקופה, סימון טון, דוח עם מסקנות. הוא עונה על השאלה «מה קורה עכשיו» ומתאים כשמקבלים החלטה פעם אחת — להעריך השקה, להכין חומר לישיבת דירקטוריון, לבדוק השערה לפני קמפיין.

ערכו של החתך מחזיק עד לאירוע התקשורתי הבא: לא ניתן להשוות אותו למשהו מוקדם יותר, כי אין פשוט בסיס להשוואה.

ניטור מתמשך אוסף את הזרם ברציפות ומעדכן את הנתונים לפי לוח זמנים — משעתי ועד יומי. כל מדידה נכנסת לאותו מאגר שבו נכנסו הקודמות, ונוצרת דינמיקה: רואים כיצד הנושא צובר תאוצה, איזה מקור יצר את הפרץ הראשון, והאם הטון השתנה אחרי תגובה רשמית.

מקורות כמו מדיאלוגיה מוסרים נתונים כאלה באופן סדיר, אבל את הערך יוצרת לא הזרימה עצמה, אלא ההיסטוריה המצטברת והכללים שלפיהם אנחנו קוראים אותה.

ההבדל מתגלה בחלק ההנדסי. לחתך מספיקים ייצוא וסימון; לניטור צריך להסיר כפילויות, לשמור היסטוריה לכל סיפור, להגדיר ספי התראה ולהבדיל בין פרץ אמיתי לרעש של בוטים. בלי זה עדכון סדיר הופך למפולת של התראות זהות שאנשים מפסיקים לקרוא.

את בחירת אופן העבודה מכתיבה לא כמות הנתונים, אלא מהירות התגובה. אם המסקנות נדרשות פעם ברבעון — חתך יספיק, ולא יהיה צורך לתחזק אותו. אם צריך להגיב לפרץ בתוך יממה, והדיווח נדרש מדי שבוע, ניתוח חד־פעמי לא יעמוד בכך: עד המדידה הבאה האירוע כבר הסתיים.

ספקות טכניים: איכות נתונים, רעש, פרטיות

הספקות לפני ההתחלה נוגעים לא לממשק, אלא לאיכות האות: האם אפשר לסמוך על סימון הטון, האם המערכת לא תטבע ברעש, מה קורה עם נתונים אישיים. להלן תשובות קצרות; כל אחת מהבדיקות האלה אנחנו מריצים על הקורפוס שלכם, ולא על מדגם הדגמה.

כיצד מסננים רעש וכפילויות?

שיתופים, בוטים והעתקים של הודעות לעיתונות יוצרים פרץ שלא קיים במציאות. לפני הניתוח עובר נרמול: הסרת כפילויות לפי קרבת טקסט, סינון חשבונות אוטומטיים לפי התנהגות, ואיחוד שחזורים של ידיעה אחת לסיפור אחד. בלי זה אירוע תקשורתי אחד נראה כמו מאה דעות בלתי תלויות.

מה עושים עם שפות מעורבות?

את השפה מזהים לפי מקטעים, ולא לפי ההודעה כולה: בטקסט אחד מתקיימים זה לצד זה רוסית, אנגלית ותעתיק. את הטון מחשבים לפי מקטע, אחרת טקסט מעורב ממוצע לניטרלי, ואת המקור שומרים לציטוטים בדוח.

כיצד מתמודדים עם נתונים אישיים ומקורות סגורים?

אוספים רק הודעות פומביות: שמות ופרטי קשר נחתכים לפני הכתיבה למאגר, הקשר לפרסום המקורי נשמר כהאש בלתי הפיך, והגישה לנתונים גולמיים היא לפי תפקידים ועם יומן. קהילות סגורות ומאגרים בתשלום איננו עוקפים: אם נדרש ערוץ פרטי, הוא מתחבר בצד שלכם.

נדון במשימה: מה נדרש להערכה ולתוכנית עבודה

ההערכה ותוכנית העבודה למערכת ניתוח דעת קהל תלויות בשלושה דברים: מאיפה אנחנו לוקחים את הנתונים, מה נחשב בעינינו למשמעותי בהם, ולפי אילו סימנים אתם מקבלים את התוצאה. לכן הדיון במשימה מתחיל לא במסמכים, אלא בתשובות שלכם — חלק מהנתונים נברר בעצמנו, וחלק צריך מכם.

• רשימת המקורות. אילו פלטפורמות, כלי תקשורת, ערוצים ושפות צריך לכסות, ואילו נושאים, אישים וארגונים לעקוב אחריהם — לפי זה מחשבים את נפח האיסוף.
• עומק ההיסטוריה והמהירות. מאיזו נקודת זמן נדרשים הנתונים, וכמה מהר לאחר הפרסום המערכת צריכה להציג את החומר: מזה תלויים אופן האיסוף וסכמת האחסון.
• נפחים. מספר משוער של פרסומים ושל מושאי ניטור ביממה — לפיהם מעריכים את העומס ואת מרווח הביטחון לשיאי פרצים.
• קריטריוני קבלה. על אילו דוגמאות תבדקו את האיכות: זיהוי הנושא, הטון, הסרת כפילויות וספאם. נתאם אותם לפני ההתחלה, כדי שהקבלה תהיה מדידה ולא סובייקטיבית.
• דרישות לדיווח. אילו חתכים נדרשים — דינמיקה לפי נושאים, פרצים, השוואה בין אזורים, ייצואים סדירים לדיווח שלכם — באיזו צורה ובאיזו תדירות.
• הרשאות ומגבלות. מקורות סגורים או בתשלום, כללים לעיבוד נתונים אישיים, היכן המערכת אמורה להיות מאוחסנת ומי מקבל גישה לנתונים.
• נקודות חיבור. האם צריך להעביר תוצאות למערכות הניהול שלכם או שמספיק עמדת עבודה של אנליסט עם ייצוא.

תארו את המשימה בצורה חופשית — לפי הנקודות האלה נחזור עם הערכת לוחות זמנים, הרכב השלבים ותוכנית עבודה. אם חסרים נתונים, המהנדסים שלנו ישאלו שאלות הבהרה לפני שנמסור נתונים מספריים.