פיתוח מערכת AI לניתוח סנטימנט של חדשות פיננסיות

מדוע ניתוח סנטימנט של חדשות פיננסיות נשבר בזרימה חיה

זרימה חיה בנויה אחרת מקבוצת נתונים מתויגת לאימון. אותו אירוע מגיע בכמה עריכות, ולצד העובדה היבשה מופיעה טור של אנליסט שבו אותה ספרה מוצגת עם הערכה.

אם ניתוח סנטימנט של חדשות פיננסיות קורא את כל הטקסט בבת אחת, המודל מחליק את ההבדל בין האירוע לפרשנותו — והערכת הטונאליות מתחילה לשקף את דעת המחבר ולא את מצב הדברים.

בתוך הידיעה כמעט תמיד יש קולות זרים: ציטוט של ברוקר, הערה של רגולטור, הפניה לתחזית קודמת. שלילה בתוך ציטוט מכריעה את העובדה עצמה, וכותרות באירוניה שוברות סימנים מילוניים: מילים חיוביות פורמלית נושאות אות הפוך. בלי שכבת בדיקה נפרדת, חומרים כאלה עוברים בזרימה בלי שנקראו.

בהמשך מצטרפים רעש בזרימת החדשות והשהיה בהגעת החדשות. אירוע אחד יוצא בעשרות הדפסות חוזרות בטונאליות שונה, והזרימה מוטה לכיוון מי שהדפיס מהר יותר ולא מדויק יותר. אם הזרימה מגיעה בפיגור, האות נשען על תנועה שכבר נוצלה — התראה מוקדמת לא מתקבלת.

איכות התיוג של הטונאליות היא שורש כל התקלות האלה. מתייגים חלוקים בדעתם על חומרים שנויים במחלוקת, ותוויות מוצבות לעיתים קרובות לפי הכותרת בלי לקרוא את הגוף, והמודל משחזר בביטחון את הטעות הזו על נתונים חיים. המדדים על מדגם מהוקצע נשארים גבוהים, ולכן התקלה צפה כבר בעבודה השוטפת. מפרקים איך זה נסגר.

האפקט של מערכת הערכת טונאליות: מה משתנה

מהירות התגובה לאירועי שוק נמדדת לא בזמן החישוב של המודל, אלא בקטע מהפרסום עד לאות מוכן בתור. הזרימה עוברת בצינור עם עדיפויות — תחילה הודעות בורסה וכותרות של פרסומים מקצועיים, אחר כך שאר הזרימה — והאנליסט רואה הערכה בדקות הראשונות לאחר יציאת הידיעה במקום חצי שעה של קריאה ידנית.

חלק העיבוד האוטומטי של חדשות הוא מדד שממנו רואים אם המערכת החזירה את ההשקעה. עיקר הפרסומים עוברים בלי התערבות ידנית, ולבדיקה נשארים מקרי גבול: הערות קצרות בלי הקשר, סרקזם, סיכום תחזיות של אחרים. הדוגמאות האלה עוברות לתור תיוג משלים והופכות לקבוצת אימון לאיטרציה הבאה של המודל.

צמצום התיוג הידני מפנה לאנליסטים זמן לפרשנות ולא למיון: במקום להציב גוון רגשי ביד, הצוות בודק אנומליות ופערים בין האות לתגובת השוק בפועל.

עמידות בפני אותות שווא נשענת על סף ביטחון: אם המודל מתנדנד בין הערכה ניטרלית לשלילית, האות לא יוצא כאות מסחר אלא מסומן כדורש בדיקה. בנפרד מוסר מחלקת שגיאות בהדפסות חוזרות — דה-דופליקציה מקפלת כפילויות של ידיעה אחת לאירוע יחיד, והתפרצות טונאליות לא מתרבה על פני כל הזרימה.

קווי עיבוד: השוואת גישות ומצבים

זרימת החדשות אינה אחידה: סוכנויות מספקות כותרות תמציתיות, אנליסטים — טקסטים ארוכים עם הסתייגויות, רגולטור — ניסוחים שבהם הטונאליות משתנה ממילה אחת. לכן את הקו בוחרים לא לפי המודל, אלא לפי גבול הנתונים והשהיה המותרת: עיבוד באצוות לפי לוח זמנים או עיבוד זרימה של חדשות עם פרסומן.

בפועל תוצאה יציבה נותנת השילוב: מודל ענפי שעבר אימון משלים על הארכיון שלכם, בתוספת חוקים לניסוחים שהסטטיסטיקה מבלבלת. תיוג המילים הענפיות והאימון המשלים מתבצעים בתוך קו עיבוד נתונים סגור — המילון והמשקלות אינם יוצאים מהפרימטר שלכם, ועיבוד זרימת החדשות ממשיך בלי עצירת איסוף.

איך בנוי הפרויקט: שלבי העבודה ההנדסית

את העבודה מפרקים לשלבים עם תוצאה ניתנת לבדיקה בכל אחד — הלקוח רואה היכן נמצא הפרויקט ומה בדיוק אפשר לקבל חלקית. הסדר אינו מקרי: כל עוד סכמת התיוג לא קבועה, אימון המודל הופך לסריקת השערות בלי קריטריון עצירה.

1. ביקורת מקורות החדשות. מפרקים אילו זרימות, סיכומי בורסה, סקירות אנליטיות והודעות לעיתונות באמת נכנסים לזרימה: זמינות, סדירות, שפה, כפילויות, השהיית פרסום. בפלט — רשימת מקורות עם הערכת התאמה וכלל עדיפות בעת פער בהערכות.
2. סכמת תיוג טונאליות. קובעים סולם, כללים לחדשות מעורבות והתחשבות בסובייקט — הטונאליות של החברה והטונאליות של השוק באותו טקסט נבדלות. מקבעים מילון סמנים והוראה שלפיה מתייגים שונים מגיעים לתוצאה מוסכמת.
3. איסוף והכנת נתונים. מורידים ארכיון פרסומים, מנקים מכפילויות וממדורים לא רלוונטיים, ממירים לפורמט אחיד. את חלקי האימון והבקרה מפרידים לפי זמן בלי חפיפת תקופות — אחרת הערכת האיכות תהיה מנופחת.
4. תיוג ואימון. מעבירים את הסכמה לטקסטים אמיתיים, מפרקים מקרים שנויים במחלוקת, מאמנים את המודל ומכווננים את סף ההפעלה לפי דרישות הלקוח.
5. בדיקה על מדגם בקרה. מחשבים דיוק לפי מחלקות, ובודקים בנפרד חדשות עם אירוניה, שלילות וציטוטים. כשל מערכתי מחזיר אותנו צעד אחד לתיוג, ולא לאימון מחדש בצורה עיוורת.
6. קבלת איכות המודל. מדדי היעד מתקבלים בהסכמה לפני ההתחלה, ואז משווים אליהם את התוצאה ומראים את ההתנהגות על נתונים שהוזזו קדימה בזמן.
7. מסירה ותקנון ליווי. מוסרים תיעוד תיוג, צינור משוחזר, הוראות לאימון משלים וסדר ניטור של דריפט טונאליות עם עדכון המילון.

ארטיפקטים של הפרויקט: מודלים, סכמות תיוג, תקנונים

הערך של פרויקט ניתוח סנטימנט נקבע לא לפי הדגמה, אלא לפי מה שנשאר פיזית בקו של הלקוח אחרי המסירה. את כל הארטיפקטים מוסרים למאגר שלכם עם היסטוריית שינויים ותיאור, כדי שהרצת המודל והאימון המשלים לא יהיו תלויים בנו.

• מודל מאומן ומשקלות — פועל בקונטיינר עם תלויות מקובעות: תוצאה משוחזרת על נתונים חדשים בלי בנייה מחדש של הסביבה.
• סכמת תיוג ומילונים — כללי אנקציה עם דוגמאות שנויות במחלוקת, מילוני טונאליות פיננסית, רשימות טיקרים, שלילות ומבנים מודאליים: התיוג נשאר מוסכם עם הרחבת הקורפוס.
• דוח איכות — מדדים על מדגם נדחה לפי כל מחלקה, מטריצת שגיאות וניתוח התראות שווא על דוחות של חברות וכותרות קצרות.
• מפרטי אינטגרציה — חוזי החלפה עם מערכות פנימיות, פורמטי הודעות, כללי חזרות והתנהגות בעת אי-זמינות של מקור.
• מדיניות גישה לנתונים — תפקידים, הפרדה לפי מקורות ותיעוד בקשות: עבודה עם נתונים רגישים מאושרת על ידי יומנים, לא על ידי הסדרים בעל פה.
• תקנוני תפעול — ניטור דריפט איכות, חלון אימון משלים, הליך חזרה לגרסת מודל קודמת.
• הוראות לאנליסטים — איך לקרוא הערכת טונאליות, ספי ביטחון ומה לעשות באזור הניטרלי.

בקבלה עוברים על הרשימה שורה-שורה: כל סעיף צריך לעבוד אצלכם בלי ההשתתפות שלנו.

קייס: זרימת חדשות ענפיות למחלקה אנליטית

לפני ההטמעה את זרימת החדשות הענפיות פירקו ידנית: ארבעה אנליסטים סקרו בתורות גיליונות, הערות ברוקרים והערות של פרסומים מקצועיים.

הזרימה סיפקה כמה מאות פרסומים ביממה, ולכן במשמרת הספיקו לקרוא כשליש — השאר עבר לארכיון, ואירועים משמעותיים צפו לעיתים רק ביום שלמחרת, כשהתגובה כבר איבדה משמעות.

תחילה אספנו את התיוג יחד עם האנליסטים: קורפוס פרסומים עם ארבע מחלקות טונאליות ותווית אי-ודאות נפרדת למקרים שבהם הניסוח אינו נותן מסקנה חד-משמעית.

את המודל אימנו על מילים ענפיות וחיברנו לזרימה: פרסום מתחת לסף הביטחון לא נכנס לאות, אלא מגיע לתור פירוק ידני — כך המחלקה רואה אזורי ספק ומזינה את התיוג.

בקרת האיכות נעשית על הזרימה עצמה Dow Jones Newswires: בכל שבוע האנליסטים מתייגים מדגם בצורה עיוורת, והפערים חוזרים לאימון משלים.

חלק הפרסומים השנויים במחלוקת ירד, והמחלקה עברה מקריאת הזרימה לניתוח הסיבות — האות מגיע מוקדם יותר, וההחלטה על הפוזיציה נדונה לגופו של עניין ולא לפי הידיעה של אתמול.

מה עושים אם זרימת החדשות אינה אחידה בשפות ובפורמטים?

מסווג אחיד לכל המקרים לא עובד כאן: הניתוב נבנה בכניסה, לפני מודל הטונאליות. תחילה הפרסום עובר זיהוי שפה וז'אנר, ורק אחר כך נכנס לענף העיבוד שלו — עם מילון נפרד, תיוג ומערכת מאפיינים.

הז'אנר במקרים שנויים במחלוקת חשוב מהשפה. סיכום בורסה, הודעה לעיתונות, טור אנליטי ותמלול שידור נותנים צפיפות שונה של מילים מעריכיות: בסיכום כמעט אין אותה, בטור — חצי מהטקסט. אם מערבבים אותם בזרימה אחת, המודל יתחיל להציג ניטרלי ככרגשי ולהפך.

הניתוב לפי מקורות נקבע בטבלת כללים: לכל זרימה נרשמים שפה, ז'אנר, מחזוריות ומשקל בעת התנגשות אותות. הודעה אחת שהתפשטה לשלוש שפות מודבקת לרשומה כוללת עם מזהה יחיד — האות לא מוכפל, והתרגום לא נחשב לאירוע נפרד.

סף הבדיקה הידנית אינו קבוע, אלא גבול מכוייל. לתור הפירוק נכנס מה שבו הביטחון של המודל נמוך מהסף או שהשפות מעורבות בתוך טקסט אחד: האנליסט בודק, והתיקונים שלו חוזרים לקבוצת האימון. את הסף מזיזים לפי חלק הפירוקים הידניים — אם הוא עולה, גם העומס על האנליסטים עולה.

הבקרה נשענת על שלושה מספרים: חלק הפרסומים שנותחו אוטומטית, דיוק בנפרד לכל שפה והתפלגות הביטחון לפי ז'אנרים. ירידה בשפה אחת למול הנורמה הכוללת — אות שהגיע הזמן לאמן את המודל משלים, ולא להעלות את הסף.

ספקות טכניים: איכות, תיוג, תמיכה במודל

ספקות לגבי איכות נוגעים בדרך כלל לא לדיוק הממוצע, אלא לצווארי בקבוק: סרקזם בהערות של אנליסטים, ציטוטים וסיכום דברי אחרים, מילים ענפיות כמו "שורט סקוויז" או "היפוך עקום התשואה".

אנחנו בודקים מקומות כאלה בקבוצות דוגמאות נפרדות, ולא במדד ממוצע אחד על כל המדגם — אחרת מחלקות נדירות נמהלות על רקע חדשות ניטרליות.

להלן מה ששואלים עליו לרוב בקבלה. לכל סעיף מצוין כיצד נבדקת יציבות התוצאה ומה בדיוק נמסר יחד עם המודל.

מה עם ציטוטים וסיכום דברי אחרים?

גבולות הציטוט נקבעים לפני הסיווג, והטונאליות מיוחסת למקור האמירה ולא למחבר הידיעה. בדוחות ההערכות האלה מופרדות, ולכן מילה חריפה בראיון אינה מעוותת את הטון של החומר עצמו.

איך נשלט התיוג של קבוצת האימון?

מקטעים שנויים במחלוקת מתויגים על ידי שניים, ופערים מעל הסף עוברים לאנליסט. מנהלים יומן החלטות ובוחנים מחדש את הכללים ככל שמופיעים ניסוחים חדשים — ההסכמה בין המתייגים נמדדת לפני תחילת האימון.

איך נלקחת בחשבון המילים הענפיות?

מילוני מונחים וראשי תיבות מתעדכנים יחד עם המקורות, וביטויים נדירים נבדקים על קבוצה נפרדת. את התיוג מנהלים ב-Label Studio בתוך קו מבודד, ולכן נתונים רגישים אינם יוצאים מהפרימטר.

האם קו סגור הוא הכרחי?

כן, אם החדשות או העסקאות אינן אמורות לצאת החוצה: אימון, הסקה ואחסון תיוג פועלים בתוך התשתית של הלקוח, ושירותים חיצוניים אינם נקראים. עדכון המודלים עובר באותה דרך כמו גרסאות רגילות.

מה קורה עם אימון מחדש לאחר המסירה?

מקבעים קבוצת ייחוס וגרסת מודל בסיסית, מתארים תקנון אימון מחדש ותנאי חזרה לגרסה קודמת. הצוות של הלקוח יכול לעדכן את המודל בעצמו, ואנחנו מצטרפים בשינויים של מילונים וכללי תיוג.

נדון במשימת הערכת הטונאליות ובנפח הנתונים שלכם

שיחה עניינית על הערכת טונאליות מתחילה לא בבחירת מודל, אלא בתיאור הקורפוס ואופן פעולת האות. ככל שרואים בדיוק טוב יותר ממה מורכבת זרימת הפרסומים וכמה מהר נדרשת התווית, כך מניחים פחות הנחות בהערכה ובתוכנית העבודה.

מה כדאי להכין לדיון במשימת הערכת הטונאליות:

• דוגמאות פרסומים — 30–50 טקסטים אמיתיים, ובהם חד-משמעיים ושנויים במחלוקת: עליהם מקבעים את התיוג ואת סף ההפעלה.
• רשימת מקורות פרסום: זרימות סוכנויות, ערוצי חברות, תפוצות ענפיות, ייצוא של אנליסטים — עם פורמט ההגשה (xml, html, pdf) והשפה לכל אחד.
• דרישות להשהיית האות: מהופעת הידיעה עד לתווית מוכנה. דקות דורשות עיבוד זרימה, שעות מתירות פירוק באצוות.
• מגבלות על קו העיבוד: האם שירותים חיצוניים מותרים או שהחישוב מתבצע בתוך הקו שלכם, היכן נשמרים הטקסטים והלוגים, ולמי יש גישה.
• עומק החתך ההיסטורי: לאיזו תקופה נדרש תיוג הארכיון כדי להשוות תוויות עם הדינמיקה בפועל של השוק.
• הרכב הצוות המקבל: מי אחראי על המקורות, מי מאמת את התיוג, מי מקבל את התוצאה.
• קריטריון קבלה: חלק התוויות הנכונות בדוגמאות שנויות במחלוקת, שחזוריות בהרצה חוזרת, התנהגות על טקסט רועש.

אם חלק מהנתונים סגור — אל תדחו את השיחה: עובדים עם מה שיש, ואת השאר מקבעים כתנאי הפעלה. תארו את המשימה וכתבו דוגמאות פרסומים — נחזור עם הערכה, תוכנית והרכב מדדים.