פיתוח מודל NLP לניתוח חדשות קריפטו

מודל NLP לחדשות קריפטו: היכן נשבר הניתוח הידני

זרם הפרסומים על נכסים דיגיטליים גדל מהר יותר ממספר האנליסטים. במהלך יממה מגיעות מאות הודעות: הודעות בורסה, מסמכים רגולטוריים, עדכוני רשתות, דיונים בערוצים סגורים. מומחה אחד מספיק לנתח רק חלק מהזרם — וגם זאת בתנאי שאינו מבזבז זמן על הצלבת מקורות.

העתקות ושכפולים אוכלים מחצית מהזמן הזה. אותה ידיעה מגיעה מעשרה פרסומים עם כותרות שונות וללא קישור למקור הראשוני, ולכן האנליסט מבזבז כוח על השוואה ולא על הערכת ההשפעה של האירוע על השוק.

לקראת סוף המשמרת מצטברת עייפות של האנליסט: הקשב לניסוחים יורד, ושיעור הפרטים שהוחמצו עולה — הבהרה בהערת שוליים, שינוי בסטטוס של מסמך, הסתייגות בהערה של הרגולטור.

המחיר של מצב כזה — השהיית האות של השוק. בזמן שהפרסום עובר את השרשרת "מצאתי, הצלבתי, הערכתי, העברתי", החלון שבו האירוע עוד לא מתומחר נסגר, וההחלטה מתקבלת לפי מחיר שכבר כלל את הידיעה.

הקיצוניות ההפוכה גם היא גרועה: ניסיון לקרוא הכול מהר יותר מוריד את דיוק הסימון, ולזרם נכנסים אותות שווא.

ניתוח ידני של פרסומים מתרחב רק באמצעות אנשים, ואילו הזרם גדל באופן לא ליניארי — בימים של תנודתיות גבוהה הוא גדל פי כמה בתוך שעות. בדיוק על הפער הזה בין הנפח למהירות הולך לאיבוד הדבר שלשמו הזרם בכלל נאסף.

נפרק איך זה נסגר: מה מודל NLP לחדשות קריפטו לוקח על עצמו, היכן נשאר האדם, ואיך למדוד שהאות מגיע להחלטה בזמן.

מה נותן הניתוח האוטומטי של זרם הפרסומים

המודל קורא את הזרם ברציפות, ולכן אות על אירוע משמעותי מופיע דקות לאחר יציאת הפרסום, ולא בבוקר שלמחרת. האנליסט מקבל חומר שכבר מנותח: מה קרה, על איזו מטבע או פרויקט מדובר, עד כמה הטון של ההודעות השתנה בחדות. מהירות התגובה נעשית צפויה — היא תלויה בלוח הזמנים של סקירת המקורות, ולא בשאלה מי נמצא היום במשמרת.

שלמות העיבוד של הזרם מפסיקה להיות תלויה בקשב אנושי. סקירה ידנית של עשרה ערוצים מכסה כעשירית מהזרם, בעוד שניתוח אוטומטי מביא את הכיסוי לכמעט כל הזרם: שכפולים, העתקות ורעש מובהק מסוננים החוצה, וחומרים משמעותיים נשארים. שיעור האירועים המשמעותיים שהוחמצו יורד פי כמה — בדיוק על החמצות כאלה מתבזבזים בדרך כלל כסף וזמן.

הסנטימנט מוערך לא לפי פרסום רועש אחד, אלא לפי מכלול ההודעות בחלון התצפית. פרץ של שליליות סביב מטבע מסוים נראה לפי תדירות ועוצמת האותות, מה שמאפשר להבחין בין התקפה חד-פעמית לבין שינוי במצב הרוח של השוק. אותו מנגנון מראה מתי הידיעה מואצת על ידי שחזורים משניים ומתי היא דועכת.

חילוץ הישויות מצמיד כל אירוע למטבעות, לבורסות, לפרויקטים, לרגולטורים ולאנשים. נוצרים מסננים לפי טיקר ונושא במקום דפדוף ידני, ולאורך שרשרת האזכורים רואים איך ידיעה אחת מתפזרת בין המקורות. מבחינת האנליסט זה מעבר מחיפוש לפרשנות.

טעויות אנוש פוחתות בזכות סימון אחיד: אותה לוגיקה מיושמת על כל פרסום, בלי עייפות ובלי הסטת קשב. מקרים שנויים במחלוקת שבהם הביטחון של המודל נמוך עוברים לבדיקה אנושית לפי סף מוגדר, והשאר מנותח אוטומטית. את כלל הסימון ואת הסף אפשר לשנות לפי המשימה — נושאים שחשובים לכם מקבלים מצב רגיש יותר.

דרכי בנייה: כללים, בסיס מוכן, אימון מאפס

שלושה מסלולים הנדסיים נבדלים לא כל כך בדיוק אלא בהיקף העבודה עם נתונים ובמחיר של טעות בטקסטים חדשים.

כללי מילון נאספים בתוך ימים ספורים: רשימת טיקרים, מונחים ומבנים מודאליים כמו "דליסטינג" או "פריצה" עם משקלים. המסווג שקוף לחלוטין — כל הפעלה מוסברת בכלל — אבל על חדשות מנוסחות מחדש דיוק הסיווג יורד, ואת המילון צריך לתחזק ולנקות ידנית.

כיוונון עדין של בסיס מוכן סוגר את רוב המשימות: בסיס שפה פתוח Hugging Face וכמה אלפי דוגמאות מסומנות נותנים הפרדה יציבה בין עלייה לירידה, בין חדשות לניתוח.

המגבלה העיקרית — הטיה של הבסיס לטקסטים כלליים: סלנג קריפטו וראשי תיבות הוא לא מזהה, ולכן סימון הנתונים צריך לכסות באופן אחיד את המקורות ואת הסנטימנטים.

סימון עצמאי נדרש במקום שבו יש אותות עדינים — אירוניה, סרקזם, אזכורים לאירועים קודמים. הקורפוס נאסף יותר זמן, אבל תקרת הדיוק גבוהה יותר, והמודל לא תלוי במשקלים של אחרים וברשיונות שלהם.

בפועל אנחנו מתחילים מכללי מילון כקו בסיס — הוא נותן מדד שמולו משווים את שאר האפשרויות — ועוברים לכיוונון עדין כשהדיוק הזה מפסיק להספיק.

שלבי העבודה: מביקורת נתונים ועד מסירת קווי המתאר

איכות של מודל NLP לחדשות קריפטו נקבעת לא על ידי הארכיטקטורה אלא על ידי המשמעת של הצעדים הראשונים: אם המקורות לא מנותחים והסכמה של התוויות מטושטשת, הכיוונון העדין לא יציל את התוצאה. לכן אנחנו הולכים בסדר עוקב ומקבעים חפץ עובד (ארטיפקט) בכל שלב.

1. ביקורת מקורות. אוספים את הזרם האמיתי: זרמי פרסומים, ערוצים, הערות אנליטיות, הודעות בורסה. מחשבים את שיעור השכפולים, התוספות הפרסומיות והפרסומים האוטומטיים — מזה תלוי אם נדרשת סינון מקדים לפני ההזנה למודל.

2. סכמת סימון. מקבעים תוויות — סנטימנט, נכס, סוג אירוע, שמועה או עובדה מאומתת — ואת הכללים למקרים שנויים במחלוקת. המסַמנים חייבים להשיג הסכמה מעל לסף מוגדר, אחרת ננסח את התווית מחדש.

3. אימון הבסיס. לוקחים מודל שפה פתוח ומכיילים אותו על קורפוס מסומן. בנפרד מעבדים מילון של טיקרים, ז'רגון ותעתיקים: בלעדיו המודל מבלבל בין סימוני נכסים למילים רגילות.

4. בדיקת איכות. מעריכים על מדגם מוחזק (holdout) שמחולק לפי זמן: מאמנים על העבר, בודקים על חדשות מאוחרות יותר. מסתכלים על מדדים לכל מחלקה, ולא רק על המדד הכללי — אירועים נדירים חשובים יותר מתכופים.

5. הטמעה. מחברים את המודל לזרם החדשות, מגדירים חיתוך שכפולים וסף ביטחון שמתחתיו האות עובר לאדם. מודדים את ההשהיה מהפרסום ועד להערכה מוכנה.

6. מסירת קווי המתאר. מוסרים תיעוד של התוויות, משקלי המודל, סקריפטים לאימון מחדש ותקנון לבקרת הטיית הנתונים — עם ציון מתי להפעיל אימון מחדש.

ארטיפקטים של הפרויקט: סימון, משקלים, תקנון עדכון

מוסרים לא דוח על העבודה, אלא ערכה שלפיה הצוות שלכם יוכל להפעיל את המודל ולעדכן אותו בלעדינו. את מה שכבר קיים אצלכם אנחנו לא משכפלים — את ההרכב מקבעים כבר בהתחלה.

• קורפוס מסומן — טקסטים חדשותיים עם סימון לפי מחלקות השפעה ומשמעות האירוע, בתוספת כללי סימון ודוגמאות שנויות במחלוקת. זה גם מדגם האימון וגם אמת מידה לבדיקת הגרסאות הבאות.
• בסיס מאומן — משקלי המודל ומילון עם כללי פיצול הטקסט, קונפיגורציית אימון עם פרמטרים מקובעים. הרצה חוזרת משוחזרת: התוצאה לא תלויה במי שמפעיל את האימון.
• סכמת קריאה לשירות — חוזה בקשה ותשובה, דוגמאות לפניות, התנהגות על נתונים חלקיים או פגומים, מגבלות תדירות. לפיה המודל מתחבר לזרם החדשות בלי לשכתב את הלוגיקה.
• ערכת בדיקה עם מדדים — דוגמאות מוחזקות עם תשובות צפויות וערכי סף של דיוק. הרצה עליה מראה אם המודל הורע לאחר כיוונון עדין.
• תיעוד — תיאור מסלול האות מאיסוף המקורות ועד הכתיבה למערכת שלכם, נקודות תורפה ומה לבדוק בסטיות. מהנדס חדש מתמצא לפיו בלי שיחות איתנו.
• תקנון עדכון — תדירות הכיוונון העדין, דרישות לסימון טרי, קריטריוני קבלה של גרסה חדשה ותנאים לחזרה לגרסה הקודמת. התפקידים ונקודות התיאום מוגדרים, כדי שהעדכון לא יישאר קמפיין חד-פעמי.

מקרה בוחן: ניתוח זרם החדשות הואץ פי כמה

קבוצת אנליסטים ניתחה את זרם חדשות הקריפטו ידנית: הודעות בורסה, החלטות רגולטוריות, הודעות על פריצות ודליסטינגים הגיעו מעשרות מקורות, ובהם CoinDesk וערוצים מקצועיים.

אנליסט אחד הספיק לסמן כ-300 חומרים במשמרת, וימי שיא נתנו עד 900 — חלק מהזרם נשאר בלתי נסקר, והאות הגיע בעיכוב של כמה שעות.

התחלנו בקורפוס: הוצאנו היסטוריית פרסומים של שנה וחצי וסימנו כ-12 אלף חומרים לפי מחלקות אירועים — פריצה, ליסטינג, רגולציה, דליסטינג, שותפות. מודל NLP אומן לסיווג אירועים, לחילוץ ישויות (מטבע, בורסה, רגולטור) ולהערכת סנטימנט. בנפרד כיווננו סף ביטחון: כל מה שמתחתיו עובר לתור לבדיקה ידנית, ולא לזרם האותות.

לאחר ההטמעה הזרם עובר עיבוד מקדים בדקות. שיעור החומרים שנותחו בלי מעורבות אדם עלה ל-82%, והעבודה הידנית הצטמצמה למקרים שנויים במחלוקת — 60–80 פרסומים ביממה במקום 300. השלמות במחלקות נדירות, שאבדו קודם בימי שיא, עלתה מ-0.6 ל-0.93.

הבדיקה בפועל התנהלה במקביל לניתוח הידני: במשך חודש המודל והאנליסטים עיבדו את אותו זרם, את הפערים ניתחו והוסיפו למדגם האימון. הדיוק במחלקות אירועים מרכזיות הגיע ל-0.9 ומעלה, וההשהיה בין הפרסום לאות קטנה משעות לדקות ספורות.

במה שונה כיוונון עדין של בסיס מוכן מאימון מאפס?

שתי הגישות מתחילות בקורפוס טקסטים ובסימון. ההבדל הוא היכן עובר הגבול של "שלנו": בכיוונון עדין המודל נשען על חוקי שפה שנלמדו על מסות עצומות, ואנחנו מוסיפים להם את הייחוד של קריפטו; באימון מאפס חוקי השפה האלה נבנים רק מהנתונים שלכם.

כיוונון עדין של בסיס מוכן — האפשרות הבסיסית. לוקחים מודל שפה פתוח (המשפחה RuBERT), מוסיפים שכבה למשימה שלנו ומאמנים על מדגם של כמה אלפי חדשות מסומנות: סנטימנט, אזכורים של טיקרים ובורסות, סוג אירוע. זמן היציאה לעבודה — שבועות, והמדדים לכל מחלקה נראים עוד לפני שהקורפוס המסומן מספיק לגדול.

אימון מאפס נדרש כששפת המשנה רחוקה ממה שהמודל ראה: תעתיק טיקרים, ראשי תיבות של בורסות, אותות אימוג'י, אירוניה בהערות. כאן נדרש מילון עצמאי, מאות אלפי מסמכים לא מסומנים ועשרות אלפי מסומנים — אחרת המודל יחליק בדיוק את המחלקות הנדירות שלשמן הפרויקט הוקם.

העמידות לסלנג גבוהה יותר, אבל זמן היציאה לעבודה נמדד בחודשים: ניקוי הקורפוס, סימון, כמה מחזורי אימון.

קריטריון הבחירה הוא לא נפח הנתונים בכלל, אלא נפח הדוגמאות המסומנות למחלקה נדירה. אם המקרים השנויים במחלוקת מונים מאות והם נכנסים לטקסונומיה הקיימת, כיוונון עדין מספיק.

אם המחלקות מוגדרות רק לפי חומרים פנימיים — ניתוחים, טיקטים, צ'אטים סגורים — או שהמודל מבלבל סלנג עם עובדות, בסיס עצמאי מוצדק.

בפועל הקיצוניות נדירות: קודם מכיילים את הבסיס, מחשבים את השגיאה לפי מחלקות על מדגם מוחזק, ורק אחר כך, אם הישויות הנדירות לא מתכנסות לסף הנדרש, אוספים קורפוס משלנו ומאמנים מאפס. כך המודל מתחיל לעבוד מוקדם יותר, והדיוק נשאר עם לאן לצמוח.

ספקות טכניים לפני תחילת הפרויקט

ההתנגדויות בהתחלה הן כמעט תמיד אותן התנגדויות: האם יספיקו הנתונים, מה עושים עם העתקות ואיך יודעים שהמודל לא התדרדר. להלן מה שאנחנו מנתחים לפני ההערכה.

מה עם מקורות שבהם יש רק כותרת או קישור?

רשומות כאלה לא זורקים ולא מערבבים במדגם הראשי: כותרת, טיקר ומטא-נתונים הולכים בשכבת מאפיינים נפרדת, וריקים מסומנים כלא שלמים. אחרת המודל לומד לנחש לפי רעש.

כל כמה זמן לאמן את המודל מחדש ואיך לדעת שהשתפר?

לוח זמנים קבוע לא מספיק — עוקבים אחרי דריפט: שפת השוק ומכלול האירועים משתנים, והדיוק על הזרם הטרי יורד ראשון. מאמנים מחדש באופן סדיר ומחוץ ללוח הזמנים כשמופיעה מחלקת אירועים חדשה. כל בנייה משווים לזו הנוכחית על מדגם מוחזק לפי זמן — על חדשות שהמודל לא ראה — ומחליפים רק לפי מדדים.

נדון במשימה: אילו נתונים כבר יש לכם

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם שיקולים כלליים, אנחנו צריכים גישה לאופן שבו חדשות קריפטו מגיעות אליכם היום. נקודת הצוואר כמעט תמיד לא נמצאת במודל ה-NLP, אלא ברשימת המקורות: חלק מהזרמים מוסרים רק כותרות, חלק משכפלים זה את זה, חלק מפרסמים ניתוחים שהמודל מקבל כעובדה.

אם תשלחו דוגמאות לפרסומים משבועיים-שבועיים וניתוח של הסכמה הנוכחית — איך אתם מסננים, מסמנים ומה עושים אחר כך עם התוצאה — נחזור עם הערכה ותוכנית עבודה בתוך כמה ימים. אפשר לדון במשימה בהתכתבות: את הפרטים המבהרים נשלים תוך כדי.

מה לשלוח לניתוח:

• רשימת מקורות: זרמים, ערוצים, ניוזלטרים — עם ציון איפה כבר יש מסנן;
• דוגמאות לפרסומים: 50–100 חומרים, ובהם שנויים במחלוקת, פרסומיים ושכפולים;
• ניתוח של הסכמה הנוכחית: מסלול הידיעה מהופעתה ועד הגעתה להחלטה שלכם;
• סימון אמת מידה או משהו דומה לו: 20–30 טקסטים עם נושא וסנטימנט מסומנים;
• דרישות להשהיה: כמה טרייה צריכה להיות ההערכה עד לרגע היציאה;
• מגבלות גישה: מה אסור להוציא החוצה ואילו מפתחות אינכם מוכנים למסור;
• פורמט התוצאה: תווית במסד נתונים, זרם אירועים או דוח לפי לוח זמנים.

לאחר הניתוח תקבלו תוכנית עבודה עם היקף הסימון, סכמת ההעשרה, נקודות בקרת איכות וסדר הקבלה. תארו את המשימה בצורה חופשית — זה מספיק כדי שנחזור עם הערכה.