אימון מודל NLP לניתוח דיונים ב-Reddit (r/cryptocurrency)

מדוע אימון מודל NLP על נתוני פורומים נתקע

אימון מודל NLP על נתוני פורומים נשבר כבר בשלב הכניסה לניתוח r/cryptocurrency. הטוקנייזר רואה את מה שאנשים כותבים בזרימה: תנועות מוארכות, אימוג'ים במקום הערכה, טיקרים בלי פירוש, לטינית, קירילית ועברית באותו דיון.

מילון שנאסף על קורפוסים ניטרליים משליך מחצית מהטוקנים האלה כלא מוכרים — המודל לומד לא מהמשמעות, אלא מרעש שבמקרה תאם את התיוג.

בהמשך מתחיל תיוג טקסטים בסלנג. שני מתייגים חלוקים על אותה frase: «when moon» — זה שאלת מועד, סרקזם או קריאה? הסכמה בין אנשים יורדת, ואיתה גם תקרת האיכות: המודל משחזר בביטחון את העמימות שהצבנו בידיים.

בעיה נפרדת — סחיפת לקסיקון בקהילה. מילה שהייתה ניטרלית לפני רבעון הופכת לסמן של פאמפ, מופיעים קיצורים ושמות פרויקטים חדשים. מודל שאומן על חתך ישן מתדרדר בשקט: הבדיקה נעשית על אותו חתך מיושן, המדדים מחזיקים מעמד, אבל על נתונים חיים שיעור ההתראות הכוזבות עולה.

בניתוח דיונים ב-Reddit זה מתורגם להפסדים ישירים: זינוק באזכורים נתפס באיחור, סנטימנט לפי נכס מתהפך בסרקזם, ורעש מאורגן מוקדם נראה כמו עניין אורגני. נפרט איך זה נסגר.

מה נותן ניתוח דיונים: מהירות תגובה ודיוק

סקירה ידנית של שרשורים נותנת תמונת מצב באיחור של יממה: זינוק באזכורים נראה רק אחרי שהנושא כבר שוחק. כללי מילון לניתוח סנטימנט של טקסט בסלנג קריפטו קורסים — בפוסט אחד מתקיימים זה לצד זה התלהבות מעליית השער ואזהרה מפני הונאה, וסימן הסנטימנט מתהפך.

לכן אנחנו מאמנים את המודל על מדגם מתויג של דיונים: מקור הנתונים Reddit, שרשורים על מטבעות קריפטוגרפיים ואירועים בבורסות. אנו מתייגים לא רק קוטביות אלא גם סוג האמירה — שאלה, תחזית, תלונה על שירות, אזהרה מפני הונאה.

מדגם נפרד של דוגמאות נאסף על סרקזם וציטוטים של דעה זרה, כי דווקא עליהם יורד הדיוק של סיווג בפתרונות מוכנים.

אותות לפי אזכורים מחושבים לפי שני ספים: גידול במספר הכותבים העצמאיים וקצב הצטברות ההודעות בשרשור. סף הפרסום מוגדר גבוה מסף ההתראה, ולכן רעש לא עובר להתראות — בפרויקטים שלנו שיעור ההתראות הכוזבות יורד משליש לאחוזים בודדים. מחלקת השגיאות שנמנעו כאן קונקרטית: בדיחה שנקראה כאיום, וציטוט שהודפס מחדש ויוחס למחבר הפוסט.

ניטור דיונים נעשה רציף: זינוק נראה בתוך שעה, עדיפות השרשור מחושבת לפי חשיפה ומספר כותבים, ולא לפי הקולניות של תגובה אחת. הנושא מתגלה לפני שהוא יוצא לתקשורת — אפשר להגיב בשלב הדיון, ולא אחרי הפרסומים.

אפשרויות פתרון: סט מוכן, כיוונון עדין, מערך נתונים משלכם

שלוש גישות נבדלות לא רק בדיוק, אלא גם בכמות זמן ההנדסה שהן דורשות בכל חודש לאחר ההפעלה. מודל שפה מוכן נותן תשובה בימים הראשונים, כיוונון עדין לדומיין מעלה את האיכות על לקסיקון מוכר, ומערך נתונים משלכם מסיר את התלות בכללי התיוג של אחרים.

העבודה העיקרית בכל אפשרות היא לא האימון, אלא הכנת הקורפוס. איסוף וניקוי נתונים כוללים הסרת כפילויות ובוטים, סינון פרסומים חוזרים והפרדת מדגמים לפי זמן: אחרת אותן הודעות נכנסות גם לאימון וגם לבדיקה, והמדדים בסוף מתגלים כמנופחים.

מגבלות של מודלים מוכנים בולטות ביותר בתגובות קצרות. ב-Reddit חלק משמעותי מהאות הוא אירוניה, ז'רגון ודיון בנכסים דרך קיצורים פנימיים, ומודל אוניברסלי קורא אותם כפשוטם ומאבד את המשמעות.

לכן הסדר המעשי הוא כזה: תחילה מודל מוכן כסימן בסיס לאיכות, אימון נוסף — רק אם פער הדיוק מצדיק את התיוג, ומערך נתונים עצמאי — כשהמדד הופך לחלק מהמוצר וצריך להסביר אותו.

איך מתנהלת העבודה: מהגדרת המשימה עד מסירת התוצאה

בקשה לעתים רחוקות נשמעת כמו «אמנו מודל»: בקלט — «אנחנו רוצים להבין מה דנים ב-r/cryptocurrency ואיך משתנה היחס לנכס». אנחנו מתרגמים זאת להגדרה מדידה: אילו אותות המודל חייב לזהות ומה נחשב שגיאה. בהמשך — שישה שלבים.

1. ניסוח השאלה והמדדים. מקבעים מחלקות — אזכורי נכס, סנטימנט, נושאים — ואת הסף שמעליו התוצאה מועילה. בנפרד מסכימים כיצד מעריכים מחלקות נדירות וסלנג: טיקרים, אימוג'ים, ביטויים קבועים של סוחרים.
2. הכנת נתונים. אוספים פוסטים ותגובות לתקופה הרצויה, מסירים כפילויות, פרסומות, בוטים והזרמות אחידות. קישורים, ציטוטים ועריכות מובאים לצורה אחידה — התיוג יושב על טקסט נקי.
3. תיוג ואימות תיוג. מתייגים לפי הוראה כתובה, חלק מהדוגמאות מועברות לשני מתייגים בעיוורון ונמדדת ההסכמה. מקרים שנויים במחלוקת מבררים, את ההוראה מדייקים — עד שהפערים יורדים לרמה עבירה.
4. אימון וכיוונון. לוקחים מודל פתוח על טקסטים כלליים, מאמנים אותו נוסף על הקורפוס שלנו, בוחרים פרמטרים ועוקבים אחרי אימון יתר: המודל צריך לשמור על איכות בנושאים חדשים, ולא לזכור דוגמאות.
5. הערכת איכות המודל. בודקים על מדגם נפרד שלא השתתף לא באימון ולא בכיוונון, ומסתכלים על מדדים לפי מחלקות, לא רק על הממוצע. חתך נפרד — לפי זמן: אחרת המודל קולט את מצב הרוח של משטר השוק הקודם.
6. קבלת התוצאה ותוכנית הטמעה. מציגים עבודה בזרימה חיה, מוסרים דוח עם מדדים וניתוח שגיאות, הוראה לתיוג, סביבה להרצה ולוח זמנים לאימון מחדש. התחלה — מצב צל: המודל מחשב, האדם מחליט.

מה נשאר אצל המזמין: מערך נתונים, משקולות המודל, תקנון

תוצאת אימון מודל NLP — לא רק שירות עובד, אלא גם סט ארטיפקטים שצוות שלכם ממשיך לעבוד איתו בעצמו. אנחנו מוסרים נתונים, משקולות, כללים וזכויות כך שאימון נוסף, ביקורת או החלפת ספק לא יהפכו לשחזור מהזיכרון.

• מערך נתונים מתויג — קורפוס הודעות מדיונים פתוחים עם תוויות וחלוקה משוחזרת לחלקי אימון, אימות ובדיקה: זרע קבוע וגרסת כללי תיוג.
• משקולות מודל מאומנות — פרמטרים שמורים יחד עם תצורת הפלט: מילון, אורך הקשר, סף הפעלה. נטענים בתשתית שלכם בלי בנייה מחדש.
• תקנון תיוג — הוראה עם דוגמאות גבול וסדר ליישוב מקרים שנויים במחלוקת; לפיה מתייג חדש מפיק איכות דומה.
• סכימת אימון מחדש — באילו אותות להפעיל (סחיפת לקסיקון, ירידת מדד על מדגם בקרה), על איזה היקף נתונים טריים, כיצד לאמת וכיצד לחזור למשקולות קודמות.
• תיעוד המודל — כרטיס מודל: מקורות נתונים, שלמות ודיוק שהושגו, מגבלות ידועות ושגיאות אופייניות במחלקות נדירות.
• זכויות על נתונים ומשקולות — זכויות מעוגנות בכתב להשתמש, לשנות ולהפיץ את המערך והמשקולות, עם הסתייגות לגבי תנאי פלטפורמת המקור.
• תקנון בקרת איכות — הרצה על מדגם נפרד וביקורת ידנית של תחזיות אקראיות: רואים מתי המדד ירד ומי מטפל בכך.

מסירת המודל מוסדרת בפרוטוקול: כל סעיף נבדק מצדכם — בהרצה, בקריאה או בתיוג בקרה.

מקרה בוחן: ניתוח דיונים של פרויקטי קריפטו וזינוקים באזכורים

לפני הפרויקט אזכורי טוקנים נאספו ידנית: אנליסט פעם בשבוע הוציא שרשורים של קהילות קריפטו וריכז אותם בטבלה. עד שהדוח היה מוכן, הזינוק כבר שכך, ושרשורים עם פעילות מנופחת נכללו במקבץ כמו אורגניים. היה צורך בניטור אזכורי טוקנים קרוב לזמן אמת, ובהערכה מובנת של מידת האמון שניתן לתת לאות.

מה עשינו

אספנו קורפוס דיונים של קהילות קריפטו, תייגנו זינוקים באזכורים ואימנו נוסף מודל NLP על בסיס מאומן מראש פתוח Hugging Face על טקסטים תחומיים — סלנג, טיקרים, סרקזם. המודל מפריד בין גידול אורגני בעניין לבין ניפוח, וצינור העיבוד מחשב מחדש פעילות לפי כל טוקן בחלון ניתן להגדרה.

איפה המודל טועה

נקודת תורפה קבועה — אירוניה בתוך קהילות צרות: בדיחה «טוקן השנה» נראית פורמלית כאזכור חיובי. מחלקת שגיאות שנייה — טיקרים חדשים שחופפים למילים בשימוש נפוץ.

שתי המחלקות נסגרו בכללי עיבוד לאחר מעשה וברשימת חריגים שהמזמין ממלא בעצמו; כל הפעלה מסומנת ברמת ביטחון, ולכן ההחלטה על האות נשארת בידי האדם.

במה תיוג ידני שונה מתיוג אוטומטי?

תיוג ידני הוא כאשר כל הודעה נקראת בידי אדם והוא מציב תווית: סנטימנט, נושא, אזכור נכס. הוא הכרחי במקום שבו המשמעות נשענת על הקשר: סרקזם, שלילה בנוסח «לא קניתי וגם לא אקנה», ערבוב שפות בתוך טקסט אחד, סלנג צמוד לאימוג'י.

אף כלל לא מפרק מקרים כאלה באופן אמין, והשגיאה כאן יקרה: המודל אחר כך חוזר עליה בביטחון על כל הקורפוס.

תיוג אוטומטי בנוי אחרת — התווית נגזרת ממבנה הנתונים לפי כללים ופיקוח חלש. תוויות קהילות, שמות שרשורים, קישורים, טיקרים מפורשים במירכאות, תבניות כותרת קבועות — סימנים שמתויגים בלי אדם וכמעט לא דורשים זמן לכל פריט. כך סוגרים מחלקות חד-משמעיות, והשנוי במחלוקת עובר למסלול ידני.

בפועל הבחירה היא לא בין «או», אלא בין פרופורציה. אנחנו מתחילים בליבה ידנית — כמה אלפי דוגמאות שתויגו לפי הוראה אחידה — ועליה בודקים כל כלל. אם תווית אוטומטית חולקת על הידנית בתדירות גבוהה מהסף המותר, הכלל לא נכנס לשימוש.

בעיה נפרדת — עקביות המתייגים. בטקסטים עם סלנג ואימוג'ים שני אנשים חלוקים בתדירות גבוהה בהרבה מאשר בנייטרליים, ולכן מקרים שנויים במחלוקת מבררים במשותף וההוראה מתווספת. ערבוב שפות בפוסטים דורש הנחיה נפרדת: כיצד לתייג הודעה שבה חצי באנגלית וחצי בשפה אחרת.

האיכות נשענת על מדגם נפרד: חלק מהנתונים מתויג רק ידנית ולא נכנס לא לכיוונון הכללים ולא לאימון המודל. לפיו רואים היכן הפיקוח החלש החל לטעות — זו הדרך היחידה לעבור לאוטומציה בלי לאבד דיוק.

ספקות טכניים: נתונים, תיוג, היקף המדגם

הספקות לפני התחלה בדרך כלל אותם ספקות: האם יספיקו הנתונים, האם חוקי לאסוף אותם וכמה מהר המודל יתיישן. מהתשובות תלויים לוחות הזמנים ותבנית העבודה, ולכן אנחנו מפרטים אותן לפני שורת הקוד הראשונה. לקריפטו ב-Reddit יש מאפיין משלו: לקסיקון וטיקרים משתנים מהר, והתיוג דורש אדם שמבין את ההקשר.

איך נשלטת איכות התיוג?

מתייגים לפי מדריך כתוב עם דוגמאות למקרים שנויים במחלוקת: סרקזם, אירוניה, אזכור טיקר בלי הערכה. חלק מהמדגם מועבר לשני מתייגים עצמאיים ונמדדת ההסכמה ביניהם — מדד נמוך מעיד על בעיה בהוראה, לא באנשים. דוגמאות מפוקפקות עוברות לקטגוריה נפרדת ולא מוסיפות רעש לאימון.

עד כמה חוקי איסוף הנתונים?

הדיונים פומביים, אבל צריך לעבוד איתם בזהירות: לכבד את תנאי הפלטפורמה, לא לקחת נתונים אישיים מיותרים, לבצע אנונימיזציה של שמות המחברים ולהסיר קישורים לפרופילים. אנחנו שומרים רק את הנדרש למשימה ולא מפרסמים מחדש את התוכן המקורי.

כמה часто לעדכן את המודל ומתי לצפות לתוצאה ראשונה?

סלנג ונושאים בקהילת הקריפטו נמצאים בסחיפה, ולכן לא עושים מודל «לנצח»: מגדירים ניטור מדדים, והאימון הנוסף מופעל לפי לוח זמנים או לפי ירידת איכות. לוחות זמנים — מכמה שבועות למשימה צרה עם סכימת תיוג מוכנה ועד חודשיים, אם את המדריך והתיוג עושים מאפס.

נדון במשימה ונחזור עם הערכה ותוכנית עבודה

כדי לחזור עם הערכת פרויקט ותוכנית עבודה, ולא עם מילים כלליות, צריך להבין את גבולות המשימה. את השיחה מתחילים בכמה שאלות — לפיהן כבר רואים את היקף הנתונים, מורכבות המודל והיכן מצפים לנו צווארי בקבוק.

• אילו מסקנות דרושות בפלט: סנטימנט לפי מטבעות בודדים, זינוקים בדיונים, חתכים תמטיים או סינון ספאם וניפוח?
• מה כבר יש בנתונים: ייצואים היסטוריים של קהילות, לאיזו תקופה, האם נדרש איסוף בזמן אמת.
• האם יש תיוג אמת מידה ומי יכול לאשר תשובות נכונות — בלעדיו אין במה לבדוק את איכות המודל.
• מה נחשב לתוצאה: דיוק יעד על מדגם נפרד, שיעור מקרים שעוברים לבדיקה ידנית, השהיה בין הודעה לאות.
• איך הפלט נכנס למערכות שלכם: עיבוד באצווה, העברה בזרימה או ייצוא לאנליטיקה.
• מגבלות הרשאות ואחסון: היכן מותר להחזיק טקסטים של משתמשים, האם נדרשת אנונימיזציה.
• מה כבר ניסיתם ומדוע לא התאים — זה חוסך שבועות בחזרה על מה שכבר נעשה.

אחרי הניתוח אנחנו שולחים הערכת פרויקט עם שלבים, לוחות זמנים ונקודות קבלה. מתחילים בשלב ניסיון: מאמנים מודל על חתך קטן של הנתונים שלכם ומראים מדדים על מדגם נפרד — את האיכות רואים לפני הפעלת המעגל המלא. אפשר להסתפק בהתכתבות ובניתוח אחד, אין צורך בשיחות מיותרות: תארו את המשימה, ואנחנו נחזור עם תוכנית.