Temporal Fusion Transformer לשווקים פיננסיים

מדוע חיזוי סדרות עתיות נשבר על נתונים אמיתיים

תחזית על נתונים היסטוריים מתכנסת כמעט באופן מושלם, אך בזרם חי היא מתפזרת כבר בשבועות הראשונים. הסיבה בדרך כלל אינה בארכיטקטורת המודל, אלא בטבעם של הנתונים עצמם: אי-סטציונריות של הסדרה משמעה שהתפלגות התשואות והקשרים בין המשתנים נמצאים בסחיפה.

מודל שאומן על מגמה רגועה מעביר את הנחותיו לתקופה של תנודתיות גבוהה וטועה באופן שיטתי דווקא בנקודות המפנה.

הסיבה השנייה בשכיחותה — דליפת נתוני עתיד אל מדגם האימון. נרמול על פני כל ההיסטוריה, פיגורים שחושבו בהצצה קדימה, בחירת משתנים על המערך המלא, הדבקת חותמות זמן מאזורי זמן שונים — כל אלה מניבים מדדים יפים על מדגם נפרד וחוסר תועלת מוחלט בעבודה. דליפה כזו נתפסת רק באמצעות חלוקה כרונולוגית קפדנית ובדיקה שברגע כל תחזית המשתנה אכן היה זמין.

איכות המשתנים מכריעה יותר מבחירת המודל. מדדי מאקרו יוצאים באיחור ומתוקנים בדיעבד, אירועים תאגידיים ורקע חדשותי מגיעים בצורה לא סדירה, ולמקורות יש תדירות משלהם ופערים משלהם.

אם הסדרות אינן מיושרות בזמן ולא מסומן מה היה ידוע ברגע התחזית, אפילו ארכיטקטורה קפדנית כמו Temporal Fusion Transformer מתחילה להתאים את עצמה לרעש במקום לאות.

החלפת משטר שוק, דליפה ומשתנים מתעכבים מניבים תוצאה אחת: בדיקה סבירה על ההיסטוריה ותחזית מפסידה במציאות. נפרק כיצד זה נסגר — מסימון חלונות זמן ובחירת משתנים ועד בקרת סחיפה בפרודקשן.

מה נותנת מודל תחזית מנוהל: דיוק ורווחי סמך

דיוק התחזית באופק ארוך נשחק לא בגלל מחסור בנתונים, אלא מפני שהמודל אינו מפריד בין רעש קצר-טווח לבין משטרי שוק איטיים. Temporal Fusion Transformer פותר זאת במפורש: מנגנון הקשב בוחר על אילו קטעים בהיסטוריה להישען עבור כל צעד באופק, והשערים חוסמים משתנים שמפסיקים לעבוד באותו צעד.

שגיאת התחזית בנקודות הרחוקות של האופק פוחתת באופן בולט יותר מאשר בנקודות הקרובות — דווקא שם גישות קלאסיות קורסות מהר מכול.

החלק השני של האפקט — הערכת רווח במקום מספר בודד. מודל שאומן על הפסדים קוונטיליים מחזיר לא ערך נקודתי אלא טווח: תרחיש זהיר, חציון ותרחיש אופטימי. התכנון מתחיל להישען על רוחב הרווח ולא על מספר "קסום", והלקוח רואה היכן התחזית בטוחה והיכן המודל אומר בכנות שהוא אינו יודע. זה משנה ישירות את אופק התכנון: החלטות שקודם התקבלו לשני צעדים קדימה הופכות מבוססות לשישה-שמונה.

עמידות המודל לימים חריגים היא מדד בפני עצמו. חגים, תקלות טכניות וחריגים בהיסטוריה בדרך כלל מנפחים את השגיאה, ויש לזרוק את התחזית. כאן פונקציית ההפסד הקוונטילית וההפרדה בין משתנים סטטיים לדינמיים נותנות פיזור שגיאה קטן יותר בימים "מלוכלכים" בלי ניקוי ידני של כל סדרה.

חישובים ידניים חוזרים ונשנים נעלמים יחד עם זה. בעבר האנליסט השווה את התחזית לעובדה ותיקן את המספר ביד; כעת החישוב מחדש מתבצע לפי לוח זמנים, והתערבות נדרשת רק כאשר העובדה יצאה מגבולות הרווח.

שגיאת התחזית, רוחב הרווח ושיעור החריגות מגבולותיו נכנסים לדוח כמידות מדידות — לפיהן רואים אם המודל מתדרדר או שומר על הדיוק.

סדרות עתיות בשווקים פיננסיים: השוואת גישות לחיזוי

בחירת הגישה נקבעת על ידי שלוש תכונות של הסדרה: אופק התחזית, היקף ההיסטוריה הזמינה, והשאלה עד כמה תכופה החלפת משטר השוק. עונתיות יציבה באופק קצר נסגרת בסטטיסטיקה קלאסית, בעוד אותות הטרוגניים — מחירים, מחזורים, מדדי מאקרו, לוח אירועים — דורשים מודל ששוקל את תרומתם בעצמו.

ההבדל המרכזי בין המשפחות הוא האופן שבו הן עובדות עם זיכרון. מודלים סטטיסטיים מתארים את הסדרה בנוסחה: הם אמינים על מדגמים קטנים ומחלצים היטב מגמה, אך אינם סובלים החלפת משטר.

מודלים עם קשב בוחרים בעצמם על אילו קטעים בהיסטוריה להסתכל, ולכן סוחבים תלויות ארוכות ותחזית רב-אופקית — אך דורשים סדר גודל יותר נתונים ורגולריזציה קפדנית.

בפועל אנחנו לא בוחרים משפחה אחת — מחשבים קו בסיס בסטטיסטיקה ובודקים אם מודל עם קשב מניב שיפור על תקופה נפרדת בכל אופק בנפרד. אם אין שיפור, ארכיטקטורה מורכבת לא נכנסת לפרודקשן.

כיצד בנויה ההטמעה: ביקורת, אימון, קבלה

מודל תחזית אינו אימון אחד על ההיסטוריה, אלא רצף שבו כל צעד נשען על קודמו. אם משתנה אינו זמין בזמן אמת, הדיוק במבחן יתגלה כאשליה. לכן אנו עובדים בשבעה שלבים.

1. ביקורת נתונים היסטוריים: שלמות, פערים, החלפת משטרי שוק, אירועים תאגידיים. בודקים שכל משתנה היה ידוע ברגע התחזית, ולא נוסף בדיעבד.
2. סכמת משתנים: אילו סדרות, פיגורים וגורמים קלנדריים נכנסים למודל, עבור אילו אופקים ובאיזו רזולוציה מחשבים את התחזית.
3. חלוקת המדגם: חלק האימון — העבר, חלק הבדיקה — תקופה נפרדת שהמודל לא ראה. אין אנו מתירים ערבוב על פני הזמן.
4. אימון המודל: Temporal Fusion Transformer עם הפסדים קוונטיליים — בפלט לא רק תחזית נקודתית אלא גם רווח אי-ודאות.
5. בדיקה על התקופה הנפרדת: מדדים לכל אופק, השוואה למודלי בסיס וניתוח מקרים עם השגיאה המרבית.
6. קבלת הפתרון: מתקבעים המדדים שהושגו, ספי ההידרדרות, תקנון אימון-מחדש וסדר הפעולות בעת תקלה.
7. מסירה לפרודקשן: חישוב התחזית על נתונים חדשים, השוואת התחזית לעובדה, תיעוד והדרכת הצוות שלכם.

סדר השלבים אינו מקרי: ביקורת נתונים שהוחמצה חוזרת כשגיאה כבר בפרודקשן, כאשר המודל טועה בביטחון בכל צעד.

מה מוסרים לידיים: קונפיגורציות, סכמות, תקנונים

פרויקט חיזוי סדרות עתיות נחשב למסור לא כאשר המודל מפגין איכות על התקופה הנפרדת, אלא כאשר הצוות שלכם יכול להריץ אותו, לעדכן אותו ולהסביר את התנהגותו בלעדינו. לכן המסירה אינה דוח, אלא חבילת ארטיפקטים, שכל אחד מהם סוגר סיכון תפעולי מסוים.

• קונפיגורציית המודל — ארכיטקטורה, היפר-פרמטרים, חלון אימון, זרעי מחולל קבועים: האימון משוחזר על אותה היסטוריה ומניב את אותה תוצאה.
• דרכון משתנים — לכל קלט: מקור, חלון, השהיית הופעה, טיפול בפערים ובחריגים, תזוזה מותרת של ההתפלגות.
• סכמת זרימות נתונים — המסלול מהמקורות אל חלונות הנתונים, נקודות בקרת איכות, תחומי אחריות והתנהגות כאשר מקור אינו זמין.
• כללי גישה — תפקידים, חשבונות שירות, הפרדת סביבות; לחישוב התחזיות אין הרשאה לשנות את נתוני האימון.
• תקנון ניטור — מדדי איכות ויציבות, ספי הפעלה, סדר התראות וניתוח סטיות.
• תקנון אימון-מחדש — לוח זמנים וטריגרים, סדר בחירת הגרסה, בדיקה על תקופות היסטוריות, נסיגה לגרסה קודמת.
• תקנון פעולות בעת תקלה — נפילת איכות, תזוזת נתוני הקלט, היעלמות מקור: נקודות עצירת החישוב וסדר השחזור.

את החבילה מוסרים למאגר שלכם ומנתחים עם הצוות — לאחר מכן המודל מתוחזק מבפנים, בלי תלות חיצונית.

מקרה בוחן: כיצד גדל דיוק התחזית על נתוני בורסה

צוות הלקוח הרכיב תחזית על נתוני בורסה ממספר מקורות: ציטוטי מחירים, מחזורי מסחר, פרסומים מאקרו-כלכליים, לוח אירועים. לכל אופק היה מודל משלו, והפערים והחריגים כוסו בהנחות ידניות של האנליסטים — כשהן נבחנו מחדש, היסטוריית התחזיות השתנתה בדיעבד, ולא היה במה להשוות בין שתי גרסאות.

כינסנו את זה למעגל אחד: מודל אחד במקום מערך של תחזיות נקודתיות, הפרדה מפורשת של משתנים לפי קבוצות ובדיקת איכות של נתוני הקלט לפני החישוב.

בליבה עמד Temporal Fusion Transformer: הארכיטקטורה שוקלת בעצמה את תרומת המשתנים ומחזירה לא רק נקודה אלא גם גבולות רווח — התחזית נקראת כטווח עם רמת ביטחון, ולא כמספר שאי אפשר לבדוק.

מדדים לפני ואחרי

חלק לא פחות חשוב — תקנון העדכון. האימון-מחדש מתבצע לפי לוח זמנים על חלון מתגלגל, סחיפת המשתנים נבדקת לפני ההוצאה, וגרסת המודל קשורה לגרסת הנתונים, ולכן כל ייצוא ניתן לשחזור.

אם גרסה חדשה מפסידה לקודמתה בתקופת הבקרה, ההוצאה נחסמת ונשארת חבילת העבודה הפעילה — התחזית אינה מתדרדרת בשקט.

במה נבדל Temporal Fusion Transformer ממודלים קלאסיים?

מודלים קלאסיים — ARIMA, החלקה מעריכית, boosting על פיגורים — נותנים תחזית נקודתית ויוצאים מתוך הנחה של סדרה הומוגנית. גורמים חיצוניים מוזנים באמצעות משתנים שנבנו ביד, ועל נתונים הטרוגניים האיכות נשענת על כיוונון פיגורים שקשה להסביר.

מודל עם מנגנון קשב בנוי אחרת: הקלט מתחלק לשלוש קבוצות — מאפיינים סטטיים של האובייקט, משתנים הידועים מראש על פני כל האופק, ומשתנים הנצפים רק בעבר.

הקשב מחליט בעצמו על אילו נקודות זמן ועל אילו משתנים להישען בכל נקודה, ולכן נתונים הטרוגניים נכנסים למודל אחד בלי לצמצם אותם לצורה אחידה.

משקולות החשיבות נחשפות החוצה: רואים איזה קלט הזיז את התחזית וכיצד השפעתו השתנתה לאורך הזמן. זה מסיר את הכאב העיקרי של סכמות קלאסיות — חוסר היכולת לפרק מדוע המודל טעה דווקא כאן.

ההבדל השני — תחזית רווח. בפלט לא מספר אחד אלא מערך קוונטילים, ולכן ההחלטה מתקבלת לפי ההתפלגות: עד כמה רחב הפיזור ובאיזו תדירות העובדה יוצאת מגבולותיו. במקום שנדרש מרווח ביטחון ולא פגיעה מדויקת, זה משנה את הגדרת הבעיה כולה.

המחיר לכך — מורכבות המודל: אימון ארוך יותר, התוצאה רגישה להיקף ההיסטוריה ולאיכות סימון האירועים, וכיוונון הפרמטרים דורש ולידציה נפרדת לפי חתכים בזמן. על סדרות קצרות או עם שניים-שלושה משתנים, הרווח אינו מצדיק זאת — שם נשאר boosting על פיגורים.

לכן יש טעם להשוות גישות על מבנה נתונים ודרישות תחזית קונקרטיים, ולא לפי שם הארכיטקטורה.

מגבלות וספקות נפוצים לגבי מודל התחזית

חיזוי סדרות עתיות אינו מסתיים באימון המודל: מעבר לקטע ההיסטורי, התוצאה תלויה בהכנת הנתונים ובבקרה. להלן ספקות שמעלים לפני ההתחלה, וכיצד אנו סוגרים אותם.

מה עושים עם פערים?

אין אנו ממלאים פערים בממוצע — זה מעוות את התנודתיות. לכל סדרה בוחרים כלל: יישור קלנדרי, אינטרפולציה עם הגבלה על אורך הפער, או משתנה "אין נתונים" כאות נפרד.

כיצד מוגנים הנתונים?

האימון מתבצע במעגל שלכם: הייצואים אינם יוצאים מהתשתית, והגישה מופרדת לפי תפקידים. מקורות חיצוניים מחוברים באופן אנונימי — המודל רואה אגרגטים ומשתנים נגזרים, ולא רשומות מקור.

מה קורה בעת מפנה בשוק?

בהחלפת משטר כל מודל מתדרדר — זו מגבלה של הגישה, ולא פגם במימוש. אנו עוקבים אחר השגיאה וסחיפת ההתפלגויות: בחריגה מהספים התחזית עוברת למצב זהיר ומתבצע אימון-מחדש.

מה כלול בליווי?

אנו מוסרים מעגל אימון שניתן לשחזור, תקנון אימון-מחדש ולוח בקרת איכות. מכאן והלאה — עדכון שגרתי של המודל, ניתוח אותות וכיוונון משתנים עם שינוי הנתונים.

נדון במשימה: נתאים קונפיגורציה לזרימת הנתונים שלכם

לשיחה עניינית אין צורך במפרט מוכן. די בייצוא סדרה עם ערכים בפועל, בלוח אירועים המשפיעים על ההתנהגות, ובתיאור התדירות, אופק התחזית וההשהיה המותרת בתגובה. אם נשמר יומן של מודלים קודמים עם שגיאותיהם — שלחו אותו, הוא חוסך לנו סבב השערות.

ניתוח הנתונים קודם לכל הבטחה לגבי איכות. אנו בוחנים את ההתפלגות, הפערים, החלפת המשטרים, והאם האות נבדל מהרעש באופק שלכם. בחירת הפתרון לאחר מכן היא עניין של ביסוס, ולא של טעם.

בסיום הניתוח נחזור עם פרטים קונקרטיים:

• ניתוח נתונים: תדירות, פערים, חריגים, החלפת משטרי שוק;
• בחירת פתרון: ממודלים בסיסיים ועד אנסמבל עם Temporal Fusion Transformer — עם נימוק מדוע דווקא המחלקה הזו;
• סכמת ולידציה: חלון מתגלגל, תקופה נפרדת, מדד המתאים למשימה שלכם;
• הערכה ותוכנית עבודה: שלבים, הרכב הצוות, נקודות בקרת איכות;
• סדר שיתוף הפעולה: תפקידים, הרשאות גישה לנתונים, פורמט הדיווח והקבלה;
• גבולות התחולה: באיזה אופק המודל אמין, והיכן נדרש פיקוח ידני.

תארו את המשימה ושלחו את מה שיש. נחזור עם הערכה ותוכנית עבודה, שבה רואים על מה אנו אחראים ובאיזו נקודה תוכלו לעצור.