מדוע מסחר ב-Reinforcement Learning נשבר בשוק החי
למידה מחיזוק לקריפטו נראית נהדר על ההיסטוריה: הסוכן יוצא לרווח, עקומת התשואה חלקה, והדרוודאון נשמר בגבולות שהוגדרו. הכול נשבר במעבר לעסקאות חיות, כי השוק אינו סטציונרי: הנזילות, התנודתיות והרכב המשתתפים משתנים, ואילו הסביבה שעליה הסוכן למד נשארה בעבר.
צוואר הבקבוק הראשון — התאמת יתר לנתונים היסטוריים. כשהתגמול מעודד רווח בכל צעד, הסוכן שונן את המיקרו־מבנה של תקופות מסוימות: רמות מדויקות, אופי התיקונים, תזמון הכניסות.
התלויות האלה אינן משוחזרות, ולכן הסוכן מאבד תשואה בשוק האמיתי לא בגלל רעיון חלש, אלא משום שהוא עשה אופטימיזציה לרעש שכבר אינו קיים בנתונים האמיתיים.
השני — דרוודאון בעת החלפת משטר שוק. אסטרטגיית התנהגות שיציבה בדשדוש מתפרקת במגמה או בתנועה חדה. קנס על סיכון ומגבלה על גודל הפוזיציה עוזרים רק חלקית: אם החלפת המשטרים הופיעה לעיתים רחוקות בסט האימון, הסוכן פשוט לא תרגל תגובה אליה.
השלישי — ביצוע עסקאות בלתי יציב. החלקה, עמלות, ביצוע חלקי והשהיה בין האות לעסקה מאידיאלים בהיסטוריה, ובמציאות אוכלים את היתרון כולו. בהמשך נפרק איך זה נסגר: מדיזון התגמול ובדיקה על תקופות נדחות ועד קווי בקרת סיכון בחשבון חי.
מה נותן סוכן מאומן: אפקט בגדלים מדידים
סוכן למסחר אינו "קופסה שחורה", אלא מדיניות עם מערכת מאפיינים מדידים. את האפקט אנחנו מודדים באותה סביבה שבה נערך האימון, ומשווים לאסטרטגיית בסיס: שיעור הזמן בשוק, עומק הדרוודאון, השהיית התגובה לתנודתיות, עמידה במגבלות. את הסביבה אנו מתארים דרך Gymnasium, ולכן המדדים משוחזרים בכל קטע היסטורי.
- עמידות למשטרי שוק. האימון והאימות נערכים בנפרד על קטעים עם מגמה, דשדוש ותנודתיות גבוהה. מדיניות שעברה התאמת יתר למשטר אחד נפסלת בבדיקה, ולא בחשבון האמיתי.
- הקטנת דרוודאון. קנס על דרוודאון מובנה בפונקציית התגמול וגדל באופן לא ליניארי. באימות זה נותן דרוודאון קטן פי 1.5–2 מהבסיס, בתשואה דומה.
- ניהול סיכון בזמן אמת. גודל הפוזיציה והסטופ מחושבים מחדש בכל צעד מתוך התנודתיות הנוכחית. שכבת הביצוע בודקת מגבלות, נפח ומחיר לפני שליחת ההזמנה — כך כשל של המודל אינו הופך לפוזיציה לא מתוכננת.
- ניטור ותיעוד ההחלטות. כל פעולה נרשמת יחד עם המצב, התגמול והסיבה להפעלת המגבלה. מהיומן משחזרים למה הסוכן נכנס או יצא.
את ההידרדרות רואים במדדים לפני שהיא הופכת להפסד: פער בין המדדים הנוכחיים לאלה שבאימות מפעיל אימון מחדש לפי נוהל, ולא לפי עובדת ההפסדים.
השוואת גישות: למידה מחיזוק מול אסטרטגיות ידניות
הבחירה בין למידה מחיזוק לחוקים ידניים אינה שאלה של טעם, אלא של האופן שבו הוגדרה המטרה וכמה נתונים יש בקלט.
למידה מחיזוק דורשת סביבה שבה הסוכן יכול להריץ אפיזודות ולקבל תגמול; למידה על נתונים מתויגים עובדת היכן שהמשימה מצטמצמת לחיזוי; כיוונון פרמטרים של חוקים נדרש כשהלוגיקה כבר מתוארת אך אינה מכווננת. להלן ארבע אפשרויות שביניהן באמת בוחרים, והגבולות ההנדסיים שלהן.
ארבע אפשרויות והגבולות שלהן
| אפשרות | מתי מתאימה | במה מוגבלת |
|---|---|---|
| למידה מחיזוק | המטרה מתבטאת דרך תגמול, יש סביבה להרצת אפיזודות ומלאי נתונים למשטרי שוק שונים | הסוכן מוצא פרצות בפונקציית התגמול; המדיניות מוסברת בקושי, וההתנהגות סוטה מההיסטוריה בעת החלפת משטר |
| למידה על נתונים מתויגים | המשימה מצטמצמת לחיזוי: הסתברות לתנועה, סיווג מצב השוק, מסנן כניסות | התיוג מקבע את התפלגות העבר; המודל אינו מתחשב בעמלות ובהשפעת ההזמנות של עצמו |
| כיוונון פרמטרים של חוקים | לוגיקת הכניסה והיציאה כבר מתוארת, הפרמטרים מעטים, נדרשת יציבות ולא מקסימום על ההיסטוריה | התאמת יתר: על הכיוונון התוצאה עולה, על נתונים נדחים היא נופלת |
| חוקים ואינדיקטורים ידניים | מעט כלים, החלטות נדירות, שקיפות של כל כניסה חשובה | משמעת ומהירות תגובה; אינו מתרחב לעשרות כלים |
בפועל, ברוב המקרים מנצחת גישה היברידית לאסטרטגיה: למידה מחיזוק אחראית על בחירת העיתוי וגודל הפוזיציה, ואילו חוקים ואינדיקטורים ידניים קובעים גבולות סיכון קשיחים, איסורי מסחר במצבים מסוימים ומגבלות על רצף הפסדים.
צירופים כאלה אנחנו בודקים בבדיקה מתגלגלת על קטעים עוקבים ובהשוואה לאמת מידה פשוטה — אם הסוכן אינו עוקף אותה על נתונים נדחים, הוא אינו עולה לפרודקשן.
שלבי העבודה: מהגדרת המשימה ועד מסירת הסוכן
בפרויקטים של Reinforcement Learning למסחר העבודה מתחילה לא בקוד, אלא בפירוק המשימה: באילו כלים ובאיזה אופק אנחנו סוחרים, ואיזה סיכון אינו מקובל. באותו צעד אנחנו קובעים גם את המדדים — תשואה מתוקננת בדרוודאון, שיעור עסקאות רווחיות, דרוודאון מקסימלי. בלי מדדים פורמליים אין במה לעצור את האימון, ואי אפשר לקבל את התוצאה.
- פירוק המשימה והמדדים. מתאמים אופק, מערך כלים ומגבלות סיכון; המדדים הופכים לקריטריון לעצירת האימון ולקבלת הסוכן.
- הכנת נתונים היסטוריים. אוספים קוטיישנים וספר הזמנות ממקורות פתוחים (Binance), מסירים פערים וחריגים, ומביאים את הסדרות לתדר אחיד — אחרת הסוכן ילמד את הרעש במקום את החוקיות.
- תכנון סביבת האימון. משחזרים את לוגיקת הבורסה: עמלות, החלקה, ביצוע חלקי של הזמנות. בתנאים אידיאליים הסוכן מציג רווח שאינו קיים במציאות.
- כיוונון פונקציית התגמול. מאזנים בין רווח לקנס על סיכון: במשקלים מוטים הסוכן או נכנס לחוסר מעש, או למסחר יתר שבו העמלה אוכלת את התוצאה.
- בדיקה לפני הרצה אמיתית. הרצה על קטע היסטורי נדחה ובסימולציה על תקופות שוק אנומליות, והשוואה לאסטרטגיית הבסיס.
- מסירת הסוכן והליווי שלו. מוסרים קוד, קונפיגורציות סביבה, מודל מאומן ותיעוד של המדדים; נשארים בקשר לאחר ההרצה.
כל שלב נסגר בארטיפקט בר־בדיקה: דוח על הנתונים, קונפיגורציית סביבה, עקומת אימון, פרוטוקול בדיקה. לחזור שלב אחורה זול יותר מלפרק הפסדים בחשבון חי.
מדיניות סיכון, קונפיגורציות ותיעוד הסוכן
סוכן מאומן בלי קו תפעולי הוא חסר תועלת: אי אפשר לשחזר אותו, לבדוק אותו או לעצור אותו בבטחה. לכן יחד עם המודל מקבל הלקוח את כל מערך הארטיפקטים — מקונפיגורציות הרצה ועד הוראות לצוות התורנות.
- קונפיגורציות הרצה: פרמטרי הסביבה, הרכב הכלים, אופק ההחלטה ותנאי ההתחלה. אותו סט נתונים עם אותה קונפיגורציה משחזר את התנהגות הסוכן.
- מדיניות הגבלת סיכון: תקרת דרוודאון לסשן, סטופ יומי, גודל פוזיציה מקסימלי ותדירות עסקאות. בעת הפעלה הסוכן עובר למצב סגירה, ולא ממשיך לצבור פוזיציה.
- סכמות אינטגרציה עם הבורסה: זרמי הזמנות, קוטיישנים ומצב החשבון, עם ציון נקודות הכשל, פסקי זמן וסדר שליחה חוזרת של בקשה.
- יומנים ודיווח: עבור כל החלטה נשמרים התצפית, הפעולה, התגמול ותוצאת הביצוע בפועל — מהם נבנה דוח תשואה וסיכון.
- הוראות לצוות: סדר הרצה, עצירה וחזרה לגרסת מדיניות קודמת, ופעולות כאשר מצב החשבון סוטה מהצפוי.
- נוהל אימון מחדש: על אילו נתונים מתעדכנת המדיניות, אילו מדדים נחשבים לסף, ומתי הגרסה מוחזרת לקודמתה.
- מערך בדיקות לפני שחרור: הרצה על נתונים היסטוריים, סימולציה של השהיות ביצוע והתנהגות בעת ניתוק קשר עם הבורסה.
כל סעיף הוא קובץ, סכמה או מסמך שנשאר במאגר שלכם ונקרא בלי מעורבות שלנו. המסירה סגורה כאשר הצוות שלכם מריץ, עוצר ומחזיר את הסוכן בעצמו, והיומנים מאשרים שמדיניות הסיכון הופעלה.
קייס: סוכן שעמיד בפני החלפת משטר מסחר
מה היה לפני
את הגרסה הראשונה של הסוכן אימנו על היסטוריה של שנה, שנלקחה מ-Binance, ועל קטע האימון היא נראתה חלקה: דרוודאון 12%, עלייה יציבה. בהחלפת משטר ממגמה לדשדוש ההתנהגות התפרקה — המודל המשיך לצבור פוזיציות מתוך אינרציה, הדרוודאון גדל ל-38%, ושיעור ימי המסחר הרווחיים ירד מתחת למחצית. הטעות לא הייתה בארכיטקטורה, אלא בנתונים: הסוכן ראה מצב שוק אחד ולא היה לו מאפיין שמבדיל אותו מאחר.
מה שינו
את ההיסטוריה תייגנו לפי משטרים — מגמה עולה, מגמה יורדת, דשדוש, תנודתיות מוגברת — והוספנו את המאפיינים האלה לתצפית של הסוכן. את האימון הרכיבו מחדש כך שאפיזודות יתחלפו בין המשטרים, והתגמול העניש על ריכוז בתרחיש אחד: להרוויח על חשבון תקופה מוצלחת אחת הפך ללא כדאי.
בשלב העבודה הוספנו מגביל שמקטין את גודל הפוזיציה בעת החלפת משטר, עד שהסוכן צובר סטטיסטיקה על התנאים החדשים.
מה נהיה
על אותו קטע בקרה כמו קודם, הדרוודאון עמד על 14% במקום 38%, שיעור הימים הרווחיים גדל מ-54% ל-66%, ויחס התשואה לסיכון — מ-0.7 ל-1.8. חשוב מהמספרים היה השינוי בהתנהגות: הסוכן מקטין בעצמו את החשיפה במשטר לא מוכר וחוזר לגודל פוזיציה רגיל כשהתפלגות התשואות שוב תואמת את זו של האימון. אין יותר מעברים ידניים בין אסטרטגיות.
מה לעשות אם כבר פרוס אלגוריתם מסחר מוכן
התשובה תלויה בכמה מההחלטות במערכת הנוכחית מתוארות בחוקים מפורשים, וכמה — ברעש השוק. מכאן נגזר גורלו של רובוט אלגוריתמי מוכן: להוסיף למידה מעליו, להעביר את הלוגיקה ללמידה, או להחליף את הקו כולו.
התרחיש הראשון — להשאיר את החוקים ולהוסיף למידה מעל. הרובוט סוחר לפי התנאים הקודמים, והסוכן מכוונן רק פרמטרי ביצוע: גודל הפוזיציה, ספי כניסה, מסנני תנודתיות. התאימות להגדרות הנוכחיות כאן מקסימלית — את הקו לא נוגעים, והלמידה פועלת במרחב פעולות צר.
התרחיש השני — העברת הלוגיקה ללמידה. החוקים הקודמים הופכים לסביבה: פונקציית התגמול מקנה קנס על פעולות לא רצויות, ומגבלות על הפעולה קובעות את מסגרת הסיכון. שדרוג הסוכן הקיים נעשה באיטרציות — על ההיסטוריה, ואחר כך על הזרם, שבו משווים את ההתנהגות לאמת מידה מהחוקים הישנים. ההעברה מוצדקת כשהחוקים סותרים זה את זה וכיוונון הספים אינו מתכנס.
התרחיש השלישי — להחליף את הקו כולו. נוקטים בו כשהחוקים מפסידים כשלעצמם, או שיש רבים מכדי להחזיק אותם בראש. אז חשוב יותר הבקרה החיצונית על הסיכונים: מגבלות, תנאי סטופ ויומן החלטות חיים מחוץ לסוכן — מדיניות מאומנת אינה מסבירה כל צעד.
את התרחיש בוחרים לפי מדידה אחת: איזה שיעור מההחלטות מתואר בחוקים מפורשים. הרבה — מוסיפים למידה מעל; מעט — מעבירים ומאמנים מחדש. בכל וריאציה נדרשים סימולטור משוחזר ויומן עסקאות, אחרת אי אפשר להפריד בין אפקט הלמידה לשינוי בשוק.
ספקות טכניים: התאמת יתר, השהיה, יציבות
ההתנגדות העיקרית ללמידה מחיזוק — שהצמיחה על ההיסטוריה אינה עוברת לשוק החי. ברוב המקרים הסיבה אינה ברעיון עצמו, אלא בדליפת עתיד למאפיינים ובכיוונון למשטר תנודתיות אחד: הסוכן שונן קטע מסוים במקום את התנהגות השוק.
אנחנו מפרידים את הבדיקה לפי זמן: אימון על חלון אחד, כיוונון על הבא, והערכה סופית — על קטע נדחה שהסוכן לא ראה. המודל חייב לעבור את אותם ספים בכל שלושת השלבים, אחרת הוא אינו נכנס לעבודה.
איך מבדילים בין התאמת יתר של הסוכן לבין שינוי בשוק?
מסתכלים על הפער בין התוצאה באימון לזו שבקטע הנדחה — הוא הסימן להתאמת יתר. בנוסף משווים את התפלגות המאפיינים ואת משטר התנודתיות: אם השוק זז, נדרש אימון מחדש של המודל, ולא בחינה מחדש של החוקים.
מה קורה לפוזיציות פתוחות בזמן אימון מחדש של המודל?
האימון מחדש נעשה על עותק של המודל, והקו המסחרי ממשיך לפעול בגרסה הנוכחית. החדשה נכנסת לפעולה רק לאחר מעבר הספים והתחממות על נתונים חיים; בעת פער חוזרים לקודמת בלי הפסקה במסחר.
איזו השהיית קבלת החלטה נחשבת אצלנו לקבילה?
את התקציב מחשבים מהגעת נתוני השוק ועד אישור ההזמנה, עם מרווח לרשת ולבורסה. אם ההחלטה אינה נכנסת בהשהיית קבלת ההחלטה, ההזמנה אינה נשלחת: כניסה שהוחמצה זולה מביצוע במחיר שכבר אינו קיים.
על מה נשמרת הגנת ההון בשוק לא יציב?
על מגבילים, ולא על דיוק התחזית: תקרה על גודל הפוזיציה, סטופ יומי לפי דרוודאון, הקטנה אוטומטית של הסיכון כשהספרייד מתרחב. הם פועלים ללא תלות בשאלה אם המודל צודק בעסקה מסוימת או לא.
נדבר על המשימה: נחזור עם הערכה ותוכנית עבודה
שלחו נתוני פתיחה על המשימה — זה מספיק כדי לחזור עם הערכה ותוכנית עבודה, ולא עם שאלות הבהרה. למידה מחיזוק רגישה לאיכות ההיסטוריה ולאופן שבו הוגדרה מטרת הסוכן, ולכן קונקרטיות בקלט מקצרת ישירות את לוחות הזמנים וקובעת את הרכב הצוות.
מה כדאי לשלוח:
- תיאור הרעיון המסחרי: כלים, אופק החזקת הפוזיציה, ומה נחשב בעיניכם לתוצאה טובה;
- היסטוריית קוטיישנים או עסקאות בכל פורמט קריא — ייצוא מהטרמינל, CSV, ארכיון מהבורסה;
- מגבלות סיכון: דרוודאון מותר, תקרה לעסקה, חוקי עצירה חירום;
- קו ההרצה — חשבון בדיקה, ארגז חול של הבורסה או חשבון אמיתי בנפח מוגבל;
- מי נשאר בצד שלכם לאחר המסירה: אנליסט, מפתח, משמרת תורנות;
- היכן יאוחסנו הנתונים והיכן יחושב המודל — התשתית שלכם או הקו שלנו.
הפירוק נערך במפגש אחד: מסתכלים על הנתונים, בודקים אם הסביבה ניתנת לשחזור, והיכן באימון יש דליפת עתיד. בתשובה מחזירים הערכה, תוכנית עבודה ושלבים: הכנת נתונים, סביבת סימולציה, אימון הסוכן, בדיקה על תקופה מחוץ לחלון האימון, ומסירת התוצאה עם תיעוד והרצה אצלכם.
את הרכב הצוות מפרטים לפי תפקידים עם עומס בכל שלב, כדי שתראו מי אחראי על מה. תשובה ראשונה לנתוני הפתיחה — בתוך יום עד שני ימי עסקים, והערכה עם תוכנית עבודה — בתוך שלושה עד חמישה ימי עסקים לאחר הפירוק. אם הנתונים גולמיים, נגיד זאת מיד ונפרט מה צריך להשלים לפני ההתחלה.