אינטגרציה של H2O.ai AutoML לאימון אוטומטי של מודלים

H2O AutoML: היכן בחירה ידנית של מודלים מעכבת פרויקט

תמונה אופיינית: הצוות מקבל חילוץ נתונים, פורס סביבה ומתחיל בסריקה. משפחת מודלים אחת, שנייה, שלישית, לכל אחת — רשת של עשרות פרמטרים. כעבור שלושה שבועות נמצא התוצאה הטובה ביותר, אך היא מבוססת על בדיקה אחת, ולא על התנהגות המודל בזרימה אמיתית.

בזמן שהסריקה נמשכת, העסק ממתין לתחזית. הטמעה ארוכה של מודל כמעט ואינה קשורה למורכבות הנתונים — הסיבה היא שכיוונון פרמטרים ידני אינו סקלבילי. אם משתנים המאפיינים או תקופת האימון — העבודה שנעשתה מתאפסת, והמחזור מתחיל מחדש.

כאב נפרד — אימון מחדש על נתונים חדשים. המאפיינים נודדים, האיכות יורדת, ואין הליך תקני שלוקח חתך טרי ובונה מחדש את המודל: יש משימה בתור של אותו מהנדס.

H2O AutoML מכסה בדיוק את הקטע הזה. אימון מודלים אוטומטי סורק משפחות ותצורות בהרצה אחת, מדרג אותן לפי המדד הנבחר ומחזיר טבלת סיכום עם ארטיפקטים מוכנים. העבודה הידנית נשארת במקום שהיא הגיונית: בחירת מאפיינים, בדיקת סכימת הנתונים, אימות על תקופה מושהית.

הזמן מהנתונים המוכנים עד למודל עובד מתקצר משבועות לימים, והרצה חוזרת הופכת לפעולה תקנית. בהמשך נסביר כיצד זה בנוי והיכן עובר הגבול בין אוטומציה להחלטה הנדסית.

מה נותן אימון מודלים אוטומטי בפועל

AutoML מחליף בחירה ידנית של השערות במחזור מוסדר: הספרייה H2O.ai מריצה בעצמה עשרות משפחות מודלים, משווה אותן באמצעות הצלבה ואוספת אנסמבל מהטובות ביותר. המהנדס מגדיר רק את המסגרת — מערך מאפיינים, מדד מטרה ומגבלת זמן חיפוש.

הזמן עד למודל העבודה הראשון מתקצר משבועות של ניסויים ידניים להרצה אחת-שתיים, ואיכות התחזית מפסיקה להיות תלויה בשאלה אם האנליסט ניחש את הארכיטקטורה הנכונה.

יכולת השחזור של התוצאות מובטחת לא על ידי "קסם" של האוטומציה, אלא על ידי קיבוע הקלט: הרכב מדגם האימון, גרעין ההתחלה של המחולל, רשימת המודלים ופרמטרי החלוקה נשמרים יחד עם הארטיפקט.

כל הרצה חוזרת על אותה קבוצת נתונים ומניבה מדדים בני השוואה, ובמרשם רואים במה גרסה אחת שונה מאחרת. זה פותר את הבעיה הקלאסית "המודל עובד, אבל אף אחד לא זוכר איך השיגו אותו".

עמידות בפני דריפט נתונים נשענת על שני מעגלים. הראשון — ניטור: מחושבת סטיית התפלגות של מאפייני הקלט ואיכות התחזית על חתכים מתויגים טריים. השני — תקנון אימון מחדש: לפי לוח זמנים או לפי טריגר מופעלת הרצה חדשה, המועמד נבדק על תעבורה בצל ורק אחר כך מחליף את הגרסה הנוכחית.

הפרסום מתבצע ללא עצירת שירות התחזית: התעבורה מוחלפת בהדרגה, חלק מהבקשות עוברות למודל החדש, ובירידת מדדים החזרה לגרסה הקודמת אורכת דקות. זמן ההשבתה בעדכון מתוכנן — אפס, והאיטרציות הידניות מצטמצמות לבדיקת השערות על סמך נתונים במקום בנייה מחדש של המודל ידנית.

מצבי עבודה של H2O AutoML: השוואת גישות

מצבי האימון ב-H2O AutoML נבדלים לא באלגוריתם הבחירה, אלא במקום שבו נמצאים הנתונים, מי יוזם את החישוב וכיצד התוצאה נכנסת לעבודה. סריקת משפחות המודלים והגדרותיהן מתבצעת בתקציב זמן נתון, לכן בחירת המצב היא בראש ובראשונה שאלה של הרשאות, תשתית ותדירות עדכון המודל.

חשוב להבין את מגבלות הבחירה האוטומטית לפני ההתחלה: היא אינה מתקנת דליפות במאפיינים, אינה מחליפה תיוג, ובחילוצים צרים נוטה לאימון יתר. לכן אנו מסכמים תחילה על סכימת האימות ומדד המטרה, ורק אחר כך בוחרים את המצב — מהרצה מקומית של אימון ועד אימון מחדש על זרימת נתונים.

שלבי הטמעה: מביקורת נתונים ועד מסירת מודל

העבודה מתנהלת בבלוקים עוקבים: כל שלב נשען על הארטיפקט של הקודם, לכן חזרה בכל שלב עולה מספר ימים, ולא הפעלה מחדש של הפרויקט. להלן — המסלול מחילוצים גולמיים ועד למודל שעובד במסגרת הלקוח ומתוחזק על ידי הצוות שלו.

1. ביקורת נתונים. אנו מפלחים את החילוצים: חוסרים לפי עמודות, קרדינליות של קטגוריות, כפילויות, אי-סינכרון תאריכים בין מקורות. בנפרד מחפשים דליפות — מאפיינים שמכילים בעקיפין את התשובה ונותנים מדדים יפים בבדיקה.
2. הכנת מאפיינים. מקבעים את סכימת הזרימה: מקורות, תדירויות עדכון, כללי אגרגציה, טיפול בחריגים. מערך הנתונים עובר גרסאות, כדי שהאימון ישחזר על אותו חתך.
3. הגדרת אימון. H2O AutoML סורק משפחות מודלים, אוסף מחסניות ובוחר את הפתרון הטוב ביותר לפי אימות. אנו מגדירים תקציב זמן, סכימת הצלבה וגרעין התחלה.
4. בדיקת איכות המודל. מסתכלים לא רק על המדד המצטבר, אלא גם על חתכים: סגמנטים, מחלקות נדירות, יציבות לאורך זמן. המודל מתקבל אם הוא מחזיק את הסף על מדגם מושהה.
5. מסירת המודל לתפעול. מוסרים ארטיפקט, סכימת נתוני קלט, עטיפה לקריאה, תיאור מדדים וניטור. צוות הלקוח מריץ שאילתת בקרה ומקבל את אותה תשובה.
6. תקנון אימון מחדש. טריגרים: ירידת מדד מתחת לסף, שינוי התפלגות נתוני הקלט, קטגוריות חדשות. אימון מחדש מתוכנן — לפי לוח זמנים, לא מתוכנן — לפי טריגר, עם בדיקה על חתך מושהה לפני העלאה.

כל שלב נסגר בארטיפקט ובקריטריון קבלה — המסירה אינה הופכת לשחזור בעל פה.

ארטיפקטים של הטמעה: תצורות, סכימות, תקנונים

ההטמעה לא מסתיימת בהרצת המודל לעבודה. הלקוח מקבל סט ארטיפקטים, שלפיו הצוות שלו יכול לאמן את המודל מחדש, להסביר את התנהגותו לבודק ולנהל תחזוקה בלעדינו. כל ארטיפקט עובר גרסאות יחד עם השינויים, לכן המצב הקודם משוחזר לכל תאריך.

• תצורות אימון — משימות עבור H2O AutoML עם מערך מאפיינים קבוע, כללי אימות ובחירת מודלים: הרצה חוזרת נותנת תוצאה דומה.
• סכימת זרימת נתונים — מאין מגיעים הנתונים הגולמיים, היכן הם עוברים אנונימיזציה, כיצד מגיעים לחלון האימון ואיזו מערכת אחראית לכל שלב.
• מדיניות גישה לנתונים — תפקידים, למי נגיש השכבה הגולמית, למי רק אגרגטים, כיצד מוענקות ומבוטלות הרשאות.
• תיעוד המודל — ייעוד, מאפייני קלט, גבולות יישום, מדדים על מדגם מושהה, התנהגות במחלקות נדירות.
• תקנון תחזוקה — תדירות אימון מחדש, סף ירידת מדד, סדר חזרה לגרסה קודמת.
• יומן ניסויים — אילו השערות נבדקו ומה לא עבד: מונע הרצות חוזרות.
• הוראות פריסה — כיצד להקים שירות תחזיות מאפס בסביבה נקייה.

מקרה בוחן: הערכת סיכון בקשות — מדדים לפני ואחרי

מנקודת מוצא

הערכת סיכון בקשות התבססה על כללים כתובים ביד: כמה עשרות תנאים, בחינה מחדש אחת לרבעון, כל תיקון — דרך אישור ושחרור. שיעור ההחלטות השגויות עמד על כ-18%: חלק מהבקשות המסוכנות עברו לאישור, ולקוחות בעלי יכולת פירעון קיבלו סירוב בגלל מאפיין פורמלי.

השערות חדשות נבדקו ידנית — האנליסט אסף מדגם וכתב קוד לכל אחת, לכן הדרך מרעיון לבדיקה על זרימה ארכה 6–8 שבועות.

מה שינו ומה קיבלו

אספו חלון מאפיינים מהיסטוריית בקשות, תשלומים ומקורות חיצוניים, קבעו מראש את מדד המטרה של דיוק התחזית ואת שיעור הסירובים המותר.

האימון ובחירת המודל עברו דרך H2O.ai AutoML: סריקת משפחות מודלים וכיוונון פרמטרים על אותה סכימת אימות — השוואת הווריאציות לא הייתה תלויה יותר במי וכיצד כתב את הקוד.

מה נשמר לאחר ההרצה

מהירות ההכנסה הפכה לניתנת לשחזור: אימון מחדש לפי לוח זמנים מתבצע על אותו מערך מאפיינים, וגרסה חדשה נכנסת לעבודה רק לאחר השוואה עם הנוכחית על קטע מושהה. הוספנו בקרת דריפט של נתוני הקלט והרצה בצל — בירידת דיוק בזרימה אנו חוזרים לגרסה הקודמת ללא השבתה. מאז שיעור ההחלטות השגויות לא עלה, ותיקוני כללים ידניים כמעט נעלמו מהתהליך.

במה שונה בחירה אוטומטית של מודלים מכיוונון ידני?

שתי הגישות פותרות אותה משימה — למצוא מודל שמועבר טוב יותר לנתונים חדשים. ההבדל הוא מי מנהל את הסריקה. בכיוונון ידני המהנדס בעצמו מגדיר את מרחב החיפוש: אילו משפחות מודלים לנסות, אילו היפר-פרמטרים לשנות ובאיזה טווח.

בבחירה אוטומטית המרחב מתואר פעם אחת, והסריקה, ההשוואה ובחירת המועמדים מבוצעות על ידי המערכת בעצמה — כולל הרכבת אנסמבלים מהפתרונות הטובים ביותר.

השוואת הגישות לפי עלות עבודה באה לידי ביטוי בראש ובראשונה בשלב הסריקה. מהנדס בודק באופן מושכל 10–20 תצורות במחזור: כל אחת צריכה להיות מאומנת, מוערכת לפי מדד ולא ללכת לאיבוד בטיוטות.

H2O.ai במצב AutoML עובר מאות תצורות ומחזיר לוח מובילים מוכן עם מדדים לכל מועמד — החלק השגרתי מצטמצם, ומפנה זמן לניתוח מאפיינים והכנת נתונים. כיוונון ידני של המודל נשאר הכרחי במקומות שבהם למשימה יש מעט תצפיות או שיש דרישה קשיחה לפרשנות.

בחירת מדד האיכות בשני המקרים נשארת בידי האדם — האוטומציה מייעלת בדיוק את מה שהגדירו לה. אם המדד נבחר לא נכון, המועמד הטוב ביותר בלוח המובילים יהיה רע כמצופה: בחוסר איזון בין מחלקות הדיוק מטעה, ובמקומו יש צורך בשלמות, F-מידה או שטח מתחת לעקומה. לכן לפני תחילת הסריקה מקבעים את המדד שלפיו משווים מועמדים, ומדגם מושהה נפרד שאינו משתתף בבחירה.

בקרת אימון יתר נבנית באותה צורה בשתי הגישות: הצלבה, הגבלת מורכבות ועצירה מוקדמת לפי מדגם מושהה. כדאי להסתכל לא רק על הערך הממוצע הטוב ביותר, אלא גם על פיזור המדד בין הקיפולים — מודל עם פער קטן והתנהגות יציבה מועבר בצורה אמינה יותר מאשר מוביל עם פער גדול.

הכלל "בוחרים לפי הממוצע, פוסלים לפי הקיפול הגרוע" מסנן מועמדים שנקלעו במקרה לחלוקה מוצלחת.

סיכום לגבי שליטה במודל: בחירה אוטומטית חזקה יותר במהירות סגירת מרחב ההשערות, כיוונון ידני — בפרשנות של כל שלב. תכנית עבודה — היברידית: אוטומציה כחקר (אילו משפחות וטווחים בכלל עובדים על הנתונים האלה), ואחר כך ליטוש מושכל של המועמד הסופי ובדיקתו על חתך זמני או מושהה.

ספקות טכניים: דריפט נתונים, איכות, תמיכה

ב-H2O.ai AutoML הכנת המערך, בחירת מאפיינים והשוואת מודלים מתבצעות אוטומטית, לכן הספקות ההנדסיים עוברים לנתונים ולתחזוקה — איכות התיוג, גישה לנתונים רגישים, ירידת ביצועי המודל עם הזמן. להלן — תשובות לשאלות שצפות לעתים קרובות לפני ההרצה.

האם ניתן לאמן על נתונים רגישים מבלי להוציא אותם החוצה?

כן: את האימון פורסים במסגרת שלך, גישה ניתנת באמצעות חשבון שירות עם הרשאות מינימליות, ואת השדות הרגישים מסווים לפני הכניסה למדגם האימון. יומן הפניות לנתונים נשאר אצלך, אין צורך בחילוצים מחוץ להיקף.

כיצד לזהות דריפט נתונים ומתי לאמן מחדש את המודל?

משווים את התפלגות מאפייני הקלט ואת שיעור הסירובים עם חתך ייחוס בזמן האימון: סטייה מעל הסף מפעילה אימון חוזר. עוקבים גם אחרי שיעור המקרים שבהם המודל אינו בטוח — כך אימון מחדש מתבצע גם לפי לוח זמנים וגם לפי אות.

מה כולל תמיכה במודל לאחר ההרצה?

עוקבים אחרי האיכות בזרימה, שומרים גרסאות ומחזיקים אפשרות חזרה לקודמת אם החדשה עובדת פחות טוב על נתונים חיים. אחת לרבעון בוחנים מחדש מאפיינים וספים, ומעדכנים תיעוד.

נדון במשימה: נתאים מצב ונחזור עם תכנית

להערכת הפרויקט מהלקוח נדרשים שלושה דברים: דוגמה לחילוץ נתונים עם תיאור שדות, מדד מטרה ומגבלות הסביבה — היכן המודל יעבוד ומי יש לו גישה אליו.

זה מספיק כדי להבין אם המשימה נפתרת באימון על נתונים היסטוריים או שצריך לנסח אותה מחדש. בהמשך העבודה מתנהלת בשלבים, ובכל שלב אתה מקבל ארטיפקט — תצורה, דוח מדדים או מודל עובד.

• דיון במשימה. מנתחים את התהליך שצריך לשפר ובודקים אם יש בנתונים אות מתאים: האם יש מספיק דוגמאות של מחלקה נדירה, האם אין דליפה של משתנה המטרה למאפיינים.
• הערכת הפרויקט. מקבעים מדד קבלה, היקף עבודה וסיכונים בנתונים; הרצה של H2O.ai AutoML על נתונים היסטוריים נותנת רמת בסיס לאיכות לצורך השוואה.
• תכנית עבודה. מסכמים על סכימת חלוקת הנתונים, הרכב המאפיינים, סדר הבדיקות ונקודות שבהן אתה מחליט על המשך.
• הרצת פיילוט. המודל מחשב תחזיות בזרימה אמיתית לצד התהליך הנוכחי; אי-התאמות עם מומחים מנתחים לפני העברה למסגרת הראשית.
• מסירת המודל לצוות הלקוח. מוסרים קוד אימון, תצורות חיפוש מודלים, סכימת אימון מחדש קבוע ותיעוד מדדים; עורכים סקירה עם המהנדסים שלך.
• תמיכה לאחר ההרצה. עוקבים אחרי דריפט נתונים, מעדכנים את המודל לפי תקנון ומנתחים תקלות יחד עם הצוות שלך.

תאר את המשימה בצורה חופשית: אילו נתונים יש עכשיו ואיזו תוצאה נדרשת. נחזור עם הערכת הפרויקט ותכנית עבודה — עם שלבים, מדדי קבלה ותחומי אחריות.