AutoML לבחירה אוטומטית של מודלים והיפר-פרמטרים מפתח-עד-מפתח

AutoML: למה סריקה ידנית של מודלים לא מתרחבת בקנה מידה

סריקה ידנית של מודלים נתקלת במגבלת שעות אדם לפני שהיא נתקלת באיכות הנתונים. מהנדס מגדיר סט בסיסי של שלושה-חמישה אלגוריתמים, עבור כל אחד סורק ידנית היפרפרמטרים, משווה מדדים על מדגם מוחזק וחזר על כך לאחר כל עדכון נתונים.

סריקת היפרפרמטרים גדלה באופן קומבינטורי: עשרה פרמטרים עם חמישה ערכים כל אחד — אלו עשרות אלפי קונפיגורציות, ומהן נבדקות ידנית בודדות.

צוואר הבקבוק השני בהטמעה — שחזוריות של ניסויים. כשהתוצאה תלויה בכך איזה חלוקה לקח מהנדס מסוים ובאיזה סדר שינה פרמטרים, המודל הטוב ביותר לא משתחזר כעבור חודש: לא ברור למה נבחר דווקא הוא ומה ישתנה בנתונים חדשים.

מכאן תרחיש אופייני — המודל אומן, המדד טוב, אבל הפתרון לא יוצא לעבודה, כי אי אפשר לשחזר ולהגן על התוצאה.

בחירה אוטומטית פותרת זאת אחרת: מרחב החיפוש ומדד המטרה מתוארים במפורש, ואז האסטרטגיה בוחרת נקודות בעצמה — אופטימיזציה בייסיאנית במקום סריקה מלאה, עצירה מוקדמת בקונפיגורציות חלשות בוודאות, אימות צולב עם חלוקות קבועות וזרע מחולל. כל הרצה מתועדת בלוג: פרמטרים, נתונים, מדד, ארטיפקט מודל — ההשוואה מפסיקה להיות ויכוח על טעם.

כך הסריקה הופכת לתהליך ניתן לשחזור, שמתרחב למשימות חדשות ואינו תלוי במומחה אחד. נפרט איך זה נסגר בפועל — מהגדרת המדד ועד מסירת המודל לתפעול.

מה נותן בחירה אוטומטית של מודלים והיפרפרמטרים

בחירה אוטומטית של מודלים — זה לא "כפתור שעושה את המודל". זה סריקה מוסדרת: מרחב הקונפיגורציות מוגדר מראש, תקציב החישוב מוגבל, וכל בדיקה מתבצעת לפי אותה סכמת אימות, ולכן התוצאות ברות השוואה ביניהן.

בפועל קונפיגורציה עובדת נמצאת אחרי עשרות בדיקות, בעוד שבעבודה ידנית מהנדס מספיק לבדוק באופן משמעותי שלושה-ארבעה וריאנטים.

האפקט השני — שיעור ההשערות שנפסלות בלי הרצות ידניות. הסינון נעשה אוטומטית לפי המדד על חלק המדגם המוחזק ולפי הפיזור בין החלוקות: אם התוצאה לא יציבה, הווריאנט בכלל לא מגיע למהנדס. לעבודה מגיעות רק קונפיגורציות שעברו את הסף, והאדם עוסק בהחלטות תוכן, לא בסריקה מכנית.

יציבות על נתונים חדשים נבדקת בנפרד מהאיכות באימון. בקרת האיכות של המודל כוללת מעקב אחר התפלגויות מאפייני הקלט: כאשר דריפט הנתונים יוצא מהמסדרון המותר, האימון מופעל מחדש לפי טריגר, ולא לפי לוח שנה. הידרדרות המדד נרשמת לפני שהמשתמש מבחין בה.

מהירות הוצאת המודל לעבודה — גם תוצאה מדידה. הקונפיגורציה המנצחת נארזת בארטיפקט בר-שחזור יחד עם פרמטרים וגרסת נתונים, ולכן הרצה חוזרת נותנת אותה תוצאה, ולא "בערך דומה". זה מקצר ישירות זמני השבתה: עדכון מפסיק להיות אירוע עם הרכבה ידנית של סביבה.

בנפרד נעלם סוג שלם של כשלים — שגיאות בקונפיגורציה ידנית. פער בין מה שנבדק לבין מה שהורץ הופך לבלתי אפשרי מבחינה טכנית, כי תיאור הניסוי והגרסה העובדת — אותו אובייקט.

AutoML ובחירה ידנית: השוואת גישות ומגבלות

מצב בחירת המודל נבחר לפי נפח ואיכות הנתונים, ולא לפי מורכבות המשימה על הנייר. אוטומציה מלאה מריצה עשרות ארכיטקטורות ורשתות היפרפרמטרים לפי מדד נתון — זה מוצדק כשהמדגם מייצג והמדד לא רועש. גישה היברידית משאירה לאוטומציה את הסריקה, ולמהנדס — את סכמת הבדיקה ובחירת המאפיינים.

מגבלת האוטומציה בולטת במיוחד במדגמים קטנים ולא מאוזנים: הסריקה מתאימה את עצמה לחלוקה מסוימת, ובנתונים חדשים האיכות יורדת. כאן אנחנו מקבעים את סכמת הבדיקה ידנית, ואת סריקת ההיפרפרמטרים מוסרים ל-Optuna — החיפוש מתבצע בתוך הגבולות שהוגדרו, והמודל משוחזר על חתך אחר. היבריד כזה נותן תוצאה שאפשר להגן עליה מול הלקוח ולחזור עליה בעדכון הנתונים הבא.

איך מתבצעת הטמעה של בחירה אוטומטית של מודלים

בחירה אוטומטית מאיצה את העבודה רק כאשר הנתונים והמדד כבר מוגדרים. אנחנו מתחילים לא מסריקת ארכיטקטורות, אלא מניתוח איך נאסף המדגם ומה נחשב לתשובה נכונה, — אחרת המודל הטוב ביותר לפי אימות סוטה מהמציאות בעדכון הנתונים הראשון. לאחר מכן — שישה שלבי הטמעה.

1. ביקורת נתונים ותהליך נוכחי. מקורות, שלמות הסימון, פערים בזמן, כפילויות, דליפות מאפיינים. בפלט — רשימת מגבלות ומדדים ששווה לייעל.

2. סכמת ניסוי. מקבעים את מדד המטרה, שיטת החלוקה לאימון ולבדיקה (לעיתים קרובות לפי זמן או לפי קבוצות, ולא באקראי), משפחות מודלים מותרות ותקציב חיפוש לפי מספר הרצות.

3. הגדרת קונטור. תור הרצות, בידוד סביבות, איסוף מדדים לכל ריצה, עצירה של קונפיגורציות חלשות בוודאות בשלבים מוקדמים, יומן ניסויים.

4. בחירת מועמדים. החיפוש מצמצם את המרחב לכמה וריאנטים עמידים לחלוקות שונות: צריך לא מוביל יחיד, אלא קבוצה באיכות דומה — רזרבה להחלפה.

5. בדיקת המודל על מדגם מוחזק. את המועמדים מריצים על נתונים שלא השתתפו לא באימון ולא בבחירת פרמטרים, ומשווים לפתרון הנוכחי באותם תנאים.

6. מסירה לתפעול. מוסרים קונפיגורציות, סקריפטים לאימון מחדש, תקנון עדכון וניטור איכות עם ספים שמתחתם המודל מוסר מהעבודה.

כל שלב מסתיים בארטיפקט ובמדד שמראים אם להמשיך או לסגת. הבחירה מפסיקה להיות ניסוי חד-פעמי והופכת לתהליך בר-שחזור.

מרשם ניסויים, תיעוד מודל ותקנונים

בדיקת הקבלה נבנית לא לפי תחושות, אלא לפי ארטיפקטים: אצל הלקוח נשאר כל מה שדרוש כדי להמשיך לעבוד על המודלים בכוחות עצמו או עם צוות אחר. מרשם הניסויים וכרטיסי המודלים מתעדים לא רק את התוצאה הטובה ביותר, אלא גם את הדרך אליה — ולכן הפעלה מחדש של הבחירה כעבור חצי שנה לא הופכת לחפירות.

• מרשם ניסויים — קונפיגורציות חיפוש (מרחב היפרפרמטרים, אסטרטגיית סריקה, תנאי עצירה), גרסת מערך הנתונים, מדד המטרה לבחירה וערכים סופיים. לפי רשומות אלו המודל הטוב ביותר משוחזר בלי הרצה חוזרת של כל החיפוש.
• תיעוד מודל — כרטיס לכל קונפיגורציה נבחרת: משימה, מאפייני קלט, איכות על מדגם מוחזק, ספי הפעלה ורשימה מפורשת של מגבלות — היכן אסור להשתמש במודל.
• סכמת נתונים — מקורות, שדות, טיפוסים, תדירות הגעה, כללי טיפול בערכים חסרים וחריגים, סדר הסימון. בעת החלפת מקור מיד רואים איזה חלק לתקן.
• כללי גישה — מטריצת תפקידים: מי רואה נתונים, מי מפעיל אימון מחדש, מי מאשר שחרור לתפעול תעשייתי. לצד זה — יומן פעולות עם גרסאות.
• תקנון אימון מחדש — טריגרים (דריפט של נתוני קלט, ירידת מדד מתחת לסף, חלון מתוכנן), בדיקות חובה לפני שחרור ואחראי על ההחלטה.
• הוראות נסיגה — היכן נשמרים משקלי גרסאות קודמות ואיך מחזירים מודל עובד בפעולה אחת.
• בעלים והעברת ידע — מומחה מוקצה מצד הלקוח ותשובות כתובות לשאלות נפוצות בתמיכה.

מקרה בוחן: איך קיצרו את זמן בחירת המודל ומספר הכשלים

הלקוח — שירות משלוחים עם תחזית ביקוש לפי כמה מאות קבוצות מוצרים. הצוות בדק השערות ביד: מהנדס הספיק להריץ 6–8 קונפיגורציות בשבוע, בחודש וחצי הצטברו כ-40 וריאנטים — וזה היה תקרת הסריקה.

את המודל הוציאו לתפעול כמעט רבעון, ובנתונים חדשים הוא החזיק לאורך זמן קצר: כשהעונתיות והמגוון השתנו, עד 18% מהתחזיות נפלו לשגיאה גסה, ואף אחד לא ראה מראש שהאיכות יורדת.

מה היה לפני השינוי

ארבעים השערות שנבדקו מול עשרות שילובים אפשריים של מאפיינים ופרמטרים — את הבחירה עשו על מדגם מוחזק אחד, בלי בדיקת יציבות לשינוי נתונים. את ההחלטה על ההוצאה קיבלו לפי מדד יחיד, ולכן סיבת הכשלים התבררה רק בתפעול. בחירה חוזרת ארכה עוד 4–6 שבועות, והצוות הסתובב במעגל.

מה שינו ומה נהיה

הרכיבו קו ייצור לבחירה: הכנת מאפיינים עם בקרת דליפות, סכמת אימות לפי זמן, חיפוש במרחב הפרמטרים על Optuna ובדיקות אוטומטיות לדריפט. מרשם המודלים מתעד סביבה ומדדים של כל ריצה, ולכן נסיגה לגרסה קודמת אורכת דקות.

מספר הכשלים ירד לא בזכות מודל מוצלח אחד, אלא מפני שכל גרסה עוברת כעת סט בדיקות זהה לפני ההוצאה. הצוות של הלקוח מפעיל בעצמו את הריצות ורואה אילו מאפיינים גוררים את האיכות למטה.

במה שונה בחירה אוטומטית מכיול ידני

ההבדל הוא במי שסורק את הווריאנטים. בחירה אוטומטית (AutoML) מגדירה מרחב חיפוש — משפחות מודלים, טווחי היפרפרמטרים, סכמת בדיקה על נתונים מוחזקים — ועוברת בו מאות שילובים בלילה. ביד, באותו מחזור, מהנדס בודק עשרה-שניים של קונפיגורציות: שאר הזמן הולך להכנת נתונים ולניתוח שגיאות.

האוטומציה מנצחת במשימות הומוגניות: נתונים טבלאיים, תחזית ביקוש, הערכת סיכון, ניתוח פניות. מרחב הפרמטרים שם רחב, והתלויות בין המאפיינים צפויות, ולכן הסריקה משתלמת כבר בהרצות הראשונות וחוזרת בכל עדכון נתונים בלי עבודה ידנית.

מומחה הכרחי בקלט. הוא מחליט איזה מדד מייעלים, איזו שגיאה יקרה יותר, היכן בנתונים יש דליפה של מאפיין המטרה ואיך להתחשב במחלקות נדירות. בחירה אוטומטית ממקסמת בנאמנות את מה שהוגדר — על מדד שגוי היא באותה ביטחון תוביל למודל חסר תועלת.

גם בפלט נדרש מהנדס: בדיקת הקונפיגורציה הטובה ביותר על תקופה נפרדת, ניתוח חשיבות מאפיינים, הערכת זמן תגובה בקונטור העבודה. האוטומציה מציעה מועמדים, וההחלטה מי מהם ישרוד את הנתונים האמיתיים מתקבלת בידי אדם.

לכן אנחנו לא מעמידים גישות זו מול זו. מומחה מתכנן את מרחב החיפוש ואת מדד האיכות, בחירה אוטומטית מבצעת את הסריקה וההשוואה, ומהנדס מנתח את התוצאה ובוחר מה יוצא לעבודה.

ספקות טכניים: איכות נתונים ובקרת מודל

AutoML מסיר את הסריקה הידנית של ארכיטקטורות והגדרות, אבל לא מבטל שאלות לנתונים. להלן מה שבדרך כלל בודקים לפני ההתחלה: האם יש מספיק דוגמאות, מה לעשות עם סימון לא מושלם, מי אחראי על עדכון המודל ולמי שייכת התוצאה.

הסימון לא מושלם — האם זה קריטי?

הוא קובע את תקרת האיכות. אנחנו מודדים עקביות בדוגמאות חופפות: אם מעריכים בלתי תלויים חלוקים לעיתים קרובות, המודל לומד על רעש. אז קודם מקבעים כללי תיוג ומנתחים מקרים שנויים במחלוקת, ורק אחר כך מפעילים את הבחירה — אחרת ההגדרות נותנות תוצאה אקראית.

מה יקרה למודל אחרי ההפעלה — האם הוא ידרדר?

קונטור העדכון נקבע כבר בהתחלה: גרסאות נתונים, סימון דוגמאות טריות, בדיקה לפני שחרור. גרסה חדשה מחליפה את הנוכחית רק אם עברה אותה על סט הבדיקות המשותף; אחרת נשארת הקודמת. אחרי נתוני הקלט עוקבים בנפרד — שינוי אופי הבקשות נראה לפני ירידת האיכות.

למי שייכים הנתונים והמודל המאומן?

לכם — יחד עם קונפיגורציות הבחירה ותסריטי האימון. למשימות שלנו אנחנו לא משתמשים בהם ולא מעבירים לצדדים שלישיים; את הזכויות מקבעים במסמכים.

נדון במשימה: מה דרוש כדי להתחיל בעבודה

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם שיקולים כלליים, אנחנו צריכים נתוני פתיחה על הנתונים ועל היכן המודל יעבוד. בדרך כלל מספיקה שיחה אחת של 30-40 דקות: אתם מתארים את המשימה, אנחנו שואלים שאלות הבהרה ואחר כך מציינים לוחות זמנים והרכב השלבים.

מה עוזר לחשב את המשימה במדויק:

• ייצוא או תיאור נתונים: אילו טבלאות, לוגים ואירועים כבר קיימים, לאיזו תקופה, האם יש סימון ובאיזה היקף;
• מאפיין מטרה ומדד: מה נחשב לתוצאה טובה — דיוק במחלקה נדירה, כיסוי, שיעור תיקונים ידניים או מהירות תגובה;
• היכן המודל אמור לעבוד: ענן, קונטור של הלקוח או היברידי, האם יש מגבלות על הוצאת נתונים;
• מצב שימוש: חישוב חוזר באצווה לפי לוח זמנים או תגובה בזמן אמת, באיזו תדירות מגיעים נתונים חדשים;
• איך בודקים איכות: האם יש תקופה מוחזקת לבקרה, מי בצד שלכם מקבל את התוצאה ולפי אילו קריטריונים;
• גישות להתחלה: קונטור בדיקות, מאגר קוד, הרשאות קריאת נתונים, איש קשר של האחראי על התשתית.

לפי סעיפים אלו אנחנו חוזרים עם הערכה, סכמת עבודה ותוכנית בדיקה: על אילו נתונים מאמנים, על איזה חתך מודדים את המדד ואיך מקבעים את הפער מול הפתרון הנוכחי.

AutoML לוקח על עצמו את סריקת המודלים ואת כיול ההיפרפרמטרים, אבל הגדרת המשימה וקריטריון הקבלה נשארים עלינו יחד איתכם — אותם גם נדון בשלב הראשון.

תארו את המשימה בצורה חופשית — נחזור עם הערכה, תוכנית עבודה וסדר קבלה ברור.