אופטימיזציה של היפר-פרמטרים עם Optuna ו-Ray Tune — ניסיון ב-HPO

אופטימיזציה של היפר-פרמטרים: היכן בדיוק נאבדת איכות המודל

איכות המודל נאבדת לא בשלב בחירת הארכיטקטורה, אלא בהליך בחירת פרמטרי המודל. כאשר מרחב החיפוש מוגדר לפי הערכה גסה, ומספר ההרצות מוגבל בזמן, אופטימיזציה של היפר-פרמטרים הופכת למעבר על כמה שילובים סבירים — והתוצאה תלויה במי ובאיזה סדר עבר עליהם.

המקור הראשון לשגיאה — מטריקות לא יציבות. על מדגם ולידציה קטן, הפיזור בין קונפיגורציות שכנות דומה להשפעה של הפרמטר עצמו: הבדל של שברי אחוז הוא רעש, לא שיפור.

אם לא ממצעים את המטריקה על פני כמה פיצולים ולא מקבעים את המצב ההתחלתי של מחולל המספרים האקראיים, השילוב הזוכה הוא שילוב אקראי.

המקום השני — אוברפיטינג סמוי על הוולידציה. כאשר על אותו מדגם גם בוחרים קונפיגורציה וגם מחליטים מתי לעצור את האימון, הוא מפסיק להיות הערכה בלתי תלויה. המודל נראה טוב על הוולידציה אך סוטה ממנה על נתונים חדשים, והפער מתגלה רק לאחר ההטמעה בפרודקשן.

השלישי — איטרציות ידניות. כל מחזור של «שינינו פרמטר, הפעלנו מחדש את האימון» לא משאיר היסטוריה: לא ברור איזו קונפיגורציה נתנה איזו תוצאה ועל איזה פיצול. יכולת השחזור של האימון נשברת, ולא ניתן לשחזר הרצה מוצלחת כעבור חודש.

אנחנו מפרקים את הבחירה כהליך הנדסי: פיצולים מקובעים, סט בקרה נפרד, יומן של כל ההרצות עם פרמטרים ומטריקות, חיפוש בייסיאני כמו Optuna ו-Ray Tune במקום מעבר ידני. להלן — איך זה נראה בפועל.

מה נותנת אופטימיזציה שיטתית של היפר-פרמטרים באימון

אופטימיזציה שיטתית של היפר-פרמטרים מתחילה בקריטריון ניתן לבדיקה: כמה הרצות דרושות כדי להגיע לאיכות המודל הרצויה. במעבר ידני המהנדס מנחש את קצב הלמידה ואת עוצמת הרגולריזציה, ומבזבז הרצות על קונפיגורציות שהן מראש גרועות מאלה שכבר נבדקו.

חיפוש מנוהל בונה מודל תחליפי על סמך הרצות קודמות ומציע את הנקודה הבאה במקום שבו צפויה תועלת — הדרך למטריקה הרצויה מתקצרת פי כמה, ולא באחוזים.

איכות המודל מוערכת לא במספר אחד, אלא בפיזור של המטריקה על פני כמה פיצולים. מקבעים זרעים של מחולל המספרים האקראיים, מבצעים סטרטיפיקציה של המדגמים, מחשבים את המטריקה בקרוס-ולידציה — אז רואים שהשיפור אמיתי ולא נמשך מפיצול מוצלח. פיזור צר הופך את שינוי הכיול לפרשני, וההחלטה על פריסת המודל מתקבלת לפי נתונים, לא לפי אינטואיציה.

העומס החישובי מוגבל על ידי עצירה מוקדמת: קונפיגורציה שמפסידה למובילה כבר באפוקים הראשונים לא תופסת את הציוד עד הסוף. ההרצות הנותרות מתבצעות במקביל, ולכן החיפוש נכנס לאותו תקציב זמן כמו מעבר סדרתי אחד, אך מכסה מרחב פרמטרים גדול בהרבה.

יכולת השחזור של הניסויים נשענת על היומן: פרמטרים, גרסת נתונים, פיצול והמטריקה שהתקבלה נשמרים עבור כל הרצה. כעבור חודש ניתן להקים מחדש כל מחקר, לחזור על ההרצה הטובה ביותר ולהשוות להשערה חדשה — התוצאה אינה תלויה במי ומתי קיבל אותה.

כדאי לבדוק לפי הצירים האלה: הזמן עד למטריקת היעד, יציבות האיכות על נתונים חדשים, נפח החישוב וחזרתיות — אם לפחות אחד מהם אינו נשלט, החיפוש הופך ללוטו.

מצבי חיפוש: גריד, בחירה אקראית, בחירה בייסיאנית

מרחב החיפוש — זה כמה קונפיגורציות קיימות באופן עקרוני: מספר השכבות, קצב הלמידה, מקדם הרגולריזציה, אורך ההקשר והטווחים המותרים שלהם. מצב החיפוש קובע אילו נקודות מתוך הנפח הזה באמת נאמן ובאיזה סדר.

עם עשרה פרמטרים הגריד נפרש לאלפי הרצות, ולכן בוחרים את המצב לפי ממדיות המרחב ולפי החלקות של מטריקת היעד.

איך לבחור מצב בהתאם למשימה

עצירה מוקדמת פועלת מעל כל מצב ואינה מחליפה אותו. מטריקות ביניים נמדדות על חלק מהאפוקים, וניסיון שמפגר אחרי הטוב ביותר מוסר — המשאבים עוברים לקונפיגורציות מבטיחות.

מתכננים כמו Optuna ו-Ray Tune נותנים את כל שלושת המצבים ואת החיתוך במעגל אחד, ולכן החלפת מצב היא עניין של קונפיגורציה, לא של כתיבה מחדש של האימון.

שלבי הטמעת מחזור בחירת פרמטרי המודל

מחזור בחירת הפרמטרים נשבר לא במתמטיקה, אלא בהיעדר יכולת שחזור: הנתונים מוכנים ידנית, מטריקת היעד משתנה מהרצה להרצה, והתוצאות שוקעות במחברות מפוזרות. להלן — סדר העבודות שאחריו בחירת הפרמטרים הופכת לחלק ממעגל האימון, ולא לפעולה חד-פעמית לפני שחרור.

1. ביקורת מעגל האימון. מפרקים את הכנת הנתונים, קיבוע הפיצולים למדגמים, חישוב מטריקת היעד ומשך הרצה אחת. בפלט — מפת צווארי בקבוק והערכה של כמה ניסויים באמת עוברים במקביל.

2. תוכנית ניסויים. מתאמים קו בסיס, טווחים וצעד לכל פרמטר, תקציב הרצות וכלל עצירה. בנפרד מסמנים מטריקות משניות, כדי שהמודל לא ייבחר לפי מספר אחד.

3. הגדרת החיפוש. מרימים מתכנן (למשל, Optuna), מפעילים עצירה מוקדמת של הרצות חלשות מראש ויומן ניסויים. כל הרצה שומרת קונפיגורציה, פיצול וארטיפקט מודל — התוצאה משוחזרת בהרצה אחת.

4. בדיקת יציבות. את הקונפיגורציה המנצחת מריצים על כמה פיצולים ותנאי התחלה, בודקים את פיזור המטריקה ואת ההתנהגות במחלקות נדירות. אם הפיזור דומה לשיפור, הקונפיגורציה לא מתקבלת.

5. מסירת הפתרון. מוסרים סכמה של מרחב החיפוש, קונפיגורציה עובדת, יומן ניסויים ותקנון הרצה, ומלמדים את הצוות על הנתונים של עצמו.

6. ליווי המחזורים הראשונים. מבצעים כמה בחירות חוזרות יחד עם הצוות: מדייקים טווחים, מפרקים ירידות במטריקה. בהמשך המחזור חי בלעדינו — לפי התקנון.

ארטיפקטים בפלט: קונפיגורציות, דוחות, תקנונים

ארטיפקטים — זה מה שמבדיל פתרון שנמסר מהדגמה חד-פעמית. אנחנו מוסרים סט קבצים שלפיו אפשר להרכיב מחדש ולבדוק מחדש את המודל בלי המחבר: פרמטרי החיפוש לא מוטבעים בקוד, אלא מונחים לצד תיאור הנתונים שעליהם התקבלו.

• קונפיגורציות אימון — קובץ נפרד עם מרחב החיפוש, גבולות ערכים וזרע מקובע של המחולל; הרצה חוזרת נותנת תוצאה דומה, ולא «מה שיצא».
• יומן ניסויים — טבלה לפי כל הרצה: פרמטרים, מטריקה על הוולידציה, משך, סטטוס. רואים אילו שילובים נבדקו ולמה נבחר השילוב הסופי.
• דוח מטריקות — השוואה בין מודל בסיס למודל מכויל עם פילוח לפי סגמנטים: היכן יש שיפור, היכן אין, ובזכות מה הושג השיפור.
• תקנון הרצה — סדר השלבים: הכנת נתונים, חיפוש, קיבוע הקונפיגורציה הטובה ביותר, בדיקה על מדגם מושהה. המחזור חוזר על ידי מהנדס חדש בלי המחבר.
• תיעוד הפתרון — ארכיטקטורה, נתוני קלט ופלט, תלויות ומגבלות; עונה על השאלה מה לעשות אם האיכות ירדה.
• רשימת קבלה — לפי אילו סימנים הכיול נחשב להסתיים: מטריקת היעד הושגה, הפיזור בין הרצות תקין, חזרה לקונפיגורציה קודמת אפשרית.

כל סעיף נבדק יחד עם הצוות שלכם: מריצים חיפוש אצלכם, משווים יומן ומטריקות. אם משהו לא משוחזר — זו אחריותנו, ולא «שאלה של הסביבה».

מקרה בוחן: איך צמצמנו את המעבר על קונפיגורציות פי כמה

באחד הפרויקטים לזיהוי מסמכים, בחירת קונפיגורציית המודל נשענה על מעבר ידני: המהנדס קבע ערכים, הפעיל אימון ולפי היומן החליט לאן להתקדם.

למשימה אחת נדרשו 40–60 הרצות, הבחירה נמשכה שבוע, והפיזור של האיכות הסופית בין הרצות על אותם נתונים הגיע לשמונה אחוזים — התוצאה הייתה תלויה במי ובאיזה סדר עבר על הפרמטרים.

העברנו את הבחירה למחזור אופטימיזציה אחיד על Optuna: את מרחב החיפוש תיארנו בקובץ קונפיגורציה עם סוגי פרמטרים וגבולות, עבור חלקם הגדרנו סקאלה לוגריתמית, הפעלנו עצירה מוקדמת לפי מטריקת ביניים והרצות חוזרות עם זרע אקראי מקובע.

כל ניסיון נכנס ליומן יחד עם הפרמטרים והתוצאה, ולכן הקונפיגורציה הטובה ביותר משוחזרת בפקודה אחת, ולא משוחזרת מהזיכרון של מישהו אחר.

לאחר ההטמעה, הבחירה דורשת 12–18 הרצות במקום 40–60: המחזור בעצמו חותך ענפים חלשים ולא מבזבז עליהם אימון.

הפיזור של האיכות בין הרצות הצטמצם משמונה לשני אחוזים, זמן הבחירה — משבוע ליום אחד, וחזרה לקונפיגורציה קודמת אורכת דקות, כי לצידה מונחים הפרמטרים שלה, המטריקות וגרסת הנתונים שעליהם הן התקבלו.

היציבות כאן חשובה יותר ממטריקת שיא: מודל שבאימון חוזר נותן תוצאה קרובה אפשר למסור לתפעול ולעדכן בלי הפתעות. בדיוק את מרווח השחזור הזה אנחנו רואים כתוצאה העיקרית של ההטמעה.

במה בחירה בייסיאנית נבדלת מבחירה אקראית

בחירה אקראית לוקחת ערכים מהתפלגויות נתונות באופן בלתי תלוי זו בזו — כל נקודה הבאה לא קשורה למה שהראו ההרצות הקודמות. במרחב של עשרה פרמטרים, שבהם באמת משפיעים שניים-שלושה, זה נותן כיסוי אחיד ומתכנס לא גרוע מגריד, אבל בלי גידול מתפוצץ במספר השילובים. אין עלויות תקורה: המודל לא נבנה, ההרצות בלתי תלויות ויוצאות במקביל.

בחירה בייסיאנית עובדת עם היסטוריה. על סמך כל ההרצות הקודמות נבנה מודל תחליפי — הערכת צפיפות של פונקציית המטרה, כמו ב-Optuna, או תהליך גאוסי — והוא מנבא היכן המטריקה עשויה להשתפר.

הנקודה הבאה מוצבת במקום שבו התועלת הצפויה מקסימלית: החיפוש מתעבה סביב אזורים מבטיחים וחוקר באופן שונה צירים עם רגישות שונה. המחיר לכך — הרכבה מחדש של המודל בכל צעד ואופי סדרתי של ההצעה.

הקריטריון לבחירה — יחס העלויות. אם הרצת אימון אחת אורכת עשרות דקות, והתקציב מוגבל בכמה מאות הרצות, בחירה בייסיאנית משתלמת בזכות מספר איטרציות קטן יותר עד למטריקת היעד.

אם יש יותר מעשרים פרמטרים, פונקציית המטרה קרועה, או שהתקציב נמדד בעשרות נקודות, בחירה אקראית לא גרועה: המודל התחליפי על היסטוריה כזו לא מתאמן מספיק ומוביל את החיפוש לאופטימום שווא. כשצריך מקביליות רחבה, הרצות בלתי תלויות גם הן מנצחות.

בפועל אנחנו משלבים: דגימה אקראית התחלתית נותנת נתונים למודל, לאחר מכן מופעל מצב בייסיאני, ואת השוואת השיטות מובילים לפי מספר ההרצות עד לאיכות הרצויה בתקציב קבוע. כך קריטריוני הבחירה מפסיקים להיות עניין של טעם.

מגבלות השיטה: מטריקות רועשות, הרצות יקרות, אוברפיטינג

השיטה מפסיקה לעבוד באופן צפוי כאשר אין פער ברור בין קונפיגורציות. מטריקת היעד על נתונים אמיתיים כמעט תמיד רועשת, ולכן התוצאה הטובה ביותר בהרצה אחת עשויה להיות קפיצה אקראית ולא להשתחזר בהרצה הבאה.

משווים לא לפי מספר אחד, אלא לפי כמה הרצות: בודקים חציון ופיזור, ואפשרויות עם פיזור רחב נזרקות, גם אם ערך השיא שלהן גבוה יותר. יציבות התוצאה כאן חשובה יותר ממקסימום יפה.

הגבול השני — מחיר ההרצה: כאשר אימון של קונפיגורציה אחת אורך שעות, מעבר מלא לא נכנס לזמן סביר. עובדים במפל — תחילה הערכה גסה על חלק מהנתונים ובמספר צעדים מצומצם, אחר כך דיוק רק של נקודות מבטיחות, ואת השאר מפסיקים לפי מטריקות ביניים, בלי לחשב עד הסוף.

בנפרד עוקבים אחרי אוברפיטינג לוולידציה: אם בוחרים קונפיגורציה לפי אותו מדגם שעליו אחר כך מודדים, המטריקה עולה, אבל האיכות על נתונים חדשים — לא. לכן מחזיקים חתך מושהה שלא משתתף בבחירה, ומגבילים את מספר הניסיונות הכולל.

איך להבין שהבחירה הסתגלה לוולידציה?

משווים את המטריקה על הוולידציה ועל חתך בלתי תלוי שלא השתתף בחיפוש. אם הפער גדול באופן יציב מהפיזור הנצפה — חוזרים על חלק מהחיפוש בפיצול אחר ומצמצמים את מספר הניסיונות, אחרת היתרון יישאר רק על הנייר.

נדון במשימה: נתאים מצב חיפוש למודל שלכם

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם מילים כלליות, צריך נתוני פתיחה על הפרויקט: איך האימון בנוי עכשיו, לפי איזו מטריקה אתם שופטים את האיכות, ואילו מגבלות זמן יש להרצה. לפיהם כבר מתאימים מצב חיפוש — ממעבר גריד פשוט ועד חיפוש בייסיאני עם חיתוך מוקדם של הרצות חלשות.

• מטריקת איכות: מה בדיוק אנחנו מייעלים, האם היא נמדדת על מדגם מושהה והאם אין מטריקה שנייה שאסור להוריד.
• מעגל האימון הנוכחי: היכן מריצים ניסויים, כמה נמשכת הרצה אחת וכמה משימות אפשר לנהל במקביל.
• מרחב הפרמטרים: אילו פרמטרים משתנים, הטווחים והסוגים שלהם, אילו שילובים כבר נבדקו והתבררו כמבוי סתום.
• מגבלות זמן: כמה זמן הוקצה לכל החיפוש, האם יש מועד סופי קשיח והאם מותר לעצור הרצות חלשות מראש לפני הזמן.
• תוצאה מצופה: איזה שיפור במטריקה נחשב להצלחה — צריך את המודל הבודד הטוב ביותר או תוצאה יציבה שלא תלויה בהתחלה אקראית.
• הרשאות ואחסון: איך להריץ ניסויים במעגל שלכם, לאן לאסוף את היסטוריית ההרצות ואיפה לשמור קונפיגורציות של האפשרויות הטובות ביותר.

תארו את המשימה בגבולות האלה — נחזור עם הערכה ותוכנית עבודה: איזה מצב חיפוש יתאים, כמה הרצות יידרשו ומה תקבלו בפלט.