כיוונון עדין של LLM באמצעות PEFT: LoRA, QLoRA, AdaLoRA

כיוונון עדין של LLM: היכן מודל הבסיס נכשל

מודל שפה מוכן עונה בביטחה על שאלות כלליות ומתפרק ברגע שהשיחה עוברת לתחום ההתמחות שלכם. הוא מבלבל ראשי תיבות פנימיים, מציב מונח דומה בצלילו במקום המונח שלכם, מציין בביטחה סעיפים בתקנון שלא קיימים או מפנה למסמך שבוטל.

מכניקת הכשל צפויה מראש: מילה נדירה מתפרקת לרסיסים שכמעט אינם מופיעים בטקסטי האימון, והמודל משלים אותה באנלוגיה שכיחותית ממקורות פתוחים. מה שנהוג לכנות הזיית המודל אינו כאן רעש אקראי, אלא ההמשך הסטטיסטי הסביר ביותר — פשוט שגוי עבור ההקשר שלכם. ככל שהטרמינולוגיה הענפית ספציפית יותר, כך נשען המודל על פחות עוגנים.

עריכת הפרומפטים אינה סוגרת זאת. ההוראות בפרומפט שולטות בפורמט ובטון, אך אינן מוסיפות ידע: פרטו עשרה מונחים בתיאור — במונח האחד עשר, בסביבה חדשה, המודל שוב יגלוש להכללה. הארכת ההקשר עוזרת רק חלקית: התשובה נעשית איטית ויקרה יותר, והקשב לאמצע מערך עובדות ארוך מטשטש.

הדרך העובדת שונה — תיוג נתונים לפי הלקסיקון שלכם וכיוונון עדין של LLM על זוגות «שאלה אמיתית — תשובת ייחוס», כולל דוגמאות של שגיאות אופייניות וניסוחים אסורים.

המשקולות נעות לעבר הטרמינולוגיה שלכם, ואיכות התשובות של המודל מפסיקה להיות תלויה בשאלה אם מחבר הפרומפט הצליח לפרט מראש את כל הנדרש. להלן נפרק כיצד זה בנוי ומה בדיוק קובע את התוצאה.

ההשפעה במדדים: דיוק, יציבות, מהירות תשובה

את המדדים אנחנו מודדים על מערך מוחזק — אותן שאילתות שמגיעות בפעילות הייצורית, עם תיוג של המומחים שלכם. כך אנו מפרידים בין עלייה אמיתית באיכות לבין התאמה-יתר לדוגמאות האימון, שמתאפסת בניסוחים חדשים.

הדיוק על המערך המוחזק לאחר התאמת חלק קטן מהמשקולות עולה ב-8–15 נקודות אחוז במשימות תחומיות צרות — סדר גודל זה משוחזר במדידות ענפיות (LoRA: Low-Rank Adaptation of Large Language Models).

אנחנו מסתכלים לא על המספר המוחלט, אלא על הפער מול מודל הבסיס: הוא מלמד כמה ידע תחומי המערכת לא השיגה.

יציבות התשובות נמדדת בנפרד: כל ניסוח מריצים במספר פרפרזות ומודדים את הפיזור. לאחר ההתאמה שיעור התשובות שמאבדות את משמעותן כשמנסחים מחדש את השאלה יורד — המודל נאחז בעובדות התחום, ולא בחפיפה בניסוח. דווקא מדד זה הוא שלרוב מכשיל את הפיילוט: הדיוק הממוצע טוב, אך במקרים נדירים התשובות בלתי צפויות.

את מהירות שחרור השינויים אנחנו מודדים במחזור «מנת נתונים חדשה → מודל מעודכן בפעילות ייצורית». אדפטרים מתאמנים מהר פי כמה מכיוונון עדין מלא ואינם דורשים בנייה מחדש של מודל הבסיס: המחזור מתקצר משבועות לשעות, והחזרה לגרסה הקודמת נשארת בפקודה אחת.

סגירת פניות ללא נציג — מדד התוצאה, והוא עולה כנגזרת של שלושת הקודמים. לפיו מתקבלת ההחלטה איזו תצורת התאמה עוברת לפעילות ייצורית: שאר המדדים מסבירים מדוע זה יצא דווקא כך.

פורמטים של כיוונון עדין ל-LLM: מחזור מלא, אדפטרים, קוונטיזציה

בחירת פורמט הכיוונון העדין היא פשרה בין החומרה הזמינה, היקף הנתונים המתויגים ומידת השוני בין המשימה החדשה לבסיסית. אם הנתונים מועטים ויש רק לכוונן את סגנון התשובות, עדכון מלא של המשקולות הוא מיותר: די בהגדרת פרומפטים או באדפטרים. כשהמשימה דורשת לוגיקה תחומית חדשה, יש כבר צורך לעדכן חלק מהמשקולות — אך לא בהכרח את כולן.

איננו בוחרים פורמט מתוך הרגל: תחילה מריצים את מודל הבסיס על המערך שלכם ובוחנים היכן הוא טועה. אם הטעויות נפתרות בניסוח השאילתה — אין צורך באימון כלל. אם לא — מחשבים איזו אפשרות נותנת את האיכות הנדרשת במשאבים שלכם, ורק לאחר מכן מפעילים את המחזור.

שלבי העבודה: מביקורת נתונים ועד מסירת המודל

כיוונון עדין של LLM אינו אימון אחד, אלא רצף שלבים שכל אחד מהם נשען על תוצאת קודמו. ההיגיון שבסדר פשוט: תחילה להבין על מה ללמד וכיצד למדוד, ורק אחר כך לבחור את המצב ולהפעיל את האימון. להלן המסלול שבו מתנהל הפרויקט.

1. ביקורת נתונים. מאחדים את הקורפוס לפורמט אחיד, מסירים כפילויות וחפיפות בין מערכי הנתונים העתידיים, בודקים את איכות התיוג ואת זכויות השימוש. בתפוקה — דוח על הרכב הנתונים ורשימת חסרים שאותם סוגרים בתיוג.
2. הגדרת המדד. קובעים לפני האימון מה נחשב להצלחה במשימה הספציפית שלכם: דיוק על החתך היעד, שיעור סירובים, עמידה בפורמט התשובה, זמן התשובה. בלעדי זה אי אפשר לקבל את התוצאה באופן אובייקטיבי.
3. תוכנית האימון. בוחרים את מצב הכיוונון העדין — LoRA, QLoRA או AdaLoRA — לפי הזיכרון הזמין והיקף הקורפוס, קובעים את שכבות היעד, את דרגת האדפטר ואת סדר חלוקת הדוגמאות.
4. מערך ולידציה. מניחים בצד מערך מרובד לפי מקרים מורכבים ונדירים, שאינו משתתף באימון. עליו בודקים כל גרסת ביניים של האדפטר, ולא רק את הסופית.
5. בדיקה על נתונים מוחזקים. משווים את התוצאה למודל הבסיס ולפתרון הנוכחי, מפרקים את הטעויות לפי קטגוריות ובוחנים בנפרד אם המודל לא התאים עצמו לסגנון התיוג במקום למהות.
6. קבלת התוצאה. מריצים את המודל על התרחישים שלכם יחד עם המומחים שלכם, מצליבים עם המדדים שנקבעו וסף הסירובים, ומגישים פרוטוקול קבלה.
7. מסירה לפעילות ייצורית. מוסרים את האדפטרים, קונפיגורציות ההרצה, סקריפטים לשחזור והוראות לאימון מחדש על נתונים חדשים, ועוזרים לחבר את המודל למתאר שלכם.

תוצרי המסירה: קונפיגורציות, תרשימים ותקנונים

המסירה אינה מסתיימת במשקולות האדפטרים: אם יחד איתם לא עוברות גם הקונפיגורציות והתקנונים, הצוות לא ישחזר בעוד חודש את האימון ולא יבין מדוע המודל עונה דווקא כך. לכן את ערכת המסירה מקבעים כמסמך הנדסי — לפיו ממשיך את העבודה אדם שלא השתתף בפרויקט.

• קונפיגורציות האימון — היפר-פרמטרים, חלוקת הנתונים, ה-seed של המחולל, מודולי היעד של האדפטרים: הרצה חוזרת נותנת את אותה תוצאה.
• כרטיס המודל — מודל הבסיס והגרסה שלו, הרכב והיקף מערך הנתונים, המגבלות הידועות וסוגי השאילתות שבהם האיכות יורדת.
• תקנון העדכונים — טריגרים לאימון מחדש, סדר ההרצה, קריטריוני הקבלה ונקודת החזרה לאדפטר הקודם.
• ניטור איכות — בדיקות ומדדים המחושבים בזרימה, ספי ההפעלה וסדר ההסלמה בעת ירידה.
• הוראות לתמיכה — פריסה, החלפת גרסת האדפטר, ביטול מהדורה כושלת ומה לצרף לפנייה.
• תרשים הארכיטקטורה — מסלול השאילתה עד לתשובת המודל, מקומות אחסון התוצרים והתלויות בין השירותים.
• יומן ההחלטות — מדוע נבחרה דרגת אדפטרים כזו ואופן הקוונטיזציה הזה, אילו חלופות נדחו ומאיזו סיבה.

כל סעיף נבדק בקבלה: אם מהנדס חיצוני מרים לפי המסמכים הללו את האימון ומחזיר מהדורה לאחור בלי שאלות אלינו — המסירה הצליחה.

מקרה בוחן: הדיוק של התשובות עלה על פניות אמיתיות

הלקוח — שירות לקוחות עם זרם פניות לצ׳אט. מודל בסיס לשימוש כללי ענה בצורה מובנת על כ-6 שאלות מתוך 10, אך בלבל בין התנאים של שני שירותים דומים, הדביק אותם לתשובה אחת וציין בביטחה זמנים שלא הופיעו בתקנון. הנציג בדק ידנית כל תשובה, ומהירות התשובה נשמרה רק הודות לאנשים.

אספנו את היסטוריית ההתכתבות, הסרנו כפילויות ודוגמאות סותרות, תייגנו תשובות ייחוס וכיווננו את המודל עם אדפטרים LoRA. משקולות המודל עצמו נותרו ללא פגיעה: העדכון ארך דקות, לא שעות, והחזרה למהדורה הקודמת נעשתה בפקודה אחת — בלי בנייה מחדש ושחרור מחדש.

לאחר ההטמעה שיעור התשובות שהתקבלו ללא עריכה עלה מ-58% ל-89%, והפניות שעברו לנציג ירדו מ-34% ל-11%. זמן התשובה הראשון הממוצע ירד משלוש דקות ל-25 שניות, העומס על המשמרת פחת כמעט פי שלושה — הנציגים עסקו במקרים מורכבים במקום באלה האופייניים.

ניתוח הטעויות הראה היכן נותרו פערים: שאלות על התפר בין שני שירותים וחריגים מהתנאים. אותם הוצאנו למערך בדיקות נפרד ומאמנים מחדש את האדפטר ככל שנצברות פניות מנותחות. הדיוק על מערך הביקורת נשמר באותה רמה ואינו יורד לאחר עדכון נוסף — וזה היה לקריטריון הקבלה המרכזי.

במה נבדלים אדפטרים מעדכון מלא של המשקולות?

אדפטרים ועדכון מלא של המשקולות פותרים משימה אחת — להזיז את התנהגות המודל לעבר נתונים ספציפיים — אך צורכים משאבים בדרכים שונות. בכיוונון עדין מלא משתנים כל הפרמטרים: בזיכרון מחזיקים את המשקולות, הגרדיאנטים ומצבי האופטימייזר, והתוצאה חיה כעותק נפרד של המודל.

מכאן ההבדל המרכזי במשאבים: עדכון מלא דורש מלאי זיכרון וידאו גדול פי כמה ומותח את האימון ביחס ישר לגודל המודל. LoRA מאמן תוספות בדרגה נמוכה לשכבות קפואות — שיעור הפרמטרים המאומנים יורד לאחוזים, ודרישות החומרה פוחתות.

QLoRA מקוונטת בנוסף את המשקולות הבסיסיות ומאפשרת כיוונון עדין של מודלים גדולים על מכונה אחת, ו-AdaLoRA מקצה מחדש את הדרגה בין השכבות, ומעניקה קיבולת לאלה החשובות.

אדפטר הוא קובץ קומפקטי שמתחבר למודל בסיס בלתי משתנה. אפשר להחזיק כמה אדפטרים לתחומים שונים — תמיכה, טקסטים משפטיים, תיעוד טכני — ולהחליף ביניהם תוך כדי תנועה. עדכון מלא אינו מתרחב כך: כל אפשרות היא מערך משקולות בפני עצמו.

אדפטרים נוגעים בפחות פרמטרים, ולכן הידע הבסיסי והלוגיקה של המודל נפגעים פחות — שכחה קטסטרופלית מופיעה בתדירות נמוכה יותר. הצד השני — קיבולת מוגבלת: החלפה מלאה של תחום התמחות או שפה חדשה דורשות כיוונון עדין מלא.

את השיטה בוחרים לפי המשימה: עריכת סגנון ופורמט — LoRA, מודל גדול תחת מגבלות זיכרון קשיחות — QLoRA, נתונים לא הומוגניים שבהם השכבות חשובות במידה שונה — AdaLoRA.

ממשק אחיד אליהם מספקת הספרייה Hugging Face PEFT: קונפיגורציית האדפטר מתוארת באופן דקלרטיבי ומשוחזרת באופן זהה באימון ובהסקה.

ספקות טכניים שאיתם מגיעים לפני ההתחלה

לפני תחילת הכיוונון העדין של LLM עולות בדרך כלל אותן שאלות: האם יספיקו הנתונים, היכן יאוחסנו הדוגמאות, כמה זמן להמתין לתוצאה הראשונה ומי אחראי למודל לאחר העלייה לאוויר. להלן תשובות קצרות לעניין; מקרה לא שגרתי ננתח בנפרד.

את התיוג אספו במשך שנים ואנשים שונים — האם אפשר לסמוך עליו?

מחשבים את מידת ההסכמה על תיוג כפול ומנתחים את אי-ההתאמות. מחלקות שנויות במחלוקת מנסחים מחדש, על היתר מאמנים ובודקים על מערך מוחזק. איכות התיוג מניבה עלייה גדולה יותר מהחלפת שיטת האימון.

הנתונים אינם יכולים לצאת מהמתאר שלנו. האם זה בר-ביצוע?

כן. את האימון פורסים בתשתית שלכם: מערך הנתונים והאדפטרים נשארים בפנים, הגישה — לפי תפקידים, הפעולות מתועדות בלוג. החוצה יוצאים רק מדדי האיכות וגרסאות התוצרים.

כמה זמן עד לתוצאה הראשונה?

אדפטר עובד — שבועות, לא חודשים: הכנת הקורפוס, קו בסיס, אימון, הערכה על מערך מוחזק. את לוחות הזמנים מזיזים לרוב לא האימון, אלא תיאום קריטריוני האיכות.

מי אחראי למודל לאחר ההפעלה?

אנחנו. מנהלים את מדדי האיכות, עוקבים אחרי דריפט הנתונים ומאמנים מחדש לפי טריגר. כל אדפטר מנוהל בגרסאות, ולכן החזרה לגרסה עובדת קודמת — פקודה אחת.

נדון במשימה ונחזור עם הערכה ותוכנית עבודה

כדי לחזור עם הערכת לוחות זמנים ותוכנית עבודה, ולא עם ניסוחים כלליים, אנחנו זקוקים למינימום הקשר על המשימה שלכם. ספרו לנו איזה מודל ועל אילו נתונים אתם מתכננים לבצע כיוונון עדין ומה בדיוק צריך להשתנות בתשובותיו — זה מספיק כדי לציין טווח של מאמץ וסדר שלבים.

מה לשלוח לשם ההערכה:

• תיאור המשימה ודוגמאות של שאילתות שבהן המודל הנוכחי טועה;
• מערך דוגמאות בצורה שבה הוא נשמר אצלכם — אפילו כמה מאות שורות כבר מלמדות;
• היכן הפתרון יעבוד: במתאר שלכם או בסביבה חיצונית;
• את העומס הצפוי — כמה שאילתות ביממה ואיזו תגובה נחשבת לקבילה;
• קריטריוני קבלה: מה נחשב להצלחה, מעבר ל«עונה טוב יותר».

בשיחה נבהיר את סכמת התיוג והיקף המערך עבור השיטה הנבחרת, האם יש צורך בכיוונון עדין של המודל כולו או שמספיקים אדפטרים, כיצד נחלק את הנתונים לאימון ולבדיקה ובאמצעות מה נתפוס ירידה בתפקוד בתרחישים נדירים.

את תוכנית העבודה מרכיבים משלבים: הכנה וניקוי נתונים, קו בסיס על המודל הנוכחי, אימון, השוואה על מערך מוחזק, אריזה ומסירה עם תיעוד. פיילוט על הנתונים שלכם מתבצע לפני השלב המרכזי — הוא מראה את העלייה האמיתית באיכות ומסיר שאלות בנוגע ללוחות זמנים. תארו את המשימה — ונחזור עם הערכה ותוכנית.