Textual Inversion: היכן נשבר האימון על מדגם קטן
אימון על מדגם קטן כמעט תמיד נתקל באותו דבר: יש מספיק רפרנסים כדי שהמודל יזכור את הפריימים, אבל אין מספיק כדי לבודד מתוכם את האובייקט עצמו. עשרים-שלושים צילומים מאותה זווית, באותה תאורה ועל אותו רקע — ו-Textual Inversion לומד ביושר את כל מה שחוזר על עצמו, כולל הרקע.
אוברפיטינג של המודל נראה משגשג באופן מטעה: השגיאה על דוגמאות האימון יורדת, מדגמי הביניים מתכנסים כמעט באופן מושלם. רק שבמקום צורת האובייקט, הווקטור סופג את רקע הסטודיו, את הצללים, את טמפרטורת הצבע ואת רעש החיישן — מה שהיה זהה בכל הפריימים, אבל אינו האובייקט.
הכשל ניכר לא באימון, אלא בפריימים חדשים. הזווית והתאורה משתנות — והאובדן של זיהוי האובייקט נעשה ברור: הגיאומטריה «צפה», הפרופורציות מתפזרות מגנרציה לגנרציה, וגנרציה לא יציבה מפיקה פעם צללית סבירה ופעם ארטיפקטים אקראיים. ובמקביל הרקע דולף גם לפרומפטים זרים שאף אחד לא ביקש.
השורש טמון בהכנת מערך הרפרנסים: פריימים אחידים לא מאפשרים למודל להפריד את התכונה הקבועה של האובייקט מתנאי הצילום המשתנים, והוא נאחז בדבר הפשוט ביותר — בתפאורה.
נבחן כיצד סוגרים זאת: אילו מאפיינים של המערך מעידים על אוברפיטינג מראש וכיצד לבנות אימון שמחזיק את צורת האובייקט, ולא את הרקע.
מה נותן היישום: אפקט בלי לבנות מחדש את מערך הנתונים
Textual Inversion מבצע fine-tuning ל-Stable Diffusion על 5–15 תמונות שלכם: המודל מקבל טוקן נפרד שמתאר דמות או אובייקט ספציפיים, והמשקולות הבסיסיות נשארות ללא שינוי. ריצת אימון אחת אורכת דקות, ולכן גרסה עובדת מופיעה באותו יום שבו נאסף מערך הרפרנסים.
אפשר לשנות את ניסוח הפרומפט או להוסיף פריימים בלי לבנות מחדש את מערך הנתונים — האיטרציות כמעט לא גובות זמן.
שיעור הפריימים המוצלחים עולה באופן צפוי: הטוקן המאומן מקבע את הפנים, את התסרוקת ואת פרטי הלבוש האופייניים, והגנרטור מפסיק להמציא אותם מחדש בכל ריצה. אם לפני ה-fine-tuning נדרשו 15–20 ניסיונות לפריים אחד ראוי, אחריו מספיקים 2–4. גם אופי העבודה משתנה: הזמן של האמן מוקדש לבחירה, ולא לציור מחדש.
יציבות הסגנון היא החצי השני של האפקט. זיהוי הדמות נשמר בסצנות חדשות, בתנוחות שונות ובתאורה שונה: פנים, חוץ, תקריב — הפנים נשארות אותן פנים. אפשר להשלים צילומים של סדרות גם לאחר חודשים, והפריימים החדשים יתאימו לאלה שכבר אושרו.
בנפרד מוסר סוג הכשלים המוכר למי שאימן את המודל ב-full fine-tuning: שכחה של כישורים בסיסיים, תמונה «שרופה» בפרומפטים נדירים, תלות בזווית אחת בלבד. כאן משתנה רק הטוקן החדש, ולכן שאר היכולות של המודל נשארות פעילות, והזמן עד לגרסה עובדת ראשונה נמדד בשעות, ולא בימים.
Textual Inversion או fine-tuning של שכבות: מה לבחור
בחירת השיטה נקבעת לא לפי מי מהן «חזקה יותר», אלא לפי היקף הנתונים ועד כמה הנושא החדש שונה מהמודל הבסיסי.
אימון פרומפטים טקסטואליים (Textual Inversion) משנה רק את הייצוג של מילת הסימון: המשקולות של המודל הבסיסי Stable Diffusion נשארות ללא שינוי, התוצאה שוקלת קילובייטים ספורים ומועברת בין בילדים.
המחיר של הקומפקטיות הוא כושר ביטוי מוגבל: הפרומפט מתאר את מה שהמודל כבר יודע, ומתמודד פחות טוב עם קומפוזיציות חדשות.
Fine-tuning של שכבות נוגע בחלק קטן מהמשקולות — אדפטרים, שגדולים בסדרי גודל מאשר בפרומפט. זוהי השפעה מלאה על הסגנון בהיקף דוגמאות מתון, אבל הכיוונון ידני: אילו שכבות לאמן, באיזו מהירות, ובאיזה שלב לעצור.
השוואת גישות
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| אימון פרומפטים טקסטואליים | יחידות עד עשרות דוגמאות, צריך להכניס אובייקט או סגנון למודל שכבר עובד, חשובה הניידות | שולט חלש בקומפוזיציה, לא מחליף fine-tuning בתחום תוכן אחר, קל «למשוך» תכונות מיותרות |
| Fine-tuning של שכבות | עשרות עד מאות דוגמאות, נדרשת דמות או סגנון מזוהים תוך שמירה על היכולות הבסיסיות | רגיש לבחירת שכבות ולמהירות האימון, סיכון גבוה יותר לאוברפיטינג, הארטיפקט גדול יותר |
| Fine-tuning מלא של המודל | תחום התוכן שונה מאוד מהמקור, יש מאות עד אלפי דוגמאות, קיים משאב חישובי | ארוך ויקר במשאבים, היכולות הבסיסיות נשכחות, החזרה אחורה ושחזוריות מורכבות יותר |
הבדיקה אחת לכולם: מדגם מושהה והשוואה למודל המקורי. אם לאחר ה-fine-tuning נעלם משהו שהמודל ידע קודם, חותכים שלבים או עוברים לשיטה קלה יותר.
שלבי העבודה: מאודיט הרפרנסים ועד מסירת המודל
Textual Inversion רק לעיתים נדירות מצליח בריצה אחת: התוצאה תלויה בהרכב המערך, באיכות הכיתובים ובאיזון בין דמיון לשליטה. אנחנו עובדים באיטרציות ומקבעים כל שלב — לקראת המסירה נשארת אצל הלקוח סכימה משועתקת, ולא מערך משקולות מוצלח אחד.
- אודיט הרפרנסים. מפרקים את קבצי המקור: זוויות, תאורה, רקע, כפילויות, ארטיפקטי דחיסה. מקבעים מה בדיוק צריך להיכנס לקונספט — פניה של הדמות, סגנון הצילום, המרקם של האובייקט — ואילו תכונות המודל לא אמור לאמץ.
- סכימת האימון. מרכיבים זוגות «פריים — כיתוב», מיישרים את הכיתובים לפי תבנית ומוסיפים תמונות מווסתות, כדי שהקונספט לא «יידבק» לרקע. כאן גם מגדירים את טוקני היעד, את מהירות האימון ואת מספר השלבים.
- ריצות אימון. מריצים כמה סדרות עם הגדרות שונות ושומרים נקודות ביקורת ביניים — לפיהן רואים באיזה שלב המודל מתחיל לעבור אוברפיטינג ומאבד שליטה לפי התיאור הטקסטואלי.
- בדיקה על פריימים חדשים. מריצים כל גרסה על פרומפטים שלא היו במערך: שינוי תנוחה, תאורה, סביבה. מסתכלים לא רק על הדמיון, אלא גם על האם המודל מקשיב לתיאור.
- בחירת גרסת המודל. משווים מועמדים לפי קרבה לרפרנס, עמידות לניסוח מחדש של הפרומפט והיעדר תכונות מיותרות. לוקחים לא את הדומה ביותר, אלא את הצפויה ביותר בעבודה.
- מסירה. מוסרים קובץ אמבדינג, קונפיגורציית ריצה, מערך פרומפטים לבדיקה והוראות: כיצד לחבר את הקונספט, באיזה משקל ומה לעשות בעת החלפת המודל הבסיסי.
ארטיפקטים של הפרויקט: מודל, קונפיגורציות, תקנונים
התוצאה של הפרויקט היא לא רק גרסה עובדת של המודל, אלא גם כל מה שנדרש להפעלה עצמאית שלו. בלי פרמטרי אימון מקובעים ותקנון להרצה חוזרת, המודל הופך במהרה לקופסה שחורה: הסגנון משועתק, אבל לשחזר אותו על נתונים חדשים הצוות של הלקוח כבר לא מצליח. לכן את חבילת המסירה מרכיבים כך שתהיה עצמאית.
- משקולות המודל — קובץ אמבדינג שאומן לסגנון שלכם, תואם לענף הגנרטור העדכני, ובנוסף סכום ביקורת לבדיקת שלמות בעת ההעברה.
- קובצי קונפיגורציה — פרמטרי הריצה: מהירות האימון, מספר השלבים, האיזון בין תיאורים טקסטואליים לתמונות, וזרע גנרציה קבוע לשחזוריות.
- מערך הנתונים — תמונות המקור עם התיאורים, מובאות לפורמט אחיד, עם סימון של מה בפריים שאנחנו מייחסים לסגנון ומה שאנחנו מחשיבים לרעש.
- תקנון אימון חוזר — מתי להריץ, כמה שלבים לקחת, לפי אילו מטריקות לקבל את התוצאה ובאיזה שלב לעצור, כדי לא לעשות אוברפיטינג למודל.
- פרוטוקול קבלה — מערך בקשות בדיקה, סולם התאמה לסגנון ורשימת פגמים אופייניים: אוברפיטינג על קבצי המקור, דליפת סגנון של המודל הבסיסי, ארטיפקטים בעלילות נדירות.
- תיעוד המודל — מפת פרמטרים, גבולות היישום, דוגמאות לבקשות מוצלחות וכושלות עם הסבר מדוע יצא כך.
- הוראות לצוות — כיצד לפרוס את המודל, כיצד לחבר אותו למעגל הגנרטיבי, מה לעשות בעת ירידת איכות ולאן להסתכל בלוגים.
- העברת ידע — פירוק חבילת המסירה עם אנשי הצוות שלכם, תשובות לשאלות על כל קובץ והקלטת הסשן, כדי שהחומר יישאר בתוך הצוות.
חבילת המסירה נבנית כך שאימון חוזר יופעל בכוחות שלכם, בלי לפנות אלינו בכל ריצה. תארו את המשימה — נחזור עם הערכה ותוכנית עבודה.
מהפרקטיקה: זיהוי דמות בלי לבנות מחדש את מערך הנתונים
נקודת ההתחלה
הקמפיין דרש סדרת פריימים עם אותה דמות: כארבעים רפרנסים מצילומים שונים — תאורה, זווית, רקע ולבוש שונים. את הזיהוי ניסו לשמור על ידי בנייה מחדש של מערך הנתונים ו-full fine-tuning של המודל לכל לוק: זה גזל ימים, ואחרי כל בנייה מחדש היה צריך לבדוק מחדש את כל מערך הפריימים ידנית.
מה שינינו
סיננו את הרפרנסים, ניקינו את הרקע והכפילויות, סימנו את הפריימים והרצנו עליהם fine-tuning בשיטת Textual Inversion מעל המודל הבסיסי Stable Diffusion. לדמות נאסף מערך משקולות קומפקטי נפרד: המודל הבסיסי לא נבנה מחדש, והמערך עצמו מחובר לגנרציה בקישור אחד בתיאור הפריים.
מה יצא
| מטריקה | לפני | אחרי |
|---|---|---|
| זיהוי הדמות (פריימים ללא עריכות) | ~5 מתוך 10 | ~9 מתוך 10 |
| הכנת גרסת דמות | ימים של בנייה מחדש ו-fine-tuning | כשעה של אימון מערך משקולות |
| חזרתיות הסגנון בין סצנות | פיזור ניכר | אותן משקולות — אותה דמות |
כל דמות חדשה או החלפת לוק — אימון נפרד על מערך רפרנסים משלו, והמודל הבסיסי נשאר משותף. ריצה חוזרת על אותו מערך נתונים נותנת תוצאה דומה, ולכן אפשר לקבע גרסת דמות ולחזור אליה בקמפיינים הבאים.
מה לעשות אם האובייקט בפריימים חדשים עדיין לא מזוהה
כמעט תמיד הסיבה אינה בשיטה, אלא במערך קבצי המקור. Textual Inversion מאתר וקטור שמתערבב בפרומפט; הקיבולת שלו מוגבלת — צבע, מרקם ופרט חוזר הוא מחזיק, אבל גיאומטריה מורכבת לא.
אם 10–20 פריימים צולמו מצד אחד ותמיד באותה סצנה, הווקטור ילמד את הסצנה ואת התאורה במקום את האובייקט ויתפרק על רקעים חדשים — זהו אימון כושל קלאסי.
האבחון מתחיל בבדיקות זולות. משווים את התוצאה על פריימים מושהים שלא היו באימון — כך מפרידים אוברפיטינג מתת-אימון. לאחר מכן משנים בפרומפט את הרקע ואת הזווית: אם האובייקט נעלם עם החלפת הסביבה, הווקטור ספג את הרקע.
קבצי מקור מטושטשים — טשטוש מתנועה, חשיפת יתר, פריים קטן שנמתח לגודל עבודה — נותנים אפקט דומה: המודל לומד ארטיפקטי דחיסה, ולא צורה.
הלאה — ריצה חוזרת מבוקרת. מנקים את המערך: משאירים פריימים חדים, חותכים סביב האובייקט עם שוליים, מאזנים את איזון הזוויות, זורקים צילומים כמעט זהים. מורידים את מספר השלבים ואת מהירות האימון, שמים מדידה בקרה כל כמה איטרציות — ורואים את הרגע שבו הווקטור מתחיל לעבור אוברפיטינג. אחרי ניקוי כזה, האובייקט לעיתים קרובות מחזיק בסצנות חדשות גם בלי החלפת השיטה.
מחליפים שיטה כשהרפרנסים מועטים באופן אובייקטיבי או כשהאובייקט מורכב מבחינה מבנית. אם הפריימים פחות מעשרה, הם בזווית אחת, או שהאובייקט הוא מנגנון עם פרטים קטנים — הקיבולת של הווקטור הטקסטואלי לא מספיקה: עוברים ל-fine-tuning של המודל Stable Diffusion עצמו בשכבה נפרדת.
זה יקר יותר בזמן, אבל מחזיק טוב יותר את הצורה. אמת המידה פשוטה: אם אחרי הניקוי והריצה החוזרת הדמיון בפריימים המושהים לא עולה — אין טעם לסובב פרמטרים, מחליפים שיטה.
ספקות טכניים נפוצים לפני תחילת האימון
לפני תחילת האימון לקוחות מעלים שאלות שלא נוגעות לאיכות התמונה, אלא לגבולות היישום של השיטה. להלן חמש שהכי часто מכריעות אם בכלל כדאי להריץ אימון.
כמה רפרנסים צריך ומה לעשות איתם?
Textual Inversion לא מאמן מחדש את המודל כולו, אלא מוסיף לו כמה טוקנים-מושגים חדשים, ולכן היקף האוסף נמוך יותר מאשר ב-full fine-tuning. מה שעובד הוא לא הכמות, אלא העקביות: עשרה-שניים פריימים עם זווית, תאורה ועיבוד דומים נותנים תוצאה יציבה יותר ממאה קבצים מגוונים. מערך מגוון השיטה ממצעת — בפלט מתקבל «ממוצע» מטושטש במקום אופי.
מה עם הזכויות על המודל הבסיסי ועל קבצי המקור?
למודל הבסיסי יש רישיון משלו, וחלק מהם מגבילים את מערך הנתונים לאימון או את השימוש המסחרי בתוצאה. אמבדינג מאומן הוא יצירה נגזרת: המגבלות על הרפרנסים (תמונות של אחרים, דמויות ממותגות, פרצופים) עוברות אליו. לפני ההתחלה מקבעים של מי קבצי המקור שבשימוש ומה מותר לעשות עם התוצאה.
כיצד להעביר אמבדינג מאומן למודל אחר?
האמבדינג נשמר בקובץ קומפקטי נפרד ומועבר בשלמותו, בלי המודל עצמו. הוא עובד עם מודלים מאותה ארכיטקטורה ומאותו ענף בסיס — שם ההעברה אורכת דקות ושום דבר לא מאומן מחדש. בין משפחות בסיס שונות הוא מועבר גרוע: התכונות לא תואמות, ואת האימון צריך לחזור על הבסיס החדש.
האם זה ישתלב בתהליך הגנרציה הקיים?
כן, האמבדינג נקלט בדרך הסטנדרטית: בממשק גרפי, בעורך מבוסס נודים או בשירות עצמאי דרך בקשה עם טוקן טריגר. אין צורך לשנות תרחישים קיימים — נוספים מילת מפסק ונתיב לקובץ האמבדינג. אם הגנרציה נקראת מתוך קוד, מוסרים קריאה מוכנה ותיאור פרמטרים.
אילו מגבלות יש לשיטה שכדאי להכיר מראש?
השיטה שולטת בקבוצה קטנה של מושגים ולא מוסיפה למודל ידע חדש: סצנות מורכבות, דמיון פורטרטי מדויק וזוויות נדירות היא מחזיקה גרוע יותר מאשר גישות עם fine-tuning של המשקולות עצמן.
אם המשימה היא «האדם הזה בכל תנוחה ולוק», הוגן יותר לבחור דרך אחרת, ואנחנו אומרים על כך לפני ההתחלה, ולא אחרי.
אם נשאר ספק מחוץ לתמונה — תארו את המשימה, נבחן אותו בנפרד ונחזור עם הערכה.נדון במשימה: נתאים שיטה ונחזור עם תוכנית
כדי שהפירוק של קבצי המקור ייקח מעבר אחד, ולא התכתבות של שבוע, מספיק לשלוח את מה שכבר יש בהישג יד. נסתכל על הנתונים, נשער איזו דרך של fine-tuning תעבוד — Textual Inversion, אימון של שכבה נפרדת או בנייה מאפס — ונחזור עם תוכנית עבודה ותאריך לתחילת האימון.
- 15–30 תמונות של אובייקט היעד או הסגנון באיכות מקורית, בלי דחיסה ובלי פילטרים;
- 3–5 דוגמאות למה שהאימון חייב לשחזר, וכמה זהות למה שאסור שיהיה;
- תיאור המשימה במילים: היכן התוצאה תיושם — איורים, צילום מוצר, פרצופים, טיפוגרפיה;
- היכן מתוכנן להריץ את המודל: תשתית עצמאית או שכורה, מי ישתמש בו ובאיזו תדירות;
- ניסיונות אימון קודמים, אם היו: וקטורים שמורים, הגדרות, סקריפטים;
- קריטריון קבלה: מה צריך להתקבל כדי שהתוצאה תיחשב מוכנה;
- איש קשר של מי שמקבל תיקונים בצד הגנרציה.
הצעד הראשון — לדון במשימה לפי החומרים האלה. הערכת הפרויקט מגיעה יחד עם התוכנית: שלבים, לוחות זמנים לאימון, נקודות בדיקה שבהן האיכות נראית לפני הפרסום הסופי. פורמט שיתוף הפעולה והיקף ההשתתפות של הצוות שלכם נקבע באותה שיחה — תחילת האימון מתחילה לאחר אישור התוכנית ומערך הנתונים.