נתונים טבלאיים סינתטיים: אימון מודלים CTGAN ו-TabDDPM

מדוע יצירת נתונים טבלאיים קורסת במחלקות נדירות

יצירת נתונים טבלאיים קורסת לא בגלל הנפח, אלא בזנבות ההתפלגות. חוסר איזון בין מחלקות במידגם בסגנון 99:1 הוא עניין שבשגרה: המודל משחזר בביטחון את הרוב ושונן בעל פה את אותן עשרות שורות שמייצגות את המחלקה הנדירה.

לפי מדדי דמיון והיסטוגרמות אי אפשר לראות זאת — הכשל מתגלה מאוחר יותר, כאשר מאמנים על הנתונים הסינתטיים מסווג או מודל סקורינג.

יצירה מותנית לפי מחלקה (גישת CTGAN ומודלים דיפוזיוניים) עוזרת בדיוק עד לנקודה שבה יש בתוך המחלקה סטטיסטיקה. כאשר הרשומות הנדירות נספרות בעשרות, המבדיל זוכר אותן ומפיק עותקים כמעט מילוליים של השורות המקוריות — אריזה מחדש של הנתונים, ולא תצפיות חדשות. גם הדיפוזיה אינה משחזרת את גבול ההחלטה במקום שבו אין דוגמאות עבורו.

ערכים חסרים וחריגים בנתונים מוסיפים שכבה שנייה של אובדן. השלמה בממוצע מוחקת את עצם העובדה שהערך חסר, והיא בעצמה אינפורמטיבית: «היסטוריית אשראי לא נבדקה» — זהו סימן, ולא חור. קיטוע חריגים מצמצם את הזנבות, והמודל מאבד בדיוק את המקרים שלשמם הוא נבנה.

אנונימיזציה של נתונים אישיים היא המגביל השלישי: צירוף של מזהים-למחצה הוא לעתים קרובות ייחודי, והשורה הסינתטית נשארת מקושרת לאדם מסוים, בעוד הרעש שמגן על הפרטיות פוגע ביותר דווקא במחלקות הנדירות.

העתקת שורות אינה פותרת את הבעיה: הנפח גדל, המידע לא מתווסף, והמודל הופך לבטוח מדי בעצמו על כפילויות. נבחן כיצד זה נסגר באמצעות יצירה מותנית, אינדיקטורים מפורשים לערכים חסרים ובקרת פרטיות.

האפקט של סינתזת נתונים טבלאיים במשימות חיזוי

נתונים סינתטיים ללמידת מכונה מניבים אפקט במקום שבו המידגם האמיתי אינו מספיק: מחלקה נדירה, ערכים חסרים, סגמנטים חסרים. להלן מה שאנו בודקים בקבלה יחד עם הלקוח, כדי שהרחבת מערך האימון תניב תוצאה מדידה, ולא מספר יפה בדוח.

מחלקות נדירות וערכים חסרים

• חלקה של המחלקה הנדירה באימון מובא לרמה התכנונית — המדד הכולל עולה לא על חשבון המחלקה הרובית.
• איכות המודל על המחלקה הנדירה נמדדת בנפרד: רגישות ודיוק עבורה לפני ואחרי הסינתזה, על אותה חלוקה בדיוק.
• ערכים חסרים אנו משחזרים לפי התפלגות המאפיין, ולא לפי ממוצע העמודה — אחרת המחולל משכפל את ההטיה.
• שורות סינתטיות אינן נכנסות לחלק הבקרה: הבדיקה נעשית על רשומות אמיתיות שהמודל לא ראה.

שחזוריות ובקרת פרטיות

• ההרצה מתבצעת מזרע קבוע ומגרסת תצורה קבועה — האימון חוזר על עצמו גם כעבור חודש, ולא «בערך דומה».
• מחוללים CTGAN ומודלים דיפוזיוניים טבלאיים מושווים על אותו פרוטוקול, והבחירה נעשית לפי האפקט הנמדד.
• פרטיות נבדקת באמצעות התקפת שחזור: קרבת הסינתטי לשורות אמיתיות, שיעור ההתאמות הישירות, והתנהגות על תת-קבוצות קטנות.
• עבור נתונים רגישים — מתחם מבודד, הרשאות לפי תפקידים, יומן גישות; את התוצאה מתעדים בפרוטוקול עם גבולות ישימות.

שיטות סינתזה: כללים, סטטיסטיקה, מודלים גנרטיביים

שיטת הסינתזה נבחרת בהתאם לסוגי המאפיינים ובהתאם לתלויות בין העמודות שיש לשמר. כללי מיסוך מאפיינים והעתקה סטטיסטית עם רעש מניבים תוצאה צפויה על מערכים קטנים, כאשר הקשרים מוגדרים ידנית ומספרם מועט.

מודלים גנרטיביים יריבים ודיפוזיוניים משחזרים את המתאמים בעצמם, אך דורשים נפח שורות מספק וכיוונון אימון קפדני.

כיצד לבחור אפשרות מתאימה למשימה

מתבססים על הרכב הנתונים: כאשר חלקם של המאפיינים הקטגוריאליים עולה על מחצית, גישות יריבות CTGAN מחזיקות התפלגויות משותפות ביציבות רבה יותר, והדיפוזיוניות TabDDPM משמרות ערכים נדירים בדיוק רב יותר.

על מידגמים בנפח קטן ההתפלגות «שוחה» אצל שניהם, ואז משתלמת יותר העתקה סטטיסטית עם רעש, והמחלקות הנדירות מושלמות באמצעות כללי מיסוך. גם המגבלה לפי סוגי מאפיינים היא נוקשה: תאריכים ושדות טקסט דורשים עיבוד מקדים נפרד, אחרת המודל מפיק ערכים תקפים פורמלית אך חסרי משמעות.

כיצד מתבצע אימון המודל על נתוני הלקוח

ביקורת נתוני הלקוח מתבצעת ראשונה: בוחנים נפח, סוגי עמודות, שיעור הערכים החסרים, קטגוריות נדירות ואת הקשר בין המאפיינים למשתנה המטרה. כבר בשלב זה ניכר היכן הסינתטי יחזור על ההטיות של המידגם המקורי, והיכן הנתונים לא יספיקו לאימון יציב.

ביקורת והגדרת המשימה

קובעים אילו תכונות יש לשמר: התפלגויות של עמודות מספריות, שכיחויות משותפות של קטגוריות, אילוצים לוגיים כמו «תאריך הסגירה אינו מוקדם מתאריך הפתיחה». לאחר מכן מתאמים מדדי קבלה — בלעדיהם הוויכוח על איכות הסינתטי גולש למישור סובייקטיבי.

1. מתייגים את העמודות: מספריות, קטגוריאליות, תאריכים ומזהים תפעוליים שאינם נכנסים לסינתזה.
2. יוצרים מידגם מושהה לצורך בדיקה — הוא אינו משתתף באימון ונשאר נקודת השוואה עד סיום העבודה.
3. מאמנים מודל גנרטיבי על הנתונים המוכנים, בנפרד לפי סגמנטים אם ההתפלגויות בתוך הטבלה אינן הומוגניות.
4. מכווננים את פרמטרי הסינתזה: עומק המודל, מספר האפוכות, יחס המחלקות. קטגוריות נדירות מאזנים ידנית, אחרת המודל אינו משחזר אותן.
5. מעריכים את איכות הסינתטי: משווים התפלגויות, בודקים שימור מתאמים בין המאפיינים.
6. מוסרים את המודל ואת הדוח: סקריפטים לאימון, תצורה, כללי אימון מחדש עם הגעת נתונים חדשים.

בדיקת התוצאה על מידגם מושהה

הקבלה אינה נעשית לפי «דמיון» של שורות. מודל הבקרה מאומן על הסינתטי ונבדק על מידגם מושהה אמיתי: אם הפער באיכות לעומת המודל על הנתונים המקוריים אינו חורג מסף מוסכם, המנה מתקבלת. אחרת חוזרים לכיוונון פרמטרי הסינתזה, ולא משכתבים את הגדרת המשימה.

תוצרי הסינתזה: מודל, סכמת מאפיינים, דוחות

הסינתזה של נתונים טבלאיים חשובה לא בתוצאה בתוך מחברת, אלא בסט תוצרים שצוותכם מריץ, בודק ומאמן מחדש בלעדינו. אנו מוסרים לא «מודל על הנייר», אלא ערכה ניתנת לשחזור: ממשקולות וסכמת מאפיינים ועד דוח איכות וכללי אימון מחדש.

• משקולות של מודל הסינתזה המאומן עם סכום בקרה, תיאור מצב האימון וסביבה קבועה.
• סכמת מאפיינים ומטא-נתונים: סוגי עמודות, טווחים מותרים, רמות קטגוריות, כללי טיפול בערכים חסרים ובערכים נדירים.
• דוח איכות של הנתונים הסינתטיים — לפי כל מאפיין ולפי התפלגויות משותפות.
• נהל אימון מחדש של המודל: טריגרים, נפח המידגם, סדר הבדיקה לפני העלאה לאוויר.
• תיעוד של מודל הסינתזה: ארכיטקטורה, היפר-פרמטרים, מגבלות ישימות, נקודות תורפה ידועות.
• סקריפטים של יצירה ואימון — מופעלים בפקודה אחת על התחנה שלכם.
• אבחון פרטיות: בדיקה שלא ניתן לשחזר מתוך הסינתטי את שורות מידגם האימון.

מה כלול בדוח האיכות

משווים את הסינתטי לנתונים המקוריים לפי התפלגויות שוליות וזוגיות, לפי שיעור השורות הייחודיות ולפי החפיפה בשיעורי הקטגוריות. בנפרד מחשבים מדדי קרבה והפרדה: אם מודל מבדיל מבחין בקלות בין הסינתטי לשורות אמיתיות, המחולל מוחזר לשיפור. כל מדד מובא עם ערך בסיס, כדי שבאימון מחדש הבא ייראה שינוי לרעה, ולא מספר מוחלט.

כיצד אנו מוסרים את המודל ואת נהל האימון מחדש

הערכה נפרסת במתחם שלכם: הסקה, ניטור דריפט של נתוני הקלט וסקריפט לאימון מחדש. בנהל מצוין אילו שינויים בסכמת המאפיינים או ירידה במדדים מפעילים אימון מחדש, מי יוזם אותו ולפי אילו קריטריונים מתקבלת גרסה חדשה. כך מודל הסינתזה מתפקד כשירות רגיל, ולא כניסוי חד-פעמי.

מקרה בוחן: שיחזרנו את האיזון בין מחלקות במרשם הפניות

מרשם הפניות של שירות הלקוחות על פני שנה וחצי — כ-400 אלף רשומות, והמחלקה «סירוב בעת חיוב» תפסה בו 0.7% מהשורות. מודל על התפלגות כזו למעשה הסתגל למחלקה השלטת: הרגישות במחלקה הנדירה עמדה על 0.12, ודווקא ההחמצות הללו הגיעו לרוב למתחם הייצור.

המצב ההתחלתי של המרשם

שקילת מחלקות וקיטוע המחלקה השלטת נוסו לפנינו. הראשון הזיז את סף ההחלטה והשליש את ההתראות השווא, והשני השליך יותר ממחצית השורות והפיל את הדיוק במחלקה השכיחה. תיוג ידני של מקרים נדירים נתקל בתדירות האירוע עצמו — לא הצלחנו לאסוף נפח מובהק סטטיסטית בזמן סביר.

מה השתנה לאחר סינתזת המידגם

את המחלקה הנדירה הושלמה בסינתזה באמצעות מודל CTGAN עם בקרת התפלגויות משותפות לפי סכום, ערוץ הפנייה, סוג הפעולה וותק הלקוח. הסינתטי נכנס רק לחלק האימון: חלקי האימות והבדיקה נותרו אמיתיים לחלוטין, אחרת המדדים היו מודדים את איכות המחולל ולא את איכות המודל.

חלקה של המחלקה הנדירה במידגם האימון עלה מ-0.7% ל-15%, ובמקביל הפער בין התפלגויות המאפיינים לזו המקורית נותר בגבולות הטעות הסטטיסטית.

הרגישות במחלקה הנדירה עלתה מ-0.12 ל-0.71, מספר הסירובים שהוחמצו בבדיקה קטן ביותר מפי חמישה, וההתראות השווא גדלו ב-1.5 נקודות אחוז. מחלקת הסירובים, שהתגלתה בעבר רק לאחר החיוב, נחסמת כעת עוד לפני ביצוע הפעולה.

במה נבדלת סינתזה יריבה של טבלאות מסינתזה דיפוזיונית

שתי המשפחות פותרות משימה אחת — יצירת נתונים טבלאיים — אך המכניקה שונה. סינתזה יריבה מאמנת מחולל מול מודל מבדיל, והדיפוזיונית משחזרת את הטבלה ממצב שהולך ומתרעש בהדרגה. מכאן גם הפערים המעשיים: ביציבות, במהירות ובהתנהגות על מאפיינים מעורבים.

יציבות האימון של המודל היא ההבדל העיקרי. הזוג היריב נוטה לקריסה: המחולל מתכנס במהירות לסט צר של שורות סבירות ומאבד קטגוריות נדירות. הדבר מטופל בכיוונון יחס צעדי האימון של הרשתות, בקנסות על מגוון ובבקרת התפלגויות, אך כמעט תמיד דורש כמה איטרציות.

הסכמה הדיפוזיונית מתאמנת לפי מטרת שחזור קבועה, ולכן עקומת האובדן חלקה יותר ותלויה פחות באיזון בין שתי רשתות. המחיר הוא זמן: כל שורה דורשת צעדים רבים של התהליך ההפוך. המחולל היריב מפיק שורה במעבר אחד, ולכן מערך גדול נבנה תוך דקות.

על מאפיינים מעורבים הפער בולט יותר. בטבלה מתקיימים זה לצד זה מספרים, קטגוריות, תאריכים וערכים חסרים, והמודל היריב יוצר לעתים קרובות יותר צירופים בלתי אפשריים כמו גיל 12 עם ותק של 20. הדיפוזיה מטפלת בכל סוג בתהליך רעש ובמסכת ערכים חסרים משלו, ולכן מחזיקה טוב יותר תלויות משותפות.

התשובה לשאלה איזו שיטת סינתזה לבחור תלויה לא באופנה, אלא בדרישות: שיעור הקטגוריות הנדירות, חשיבות התלויות המשותפות, הנפח ותדירות היצירה.

השוואה נכונה בין גישות ליצירה היא לאמן את שתי המשפחות על אותו מידגם ולבדוק כמה שורות נפסלות על ידי הכללים ובכמה איכות המודל על הסינתטי תואמת את האיכות על נתונים אמיתיים.

ספקות טכניים נפוצים בנוגע למידגמים סינתטיים

ספקות ברמה הנדסית — לא על סבירות השורות, אלא על פרטיות, מחלקה נדירה ויציבות ההתפלגות. אספנו ארבע התנגדויות שעולות לרוב בעת הצגת מודל המבוסס על סינתטי.

המחלקה הנדירה קטנה מדי לאימון

מחוללים מותנים (CTGAN, TabDDPM) מרבים את המחלקה הנדירה לפי תווית, ולא בהעתקת דוגמאות בודדות — אחרת המודל לומד את הרעש. יחס המחלקות המטרה נקבע מראש, ואת האיכות בודקים באמצעות אימון על הסינתטי עם הערכה על נתונים אמיתיים — דווקא במחלקה הנדירה.

האם סוגי מאפיינים מעורבים ישברו את המחולל?

מאפיינים רציפים מובאים לצורה אחידה, קטגוריאליים מקודדים, וערכים חסרים משוחזרים כאות נפרד. הטרנספורמציה ההפוכה מחזירה את הסוגים, הטווחים והערכים המותרים של העמודות — את המידגם משלבים לתוך הצינור הקיים בלי ניקוי ידני.

הנתונים עוברים דריפט — הסינתטי יתיישן

ההתפלגויות עוברות דריפט: משתנים תעריפים, ערוצים, התנהגות. את הסינתטי מרכיבים מחדש לפי לוח זמנים, את הפער עוקבים אחריו לפי עמודות וחתכים, ומאמנים את המחולל מחדש ברגע שהוא מתרחק מהנתונים העדכניים. את הדריפט מזהים באמצעות מדדים לפני שהוא בא לידי ביטוי באיכות המודל.

נדון במשימה: ממה מתחילה העבודה על הסינתזה

כדי לחזור עם הערכה ותוכנית עבודה, ולא עם מילים כלליות, אנחנו זקוקים למינימום של הקשר על הנתונים ועל האופן שבו ישמשו התוצאות. הצ'ק-ליסט שלהלן מכסה את הכנת הנתונים לזינוק תוך שעה-שעתיים מצד הלקוח — אך בתמורה ניכר מיד היכן הסינתזה תניב אפקט, והיכן עדיף להישאר עם המידגם האמיתי.

• משימת המטרה: מה בדיוק אנו חוזים או מייצרים ואיזה מדד נחשב להצלחה.
• חילוץ ראשוני מהתקופה הזמינה — CSV, Parquet או ייצוא ממאגר הנתונים.
• תיאור העמודות: סוגים, יחידות מידה, טווחים מותרים, ואילו שדות הם חסויים.
• מחלקות נדירות וחתכים: היכן שחסרים נתונים באופן אובייקטיבי — המועמד העיקרי להשלמת סינתזה.
• מגבלות: דרישות לאנונימיזציה, איסור על הוצאת נתונים אל מחוץ למתחם שלכם.
• נקודת היישום: אימון מודל, מתחם בדיקות, דיווח או מידגם עומס.

לאחר מכן אנו מנתחים את המידגם: שיעורי הקטגוריות הנדירות, מתאמים, ערכים חסרים, הטיות לפי תקופות. מכך תלויה בחירת הגישה — סכמה גנרטיבית-יריבה או מודל דיפוזיוני — וכן סכמת הבדיקה: השוואת התפלגויות לפי עמודות, שימור הקשרים בין המאפיינים, ובקרת הסיכון לשחזור רשומות אמיתיות.

תארו את המשימה בכל דרך נוחה לכם — נדון במשימת סינתזת הנתונים באופן ענייני. אם אתם מתכננים להזמין פיתוח של פתרון AI למתחם שלכם, נתחיל בניתוח הנתונים המקדמיים הללו ונחזור עם תוכנית עבודה והערכת לוחות זמנים.