קטלוג נתונים מבוסס AI: היכן נשברים החיפוש והגישה לרשומות
מאגרי נתונים מפוזרים נוצרים מעצמם: כל צוות מקים מסד נתונים משלו, האנליטיקאים — ויטרינות משלהם, השיווק — ייצוא לגיליונות בדיסק. כעבור שנתיים בארגון יש מאות טבלאות, אבל תיאורי השדות חיים בהתכתבויות או בראשו של מהנדס שכבר עבר למחלקה אחרת. פורמלית הנתונים קיימים — אבל למצוא אותם בלתי אפשרי.
המחיר מתגלה בעבודה היומיומית: חיפוש אחר הטבלה הרצויה בין המקורות נמשך ימים, כי השם מורכב מקיצורים, ופענוח אף פעם לא תועד. אנליטיקאי שואל בצ'אט הכללי, ממתין לתשובה, אחר כך בונה דוח מהייצוא שלו — ומקבל מספרים שסותרים את המחלקה השכנה. הכפילות גדלה, האמון בדיווח יורד.
הגישה לרשומות ניתנת ידנית: בקשה, מאשר, מכתב, העתקת הטבלה למייל. ברגע ההענקה אף אחד לא בודק אם בשדות יש מידע אישי ובאיזה בסיס מוסרים אותו. גם שלילת הגישה נשכחת — היא נשארת אצל העובד לאחר מעבר לפרויקט אחר.
חיפוש רגיל לפי שמות לא מרפא את המצב. קטלוג בלי תיאורי טבלאות ושדות מחזיר התאמות ריקות: אותו שדה נקרא בשמות שונים בחמש מערכות, ומילים נרדפות וקשרים בין טבלאות לא מוגדרים בשום מקום.
אנחנו מפרקים כיצד זה נסגר: כיצד קטלוג נתונים מבוסס AI משחזר תיאורים אוטומטית, מקשר טבלאות זו לזו והופך הענקת הרשאות מהתכתבות לתהליך שניתן לבדוק.
סיווג אוטומטי ותיוג: השפעות מדידות של הטמעה
סיווג אוטומטי מתחיל לא במודל, אלא במלאי: הקטלוג עובר על המאגרים והמסדים, אוסף סכימות, סטטיסטיקות לפי עמודות ודוגמאות ערכים. לאחר מכן כל שדה מקבל תווית — סוג ישות, רמת רגישות, בעלים, מקור.
התיוג פועל בשני מצבים: לפי כללים (מילונים, פרופילי עמודות, תבניות ערכים) ולפי המשמעות של הנתונים עצמם, במקומות שבהם הכללים מייצרים חיובי שווא.
ההשפעה המדידה הראשונה — זמן חיפוש המקור. כשהשדה מתויג, האנליטיקאי מוצא את הטבלה הרצויה באמצעות שאילתה לפי תווית, ולא בהתכתבות עם שלושה צוותים: המסלול הטיפוסי מתקצר משעות לדקות.
שיעור הרשומות המתויגות משמש כאן כמדד שלמות — בכיוונים קריטיים הוא מגיע ל-90–95%, והשאר עובר לתור ידני לבדיקה, ולא נשאר "לא ידוע".
ההשפעה השנייה — בקרת גישה לנתונים. תווית הרגישות הופכת למאפיין של המדיניות: שאילתות לשדות עם מידע אישי עוברות דרך מיסוך או אישור נפרד, וייצוא של מערך לא מתויג מעלה אזהרה. מפסיקים להעניק הרשאות "ליתר ביטחון", כי רואים מה בדיוק נמצא בטבלה.
מה מפסיק להישבר — סוג האירועים "דליפה דרך נתונים לא מתויגים": העתקת מסד לבדיקות, ייצוא לדוח, לוג עם שדות מיותרים. את הקטגוריות לתוויות נוח לקחת מדרישות חיצוניות: GDPR מגדיר מסגרת למידע אישי, והתיוג נקשר אליה, ולא להסכמות פנימיות שנבדלות בין צוותים.
בודקים את ההשפעה בפיילוט קצר: שניים-שלושה מאגרים, דוח על שיעור השדות המתויגים ועל מספר הגישות שנסגרו לפני ואחרי.
מצבי סיווג אוטומטי וחיפוש מידע אישי בקטלוג
מרשם ידני מחזיק מעמד כל עוד יש כעשרה מקורות והסכימות משתנות לעיתים רחוקות. אחר כך הוא סוטה מהמציאות: עמודה שונתה, נוספה טבלה עם כתובות לקוחות, אבל במרשם הכול כמו קודם. חיפוש מידע אישי לפי מסמך כזה נותן שקט שווא — ממצאים יש על הנייר, אבל לא במאגר.
הבחירה מצטמצמת לארבע אפשרויות מעשיות: מרשם ידני, פלטפורמה מוכנה, פיתוח עצמי והיברידי. מצבי הסיווג האוטומטי נבדלים לא באלגוריתם, אלא במי שמתחזק את כללי התיוג וכמה מהר הם מדביקים שינויים בסכימה.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| מרשם ידני | עד כעשרה מקורות, סכימות יציבות | סוטה מהמציאות אחרי התיקון הראשון של הסכימה; חיפוש מידע אישי נשען על הזיכרון של הבעלים |
| פלטפורמה מוכנה | הצורך בתיעוד מהיר, מקורות טיפוסיים | תיוג לפי כללים מוגדרים מראש; מאגרים לא טיפוסיים ופורמטים עצמאיים דורשים התאמה |
| פיתוח עצמי | כללי תיוג עצמאיים, מקורות לא טיפוסיים, דרישות לסביבה סגורה | התחלה ארוכה, צריך צוות לתחזוקה: מסווגים נשחקים בלי אימון מחדש |
| היברידי | קטלוג על פלטפורמה מוכנה, גלאים וכללים — עצמאיים | שתי מערכות במערכת: צריך חילוף מטא-נתונים ונקודת אמת אחת |
היברידי בפועל נבחר לעתים קרובות יותר מאחרים, כי הוא מפריד אחריות: הפלטפורמה מנהלת תיעוד וקשרים בין אובייקטים, וגלאים עצמאיים מכסים תבניות ענפיות — מספרי זיהוי מס, מספרי פוליסות, מזהים פנימיים.
יציבות נותנת לא הקטלוג עצמו, אלא מעבר קבוע על המקורות, ניהול גרסאות של כללים ותוויות שמועברות לטבלאות חדשות כשהסכימה משתנה.
שלבי הטמעה: מביקורת מקורות ועד מסירת נהלים
הטמעת הקטלוג מתחילה לא בהתקנה, אלא במלאי: כל עוד לא ידוע מה ואיפה נמצא, כל תיוג יהיה ניחוש. סדר העבודה בנוי כך שכל שלב נשען על הקודם, והתוצאה המדידה הראשונה מופיעה לפני פריסה על כל המערכת.
- ביקורת מקורות. אוספים רשימה של מסדים, מאגרים, תורים וייצואים חיצוניים, מתעדים בעלים, תדירות עדכון ואופן גישה. בפלט — מפה עם עדיפויות: מה מחברים ראשון, מה דוחים ולמה.
- סכימת קשרים בין טבלאות. מפרקים מפתחות, טבלאות עזר וקשרים בין ישויות, מסמנים כפילויות ופערים בפרשנות של אותם שדות. בלי זה הקטלוג יציג מערכים מפוזרים במקום תמונה מקושרת.
- הגדרת כללי תיוג. מתארים דומיינים, תגיות ורמות רגישות, כולל כללים לזיהוי מידע אישי. הכללים מנוהלים בגרסאות — שינוי לוגיקה אפשר להחזיר אחורה ולהסביר.
- בדיקה על נתונים היסטוריים. מריצים את הכללים על מערכים שנצברו ומשווים לתיוג ידני של מדגם בקרה. מנתחים חיובי שווא: התיקונים נוגעים בדרך כלל לספים ולחרגים לשדות מסוימים.
- פיילוט בדומיין אחד. מחברים מערכת מוגבלת ובודקים עומס אמיתי, מהירות חיפוש לפי מטא-נתונים ואיכות התשובות לשאילתות. טעויות כאן זולות יותר מאשר אחרי הטמעה מלאה.
- הטמעת הקטלוג ומסירת נהלים. פורסים על שאר המקורות, קובעים עדכון קבוע של מטא-נתונים ומוסרים לצוות הלקוח נהלים: כיצד להוסיף מקורות ולשנות כללי תיוג.
תיעוד, מדיניות גישה וסכימות שנשארים אצלכם
קטלוג נתונים שנשען על מהנדס אחד — סיכון שקט: אחרי עזיבתו התוויות מפסיקות להתעדכן, כללים שנויים במחלוקת נשכחים, והאמון בקטלוג יורד. לכן יחד עם מערכת עובדת מוסרים את כל מה שמאפשר לפתח אותה בכוחות עצמכם.
- תצורות תיוג. הסימנים שלפיהם שדה מסווג לקטגוריה, ספי ביטחון מוגדרים וסדר הוספת קטגוריה חדשה בלי לבנות את הקטלוג מחדש.
- תיאורי שדות ומילון מונחים. מילון מונחים אחיד — כדי שאותה ישות במערכות שונות לא תיפרד בערכים.
- סכימת קשרים. מפת תנועת הנתונים מהמקור דרך טרנספורמציות ועד לדוח: מיד רואים אילו דוחות יושפעו משינוי.
- מטריצת תפקידים. בעל תחום תוכן, עורכי תיאורים, מאשרי גישות ונקודת כניסה במקרה של תווית שנויה במחלוקת.
- מדיניות גישה. הענקת הרשאות ומיסוך שדות רגישים לפי תוויות רגישות, עם ירושה לפי רמות קינון.
- נוהל עדכון הקטלוג. תדירות סריקה מחדש, חיבור מקורות חדשים והסרת רשומות מיושנות עם ציון אחראים.
- הוראות לצוות. כיצד לתייג מקור חדש, לערער על תווית שגויה ולמסור נתונים לאנליטיקאי בלי להסיר מגבלות.
הארטיפקטים נשארים בתשתית שלכם לצד הקוד: שינויים עוברים אישור רגיל, ולא חיים בהתכתבות.
מקרה בוחן: איך סידרו מקורות מפוזרים ברשת קמעונאית
רשת קמעונאית עם חנות מקוונת, תוכנית נאמנות ומערכת מחסנים החזיקה נתונים בשישה מאגרים. דרכוני טבלאות נוהלו ידנית בטבלת מרשם, ועד תחילת מקרה הבוחן 1,800 טבלאות מתוך 2,400 נשארו בלי תיאור ובעלים. אנליטיקאי חיפש את השדה הרצוי עד שלושה ימים, וחלק מהדוחות נבנו על עותקים אישיים של ייצואים.
חיברנו את Единый каталог לכל מקור: קונקטורים אוספים סכימה וסטטיסטיקות לפי עמודות, פרופיילינג מחשב שיעור ערכים ריקים וייחודיות. תיוג אוטומטי מתבצע בשני מעברים — כללים לפי שמות וקשרים (מזהים, טבלאות עזר) ומסווג לפי תוכן, שמשיוך את הטבלה לדומיין: מכירות, נאמנות, לוגיסטיקה. זיהוי מידע אישי לפי תבניות והקשר מסמן עמודות רגישות ומקצה בעלים לפי דומיין המקור.
מדדים לפני ואחרי
| מה מדדו | לפני | אחרי |
|---|---|---|
| טבלאות בלי תיאור ובעלים | 1,800 מתוך 2,400 | כ-190, משלימים |
| חיפוש השדה הרצוי | עד שלושה ימים | דקות, חיפוש בקטלוג |
| זמן הוספת מקור חדש | שלושה שבועות | יומיים |
| פניות לגישה למידע אישי | 9 ברבעון | 1 ברבעון |
עמודות שנויות במחלוקת לא מתויגות בשקט — הן עוברות לתור לאישור הבעלים, ולכן הקטלוג לא סוטה מהמציאות. מקור חדש עובר את אותם קונקטורים וכללים: לא כותבים אינטגרציה נפרדת עבורו, ואירועי גישה נסגרים לפני הענקת הרשאות.
מה לעשות אם תיעוד המקורות כבר מתנהל ידנית
את המרשם הידני לא זורקים — הוא הופך לבסיס למילוי הראשוני של הקטלוג. מייצאים טבלאות לפורמט קריא למכונה ומפרקים עמודות: בעלים, ייעוד, הרכב שדות, תקופת שמירה. כל שורה מושווית לסכימות בפועל במאגרים — מיד רואים היכן התיעוד סוטה מהמציאות.
העברת התיאורים מתבצעת בשני שלבים: הערות טקסט מועברות כאנוטציות טיוטה, והסיווג האוטומטי עובר בנפרד על הנתונים ומציע תוויות, כולל סימנים למידע אישי. פערים בין תיוג ידני למכונה לא ממוצעים — הם עוברים לאישור הבעלים, שיודע מה באמת נמצא בשדה.
תקופת המעבר בנויה על תיעוד כפול: המרשם ממשיך להתקיים בצורתו הקודמת, הקטלוג מתמלא אוטומטית, והפערים נאספים לדוח נפרד. היחידות עובדות כמו קודם — שום דבר לא נחסם ולא נכתב מחדש בדיעבד.
השוואת רשומות מתבצעת לפי לוח זמנים ועונה על שתי שאלות: אילו מקורות קיימים במערכות אבל חסרים בתיעוד, ואילו רשומים בתיעוד למרות שכבר לא קיימים. לקונפליקטים מוגדר מראש כלל — לפי טריות השינוי או לפי רמת הבעלים, — אחרת כל זוג פערים הופך לוויכוח.
קריטריון היציאה מתקופת המעבר מדיד: שיעור המקורות הלא מכוסים ושיעור הרשומות בלי תיאור מאושר. כששניהם נשארים על אפס כמה מחזורי השוואה, ההזנה הידנית עוברת למצב הצעות, והתיעוד הכפול מוסר בלי לאבד הסכמות.
חששות לגבי הטמעה: גישות, איכות תיוג, תמיכה
הקטלוג מתחבר למקורות בחשבון שירות עם הרשאה לקריאת מטא-נתונים בלבד — הרשאות ותפקידים קיימים במערכות עצמן לא נכתבים מחדש. הנראות עוברת בירושה מקטלוג המשתמשים שלכם: אם עובד לא ראה טבלה קודם, הוא לא יראה אותה גם בחיפוש. שדות עם מידע אישי סגורים במדיניות מיסוך, ולכן התיאורים לא חושפים את התוכן.
דיוק התיוג נבדק על מדגם ייחוס: תשובות המודל מושוות לתיוג ידני ומחשבים שיעור חיובי שווא בנפרד לכל סוג נתונים. סף הביטחון מוגדר, מקרים שנויים במחלוקת עוברים לאישור בעל הדומיין, ולא לתיאור אוטומטי. התיוג מיוצא בפורמטים פתוחים — מטא-נתונים מועברים ל-OpenMetadata ולקטלוגים דומים בלי לבנות מחדש.
מה יקרה עם הרשאות הגישה שכבר הוגדרו?
במקורות שום דבר לא משתנה: החיבור הוא לקריאה בלבד, ההרשאות נשארות במערכות שלכם. ההתאמה מתבצעת לפי הקבוצות שלכם, אין צורך להעניק גישות חדשות.
כמה יהיו חיובי שווא?
בהתחלה מכווננים את הספים על הנתונים שלכם, מחלקות נדירות מסומנות תחילה כשנויות במחלוקת. בהמשך מוסיפים כללים ומאמנים מחדש על דוגמאות מאושרות; את הדינמיקה מתעדים בדוח לפני ואחרי, ולא "על המילה".
מי מעדכן את התיאורים אחרי ההטמעה?
כשהסכימה משתנה, שדות מסומנים כמיושנים, והתיאורים נבנים מחדש לפי לוח זמנים. את נוהל העדכון, בעלי הדומיינים וסדר האסקלציה מוסרים בתיעוד; תמיכה אחרי ההטמעה — מצב נפרד עם זמן תגובה מוסכם.
נדבר על המשימה: נתאים מצב ונחזור עם תוכנית
כדי שההערכה תהיה עניינית, ולא "בערך חצי שנה", אנחנו צריכים גישה לתמונה אמיתית של הנתונים, ולא לתיאור במילים כלליות.
ספרו היכן נמצאים המקורות, מי הבעלים של המערכות ומה כבר נעשה בתיוג — זה מספיק כדי לחזור עם תוכנית הטמעה ושלבים ברורים, ולא עם טווח "מכאן ועד כאן".
מה שולחים כקלט — זה מספיק להערכת העבודה:
- רשימת מערכות מקור: מסדים, מאגרי קבצים, תורים, אינטגרציות חיצוניות — עם סכימות וסדר גדלים;
- 2-3 חיתוכים אנונימיים של נתונים אמיתיים מכל מקור גדול: עליהם בודקים את איכות הסיווג האוטומטי ואת יציבות הכללים;
- דוגמאות למה שנחשב מידע אישי במערכת שלכם: מסמכים, אנשי קשר, פרטי תשלום, מזהים עקיפים כמו צירוף של שם משתמש וכתובת;
- כללי גישה ותפקידים קיימים: למי נראים מטא-נתוני הקטלוג, ולמי — הנתונים עצמם;
- מילון המונחים והתגיות הנוכחי, אם הקטלוג כבר מנוהל חלקית, — לא ממציאים את המילון מחדש;
- דרישות ליומן: מה מתועד בכל פנייה לנתונים ולכמה זמן נשמר.
בפגישה נדון במצב העבודה עם המקורות, במקומות אחסון המטא-נתונים ובנקודות שבהן הסיווג וחיפוש המידע האישי משתלבים בתהליכים הקיימים. בסיום נחזור עם הערכה לפי שלבים, תוכנית הטמעה עם נקודות ביקורת והרכב הצוות. תארו את המשימה — ונסכם על שיחה עניינית.