מערכת בינה מלאכותית לחיפוש פדרטיבי במספר מקורות

חיפוש פדרטיבי: היכן נשברת התוצאה המאוחדת

חיפוש פדרטיבי עונה על שאילתה אחת בו-זמנית ממספר מערכות: קטלוג, בסיס פניות, אחסון קבצים, שירותים חיצוניים. השאילתה יוצאת לכל המקורות המפוזרים במקביל, והתשובות מרוכזות לתוצאה מאוחדת אחת. הדבר נשבר על אסימטריה: את זמן התגובה לשאילתה קובע המקור האיטי ביותר, וכל השאר ממתינים כל אותו הזמן.

כל עוד סגמנט אחד מגיב פי כמה לאט מהאחרים, המשתמש מקבל או מסך ריק, או חצי מהתוצאות. המקור השני לתקלה — חוסר סנכרון בנתונים: האינדקסים מתעדכנים בתדירויות שונות, ובתוצאות צץ מסמך שבמערכת המקור כבר שונה או נמחק.

השלישי — הערכות רלוונטיות בלתי ניתנות להשוואה. כל מערכת מחשבת חשיבות לפי הסקאלה שלה, ולכן בעת המיזוג תוצאה חזקה ממקור אחד מפסידה לתוצאה חלשה מאחר. הסרת כפילויות מתמוטטת מיד אחר כך: אותה ישות מגיעה משלושה מקומות עם מזהים שונים ותופסת שלוש פעמים את ראש התוצאות.

הדבר נרפא לא באמצעות «בסיס אחד גדול», אלא בשכבת פדרציה: תקציב זמן לכל מקור, תשובה חלקית עם סימון מפורש של מערכות שלא הגיבו, מטמון של שאילתות חמות, ניתוק המעגל עד לצומת לא יציב.

ומעל — נרמול של ההערכות ודירוג אחיד (Elasticsearch כמנוע החיפוש), כך שסדר התוצאות לא יהיה תלוי במי שהספיק להשיב ראשון.

השורה התחתונה: התוצאה המאוחדת מפסיקה להיות תלויה במשתתף החלש ביותר, והמשתמש רואה בדיוק מה קיבל ומה חסר. אנחנו מפרקים כיצד זה בנוי וכיצד זה נסגר בפועל.

מה משתנה לאחר הטמעת שכבת גישה אחודה

שכבת גישה אחודה עומדת בין תרחישי המשתמש לבין המערכות המפוזרות: בסיס מסמכים, אחסון משימות, קטלוג, מדריכים חיצוניים. השאילתה יוצאת לכל המקורות במקביל, התוצאות מובאות לסכימה משותפת ומאוחדות לתוצאה מדורגת אחת.

נקודת כניסה אחודה במקום מעבר ידני בין מערכות

בעבר העובד פתח שלוש-ארבע מערכות וריכז תוצאות ידנית, וחלק מהנתונים אבד בגלל כללי חיפוש שונים. כעת השאילתה יוצאת לנקודה אחת, והשכבה עצמה מחליטה אילו מקורות לשאול וכיצד להתאים ישויות.

סכימות כאלה אנחנו בונים על Elasticsearch עם שאילתה פדרטיבית ומילון מילים נרדפות משותף — הדירוג אינו תלוי במקום אחסון המסמך.

העומס על המקורות יורד: מעברים חוזרים מוחלפים במטמון של שאילתות חמות ובפניות ממוקדות לפי אינדקס. שעות השיא כבר אינן הופכות לתור.

כיצד נמדד האפקט: זמן התגובה ושיעור התוצאות המלאות

את האפקט אנחנו מחשבים לפני ההטמעה ואחריה, על אותה קבוצת שאילתות בדיקה. המדדים המרכזיים — זמן התגובה באחוזון ה-95 ושיעור התוצאות המלאות: שאילתות שבהן נמצאו כל המסמכים הרלוונטיים מרשימת הביקורת. אנחנו משווים מעבר ידני, שאילתה ישירה למקורות ועבודה דרך השכבה.

בפועל זמן התגובה מתקצר מכמה שניות לחלקי שנייה, שלמות התוצאה — מחלקית לקרובה לשלמה, והפניות למקורות יורדות פי כמה. בנפרד אנחנו מתעדים סוגי כשל שנפתרו: פער בתוצאות בין מערכות וכשל של מקור אחד, שבעבר שבר את כל התוצאה.

דרכים לאיחוד מקורות: טבלת השוואה

ניתן לאחד מספר מקורות בשלוש דרכים: לשאול אותם ברגע השאילתה דרך מתווך חיפוש, לאסוף מראש את התוכן לאינדקס אחוד או לשמור תוצאות במטמון ולהוסיף מעת לעת נתונים טריים. הבחירה נקבעת לא לפי נוחות, אלא לפי מספר המקורות, תדירות שינוי הנתונים וזמן התגובה הנחשב לקביל.

מתי איחוד תוך כדי ריצה מוצדק

אם עריכה במקור צריכה להופיע בתוצאות בתוך דקות, והמקור מחזיר תשובה מובנית, המתווך שואל אותו ישירות ואינו שומר עותק. המחיר — השהיה נקבעת לפי המשתתף האיטי ביותר, ולכן מגדירים מראש זמן המתנה מרבי וכלל של תשובה חלקית: אם מקור אחד לא הספיק, התוצאה נאספת מהאחרים במקום שגיאה. מטמון התוצאות כאן פועל עם זמן חיים קצר ומתאפס לפי סימן של שינוי בנתונים.

מתי נדרשת טעינה מוקדמת

עבור מאגרים גדולים, שבהם נדרשים דירוג חוצה ומסננים משותפים, התוכן מועבר לאינדקס אחוד לפי לוח זמנים. זמן התגובה הופך לצפוי ואינו תלוי בזמינות המקורות, אך נוצר פער בין העריכה לנראות שלה.

מצמצמים אותו באמצעות תדירות עדכון ואינדוקס מחדש ממוקד של מסמכים ששונו במקום בנייה מחדש מלאה של המאגר.

שלבי הטמעת חיפוש פדרטיבי

חיפוש פדרטיבי מתחיל לא בקוד, אלא במיפוי מלאי המקורות. כל עוד לא ברור אילו מערכות מכסות את עיקר השאילתות וכיצד בנויות ההרשאות, כל סכימה נשארת בגדר השערה. להלן סדר העבודות שאנחנו עוברים בכל פרויקט.

1. ביקורת מקורות. מיפוי מלאי המערכות: נפח, תדירות עדכון, פורמטי שדות, מודלי גישה. בתפוקה — מטריצה: מה כל מקור מחזיר, באיזו השהיה ובאילו מפתחות הוא מותאם לאחרים.
2. סכימת המתאר. מחליטים היכן חי האינדקס המאוחד, מה מתעדכן בזרם ומה נשאל תוך כדי ריצה, וכיצד מופרדים נתונים משותפים וסגורים. את הסכימה מתאמים עם בעלי המערכות מראש.
3. ניתוב שאילתות והרשאות. הכללים מחליטים לאיזו קבוצת משנה של מקורות יוצאת השאילתה; מסנני גישה מיושמים בעת הפנייה לכל מקור, ולא לאחר חיבור התוצאה — כך נעלמת דליפה דרך התוצאה המצטברת.
4. בדיקת איכות התוצאה. סט שאילתות ייחוס, סימון התשובות הצפויות, מדידת שלמות ודיוק לפי כל מקור — בהרחבה בהמשך.
5. מסירה לתפעול. נהלי עדכון, ניטור אי-זמינות מקורות, הוראות לתמיכה ונקודות חיבור למערכות חדשות בלי בנייה מחדש של המתאר.

כיצד נראית בדיקת איכות התוצאה

אנחנו מתעדים שאילתות ייחוס — טיפוסיות, נדירות ומעוררות מחלוקת בכוונה — ומסמנים מה נחשב לתשובה נכונה. ההרצה נותנת שלושה מספרים: שיעור השאילתות עם תשובה מלאה, שיעור המקרים עם חיתוך תקין לפי הרשאות וזמן התגובה בחתך כבד. את הפער מפרקים עד הסיבה — כלל ניתוב, שדה מטא-נתונים או השהיית עדכון. אחרת איכות התוצאה נסוגה בשקט.

קונפיגורציות, סכימות ונהלים שאתם מקבלים

לאחר מסירת המתאר נשארים לצוות שלכם לא מצגות, אלא חפצי עבודה פעילים: קונפיגורציות, סכימות ונהלים שלפיהם אפשר לפתח ולתחזק את המערכת בלעדינו. כל מסמך משויך לצומת מסוים במתאר — לפיו רואים מה לשנות בעת חיבור מקור חדש או שינוי כללי גישה.

סכימות זרימת נתונים ומפת מקורות

• מפת מקורות: סוג החיבור, בעל הנתונים, תדירות עדכון, מגבלות על ייצוא.
• סכימת מעבר השאילתה — מנקודת הכניסה ועד למיזוג התוצאות, עם מקום השלכת הכפילויות.
• סכימת האינדוקס: מה נכנס לאינדקס, באיזו תדירות נבנה מחדש, היכן נשמר המצב.
• קונפיגורציית המתאר: פרופילי חיפוש, משקלי שדות, ספי התאמה, פסקי זמן לכל מקור.
• סכימת הדרדרות: איזה מקור מנותק ראשון ומה רואה המשתמש בעת אי-זמינות.

מדיניות גישה, תפקידים ויומנים

• מודל תפקידים: מי רואה אילו מקורות ושדות, כיצד עוברות ההרשאות בירושה.
• כללים להסתרת שדות רגישים בתוצאה ובייצוא.
• יומני שאילתות ופעולות מנהלים: הרכב הרשומות, תקופת שמירה, מי קורא אותם.
• נוהל תפעול: בנייה מחדש של אינדקסים, חיבור מקור חדש, עבודות מתוכננות, תגובה לתקלה.
• סדר מתן ובדיקה מחדש של הרשאות, כולל החלפת תפקיד או עזיבת עובד.

הערכה נמצאת במאגר שלכם ומתעדכנת יחד עם המתאר — בשחרור הבא אין צורך לשחזר את הלוגיקה מהזיכרון.

מקרה בוחן: איחוד שש מערכות מפוזרות

לפני ההטמעה שישה מקורות — מערכת רישום, אחסון מסמכים, ארכיון דואר, בסיס פניות, פורטל נהלים ומדריך ענפי — חיו כל אחד עם החיפוש שלו.

העובד חזר על השאילתה ארבע-שש פעמים והשווה ידנית את התוצאות: זמן התגובה לחיפוש מורכב כזה נמדד בדקות, ושיעור השאילתות המוצלחות בניסיון הראשון עמד על כ-40% — חלק מהמסמכים פשוט לא נכנסו לתוצאה.

בנינו שכבת פדרציה מעל אינדקסים של Elasticsearch: נקודת כניסה אחודה, פירוק השאילתה לישויות, שאילתה מקבילה למקורות עם הגבלת זמן ואיחוד התוצאה לפי רלוונטיות. אין אנו עוקפים הרשאות — כל תוצאה מסוננת לפי הרשאות המשתמש מהמערכת המקורית, ולכן בתוצאה המשותפת אין מסמכים שאינם מותרים לו.

מה השתנה בצד המקורות עצמם

הפדרציה לא הייתה עובדת אילו המקורות נשארו כפי שהם. במערכת הרישום ובבסיס הפניות הופיעו יומני שינויים, והאינדקס מתעדכן באופן מדורג ולא בבנייה מחדש בלילה — הפער בין המערכת לתוצאה הצטמצם מיממה לדקות. באחסון המסמכים הוכנסו מאפיינים אחודים: סוג, יחידה, תוקף. במדריך — מילון מילים נרדפות וקיצורים ענפיים, כך ש«הסכם אספקה» ו«אספקה» יובילו לאותה קבוצה.

השורה התחתונה: זמן תגובה 1–2 שניות במקום דקות, שיעור השאילתות המוצלחות — 89% לעומת 40%, ב-84% מהמקרים די בניסוח אחד. שטף השאלות «היכן זה נמצא» חדל להיות תחום עבודה נפרד של התמיכה.

«בעבר כל ניסיון לאחד בסיסים נתקל בהרשאות גישה. כאן השכבה פועלת מעל המערכות בלי לשבור דבר, והחזרה לסכימת החיפוש הקודמת נשארת אפשרית», — אחראי התחום.

מה לעשות אם אי אפשר לעצור את המקורות?

אף אחד אינו מוציא מערכת פעילה מכלל שימוש למען חיפוש חדש, ולכן החיבור נבנה מעל השירותים הקיימים במצב קריאה בלבד. המתאר שלנו פונה למקורות בדיוק כפי שכל צרכן רגיל שלהם עושה, ואינו תובע כתיבה לשום מקום.

הרשאות גישה ניתנות לקריאה: חשבון נפרד, רפליקה או ייצוא סדיר — לבחירת בעל המקור. אפילו במקרה של טעות בקונפיגורציה אין ביכולתנו פיזית לשנות נתונים במערכת המקור, ולכן הסיכון עבורה מצטמצם לקריאה ולא לפגיעה בתוכן.

המתאר מתרחב בשלבים. תחילה מתחבר מקור אחד — עליו נבדקים שלמות התוצאה, איכות הנרמול והתנהגות תחת עומס. הבא נוסף רק לאחר שהקודם מניב תוצאה צפויה, וכל שלב מוחזר בנפרד, בלי לפגוע בחיבורים שכבר פועלים.

את התאימות פותרת שכבת הנרמול: סכימות נתונים, פורמטי שדות ומדריכים שונים מובאים לצורה משותפת, ובעל התוכן נשאר המקור. ניתן ברגע להוציא כל מקור מהמתאר — שאר החיבורים ימשיכו לפעול כמקודם.

הקריאה מוקצת כך שלא תתחרה בשאילתות העבודה: המעבר מתבצע במנות, בחלונות של עומס נמוך, עם הגבלת מקביליות. השבתה אינה נוצרת לא בהתחלה ולא בעת הוספת מקורות חדשים — החיפוש מתרחב לפי מידת המוכנות, והשירותים ממשיכים לפעול במצב רגיל.

ספקות טכניים בנוגע לאיחוד מקורות

חמש שאלות שנשמעות לרוב בשלב ההערכה. אנחנו עונים עליהן לפני ההתחלה: מהחלטות אלה תלוייה התנהגות המערכת בתפעול, ולא רק בהדגמה.

מה יקרה אם מקור אחד אינו זמין?

התוצאה נסוגה חלקית: האחרים עונים, ובתשובה רואים אילו נתונים לא נכנסו. השאילתה חוזרת עם השהיה הולכת וגדלה, ובכשל מתמשך המקור מוצא זמנית מהשאילתה.

כמה עבודה יוסיף מקור חדש?

החיבור הוא מחבר ותיאור סכימה: שדות חיפוש, ישויות, הרשאות רלוונטיות. הליבה לא משתנה, אך נדרש מיפוי הפוך למקור הראשי, כך שהמשתמש יגיע למקור.

כיצד מאוחדים פורמטי נתונים שונים?

אנחנו מביאים לחוזה אחוד: טקסט, מטא-נתונים, הרשאות, קישור. החיפוש מתבצע לפי הצורה המנורמלת, ונקודת האמת נשארת המקור במערכת — במקרה של פער הוא מנצח.

האם החיפוש לא יכביד על המקורות?

הפניות מתבצעות לקריאה בלבד, עם הגבלת שאילתות מקבילות ותור לפי סדרי עדיפויות. שאילתות אינטראקטיביות מקדימות מעברים ברקע, ושאילתות חוזרות מוסרות על ידי המטמון.

נדון במשימת איחוד המקורות שלכם

בשיחה הראשונה חשוב לנו יותר להבין כיצד בנויים המקורות שלכם מאשר להציג פתרון מוכן. מספיקים 30–40 דקות עם מהנדס שאחראי על הנתונים — זה מספיק כדי לשרטט את גבולות המתאר ולחזור עם הערכת לוחות זמנים ותוכנית עבודה.

• אילו מערכות כבר קיימות — קטלוגים, בסיסים, אחסוני קבצים, שירותים חיצוניים — ומה מהן חייב בהכרח להיכנס לתוצאה המשותפת.
• כיצד בנויות ההרשאות: של מי ההרשאות עוברות בירושה בחיפוש, היכן נדרשת הסתרת שדות, האם יש דרישות ליומן שאילתות.
• לפי איזה סימן מותאמים מסמכים ממקורות שונים: מזהה אחוד, נוהל עדכון, כללי מיזוג כפילויות.
• מה נחשב לאיכות התוצאה — שיעור הפגיעות הרלוונטיות בראש, שלמות התוצאה, זמן תגובה מותר לשאילתה.
• מתאר פיילוט: אילו שניים-שלושה מקורות מחברים ראשונים, על איזה חתך נתונים בודקים ולפי איזה מדד מקבלים את התוצאה.
• תוכנית הטמעה: סדר החיבור, נקודות הרחבה למקורות חדשים, מי מצדכם מקבל את השלבים.
• ליווי לאחר ההשקה — ניטור זמינות המקורות, עדכון סכימות, החזרה במקרה של ירידה באיכות.

לאחר השיחה נשלח את הרכב מתאר הפיילוט, תוכנית ההטמעה והערכת לוחות זמנים לפי שלבים. תארו את המשימה בשתיים-שלוש פסקאות — נחזור עם הערכה והצעה לארכיטקטורה.