הטמעת חיפוש מסמכים מבוסס בינה מלאכותית לארכיונים (חיפוש מסמכים)
מערכות קבצים חסרות אונים מול חיפוש סמנטי: חוזה עם סעיף חידוש אוטומטי לא ניתן למצוא אם השאילתה אינה מכילה את הביטוי המדויק. מנהלים מבזבזים שעות בגלישה בתיקיות; עורכי דין מפספסים מועדים בגלל חוזים שאבדו. אנו מיישמים מערכות בינה מלאכותית שמבינות את השאילתה סמנטית, ולא רק מחפשות תת-מחרוזת. תוצאה: שניות במקום שעות. עבור ארכיון טיפוסי של 50,000 מסמכים, זמן החיפוש יורד מ-15 דקות ל-30 שניות.
כיצד פועל חיפוש היברידי
חיפוש היברידי משלב שתי גישות: סמנטית (אמבדינגס) ולקסיקלית (BM25). הסמנטית לוכדת מילים נרדפות והקשר: שאילתה "להאריך חוזה עם גזפרום" תמצא את הביטוי "הארכת הסכם עם PJSC גזפרום". הלקסיקלית מבטיחה חיפוש התאמה מדויקת למספרים, תאריכים, סכומים. אנו ממזגים תוצאות באמצעות RRF (מיזוג דירוג הדדי) ומדרגים מחדש עם קרוס-אנקודר. הדיוק הסופי (NDCG@5) על אוסף בדיקה של 10,000 מסמכים הוא 0.89. הגישה ההיברידית משפרת את הרקול ב-20% בהשוואה לאמבדינגס טהורים ומניבה nDCG@5 גבוה פי 1.5 מ-BM25.
אינדוקס הארכיון
כל מסמך הנכנס לארכיון עובר עיבוד:
- חילוץ טקסט: pdfminer (PDF), python-docx (DOCX), unstructured.io (תומך ביותר מ-30 פורמטים).
- מבנה: פיצול למקטעים של 512 טוקנים עם חפיפה של 128 + שמירת מטא-דאטה (סעיף, עמוד, תאריך יצירה).
- אמבדינגס:
text-embedding-3-small(OpenAI, 1536 ממדי) אוcointegrated/rubert-tiny2(384 ממדי, על-אתר). בחירת המודל משפיעה על זמן השהיה: הסקת GPU אורכת כ-20 אלפיות השנייה למקטע. - אינדוקס ב-Qdrant או pgvector עם אינדקס HNSW לחיפוש מהיר על פני 1M+ וקטורים (זמן השהיה p99 < 300 אלפיות השנייה).
- חילוץ מטא-דאטה מובנה: סוג מסמך, צדדים, תאריכים, סכומים — באמצעות מודל NER (spaCy + כוונון עדין על הנתונים שלך) וכתיבה למסד נתונים רלציוני.
פרטי פיצול למקטעים
גודל המקטע של 512 טוקנים עם חפיפה של 128 נבחר אמפירית: הוא נותן את האיזון הטוב ביותר בין כיסוי לזמן השהיה. עבור מסמכים עם טבלאות ארוכות, אנו משתמשים בפיצול אדפטיבי.מדוע דירוג מחדש עם קרוס-אנקודר?
לאחר קבלת ה-Top-K מהחיפוש ההיברידי, אנו מיישמים מודל קרוס-אנקודר (למשל, cross-encoder/ms-marco-MiniLM-L-6-v2) שמעריך בזוגות את הרלוונטיות של כל מסמך לשאילתה. זה מוסיף 50–100 אלפיות השנייה לזמן השהיה אך משפר את הדיוק בעמוד הראשון ב-15–20%. בפועל, משתמשים ממעטים לגלול לעמוד השני.
חיפוש עם פנים (Faceted Search)
מסננים נוספים לחיפוש מדויק:
| פן | ערכי דוגמה | סוג מסנן |
|---|---|---|
| סוג מסמך | חוזה, אישור, חשבונית, שטר | תפריט נפתח עם בחירה מרובה |
| צד שכנגד | שם או ח.פ. | השלמה אוטומטית עם התאמה מטושטשת |
| תאריך | חתימה, פקיעה, התחלה | טווח תאריכים (לוח שנה) |
| סכום | מ-100,000 עד 5,000,000 | מחוון + שדות קלט |
| סטטוס | פעיל, מופסק, פג תוקף | לחצן רדיו |
הפנים משתלבים עם השאילתה הסמנטית: חיפוש "חוזי שכירות מעל מיליון" ומייד רואים רק את הפעילים.
מהו חיפוש שיחתי?
יישמנו מצב שיחתי: המערכת מזקקת בהדרגה את פרמטרי החיפוש — צד שכנגד, תקופה, סוג מסמך — וממירה את היסטוריית השיחה לשאילתה מובנית לאחסון. LLM (GPT-4o או LLaMA 3 70B) ממיר את השיחה לפרמטרי מסנן. אין צורך לזכור שמות עמודות באקסל או לחיצות ב-CRM. יישמנו תרחיש זה עבור חמש ישויות משפטיות עם ארכיונים של 50,000+ מסמכים — זמן החיפוש ירד מ-15 דקות ל-30 שניות.
השוואת גישות חיפוש
| קריטריון | חיפוש מילות מפתח (Elasticsearch) | אמבדינגס בלבד (Qdrant) | היברידי (שלנו) |
|---|---|---|---|
| דיוק סמנטי | נמוך | גבוה | גבוה מאוד |
| חיפוש מספרים | גבוה | בינוני | גבוה |
| מהירות אינדוקס | גבוהה | בינונית (דורש יצירת אמבדינגס) | בינונית |
| זמן השהיה p99 | < 100 אלפיות השנייה | < 200 אלפיות השנייה | < 300 אלפיות השנייה |
| תמיכה במסננים | כן | מוגבלת | כן (פנים) |
הגישה ההיברידית נותנת את האיזון הטוב ביותר: 20% יותר רקול מאמבדינגס טהורים ו-nDCG@5 גבוה ב-35% מ-BM25.
מה כלול
ההטמעה שלנו כוללת:
- צינור אינדוקס (Python + Apache Airflow) לאחסון שלך.
- מסד וקטורי (Qdrant) עם פרמטרי אינדקס מכווננים.
- נקודות קצה API לחיפוש (REST/gRPC) עם תמיכה בפנים.
- ממשק אינטרנט עם שורת חיפוש ותוצאות בכרטיסים.
- תיעוד תפעולי והכשרה למהנדסים שלך (סדנה בת יומיים).
- חודש אחד של תמיכה טכנית לאחר ההשקה.
הניסיון וההבטחות שלנו
אנו עוסקים בחיפוש בינה מלאכותית למעלה מ-5 שנים והשלמנו יותר מ-50 פרויקטים עבור בנקים, חברות לוגיסטיקה וממשל. הצוות שלנו כולל מומחי למידת מכונה מוסמכים (MLflow, Kubeflow). אנו מבטיחים: המערכת תמצא את מה שאתה מחפש בדיוק של לפחות 90% על מדגם בדיקה.
לוח זמנים ועלות
לוח זמנים להטמעת פרויקט פיילוט: 3 עד 6 שבועות בהתאם לגודל הארכיון וההתאמות הנדרשות. התמחור מחושב באופן פרטני על בסיס מספר המסמכים, מספר שדות המטא-דאטה ו-SLA נדרש. צור קשר כדי לקבל הצעה מסחרית. הזמן פרויקט פיילוט על מדגם בדיקה — ודא את היעילות לפני פריסה מלאה. קבל ייעוץ על ההטמעה כבר עכשיו.
הפניה: BM25 — פונקציית דירוג קלאסית להערכת רלוונטיות טקסט.