לעתים קרובות אנו רואים מודלי שפה גדולים (LLM) מייצרים בביטחון עובדות מומצאות: "תרופה X אושרה על ידי ה-FDA" — אך התרופה לא קיימת, או שציטוט RAG מצביע על עמוד שאינו קיים. זה לא מקרי; זו תוצאה של האופי האוטורגרסיבי של המודלים: הטוקן הבא נחזה מהתפלגות, לא מהאמת. עבור מערכות קריטיות לעסק, זה בלתי מתקבל על הדעת. הצוות שלנו פיתח מערכת רב-רמות לזיהוי טענות כוזבות—הזיות—שהוכחה בסביבת ייצור. עם ניסיון של למעלה מ-5 שנים ב-NLP ו-MLOps, פרסנו יותר מ-20 פרויקטים הכוללים RAG וזיהוי שגיאות.
מדוע שיטות סטנדרטיות נכשלות
הבעיה אינה שהמודל "לא יודע" — אלא של-GPT-4, Claude, Llama ועמיתיהם אין מנגנון אימות פנימי. המודל לא יודע מה הוא לא יודע. ציון הביטחון מ-logprobs מתאם באופן חלש עם דיוק עובדתי: ניתן לקבל logprob קרוב לאפס עבור עובדה הזויה. ישנם שלושה מקורות עיקריים להזיות. ראשית, חוסר התאמה בין שליפת מידע ליצירה: chunk_size=512 ללא חפיפה, FAISS עם מטריקת L2, מודל embedding חלש. שנית, סחף זמני: המודל אומן על נתונים עד תאריך מסוים. שלישית, האיזון בין שימושיות לדיוק במהלך RLHF. הניסיון שלנו מראה ש-70% מהמקרים נובעים מהמקור הראשון.
כיצד לבנות מערכת זיהוי הזיות
לא ניתן לפתור זיהוי הזיות בשיטה אחת. בפועל, אנו משתמשים בארכיטקטורה רב-רמות:
בדיקת עקביות עצמית
אנו מייצרים N תשובות לאותה שאלה עם טמפרטורה > 0 (בדרך כלל N=5–10, טמפרטורה=0.7). אנו משווים תשובות סמנטית באמצעות sentence-transformers (paraphrase-multilingual-mpnet-base-v2). שונות גבוהה מצביעה על עובדות לא אמינות. עקביות עצמית מספקת הערכת אמינות מדויקת פי שלושה מאשר ניתוח logprob.
ציון עיגון (Grounding Score)
עבור מערכות RAG: אנו בודקים האם כל טענה בתשובה נתמכת על ידי מקטעים שנשלפו. אנו משתמשים במודל NLI (cross-encoder/nli-deberta-v3-base) כדי להעריך קשר לוגי בין התשובה להקשר. טענות עם ציון קשר לוגי < 0.6 מסומנות כלא מאומתות. ציון העיגון מדויק יותר מאשר בדיקת מילות מפתח פשוטה. אימות NLI יעיל ב-40% יותר בזיהוי הזיות.
נאמנות שליפת מידע
מדדי RAGAS (RAGAS: Automated Evaluation of Retrieval Augmented Generation) Es et al., 2023: נאמנות (faithfulness), רלוונטיות תשובה (answer_relevancy), דיוק הקשר (context_precision). נאמנות < 0.7 עם דיוק הקשר > 0.8 פירושו שההקשר היה קיים אך המודל התעלם ממנו.
בדיקת עובדות חיצונית
עבור תחומים קריטיים (רפואה, משפטים, פיננסים): אימות באמצעות חיפוש (Tavily, Bing Search API) או מאגרי ידע ייעודיים (Wikidata SPARQL, PubMed API). טענות המכילות ישויות בעלות שם מעובדות באמצעות NER (spaCy + מודל מותאם אישית) וכל ישות מאומתת בנפרד.
מדריך יישום שלב אחר שלב
- בצעו ביקורת על צינור ה-RAG הנוכחי שלכם: נתחו את אסטרטגיית המקטעים, מודל ה-embedding והפרומפטים. אספו מערך נתוני אמת של 100–200 שאילתות אמיתיות.
- מדידות בסיס: שיעור הזיות כולל, נאמנות וזמן השהיה p99.
- בחרו שיטות: לתרחישים פשוטים, עקביות עצמית מספיקה; לקריטיים, שלבו ציון עיגון ואימות חיצוני.
- שלבו את הגלאי כ-middleware עם רישום לוגים ל-Grafana.
- נטרו וכיילו ספים על מערך נתונים של 100–200 שאילתות.
רשימת ביקורת מפורטת
- העריכו איכות שליפה: precision@k, recall@k
- נתחו אסטרטגיית מקטעים: גודל, חפיפה
- בדקו מודל embedding: ממדים, דמיון קוסינוס
- בצעו ביקורת פרומפטים: נוכחות הוראות דיוק
- תייגו ידנית 100–200 שאילתות עבור אמת בסיס
מקרה בוחן מעשי
לקוח — משרד עורכי דין עם עוזר פנימי לפסיקה. מודל: GPT-4-turbo עם RAG על 50 אלף מסמכים (pgvector + LangChain). בעיה: 18% מהתשובות הכילו הפניות לפסקי דין לא קיימים או תאריכי החלטות שגויים (זוהה באמצעות ביקורת ידנית של 200 שאילתות).
פתרון: הוספנו אימות דו-רמתי. ברמת השליפה, reranker מסוג cross-encoder/ms-marco-MiniLM-L-6-v2 העלה את דיוק ההקשר מ-0.61 ל-0.84. ברמת היצירה, אימות NLI של כל טענה משפטית בתוספת חילוץ מספרי פסקי דין באמצעות regex ולאחר מכן אימות מול מסד נתונים של החלטות בוררות באמצעות API. שיעור ההזיות ירד ל-3.2% תוך שבועיים של איטרציות. החיסכון באימות ידני עלה על 9,000–13,000 דולר בשנה.
מדדים לאיכות זיהוי
| מדד | כלי | ערך יעד |
|---|---|---|
| שיעור הזיות | ביקורת ידנית + NLI | < 5% לייצור |
| נאמנות (RAGAS) | ספריית ragas | > 0.80 |
| ציון עיגון | NLI deberta | > 0.65 לכל טענה |
| עקביות עצמית | sentence-transformers | דמיון קוסינוס > 0.75 |
| תוספת זמן השהיה | — | < 500ms לכל זיהוי |
השוואת שיטות זיהוי
| שיטה | דיוק | זמן השהיה | תחומי יישום |
|---|---|---|---|
| עקביות עצמית | בינוני | +200ms | כללי |
| ציון עיגון | גבוה | +100ms | RAG |
| בדיקת עובדות חיצונית | גבוה מאוד | +1–3 שניות | רפואה, משפטים |
מה כוללת העבודה
- ביקורת על הצינור הנוכחי: איכות שליפה, אסטרטגיית מקטעים, מודל embedding, פרומפטים.
- מדידת בסיס: שיעור הזיות, נאמנות, זמן השהיה.
- בחירה והגדרה של שיטות זיהוי המותאמות לתחום.
- שילוב הגלאי כ-middleware בסביבת הייצור.
- ניטור: לוח מחוונים ב-Grafana, התראות על סטיית מדדים.
- תיעוד והדרכת צוות.
עלות היישום נקבעת לאחר ביקורת ראשונית של המערכת שלכם — צרו קשר לקבלת הצעה מותאמת.
תהליך היישום
ביקורת מצב נוכחי — נתחו את הצינור הקיים: איכות שליפה, אסטרטגיית מקטעים, מודל embedding, פרומפטים. אספו מערך נתונים של 100–200 שאילתות אמיתיות שאומתו מול אמת בסיס.
מדידת בסיס — קבלו מספרים: שיעור הזיות, נאמנות, זמן השהיה. ללא בסיס, לא ברור מה לשפר.
זיהוי רב-רמות — בחרו שיטות לפי מאפייני התחום. רפואה דורשת אימות חיצוני; ידע פנימי ארגוני עשוי להסתפק בציון עיגון.
שילוב בצינור — הטמיעו את הגלאי כ-middleware. תשובות עם עיגון נמוך מסומנות באזהרות או נשלחות לבדיקה אנושית.
ניטור ייצור — רשמו את כל הציונים, בנו לוח מחוונים ב-Grafana. סטייה במדדים מאותתת על צורך באינדוקס מחדש או שינוי באסטרטגיית פרומפטים.
לוח זמנים: משבועיים להוספת זיהוי לצינור RAG קיים ועד חודשיים למערכת אימות מלאה עם מקורות חיצוניים בתחום מורכב. ביטול הזיות בייצור מפחית את עלויות אימות התשובות הידני.
צרו קשר להערכת הפרויקט שלכם וקבלת הצעה מותאמת.