חילוץ עובדות אוטומטי: תהליכי LLM ו-NLP

מדוע חילוץ עובדות מטקסט נשבר על מסמכים אמיתיים

על עשרה מסמכי בדיקה חילוץ עובדות מטקסט נראה כמו בעיה פתורה, אבל בזרימה של כמה אלפים — מחצית השדות ריקה או מלאה בזבל. הסיבה היא שמסמכים אמיתיים אינם מובנים: ספק אחד מעצב חשבונית כטבלה, השני — כטקסט רציף, השלישי שולח סריקה עם עיוות.

התבנית שעבורה כוונו החוקים מופיעה במקרה הטוב בשליש מהמקרים. סריקות מוסיפות סוג שגיאות חילוץ משל עצמן: זיהוי תווים מבלבל בין ספרות בסכומים ובמספרים, מאבד שורות בעמודות צרות, ומדביק תאים סמוכים. בקלט כזה המערכת מחזירה ערכים שגויים בביטחון — וזה גרוע משדה ריק, כי את הטעות לא רואים בעין.

טבלאות מקוננות מתפרקות לרשימה שטוחה, והקשר בין פריט, הכמות שלו לסכום הכולל הולך לאיבוד — בפלט מתקבל אוסף מספרים בלי כתובת. מילים נרדפות מחסלות את החוקים המבוססים על מילון: «מספר הנישום», «מ.נ.», «מ.נ./קוד רישום» — זהו שדה אחד בשלוש צורות כתיב, וכל ניסוח חדש דורש תיקון.

כשהכשלים מצטברים, הצוות חוזר להעברה ידנית של נתונים: המפעיל משווה שדות בעיניים ומעביר אותם למערכת הנהלת החשבונות. הדיוק מתאושש, אבל התפוקה נתקעת בגלל אנשים, והשגיאות עוברות לשדות שאיש לא בודק פעמיים.

בהמשך נפרט כיצד זה נסגר — באמצעות בקרה בכל שלב של ניתוח המסמכים, ולא רק בפלט.

האפקט של תיוג אוטומטי: מה משתנה בתהליך

תיוג מפסיק להיות ידני במקום שבו השדה מחולץ באופן חד-משמעי: פרטי זיהוי, תאריכים, סכומים, מספרי חוזים, הפניות לצדדים. התוכנית העובדת היא היברידית: חוקים דטרמיניסטיים ומילונים לשדות קבועים, ומודל לניסוחים בצורה חופשית.

קו עיבוד כזה שומר על דיוק חילוץ ברמה שנבדקת במדגם, ולא בסקירה מלאה, והמדד המרכזי הופך להיות שיעור המסמכים שעברו בלי ניתוח ידני.

את מהירות עיבוד המסמכים קובע לא המודל, אלא ארגון התור: החבילה מפוצלת במקביל לפי מסמכים, עמודים כבדים עוברים לזרימה נפרדת, וכשל בקובץ אחד לא עוצר את האחרים.

חבילה של כמה אלפי עמודים עוברת בשעות במקום שבועות, והרצה חוזרת לאחר תיקון החוקים אורכת דקות — אפשר לשנות את הלוגיקה ולראות את האפקט מיד.

בקרת איכות הנתונים נבנית על בדיקות, ולא על אמון במודל: ולידציה לפי סכימה, הצלבה בין שדות קשורים, סף ביטחון שמתחתיו רשומה עוברת לאימות. בנוסף אנו מתחזקים מערך ייחוס ומריצים עליו כל שינוי — רגרסיות נתפסות לפני ההעברה, ולכן הפחתת העבודה הידנית אינה נקנית בירידת דיוק.

מוסרים גם מחלקות שלמות של כשלים: פערי פורמטים בין ספקים, שדות שאבדו בעת העתקה, כפילויות של אותה ישות תחת שמות שונים. את הגישה לאיכות הנתונים אנו בונים לפי הפרקטיקה של DAMA-DMBOK — עם בעלים לשדה, כלל בדיקה ויומן תיקונים, כדי שניתן יהיה להסביר את תוצאת התיוג ולחזור אחורה.

השוואה בין מצבי ניתוח: חוקים, מודלים, היברידי

מצב הניתוח נבחר לא לפי טעם, אלא לפי מבנה הנתונים. במקום שבו הערך מוגדר פורמלית — מספר חוזה, תאריך, קוד, סכום במילים — החוקים מנצחים; במקום שבו המשמעות נשענת על הקשר — צד לעסקה, תנאי ביטול, הסתייגות סמכות שיפוט — אי אפשר בלי מודל.

הקיצוניות יקרות באותה מידה: מילונים נשברים על הניסוח החופשי הראשון, ומודל בלי בדיקה מחזיר ערך סביר אך שגוי, ואין דרך להבדיל בינו לבין הנכון.

האדם בקו הבדיקה סוגר את המעגל: כל עובדה מגיעה עם הפניה לקטע המקור, מקרים שנויים במחלוקת עוברים למפעיל לפי סף ביטחון, והתיקונים שלו נכנסים למילונים ולדוגמאות לאימון נוסף.

בחירת הגישה היא בחירת נקודת הפעלת המאמץ: חוקים מתקנים מהר, את המודל מאמנים מחדש לעתים רחוקות יותר, אך הוא מחזיק ניסוחים שמעולם לא היו במילון.

הטמעה שלב אחר שלב: מביקורת הקורפוס ועד למסירה

חילוץ עובדות נשבר לא על המודל, אלא על קורפוס המסמכים: אין פורמט אחיד, אותו שדה נקרא בשמות שונים, וחלק מהערכים קיימים רק בסריקות. לכן העבודה מתקדמת מביקורת הנתונים אל המסירה — כל שלב נסגר בארטיפקט שנבדק לפני המעבר לשלב הבא.

1. ביקורת קורפוס המסמכים. מנתחים מדגם מכל הסוגים: אילו שדות מופיעים, באיזו תדירות הם חסרים, היכן מצוי הערך — בטבלה, בהערת שוליים או בחתימה. התוצאה — רשימת שדות עם הערכה ריאלית של שלמות החילוץ.
2. סכימת תיוג השדות. לכל שדה מגדירים טיפוס, צורות כתיב מותרות וכלל המרה לצורה אחידה. מקרים שנויים במחלוקת מתארים במפורש, כדי שתיוג ידני והמודל יפרשו אותם באותו אופן.
3. תיוג מדגם הייחוס. כמה מאות מסמכים מתויגים ידנית ומחולקים לשני חלקים: אחד משמש לכיול, השני נשאר סגור עד לבדיקה.
4. כיול החילוץ. מנסחים את השאילתות ואת כללי עיבוד התוצאה, תוך הצלבה עם החלק המתויג. בנפרד מטפלים בשדות שבהם המערכת מחזירה בביטחון פורמט שגוי.
5. בדיקה על מדגם מוחזק. מריצים את הקו המוכן על מסמכים שהוא לא ראה, ומחשבים לכל שדה את שיעור הערכים הנכונים, ההחמצות וההתראות השווא. את ספי הקבלה קובעים לפני המדידות, ולא אחריהן.
6. מסירה לתפעול. מוסרים קו עובד, יומן עיבוד, ממשק לניתוח מקרים שנויים במחלוקת ותקנון: כיצד מחברים סוגי מסמכים חדשים ומתי בוחנים מחדש את סכימת השדות.

ערכת המסירה: חוקים, סכימות ותקנוני בדיקה

ערכת המסירה נאספת במקביל לפיתוח, ולא בסוף הפרויקט: כל ארטיפקט נבדק על זרימת מסמכים אמיתית. הלקוח מקבל לא תיאור של הפתרון, אלא חומרי עבודה שלפיהם אפשר לנהל חילוץ עובדות בכוחות עצמו או למסור אותו למהנדס אחר בלי סיפור בעל-פה.

• סכימת נתונים — רשימת הישויות והמאפיינים שנשלפים מהטקסט: טיפוס הערך, חיוניות, מקור, כללי נרמול, הקשר שבין העובדה לקטע המקור. ממנה רואים מה לעשות עם הופעת סוג עובדה חדש, בלי לבנות מחדש את כל הקו.
• תקנון בדיקה — כיצד נוצר המדגם לבקרה ידנית, איזה שיעור אי-התאמות נחשב מותר, ובאיזה סף החוק מוחזר לשיפור. בלעדיו האיכות נשענת על הזיכרון של מהנדס אחד.
• כללי חילוץ עם היסטוריית שינויים — מה השתנה, על איזה חתך של הקורפוס נבדק, אילו מחלקות עובדות נפגעו וכיצד לחזור להגדרה הקודמת.
• מדיניות הרשאות — מי רואה את המסמכים המקוריים, מי רק את העובדות המחולצות, כיצד מופרדים התפקידים, היכן מנוהל יומן הפניות וכיצד מטופלים נתונים אישיים.
• תיעוד הפתרון — סכימת ארכיטקטורה, נקודות חיבור למערכות הנהלת החשבונות, תיאור ההתנהגות בעת אי-זמינות המודל: מה עובר לתור, מה נזרק, וכיצד נטען מחדש האבוד.
• הוראות למפעילים — כיצד לתייג מקרה שנוי במחלוקת, אילו סימנים מעידים על שגיאת חילוץ, לאן להסלים כשל, ומה נחשב לתקלה לעומת ספק שגרתי.
• יומן מדדים — דיוק ושלמות לכל מחלקת עובדות לפני ואחרי התיקונים, כדי לראות את ההידרדרות בזמן אמת, ולא מתוך תלונות משתמשים.

הערכה מלווה במסירה קצרה: ניתוח על דוגמאות חיות ותשובות לשאלות הצוות. ההיקף תלוי במספר סוגי המסמכים ומחלקות העובדות — בתחילה נדון במשימה ונחזור עם הרכב הארטיפקטים ותוכנית העבודה.

מקרה בוחן: ניתוח חוזים עם בקרת איכות בפלט

אלינו הגיע מפעיל ליסינג שבו הנהלת החשבונות נשענה על הזנה ידנית: חוזים, הסכמים ותדפיסי בנק המפעילים ניתחו עמוד אחר עמוד. בזרימה של כמה אלפי מסמכים הדבר יצר תור של כמה ימים, ופערים בתאריכים ובסכומים צפו כבר בהצלבה עם הנהלת החשבונות.

את חילוץ העובדות בנו בשתי שכבות: תדפיסים בפורמט УФЭБС וחוזים טקסטואליים נותחו מתוך המבנה, וסריקות — באמצעות זיהוי תווים עם הצמדה לבלוק בעמוד. כל ערך מחזיר המודל לפי הסכימה המתוארת — צדדים, מספר, תאריך, סכום, לוח תשלומים, נושא — ובהכרח עם הפניה לקטע המקור.

קו בקרת האיכות

התוצאה אינה עוברת ישירות למערכת הנהלת החשבונות. תחילה פועלות הבדיקות: ספרת ביקורת של מספר הנישום, שוויון בין סכום החוזה לסכום לוח התשלומים, תאריכים בטווח התקופה, הצלבת פרטי זיהוי בין החוזה לתדפיס.

שדה שלא עבר בדיקה או שהגיע עם ביטחון נמוך עובר לתור לניתוח ידני, ולא לבסיס הנתונים «כפי שיצא». לצדו יומן החלטות: גרסת הסכימה, קטע המקור, מבצע התיקון; הארכיון נבדק מחדש לאחר שינוי החוקים בלי לאבד את ההיסטוריה.

מדדים לפני ואחרי

• שיעור המסמכים בהזנה ידנית: 100% → 9–12%;
• זמן עיבוד החבילה: 2–3 ימים → 40–60 דקות;
• שגיאות בשדות קריטיים: 4–6% → פחות מ-0.5%;
• הרצה חוזרת של הקורפוס: עיבוד מחדש לפי הסכימה החדשה בלי מפעילים.

האפקט אינו רק במהירות: לכל עובדה יש מקור ובדיקה, ולכן חוזה שנוי במחלוקת מנותח לפי הקטע, ולא לפי זיכרון העובד.

מה לעשות אם תיוג העובדות כבר מתבצע ידנית?

אין לזרוק תיוג ידני שנצבר — זהו הנכס היקר ביותר של הפרויקט. המפעילים כבר קבעו את גבולות העובדות, את סוגיהן ואת הקשרים ביניהן, כלומר יצרו תקן שלפיו אפשר לבדוק כל ניתוח אוטומטי.

לכן המעבר מתחיל לא בהטמעת מודל, אלא בסקירה של מה שתויג: אילו סוגי עובדות באמת מופיעים, היכן הניסוחים סוטים, ואילו ישויות מתוארות בחוסר עקביות.

בהמשך מביאים את התיוג הידני לצורה קריאה למכונה: רשומה אחת — עובדה אחת, עם ציון קטע הטקסט, הטיפוס, המאפיינים והפניות לישויות קשורות. במקביל מקובעת סכימה — רשימה סגורה של טיפוסים וכללי זיהוים, כדי שמתייגים שונים לא יפרשו את אותו הדבר בדרכים שונות. סכימה כזו הופכת גם למפרט טכני לאוטומציה וגם למילון לבדיקת התוצאה.

האוטומציה מופעלת על נתונים מוכנים, ולא מאפס: המודל או כללי החילוץ מאומנים ומכוילים על קורפוס מתויג, ולאחר מכן משווים את תוצאתם לתקן באופן ידני על החלק המוחזק. הפערים מראים היכן הסכימה דו-משמעית והיכן חסרות דוגמאות — זו בדיוק תוכנית השיפור. חלק מהתיוג משאירים במכוון מחוץ לאימון: הוא דרוש כבקרת איכות בלתי תלויה בכל עדכון.

את המעבר עצמו עושים הדרגתי. האוטומציה מטפלת בכל הזרימה, והמפעילים מתחברים רק למקרים שנויים במחלוקת — אלה שבהם הביטחון נמוך מהסף או שפעלו חוקים מתנגשים.

דוגמאות מאושרות ומתוקנות חוזרות לקורפוס, ובזכות כך שיעור העבודה הידנית יורד מאיטרציה לאיטרציה, ואיכות תיוג העובדות נשארת מדידה על אותה סקאלה. תארו כיצד מתויג הקורפוס שלכם היום — ונחזור עם הערכה ותוכנית למעבר כזה.

ספקות טכניים: איכות הנתונים ואימון נוסף

איכות החילוץ אינה תלויה בגודל המודל, אלא בנתונים שעליהם מכיילים אותו. אם בתיוג מעורבות מהדורות שונות של חוזים, ושדות שנויים במחלוקת תויגו «בעין», המודל מחזיר בביטחון עובדה שגויה — וזה יקר יותר מהחמצה, כי את השגיאה איש לא בודק.

לכן אימון נוסף אנו מבצעים על הקורפוס הייעודי של הלקוח, ולא על מערכים אוניברסליים: תחילה מקבעים את סכימת השדות ואת כללי ניתוחם, אחר כך אוספים דוגמאות, ורק לבסוף נוגעים במשקלים.

הנקודה השנייה — קו סגור. לקוחות בצדק אינם רוצים לשלוח חוזים ונתונים אישיים לשירותים חיצוניים, ולכן את האימון ואת הסקת המודל פורסים בתוך ההיקף הארגוני. להלן תשובות למה שמבהירים לרוב לפני ההתחלה.

מה קורה כשמתחלפת תבנית המסמכים?

הפריסה משתנה — הצמדות השדות הולכות לאיבוד והשלמות החילוץ יורדת. את סכימת הניתוח אנו מחזיקים בנפרד מהמודל: החוקים והתבניות מוצאים לתצורה, ולכן התאמה לטופס חדש אינה אימון מחדש מאפס.

בהמשך מוסיפים כמה עשרות דגימות מתויגות מהסוג החדש, מאמנים את המתאם ומאמתים על המערך ההיסטורי, כדי לא לאבד איכות על מסמכים ישנים.

כיצד אתם מטפלים במקרים שנויים במחלוקת?

שדות עם ביטחון נמוך של המודל אינם עוברים להעברה, אלא נכנסים לתור לבדיקה ידנית עם הדגשת הקטע המבסס. המפעיל מאשר או מתקן את הערך, והתיקון הזה חוזר למערך האימון. כך הופכים מקרים שנויים במחלוקת בהדרגה לסוג שגרתי, ושיעור הבדיקה הידנית יורד מאיטרציה לאיטרציה.

כיצד אתם מבקרים את איכות הנתונים לאימון נוסף?

אנו מתייגים לפי הוראה כתובה, שדות מפתח — בשני מבצעים בנפרד, ופערים מנתחים בנפרד. מחזיקים מערך דוגמאות מוחזק שאינו משתתף באימון, ומחשבים דיוק ושלמות לכל שדה, ולא כמספר כולל אחד. אם המדד יורד בסוג מסמך מסוים, זה נראה לפני העלייה לאוויר.

נדון במשימה ונחזור עם סכימה והערכה

כדי שההערכה ותוכנית העבודה יישענו על עובדות ולא על ניחושים, די לשלוח דגימת קורפוס — מאה עד מאתיים מסמכים אמיתיים בצורה שבה הם מגיעים למערכת, ורשימת השדות שצריך לחלץ: סוגי הישויות, הקשרים ביניהם, פורמטים מותרים של ערכים.

אם יש תיוג ייחוס לפחות על חמישים מסמכים, נחשב את הדיוק באופן ענייני כבר בהתחלה. בהמשך נדון במשימה ונחזור עם סכימה והערכה.

• מפת סוגי העובדות והקשרים לדומיין הנושאי שלכם: מה נחשב לעובדה עצמאית, מה למאפיין של רשומה, ומה נזרק כרעש.
• סכימת קו העיבוד: ניתוח המסמך, נרמול, זיהוי מועמדים על ידי המודל, בדיקה בכללים ובמאגרי עזר, והבאה לרשומות קנוניות.
• פרוטוקול תיוג התקן וכללי הכרעה במקרים שנויים במחלוקת, כדי שמתייגים שונים יפרשו את אותו הדבר באותו אופן.
• מדדים על המסמכים שלכם: שלמות ודיוק לכל טיפוס שדה, שיעור הרשומות שעברו לבדיקה ידנית, התנהגות בפורמטים לא שגרתיים.
• תוכנית שלב הפיילוט עם גבולות ברורים: היקף המדגם, מערך סוגי העובדות וסף האיכות שבו ניתן למסור את הסכימה לתפעול תעשייתי.
• תקנון הרחבה: כיצד מוסיפים סוגי עובדות וכללים חדשים בלי לבנות את המודל מחדש.
• ערכת תיעוד: תצורות, סכימות זרימה, הוראות תחזוקה ונוהל חזרה לגרסה הקודמת.

תארו את המשימה בשתיים-שלוש פסקאות וצרפו את מה שיש בהישג יד — איכות נתוני הקלט חשובה לנו מהיקפם. את השלב הראשון אנו מחזיקים קצר: הוא בודק את ההיתכנות של הדיוק הנדרש על המסמכים שלכם, ולא מציג יכולות. נחזור עם הערכה ותוכנית עבודה, ומסירת התיעוד הולכת יחד עם התוצאה, ולא כאקט סופי נפרד.