חילוץ נתונים מתעודות משלוח ואישורי עבודה באמצעות AI: LayoutLM, TrOCR, אימות

חילוץ נתונים מתעודות משלוח: היכן נשברת הזנה ידנית

סריקה או צילום של תעודת משלוח מגיעים להנהלת חשבונות, ומשם מתחיל הקטע היקר ביותר בתהליך — הזנה ידנית של מסמכי מקור. המפעיל קורא את הפרטים מהתמונה ומעביר אותם למערכת הנה"ח: מסמך אחד אורך כמה דקות, ובימי סגירת תקופה הזרם גדל פי כמה, ואיתו גדל התור.

שגיאות בפרטי תעודות המשלוח כמעט אף פעם לא נראות כמו שגיאת הקלדה גסה. זהו ספרה מוחלפת בסכום, תו חסר במספר חשבון, תאריך בפורמט זר, מס שחושב מבסיס שגוי. כל ספרה כזאת עוברת הלאה בשרשרת — לרישום, לדיווחים, להתאמת חשבונות עם הספק.

המחיר מתגלה לא מיד: נוצרת השהיה בהעברת מסמכים, כי קודם צריך למצוא את אי-ההתאמה מול מסמכי המקור של הספק. אחר כך — היפוך רישום, אישור מחדש, התכתבות ובקשה חוזרת של עותק. ככל שהטעות צפה מאוחר יותר, כך תיקונה יקר יותר.

אבל צוואר הבקבוק בעיבוד מסמכים אינו מהירות המפעיל, אלא היעדר מבנה בר-בדיקה. הזנה ידנית לא משאירה עקבה: לא ברור מאין הגיעה הספרה ומול מה הושוותה.

חילוץ נתונים מתעודות משלוח בנוי אחרת: המודל מסמן שדות בדף ומזהה בהם טקסט, הערכים עוברים בדיקות חשבוניות ובדיקות מול מאגר, והאדם מטפל רק בשורות עם ודאות נמוכה. להלן — כיצד זה עובד בזרמים אמיתיים ומה קורה עם מסמכים שלא עברו אימות.

מה נותנת אוטומציה של הזנת מסמכי מקור

בעבר זיהוי הצטמצם לקריאת תווים: בפלט התקבל טקסט שטוח, ואת המבנה — עמודות, שיוך הסכום לפריט, מספר ותאריך — שחזר המפעיל. מודלים כמו LayoutLM מפרקים מסמך כולו: טקסט, קואורדינטות של בלוק וההקשר החזותי שלו. פרטי המסמך מחולצים כשהם מסומנים לפי שדות — ספק, מספר, תאריך, סכום, שיעור מס.

בפלט, אוטומציה של הזנת מסמכים משנה שני מדדים. מהירות העיבוד של סט מסמכים מצטמצמת מדקות לשניות לכל צד, ושיעור המסמכים ללא תיקון ידני עולה: תעודות משלוח ואישורים טיפוסיים מספקים מוכרים עוברים את כל המסלול ללא מפעיל. בידיים נשארים טפסים לא טיפוסיים וסריקות באיכות נמוכה.

בקרת האיכות של הזיהוי נבנית לא על אמון במודל אלא על כללים. כל שדה מקבל ציון ודאות, ומתחת לסף המסמך עובר למפעיל יחד עם הקטע המסומן. בנוסף מופעלות התאמות: סכום בקרה של המס לפי שורות, התאמת הסה"כ, התאמת פרטי המסמך לחוזה ולמאגר הצדדים המתקשרים.

הסוג העיקרי של כשלים נבע דווקא מהעברה ידנית של פרטים — מספר מוחלף, אי-התאמת סכום, אישור שאבד. בגללם הסט לא עבר התאמה, וההתחשבנות נתקעה עד לבירור.

כאשר השדות מחולצים ומאומתים אוטומטית, צמצום זמן ההשבתה בהתחשבנות הופך לתוצאה: המסמך נכנס לנה"ח ביום קבלתו, ואי-התאמות עולות בבירור ולא בסגירת התקופה.

מצבי עיבוד: מקבצי, זורם והיברידי

את סכמת הגשת המסמכים בוחרים לא לפי חדשנות, אלא לפי סדר קבלת המסמכים ומחיר העיכוב. אם תעודות משלוח ואישורים נוצרים במערכת הנה"ח בזרם אחיד, ואי-התאמה של יום אחד אינה חוסמת אף אחד, עיבוד מקבצי של מסמכים מסיר מורכבות מיותרת. אם יש להעביר חשבונית ביום קבלתה, מצבי זיהוי האישורים וקליטה לפי הגעה מתוכננים אחרת.

השוואת סכמות

בפועל, הגרסה ההיברידית משתרשת לרוב: שדות עם ודאות זיהוי גבוהה עוברים אוטומטית למערכת הנה"ח, השאר נאספים לתור לאישור, והעיבוד לא נעצר בגלל סריקה אחת לא קריאה. את סף הוודאות מכוונים על המסמכים שלכם — לפי שיעור השדות שהמערכת מוסרת ללא תיקונים.

שלבי הטמעה: מביקורת מסמכים ועד מסירה

העבודה מתנהלת מביקורת ועד מסירה, ובכל שלב יש תוצאה ניתנת לבדיקה. כך הפתרון יוצא לעבודה בלי הפתעות בזרם ההמוני הראשון: הדיוק ידוע מראש, ולא מתברר ביום הראשון להפעלה.

1. ביקורת זרם המסמכים. אנחנו בוחנים אילו טפסים של תעודות משלוח ואישורים מגיעים, מאילו ערוצים ואילו פרטי מסמך נדרשים בהמשך. בפלט — רשימת טפסים ושדות לפי עדיפות: מה מחלצים אוטומטית, ומה עובר לבדיקת אדם.

2. סכמת מעבר המסמך. מקבעים מסלול: קליטה, זיהוי, סימון שדות, בדיקה, ייצוא למערכת הנה"ח, ארכיון המקור. לכל שלב מגדירים מה קורה במקרה של טעות ולאן המסמך עובר לבירור ידני.

3. הגדרת כללי התאמה. משייכים שדות לפרטי מערכת הנה"ח — מספר, תאריך, סכום, צד מתקשר, פריטים. מגדירים נרמול של כתיבים ופורמטים שונים, וכן סף ודאות שמתחתיו המסמך לא עובר אוטומטית.

4. בדיקה על מסמכים היסטוריים. מריצים ארכיון של תקופות קודמות וסופרים את שיעור השדות שחולצו ללא תיקונים, ואת שיעור המסמכים שעברו את המחזור כולו אוטומטית. הדיוק האמיתי נראה לפני הפעלה בזרם חי.

5. בירור מקרים שנויים במחלוקת. בודקים בנפרד היכן הסכמה טועה: סריקות חלשות, חותמות מעל טקסט, תיקונים בכתב יד, נספחים. לכל סוג משכללים כללים או מכניסים אותו לתור עיבוד ידני.

6. הוצאת הפתרון לעבודה ומסירה. מחברים קליטה מדואר וממערכת הנה"ח, מגדירים תפקידים ויומן: עבור כל מסמך רואים מה חילצה האוטומציה ומה תיקן המפעיל. מוסרים קונפיגורציה, כללים והוראות, ומאמנים עובדים.

תוצרי הטמעה: סכמות, כללים, תקנונים

ההטמעה אינה מסתיימת בהצגת דמו: נשאר לכם סט הגדרות ומסמכים שלפיהם הפתרון חי בלעדינו. להלן מה שאנחנו מוסרים יחד עם עיבוד עובד. בדיוק הסט הזה קובע אם הצוות שלכם יוכל ללוות את בירור תעודות המשלוח בעצמו, או שכל תבנית חדשה תדרוש אותנו.

• סכמת מסלולי המסמך — כל מסלול תעודת המשלוח מערוץ הקלט ועד הארכיון: היכן מתבצע הזיהוי, היכן המסמך ממתין למפעיל, לפי איזה תנאי הוא עובר לבירור נוסף, ולפי איזה הוא מוחזר לספק.
• פרופילי עיבוד טפסים — הגדרה נפרדת לכל סוג אישור, תעודת משלוח ומסמך תיקון: רשימת השדות המחולצים, פרטי חובה, סף ודאות שבו השורה מתקבלת ללא אדם.
• כללי גישה למסמכים — תפקידים, הפרדה לפי מחלקות וצדדים מתקשרים, תקופות שמירה של סוד מסחרי ונתונים אישיים, תיעוד ביומן של כל פתיחה וייצוא.
• הוראות למפעילים — מה לעשות ברמת ודאות נמוכה, כיצד לתקן שדה, כיצד לסמן תבנית לא מוכרת, היכן לבדוק במקרה של אי-התאמת סכומים בין המסמך להזמנה.
• תקנון בירור חריגים — סוגי תקלות (סריקה לא קריאה, טופס לא סטנדרטי, אי-התאמה לחוזה), אחראי לכל סוג, זמן תגובה וסדר החזרת המסמך לזרם האוטומטי.
• מילון שדות ומאגרים — התאמה של פרטי המסמכים למערכת הנה"ח שלכם, כדי שספקים חדשים לא ישברו את הבירור.
• מדגם בקרה של מסמכים — סט אנונימי של דוגמאות עם ערכים צפויים: לפיו נבדקת תקינותו של כל שינוי בפרופיל.

הכול מסודר במערכת האחסון שלכם, עם גרסאות והיסטוריית עריכות, כדי שהמסירה לא תהפוך לשחזור מתוך התכתבות.

מקרה של רכש: זמני עיבוד לפני ואחרי הטמעה

נבחן מקרה של עיבוד תעודות משלוח במדור התחשבנות עם ספקים. זהו זרם של מסמכי מקור מכמה מאות צדדים מתקשרים, שלכל אחד תבנית, סדר עמודות ועיצוב משלו — דרך המפעילים עברו כ-12,000 מסמכים בחודש.

לפני ההטמעה

כל מסמך הוזן ידנית למערכת הנה"ח: השוו פרטי מסמך לחוזה, בדקו סכומים ושיעור מס, חיפשו אי-התאמות בעין. מסמך אחד דרש 6–8 דקות, ולקראת סגירת התקופה הזרם גדל פי שניים — את התור סגרו בשעות נוספות.

טעויות הזנה צפו כבר בהתאמה, כאשר אי-התאמה מול מסמכי המקור של הספק היה צריך לברר עם הצד המתקשר ולהחזיר את התיקון לנה"ח שוב.

אחרי: בקרה לפי חריגים

חילוץ פרטי המסמך הועבר למודל של למידת מכונה: LayoutLM מפרק את מבנה המסמך, ומעליו פועל סט כללי אימות — התאמת סכומים, התאמה לחוזה, פריטים ומחירים מהמאגר.

מסמכים עם פירוק בעל ודאות עוברים לנה"ח ללא מעורבות אדם, והשאר נכנסים לתור חריגים עם הדגשת השדה הבעייתי, והמפעיל מטפל רק בהם.

זמן העיבוד של מסמך אחד הצטמצם מכמה שעות לדקות, והמנה נסגרת ביום ההגעה. שיעור התיקונים הידניים ירד מ-18% ל-3%, אי-התאמות מול מסמכי המקור של הספק נתפסות בכניסה ולא בהתאמה לפי תקופה.

העומס על המפעילים עבר מהזנה לבקרה לפי חריגים: את אותו נפח סוגר המדור בכוח אדם של שלושה אנשים במקום שמונה.

כיצד לבדוק איכות נתונים מחולצים לפני הפעלה?

אנחנו משווים לא "האם המסמך זוהה או לא", אלא כל שדה בנפרד: מספר עוסק, מספר, תאריך, סכום ללא מס, סה"כ, שם הפריט. הערכים מנורמלים לפני ההשוואה, ולכן "1 234,56" ו-"1234.56" הם אותו דבר, והמדד לא משקר במקום שבו המערכת צודקת.

דיוק לפי פרטי המסמך מחושב כשיעור הערכים הנכונים לחלוטין בכל שדה, ולא כממוצע לפי מסמך. הממוצע מסתיר עיוות: תאריכים נקראים באופן מושלם, ואילו מספרי פריטים בטבלאות צפים.

מדגם לבדיקה נאסף באופן שכבתי: לפי ספקים, טפסים עם טבלאות ובלעדיהם, סריקות וקבצי מקור, מסמכים עם חותמות מעל טקסט. קבוצות נדירות משלימים ידנית — טופס לא סטנדרטי אחד לאלף מסמכים לא ייכנס למדגם אקראי, ודווקא הוא שובר את החילוץ.

בטפסים לא סטנדרטיים חשוב אופי הטעות, ולא רק תדירותה. שדה ריק במקום שבו אין פרט — התנהגות תקינה; הצבה סבירה לכאורה של סכום מהשורה הסמוכה מסוכנת יותר, כי היא עוברת בקרת מדגם. את הכלל מקבעים מראש: כשאין ודאות, המערכת משאירה את השדה ריק ומסמנת את המסמך.

סף הוודאות הוא וסת בין שיעור העבודה הידנית לבין הסיכון להחמיץ טעות: בונים תלות — באיזה סף כמה מסמכים עוברים לבדיקה וכמה טעויות נשארות במאושרים. קובעים אותו לפי שדות, ולא כערך אחד להכול: לסכום ולמספר עוסק — מחמיר, לשם הפריט — מתירני יותר. בהמשך כללי הניתוב מתחדדים בזרם חי, ולא במדגם נדחה.

מגבלות זיהוי ושאלות טכניות נפוצות

חלק מהמסמכים הוגן יותר להשאיר לאדם, ואנחנו אומרים זאת לפני ההתחלה. סימונים בכתב יד מעל טופס מודפס, תיקונים וחתימות בשדות — מודל כמו LayoutLM קורא אותם ביציבות נמוכה; טעות כאן עולה יותר מהזנה ידנית.

טפסים שרירותיים בלי מבנה חוזר גם הם מחוץ לאוטומציה: אם הספק שולח בכל פעם פריסה חדשה, אזורי הפרטים לא מתקבעים והדיוק יורד ממנה למנה.

מגבלה נפרדת — איכות קבצי המקור. הטיית דף, צל בקצה, סריקה של עותק מעותק, שדה חתוך עם סכום: התוצאה נשענת לא על המודל, אלא על הכנת התמונה — יישור, חיתוך הרקע, איתור גבולות הדף.

אם אדם לא קורא את הסריקה, האוטומציה לא חייבת לחלץ אותה: דפים כאלה עוברים לתור בירור ידני, ולא למערכת הנה"ח.

כיצד מתבצעת החיבור למערכת הנה"ח?

דרך החלפה תקנית: ממשק תכנות או החלפת קבצים, אם המערכת סגורה. העיקר — אידמפוטנטיות: טעינה חוזרת של אותו מסמך לא יוצרת רשומה שנייה, והתאמת צדדים מתקשרים ופריטים נעשית לפי המאגר, כדי שספק אחד לא יופיע בשלושה כתיבים.

מי אחראי לטעות בפרטי המסמך?

שדות עם ודאות נמוכה אינם נרשמים אוטומטית, אלא עוברים לאישור מפעיל — סכום, מספר ותאריך תמיד תחת בקרה. אנחנו אחראים לתקינות החילוץ ולשלמות השדות, הלקוח — להעברת המסמך. היומן שומר מה החזיר המודל ומה אישר האדם, ולכן מקרה שנוי במחלוקת נבחן שלב אחר שלב.

נדון במשימה: נפח מסמכים, מקורות, תפקידים

כדי שהערכה של זיהוי תישען על עובדות ולא על הנחות, אנחנו צריכים נתוני פתיחה על זרימת המסמכים שלכם. להלן רשימת מה שאנחנו מבררים קודם כול: לפיה מתברר אילו שדות באמת מחולצים אוטומטית, היכן די בבדיקה לפי כללים, והיכן המסמך צריך לעבור לאדם עם רמז.

• סוגי מסמכים נכנסים: תעודות משלוח, אישורים, חשבוניות, מפרטים, מסמכי הובלה — ובאיזה צורה הם מגיעים: סריקות, צילומים מהטלפון, טפסים אלקטרוניים מספקים.
• ערוצי קבלה: דואר, תיקייה ברשת, סורק, אזור אישי של הספק, אפליקציית מסרים. בנפרד מציינים היכן המסמך נכנס למחזור דרך הזנה ידנית.
• שדות מטרה וכללי התאמה: מה בדיוק צריך לחלץ מהמסמך — פריטים, כמויות, סכומים, מיסים, פרטי הצדדים — וכיצד נבדקת תקינותם כיום.
• מערכת הנה"ח ודרך ההעברה: לאן הנתונים צריכים להגיע, האם למערכת יש ממשק תכנות או שההחלפה נעשית בקבצים ובטעינה ידנית.
• תפקידי מאשרים: מי בודק את מה שזוהה, מי מאשר, באילו אי-התאמות המסמך עובר לבירור ידני ומי סוגר אותו.
• סדר העבודה הנוכחי: כמה זמן דורש מסמך אחד, איזה שיעור מצריך תיקונים ובאילו שדות נוצרות לרוב טעויות.
• מגבלות: דרישות לשמירה, הרשאות ועיבוד נתונים אישיים, וכן היכן מותר למקם את העיבוד.

על בסיס התשובות האלה אנחנו מרכיבים אב-טיפוס על המסמכים שלכם, מודדים את הדיוק לפי שדות ומציעים סכמת אינטגרציה. תארו את המשימה בצורה נוחה — נחזור עם הערכה, תוכנית עבודה וקריטריוני קבלה.