חילוץ נתונים ממסמכים באמצעות Azure Computer Vision

Azure Computer Vision OCR: היכן נשבר חילוץ הנתונים

Azure Computer Vision OCR משתרש במהירות בפרויקטים: טקסט מודפס עם עימוד אחיד מזוהה כמעט ללא תיקונים, ובהדגמה הכול נראה כמו משימה פתורה. חילוץ הנתונים נשבר לא על התווים, אלא בנקודות החיבור של התהליך — שם שבו לזרם אחד נכנסות סריקות ממקורות שונים, ומחצית מפרטי החובה ממולאים ביד.

הסוג הראשון של תקלות — שדות כתב יד וחותמות. כתב נטוי, אותיות מחוברות, לחץ, ספרה שנכתבה מעל טופס מודפס — כל אלה נותנים תוצאה שגויה בביטחון: הזיהוי מחזיר תו עם ציון ודאות גבוה, וללא סף לבדיקה ידנית השגיאה ממשיכה הלאה לחשבונאות. חותמות וחתימות מכסות חלק מהשורה, וצל מקיפול נקרא כקו מיותר בתאריך או במספר.

המקור השני — סריקות הטרוגניות. הטיית עמוד, תאורה לא אחידה, העתק של העתק, ולכל ספק יש תבנית משלו לאותו מסמך: הטקסט בפלט קיים, אך קואורדינטות הבלוקים מפסיקות להתאים להיגיון הטופס, והפירוק לפי תבנית מתפרק.

מקבץ ממקורות מעורבים, ללא סיווג סוגי עמודים לפני הזיהוי, מעובד בעיוורון — המסמך נשלח לתבנית הלא נכונה.

החיבור השלישי — הגבול בין זיהוי לחילוץ פרטי החובה. הטקסט התקבל, אך בדיקות סכומי ביקורת, התאמת סיכומים לסכומי שורות וכללי שדות חובה נשארים מחוץ לתמונה, לכן אי-ההתאמה צפה כבר בייצוא, ולא בקלט. נבחן כיצד זה נסגר: סיווג לפני זיהוי, ספי ודאות ואימות פרטי חובה.

אפקט מדיד: מהירות הפירוק ואיכות הנתונים

לפני ההטמעה כל חשבונית נכנסת, תעודת משלוח או פרוטוקול עברו דרך מפעיל במלואם: הוא איתר פרטי חובה, העביר סכומים ומספרים למערכת החשבונאות, והשווה שורות טבלאות.

בזרימה של מאות מסמכים ביום זה יצר תור של 2-3 ימים וסוג שגיאות משלו — פרטי חובה מבולבלים, שורות שאבדו, רשומות כפולות שצפו כבר בהתאמה.

הקו נבנה על Azure Computer Vision OCR: זיהוי, פירוק לפי סוג טופס, חילוץ שדות ובדיקה לפי כללי בקרה. בטפסים טיפוסיים דיוק חילוץ הנתונים מגיע ל-95-98% בשדות מפתח — מספר, תאריך, ספק, סכום, שיעור מס. חלק המסמכים ללא תיקון ידני עולה מאפס ל-70-85%, והשאר עוברים לתור עם סימון איזה שדה לא התאים.

פירוק מסמכים נכנסים מפסיק להיות פעולה ידנית: הזמן מקבלת הקובץ ועד רישום במערכת החשבונאות מצטמצם מדקות לשניות, ומקבץ הלילה מעובד במלואו עד הבוקר. צמצום ההזנה הידנית מסיר לא רק שעות של מפעילים, אלא גם שגיאות שנתפסו קודם בהתאמה — כפילויות ופערי סכומים.

בנפרד נתעד מה קרה עם סירובים: סריקה לא קריאה כבר לא עוצרת את העבודה. איכות תמונה נמוכה אינה סירוב, אלא סימון הסיבה שבגללה המסמך עבר לתיקון: פינה חתוכה, אין חתימה, סכום ביקורת לא התאים.

את האפקט בודקים במטריקות על לוח מחוונים: שיעור המעבר האוטומטי, דיוק לפי שדות, זמן עיבוד, נפח תור התיקון הידני. התוצאה נראית במספרים, לא בתחושות, ומיד ברור אילו סוגי טפסים עדיין כדאי לאמן.

השוואת גישות: מודלים מוכנים, תבניות שדות, היברידי

בחירת מצב החילוץ נקבעת לא לפי "חוכמת" המודל, אלא לפי יציבות העימוד ומחיר הטעות בפלט. פלטפורמה כמו Azure Computer Vision מביאה סט מוכן של מודלים לטפסים טיפוסיים, אך בכך הארסנל לא נגמר: על טפסים משלכם עובדות תבניות שדות, ובזרימה הטרוגנית — שילוב של השניים. להלן שלושה variants, שביניהם באמת בוחרים בהתחלה, עם המגבלות הכנות של כל אחד.

בפועל מתחילים את הזרימה עם מודלים מוכנים, ותבניות והיברידי מחברים כשמופיעים טפסים משלכם או כשמחיר השדה שהוחמץ עולה. החלטה מקבלים לפי דוגמאות: מריצים כמה עשרות מסמכים אמיתיים ובודקים את שיעור השדות שחולצו ללא תיקון — זהו קריטריון הבחירה.

כיצד נבנית ההטמעה: מביקורת מסמכים ועד מסירה

הטמעת זיהוי מתחילה לא בהגדרת השירות, אלא במלאי של מה שבאמת מגיע לעבודה. בביקורת מסמכים סופרים סוגי טפסים, את חלקם בזרימה ואת איכות הסריקות — דווקא פיזור האיכות קובע היכן האוטומציה נותנת תוצאה מדויקת והיכן נדרשת בדיקה ידנית.

1. ביקורת מסמכים. מפרקים סוגי מסמכים, תדירות ואיכות הגעה. בפלט — רשימת שדות ומטריצת "סוג מסמך × אופן עיבוד".
2. סימון דוגמאות. על מדגם מייצג מסמנים את ערכי השדות ביד — זהו אמת מידה להשוואה עם התוצאה. בנפרד מתעדים מקרים שנויים במחלוקת: חותמות, חפיפות, תיקוני כתב יד.
3. הגדרת זיהוי. לכל סוג מרכיבים סכימת שדות: מה מחלצים, כיצד מנרמלים, במה בודקים עקביות. Azure Computer Vision קורא את התמונה, וכללי ההשלמה הופכים מקבץ טקסט לרשומה מובנית.
4. בדיקה על זרימת מסמכים. מריצים נפח אמיתי, לא עשר דוגמאות, וסופרים דיוק לכל שדה בנפרד. כך רואים אילו שדות מתקבלים אוטומטית ואילו נשלחים לאישור.
5. טיפול בפערים. מסמכים עם ודאות נמוכה מגיעים לתור הגהה, ולא למאגר הכללי. כל תיקון של מפעיל מוסיף דוגמה, והדיוק עולה ככל שעובדים.
6. מסירה והדרכת הצוות. מוסרים סכימות שדות, תקנון לטיפול במסמכים שנויים במחלוקת ונוהל בקרת דיוק. אנשי הלקוח מוסיפים בעצמם סוגים חדשים ומתקנים כללים.

מה נשאר אצלכם לאחר מסירת הפרויקט

מסירת פרויקט אינה גישה למאגר קוד ולחשבון. מערכת זיהוי בלי תיאור הופכת במהירות לקופסה שחורה: לא ברור אילו שדות מחולצים, מה קורה בזיהוי בלתי ודאי וכיצד לשנות כלל גישה. לכן ערכת המסירה נאספת כך שהצוות שלכם יוכל לתמוך בפתרון על Azure Computer Vision ולפתח אותו בלעדינו.

• סכימת עיבוד מסמכים — זרימה מהעלאת קובץ ועד רישום במערכת היעד, עם נקודות בקרה מסומנות: היכן נפסלת סריקה לא קריאה והיכן מתחבר פירוק ידני.
• תיאור השדות המחולצים — טבלת "שדה / סוג / חובה / כלל נרמול / התנהגות בודאות נמוכה", לפיה מגדירים סוגי מסמכים חדשים.
• כללי גישה — תפקידים ותחומי ראות של מסמכים, הפרדת הרשאות לשינוי כללים ולצפייה בתוצאות, נוהל מתן ושלילת גישות.
• תקנון תמיכה — תדירות בדיקות איכות הזיהוי, נוהל עדכון מילונים וכללי סימון, אחראים ונקודות להעברת שאלה.
• נוהל טיפול בתקלות — אילו שגיאות נחשבות שגרתיות, מה עובר לתור עיבוד חוזר, ואילו אותות מעירים את התורן.
• ערכת תיעוד — הוראות פריסה, קובצי תצורה עם הערות, יומן שינויים של כללים ותיקונים טיפוסיים.
• לוח מטריקות — שיעור המסמכים שעברו ללא תיקון ידני, לפי כל סוג, וזמן מעבר מסמך מהעלאה ועד רישום.

כל ארטיפקט נבדק יחד עם המהנדסים שלכם על זרימת מסמכים אמיתית: מריצים מדגם אמת מידה, משווים את התוצאה לתיאור ומתעדים פערים לפני חתימת המסירה.

מקרה בוחן: פירוק מסמכים נכנסים ללא הזנה ידנית

איך היה

חשבוניות נכנסות, פרוטוקולים ותעודות משלוח הגיעו לתיבה משותפת: סריקות, תמונות מהטלפון וקבצים ממערכות הנהלת חשבונות שונות. המפעיל פתח כל מסמך והעביר פרטי חובה, מספרים, תאריכים ופריטים למערכת החשבונאות ביד — כחמש דקות למסמך בזרימה של 1,700 מסמכים בחודש. בשיא, בסוף החודש, התור גדל לכמה ימים, ופערים בפריטים נמצאו כבר בהתאמה, בדיעבד.

מה שינו ומה יצא

את הזרימה הפנו לשירות OCR בענן Azure Computer Vision: הוא מוציא טקסט יחד עם קואורדינטות בלוקים ומפרק מבנה טבלאות לפי הגאומטריה של שורות ועמודות, ולא כטקסט רציף. כללים מתאימים קטעים לשדות כרטיס המסמך — ספק, מספר, תאריך, פריטים, שורות סיכום — וכל שדה מקבל ציון ודאות. כל מה שמתחת לסף עובר למפעיל לבדיקה עם הדגשה של הקטע המסוים, ולא של כל הסריקה.

שיעור המילוי האוטומטי של שדות הגיע ל-88%: המפעיל בעיקר מאשר, ולא מקליד. זמן העיבוד הממוצע של מסמך הצטמצם מחמש דקות ל-30 שניות, ובמערכת החשבונאות המסמך מופיע כמעט מיד לאחר ההגעה. פירוק ידני נשאר בכ-12% מהמסמכים — תיקוני כתב יד, סריקות חלשות וטפסים לא סטנדרטיים. כל תיקון של מפעיל חוזר לסט לבדיקת כללים, ולכן שיעור המילוי האוטומטי עולה ככל שנצברים דוגמאות.

במה שונה OCR בענן ממודל למסמך שלכם

ההבדל אינו ב"איכות הזיהוי" כשלעצמה, אלא היכן נשמר הידע על המסמך שלכם: במשקלים מאומנים מראש של הספק או בסט דוגמאות מסומנות שלכם. מזה תלוי מה לעשות עם עימוד לא סטנדרטי, שדות כתב יד וטבלאות עם תאים מאוחדים.

לעתים קרובות מנצח שילוב: שירות ענן מוציא את עיקר הטקסט, ועל שדות קריטיים שמים מודל על הדוגמאות שלכם בתוספת מאמתים — התאמה מול מרשם, סכומי ביקורת, בדיקת אריתמטיקה. כל שדה מקבל ציון ודאות, ולפי הסף המסמך עובר либо למערכת החשבונאות, либо לתור בדיקה ידנית.

מצבי הזיהוי נבחרים לפי הזרימה: מקבצתי על ארכיון הייצוא או שורה-שורה עם הגעת הסריקות. עיבוד מקדים — יישור הטיה, חיתוך שוליים, סינון עמודים ריקים — מסיר חלק מהשגיאות בזול יותר מאימון נוסף.

קריטריון הבחירה אינו דיוק ממוצע למסמך, אלא שיעור השדות שהתקבלו ללא תיקון וההסתברות ששגיאה בשדה מפתח תגיע לחשבונאות.

שאלות נפוצות על דיוק, פורמטים ומגבלות

דיוק הזיהוי אינו תכונה של המנוע, אלא תוצאה של שילוב: איכות הסריקה, עיבוד מקדים, סכימת החילוץ וכללי הבדיקה. עובדים על Azure Computer Vision וסופרים תוצאה לפי המדגם שלכם, לא לפי העין.

עד כמה בטוח מזוהה טקסט בכתב יד?

טקסט מודפס מזוהה ביציבות, תוספות כתב יד — תאריכים, סכומים, חתימות — פחות טוב ותלויות בכתב היד. שדות מכונה ממולאים אוטומטית, שדות כתב יד עוברים לתור בדיקה עם הדגשה של תווים מפוקפקים; את שיעור השדות האלה סופרים מראש.

האם אפשר לעבד מסמכים בקונטור סגור?

כן. פורסים את העיבוד בתוך הקונטור שלכם: מסמכים לא עוזבים את התשתית, החוצה יוצאות רק מטריקות אנונימיות. תוקף החיים של קבצי ביניים מוגדר בנפרד — תמונות שירות נמחקות לפי לוח זמנים.

מה יקרה כשמסמך ישנה מבנה או פורמט?

סכימת החילוץ מתוארת באופן הצהרתי: רשימת שדות, קישורים לבלוקים, כללי אימות, פורמט פלט. טופס מסמך חדש הוא גרסה של הסכימה, ולא כתיבה מחדש של קוד: הקודמת עובדת על הארכיון, והחדשה מופעלת לאחר הרצה על מדגם מסומן. בקלט — PDF, סריקות ומקבצים רב-עמודיים, פורמטים לא סטנדרטיים נבדקים על קבוצת ניסוי.

נדון במשימת חילוץ הנתונים מהמסמכים שלכם

כדי לחזור עם הערכת פרויקט ותוכנית עבודה, ולא עם מילים כלליות, אנחנו צריכים להבין את קורפוס המסמכים שלכם. ככל שנתוני המוצא בהתחלה קונקרטיים יותר, כך לוח הזמנים מדויק יותר ופחות עיבודים מחדש באמצע, כשחלק מהמבנה כבר סוכם.

מה כדאי להכין לשיחה:

• 5-10 דוגמאות אמיתיות של מסמכים, כולל לא נוחות: סריקות מקומטות, סיבובים, חותמות מעל טקסט, תיקוני כתב יד.
• רשימת השדות שצריך לחלץ, ובאיזה אופן — טבלה, ייצוא למערכת החשבונאות, קובץ מובנה.
• נפח וקצב הזרימה: כמה עמודים ביום ובחודש, האם יש תקופות שיא ועליות עונתיות.
• סוגי מסמכים שמופיעים בקלט: חשבוניות, תעודות משלוח, פרוטוקולים, חוזים, טפסים פנימיים.
• כלל למקרים שנויים במחלוקת: מה לעשות אם ודאות החילוץ נמוכה — לשלוח לבדיקה ידנית או לסמן כלא מזוהה.
• לאן צריכה להגיע התוצאה ומי צורך אותה בהמשך: הנהלת חשבונות, מחסן, ארכיון, מערכת פנימית.
• מגבלות גישה ואחסון: נתונים אישיים, דרישות הקונטור הפנימי, תקופות אחסון.

עם הסט הזה נחזור עם הערכה, סכימת עיבוד ותוכנית עבודה לפי שלבים — מהגדרת החילוץ ועד מסירה למערכות שלכם. אם חלק מהנתונים עוד לא נאסף, תארו את המשימה בצורה חופשית: שאלות הבהרה נשאל בעצמנו.