אוטומציה של דיגיטציה של ארכיונים בנייר עם AI מקצה לקצה

דיגיטציה של ארכיונים עם AI: היכן הניתוח הידני מאבד דיוק

צוואר הבקבוק בדיגיטציה אינו הסורק ואינו מהירות ההזנה, אלא פענוח המשמעות. זיהוי סריקות בזרימה מתמודד היטב עם טקסט מודפס בגופן אחד על דף נקי, אבל ארכיון כמעט אף פעם לא נראה כך: הדפסה חיוורת, הטיה, תפרים בשדרה, כתמי מים, עותקים של עותקים. הסורק מפיק זרם אחיד של דפים, ובמקביל אינו אומר דבר על מה שכתוב בהם.

טפסים לא אחידים מחסלים את הגישה התבניתית. הטפסים השתנו במשך עשורים, השדות הוזזו, פרטי החובה מופיעים בפינות שונות, ולכל אוסף יש מבנה משלו. תבנית שהוגדרה עבור טופס אחד תפיק בתיק הסמוך תאריכים ומספרים מבולבלים, ובכלל לא תקלוט הערות בכתב יד, החלטות וחתימות בשוליים.

הזנה ידנית של מסמכים כאן מדויקת, אך היא מחזיקה 2–3 אלף דפים למפעיל בחודש ונחלשת לקראת סוף המשמרת — השגיאות גדלות בדיוק במקום שבו יורדת תשומת הלב.

בעיה נפרדת היא מספור התיקים. הדפים מבולבלים בכריכה, מופיעים כפילויות ומפתחות מקוננים. הטקסט לכאורה זוהה, אבל הקשר «מסמך — תיק — אוסף» אבד, הייצוא למערכת הרישום נעשה עם בדיקה ידנית, והחיפוש בארכיון לא עובד.

מודלי AI פותרים את המשימה לא באמצעות תבנית, אלא לפי משמעות: מאתרים שדות חובה בפריסה חופשית, מסמנים שדות בכתב יד, משחזרים את סדר הדפים לפי התוכן ומקשרים אותם למפתח. דיגיטציה של ארכיונים עם AI בנויה כקו ייצור עם שלבים ניתנים לבדיקה — בהמשך נפרט איך זה עובד.

אפקט מדיד: מהירות עיבוד האוסף ושיעור השגיאות

דיוק הזיהוי במסמכים מודפסים במכונת כתיבה ובדפוס אינו תלוי במנוע עצמו, אלא בהכנת התמונה. הטיית דף, צללים בשולי הסריקה, סימני מהדק וטקסט שמציץ מהצד השני יוצרים שגיאות במקום תמים.

לכן לפני הזיהוי מתבצעים יישור, בינאריזציה ופילוח לבלוקים, ואחריו — בדיקה מול מילון תחום וסכומי ביקורת של השדות. באוסף טיפוסי זה נותן שיעור שגיאות של 1–2% לתו, ופחות מכך באופן ניכר — בשדות חובה שבהם פועלות תבניות.

מהירות עיבוד האוסף נקבעת לא לפי מהירות של דף בודד, אלא לפי ניתוב ומקביליות. זרם הדפים מתפצל לתורים: דפים פשוטים עוברים במסלול מהיר, ודפים עם טבלאות, כתב יד וחותמות — לניתוח מורחב עם מודלים נוספים.

התפוקה עולה בזכות הפרדת הזרמים: עיקר האוסף עובר במסלול הראשון, ובדיקות עתירות משאבים מופעלות על אחוזים בודדים מהדפים.

הבדיקה הידנית מצטמצמת מבדיקה מלאה לבקרה מדגמית. למפעיל מציגים לא את כל המערך, אלא דפים שרמת הביטחון שלהם נמוכה מהסף ושדות שלא עברו את כללי הבקרה — בדרך כלל 5–10% מהדפים. השאר נסגר אוטומטית, והפערים נאספים לדוח לבדיקה.

אפקט נפרד הוא היעלמות של סוג שלם של תקלות. בעבר דפים כפולים אבדו, עמודות בטבלאות «זזו», ותאריך הוזן ממסמך סמוך. כעת השלמות נבדקת לפי רצף הדפים וקשרים של «מספר — תאריך — ארגון».

הניתוח מתבצע על Tesseract בענף עדכני עם אימון נוסף על החומר שלכם — בקרת האיכות של הדיגיטציה נשענת על מדגם בפועל, ולא על הבטחות.

מצבי עיבוד הארכיון: אצווה, זרימה, היברידי

את מצב העיבוד בוחרים לא לפי נפח האוסף, אלא לפי האופן שבו המסמכים נכנסים למערכת והיכן נדרשת בקרת איכות. סכמות האצווה, הזרימה וההיברידית נבדלות בנקודת קבלת התוצאה ובמקום שבו מצטברת העבודה הידנית של המפעיל.

דרישות מהסריקות

לכל שלוש הסכמות יש מכנה משותף — סריקת קלט צפויה. אנחנו בודקים אחידות תאורה והיעדר כתמים, שלמות שדות בלי חיתוך, הטיית דף, מצב צבע אחיד ורזולוציה זהה בתוך אותו תיק.

אם את האוסף דיגיטצו קבלנים שונים על ציוד שונה, קודם מנרמלים את המערך: בלי זה דיוק הזיהוי ושלמות החיפוש לפי שדות חובה יהיו שונים מתיק לתיק, וההבדל יופיע לא בדוח אלא בתוצאות של המשתמש.

את המצב קובעים לפני תחילת העבודה — ממנו תלוי גם הרכב בדיקות הביניים וגם האופן שבו תקבלו את התוצאה בחלקים.

שלבי הטמעה: מאוסף אחד לעיבוד סדרתי

דיגיטציה סדרתית נשברת לעתים רחוקות בזיהוי — לעתים קרובות יותר בהיעדר תקן: בלי מדגם קבוע אי אפשר גם להגדיר את המודל וגם להוכיח שהאיכות עלתה. לכן פועלים בגלים: תחילה אוסף אחד, אחר כך הרחבה לשאר. סדר השלבים אינו תלוי בנפח הארכיון.

1. ביקורת ארכיון — ספירת מלאי של האוסף: סוגי מסמכים, פורמטים, מצב המדיה, שיעור כתב היד, טבלאות ודפים פגומים. בפלט — מפה של קבוצות אחידות, שלכל אחת מסלול עיבוד משלו.
2. סימון מדגם התקן — כמה מאות דפים לכל קבוצה באופן ידני: גבולות אזורים, שדות כרטיסים, בלוקים בכתב יד. המדגם נקבע עד סוף הפרויקט, אחרת המדדים מפסיקים להיות ברי השוואה.
3. הגדרת הזיהוי — לכל קבוצה מילוני מונחים משלה, תבניות שדות, כללי נרמול של תאריכים ומספרים, ומסננים שאחרי עיבוד לשגיאות טיפוסיות. עבור כתב יד המודל עובר אימון נוסף, ועבור דפוס מגדירים פילוח טבלאות ועמודות.
4. בדיקה על מנת בקרה — הרצה על דפים שהמודל לא ראה: דיוק ברמת תו ומילה לפי קבוצות, ניתוח שגיאות לפי סיבות. סף קבלת האיכות נקבע מראש.
5. הרצת האוסף — עיבוד אצווה עם יומן לכל דף וחזרות על כשלים. המפעיל מטפל רק בדפים שמתחת לסף הביטחון.
6. מסירת נהלים — מסלולים, מילונים, כללי סימון של קבוצות חדשות וסדר הרחבה, כדי שצוות הלקוח יוסיף בעצמו את האוספים הבאים.

מה מועבר לידיים: קונפיגורציות, סכמות, נהלים

אנחנו מוסרים את הפתרון במצב שבו אפשר לתפעל ולפתח אותו בכוחות עצמכם. כל הארטיפקטים נשמרים במאגר של הלקוח ומנוהלים בגרסאות: כל שינוי מותיר עקבות, ואפשר לחזור לגרסה קודמת של ההגדרות. להלן רשימה מלאה של מה שמועבר לידיים.

• קונפיגורציות זיהוי — פרופיל נפרד לכל סוג מסמך (מכונת כתיבה, כתב יד, טפסים טבלאיים), ספי ביטחון ומילוני החלפה. סוג מערך חדש מתואר על ידי עריכת הגדרות, לא על ידי פיתוח קוד.
• סכמות של זרמי נתונים — מהעלאת הסריקות ועד ייצוא התוצאות למערכת הרישום, עם נקודות בקרה ומקומות מסומנים במפורש שבהם המפעיל מתערב בתהליך.
• מדיניות גישה — תפקידי מפעיל, בקר ומנהל, היקף הנתונים הנראים לכל אחד, הרשאות עריכה ויומן פעולות שאי אפשר לשנות בדיעבד.
• נהל מפעיל — הוראות שלב אחר שלב למצבים טיפוסיים: סריקה לא קריאה, כפילות, אי-התאמה למרשם, הסלמה של מסמך שנוי במחלוקת.
• דוחות איכות — מדדים לכל מערך: שיעור הזיהוי ללא תיקון, דיוק בשדות מפתח, התפלגות שגיאות לפי סוגי מסמכים.
• תיעוד הדיגיטציה — תיאור של ספרי העזר והמילונים, סדר הוספת סוג מסמך חדש ועדכון מודלים.
• הוראות פריסה, גיבוי ושחזור — כדי שמעבר או החלפת קבלן לא יהפכו לארכיאולוגיה.

המסירה נסגרת בהרצת קבלה על מדגם בקרה: הלקוח בעצמו מריץ את המסמכים ומשווה את המדדים לדוח.

מקרה בוחן: איך הסרנו בדיקה ידנית במערך סריקות

מה היה לפני

האוסף ארכיון אזורי דיגיטט מפתחות ותיקים אישיים — כמה מאות אלפי דפים: מכונת כתיבה, כרטיסים בכתב יד, טפסים עם בסיס מודפס. המפעילים השוו כל קטע מזוהה עם התמונה בעיניים, ובכתב יד שיעור השגיאות הגיע לשליש מהתווים.

התפוקה הייתה תלויה באנשים, לא בסורקים, ורשומות שנויות במחלוקת נשלחו לתיקייה נפרדת לניתוח חוזר — היא גדלה מהר יותר מהמערך הראשי.

סכמת העיבוד והמדדים אחרי

תחילה קבעו מדגם תקן וסימון: סוג שדה, מאפיין מסמך, מקור. אחר כך הרכיבו קו ייצור — הכנת תמונה, זיהוי סוג הטופס, חילוץ שדות, בדיקה לפי כללים ומילונים. את המודל אימנו נוסף על כרטיסים בכתב יד, ותשובות לא בטוחות לא נזרקו: הן הופנו למפעיל עם הדגשה של מקום הספק.

בהרצה, הדיוק במסמכים מודפסים הגיע ל-99%, ובכתב יד — 94–96% לעומת 60–70% קודם. שיעור השדות שהתקבלו ללא תיקון עלה ל-87%, ולכן הבדיקה הידנית הצטמצמה בערך פי שמונה. זמן עיבוד הדף ירד מעשרות שניות לשנייה וחצי, והתור לניתוח חוזר הפסיק לגדול.

את היכולת לבדוק אנחנו שומרים ביומן: לכל רשומה נשמרים המקור, גרסת המודל והחלטת הבודק — במקרה של ממצא שנוי במחלוקת רואים מאין הגיע הערך.

במה שונים ניתוח טפסים מודפסים מכתבי יד?

טקסט מודפס הוא צפוי: אלפבית קבוע, שורה ישרה, גאומטריית טופס חוזרת מסריקה לסריקה. לכן כאן פועל קו «למצוא מסגרות שדות לפי תבנית — לזהות תוכן — לבדוק פורמט», והשגיאות נתפסות בכללים רגולריים: מבנה המספר, בדיקה מול ספר עזר, סכום ביקורת. מסלול כזה נותן דיוק גבוה בכל הזרם וכמעט אינו דורש בדיקה ידנית.

טפסים בכתב יד שוברים כל אחת מהנחות היסוד האלה. כתב היד משתנה מאדם לאדם ובתוך אותו דף: הטיה, צורות מחוברות, תיקונים, ספרות מעל קווים, רשומות מחוץ לשדות המסומנים.

זיהוי שורות והפרדת סימנים מפסיקים להיות שלב מכין והופכים בעצמם למשימת זיהוי — בקורפוסים פתוחים כמו ICDAR רואים עד כמה התוצאה תלויה בזרם המסמכים המסוים.

מכאן נובעות דרישות שונות לסימון נתונים, ובחירת המודל נקבעת לפי שיעור השדות בכתב יד. עבור טפסים מודפסים מספיקים דוגמאות סינתטיות: הסימון נעשה אוטומטית לפי תבנית.

עבור כתב יד נדרש קורפוס של סריקות אמיתיות של הלקוח, אימות ידני של קטעים שנויים במחלוקת ומודל שעבר אימון נוסף על אותו קורפוס. גם ספי הקבלה נבדלים: שדה מודפס מתקבל אוטומטית כמעט בהתאמה מלאה, ושדה בכתב יד — רק עם שליחת ערכים מפוקפקים לבדיקה.

לכן הפרויקט כמעט תמיד דו-מסלולי: שדות תבנית עוברים במסלול מהיר, ושדות בכתב יד — לפי מודל עם בקרת ביטחון. הפרדה כזו מפחיתה את שיעור העבודה הידנית והופכת את האיכות לצפויה בכל נפח הארכיון.

כתב יד, איכות סריקות, סימון: ספקות טכניים

ספקות הנדסיים בפרויקטי דיגיטציה מופיעים לפני השאלות למודלים: הארכיון נאסף במשך עשורים, ובאותו אוסף מונחים מפתחות מודפסים במכונת כתיבה, יומנים בכתב יד ודפים על נייר שקוף. להלן ארבע שאלות שאנחנו מנתחים כבר בהתחלה, לפני הערכת הנפח ותוכנית העבודה.

הטפסים לא תקניים, יש טבלאות ושדות בכתב יד. איך נבנה סימון המדגם?

אנחנו מסמנים לא את הזרם כולו, אלא מדגם מרובד לפי סוגי מסמכים, כדי שכל סוג יקבל הערכת דיוק משלו. המפעיל מטפל בשדות שנויים במחלוקת, התיקונים שלו חוזרים לקו הלמידה, והאיכות עולה בדיוק במקומות שבהם היו כשלים. מדדים לפי סוגים נקבעים בדוח הקבלה, ולא ממוצעים למספר אחד.

במסמכים יש נתונים אישיים. אפשר לא להוציא אותם מחוץ לקו?

העיבוד מתבצע בקו המאובטח שלכם, עם הפרדת תפקידים ויומן גישה לכל מסמך. לסימון עובר מדגם אנונימי, ולכן הנתונים האישיים כלל לא יוצאים מחוץ להיקף. לאחר מסירת הפרויקט אנחנו מוחקים עותקי עבודה לפי נהלים — נשארת התוצאה במערכת הרישום.

איך התוצאה נכנסת למערכת הרישום?

אנחנו מייצאים נתונים בפורמט מוסכם וטוענים אותם דרך ממשק החלפה תקני או טבלת ביניים. לרשומות יש מפתח יציב, ולכן טעינה חוזרת מעדכנת את הכרטיס ולא יוצרת כפילויות. הקבלה — השוואת מספר המסמכים ובדיקה מדגמית של שדות חובה מול המקור הנייר.

נדון במשימה: נתאים מצב לאוסף המסמכים שלכם

כדי לחזור עם הערכת נפח, סכמת עיבוד ותוכנית עבודה, אנחנו לא צריכים את כל הארכיון מיד — מספיקים כמה נתוני פתיחה. הם מאפשרים לחשב את מאמץ העבודה לפי סוגי מסמכים ולנקוב בלוחות זמנים אמיתיים לעיבוד, ולא בממוצעי שוק.

מה נדרש מכם:

• הרכב האוסף: אילו סוגי מסמכים מופיעים — דפים מודפסים במכונת כתיבה, כרטיסים בכתב יד, שאלונים, טפסים טבלאיים — והשיעור המשוער של כל סוג.
• מצב פיזי: כרכים כרוכים, דפים בלויים, הדפסה דו-צדדית, הדבקות, תצלומים, פורמטים לא תקניים.
• נפח: מספר יחידות אחסון או מטרים רצים של מדפים בתוספת צפיפות דפים ממוצעת בתיק.
• דרישות מהתוצאה: אילו שדות דרושים במפתח, האם נדרש חיפוש טקסט מלא, והאם נדרש ייצוא למערכת הרישום שלכם.
• איכות: שיעור שגיאות זיהוי מותר ואזורים שבהם חובה הגהה ידנית.
• גישה ואחסון: מי עובד עם החומרים, היכן מאוחסנים העותקים הדיגיטליים, והאם יש באוסף נתונים אישיים.
• אוסף פיילוט: קופסה אחת או תיקייה של כמה מאות דפים — עליו מכיילים את המודל ומדייקים את לוחות הזמנים.
• סדר אישורים: מי מקבל את התוצאה ובאיזה אופן — לפי קבצים, במנות או עם השלמת כל האוסף.

תארו את המשימה בצורה חופשית — נחזור עם הערכת נפח, סכמת עיבוד ותוכנית עבודה. אוסף פיילוט יראה את המהירות בפועל על החומר שלכם ויסיר את הסיכון שלוחות הזמנים יחושבו לפי ארכיון של מישהו אחר.