פיתוח Document AI לעיבוד מסמכים

המפעילים שלכם מבלים שעות בהזנת חשבוניות ושטרי מטען, ובכל זאת שגיאות עדיין חומקות? נתקלנו בזה עם עשרות לקוחות ואנחנו יודעים איך לתקן את זה. עיבוד 1,000 חשבוניות אורך עד 80 שעות מפעיל, ועולה אלפי דולרים בחודש. בניסיון שלנו, בנינו עשרות פתרונות עיבוד מסמכים חכם (IDP) עבור בנקים, לוגיסטיקה וקמעונאות. תנו לי להסביר איך מערכות כאלה נבנות ואילו תוצאות אפשר להשיג.

Document AI מעבד מסמכים פי עשרות מהר יותר מאדם, וחיסכון בעלויות למסמך מגיע ל-95% בהשוואה להזנה ידנית. עבור לקוח עם נפח של 2,000 מסמכים בחודש, זה אומר חיסכון של $20k–50k בשנה. בואו נשווה עיבוד ידני לעומת Document AI:

איך Document AI חוסך עד 95% מזמן העיבוד

הפלטפורמה מורכבת מכמה שכבות, כל אחת פותרת את תת-המשימה שלה. צינור עיבוד טיפוסי:

[Входящий документ: PDF, DOCX, JPG, TXT] → [Document Intake Service]
├── Определение типа (PDF/скан/текстовый)
└── Маршрутизация → [Pre-processing]
    ├── OCR (если скан): Tesseract / Azure DI / Google Document AI
    ├── Извлечение таблиц: Camelot / pdfplumber / Table Transformer
    └── Layout Analysis: расположение элементов страницы → [AI Processing Pipeline]
        ├── Классификация типа документа
        ├── Извлечение структурированных данных
        ├── Валидация извлечённых данных
        └── Генерация суммари / аналитики → [Output]
            ├── JSON с извлечёнными данными
            ├── Структурированная запись в БД
            └── Уведомления / интеграции

תהליך בניית מערכת כזו כולל חמישה שלבים:

1. איסוף ותיוג מדגם מייצג של מסמכים (100–200 יחידות).
2. בחירה והגדרה של OCR + עיבוד מקדים של תמונה.
3. אימון מודלים של סיווג וחילוץ שדות.
4. אינטגרציה עם ERP דרך REST API או מחברים ישירים.
5. הגדרת ניטור ולולאת אימון מחדש ככל שמגיעים סוגים חדשים.

למה עיבוד מקדים הוא שלב קריטי?

איכות ה-OCR וניתוח הפריסה קובעת ישירות את הדיוק של החילוץ הבא. עבור סריקות ברזולוציה נמוכה, יש ליישם רשתות קונבולוציה (Table Transformer) כדי לזהות טבלאות. בפרויקט קמעונאי אחד, התמודדנו עם שטרי מטען מודפסים על נייר תרמי—היינו צריכים לאמן מחדש מודל על נתונים סינתטיים המדמים דהייה. שימוש במנועי OCR מודרניים כמו Azure Document Intelligence משפר את דיוק החילוץ ל-99% על סריקות איכותיות, אבל נדרש עיבוד מקדים מותאם אישית למקרים מורכבים.

סוגי מסמכים המעובדים

המערכת מטפלת בסוגי מסמכים שונים. הגישות שונות:

• מובנים (חשבוניות, שטרי מטען, טפסי מס): פורמטים דטרמיניסטיים, חילוץ שדות בדיוק גבוה.
• חצי-מובנים (חוזים, טפסים, בקשות): מבנה משתנה, דורש הבנת הקשר.
• לא מובנים (מכתבים, דוחות, רשומות רפואיות): טקסט חופשי, עיבוד NLP.
• תמונות וסריקות: OCR מקדים, ואז עיבוד NLP.

יישום טכני

חילוץ נתונים ממסמכים מובנים

עבור טפסים סטנדרטיים (חשבוניות, UPD, שטרי מטען בפורמט XML של שירות המס הפדרלי) — ניתוח דטרמיניסטי דרך XPath, ללא ML:

from lxml import etree

def parse_upd(xml_path: str) -> InvoiceData:
    tree = etree.parse(xml_path)
    root = tree.getroot()
    ns = {"n": "urn:NDS"}
    return InvoiceData(
        seller_inn=root.findtext(".//n:СвПродавца/n:ИдСв/n:СвЮЛ/@ИННЮЛ", namespaces=ns),
        invoice_number=root.findtext(".//n:Документ/n:НомерДок", namespaces=ns),
        total_amount=float(root.findtext(".//n:ВсегоОпл", namespaces=ns) or 0),
    )

ML נדרש רק עבור פורמטים לא סטנדרטיים.

IDP לסריקות: מחסנית ודוגמאות

from azure.ai.documentintelligence import DocumentIntelligenceClient
from azure.core.credentials import AzureKeyCredential

client = DocumentIntelligenceClient(endpoint, AzureKeyCredential(key))

# Анализ счёта
with open("invoice.jpg", "rb") as f:
    poller = client.begin_analyze_document(
        model_id="prebuilt-invoice",
        body=f.read(),
        content_type="application/octet-stream"
    )
    result = poller.result()

# Доступ к полям
invoice = result.documents[0]
vendor_name = invoice.fields.get("VendorName")
total_amount = invoice.fields.get("InvoiceTotal")

חלופות: Google Document AI, AWS Textract, PaddleOCR + חילוץ LLM עבור on-premise. למידע נוסף על OCR.

סיווג ואימות נתונים

מסווג רב-מחלקתי המבוסס על:

• תוכן טקסטואלי (TF-IDF / BERT embeddings)
• מאפיינים מבניים (נוכחות טבלאות, מספר עמודים, סעיפים)
• מטא-דאטה (שם קובץ, מקור)

דיוק טיפוסי: 96–99% עבור סוגים מובחנים (חשבונית מול חוזה מול מעשה), 88–94% עבור סוגים דומים.

כל שדה שחולץ מלווה בציון ביטחון. בביטחון נמוך (< 0.8) — מסומן לבדיקה ידנית. אימות צולב: האם הסכומים במילים ובספרות תואמים? האם ה-TIN עובר בדיקת סכום ביקורת? האם התאריך הגיוני? שיעור עיבוד ישיר (STP) עבור מסמכים מובנים באיכות גבוהה מגיע ל-85–95%. חיסכון בזמן ובעלויות: החזר ROI לאוטומציה תוך 6–12 חודשים לעסקים בינוניים. לקוחות רבים מחזירים את ההשקעה תוך 8–10 חודשים.

תוצאה ופיילוט

מה כלול בפתרון הסופי

• API עם נקודות קצה להעלאה, עיבוד ושליפת נתונים
• מודול OCR התומך ב-Tesseract, Azure DI, או Google DI
• מסווג סוגי מסמכים (מודל ניתן לכוונון)
• חילוץ שדות עם ציוני ביטחון
• אימות ורישום לוגים
• ממשק אינטרנט לתיקון ידני וניטור
• אינטגרציה עם 1C, SAP, או ERP אחר (REST/SOAP/החלפת קבצים)
• תיעוד ומדריך הפעלה
• הכשרת מפעילים (יומיים)
• אחריות על הצינור למשך 6 חודשים

לוח זמנים ליישום

חודש 1: צינור OCR, מסווג סוגי מסמכים, חילוץ בסיסי. חודשים 2–3: עיבוד סוגי מסמכים בעדיפות, אימות, אינטגרציות ERP/ECM

חודש 4: חיפוש סמנטי, ממשק תיקון ידני, אנליטיקה. חודשים 5–6: חיזוק ייצור, קנה מידה, ניטור איכות

איך מתחילים פיילוט?

פרויקט פיילוט מתחיל באיסוף מדגם של 100–200 מסמכים טיפוסיים (סריקות, PDF, XML). תוך 1–2 ימים, אנו מעריכים את הארכיטקטורה ואת דיוק החילוץ, ומכינים הערכת עלות ראשונית. לאחר הסכמה, מושק הצינור המלא—מ-OCR ועד אינטגרציה. תוצאות ראשונות נראות תוך 2–3 חודשים. לאחר מכן אנו משכללים את כל סוגי המסמכים, מחברים ERP, ומכשירים מפעילים.

הזמינו פרויקט פיילוט כדי להעריך את היעילות על המסמכים שלכם. צרו קשר — נכין ארכיטקטורה ראשונית תוך 1–2 ימים ונעריך את הפרויקט. קבלו ייעוץ על שילוב Document AI בתשתית שלכם.