פיתוח פתרונות ראייה ממוחשבת מותאמים אישית

כיצד שינוי התפלגות (Distribution Shift) הורס מדדי מודל ראייה ממוחשבת בתעשייה

בקו ייצור מותקנת מצלמה לבקרת איכות המוצר. המודל אומן על 10,000 תמונות מסומנות—דיוק הבדיקה mAP 0.84. הופעל בייצור, ובשבוע הראשון הוא מפספס 30% מהפגמים. התאורה על הקו משתנה בין משמרות; שינוי התפלגות מבטל את המדדים. זהו סיפור קלאסי עם ראייה ממוחשבת בתעשייה, שבה זיהוי תבניות נכשל ללא טיפול נכון ב-drift.

המהנדסים שלנו, עם ניסיון מ-60+ פרויקטי ראייה ממוחשבת, יודעים כיצד לחסל תרחישים כאלה. אנו מבטיחים ביצועי מודל יציבים בתנאים אמיתיים.

זיהוי עצמים: YOLO, RT-DETR וכל מה שביניהם

YOLO הוא התקן לזיהוי בזמן אמת. YOLOv8 ו-YOLOv11 מ-Ultralytics הן הגרסאות הנפוצות ביותר בייצור: API פשוט, קהילה פעילה, ולידציה מובנית וייצוא ל-ONNX/TensorRT. למשימות עם דרישות דיוק גבוהות ופחות קריטיות לזמן השהיה, RT-DETR, ארכיטקטורה מבוססת טרנספורמר ללא NMS, נותן mAP טוב יותר על COCO במהירות דומה ל-YOLOv8l.

טעות אופיינית באימון גלאי: מערך נתונים של 8000 תמונות, 3 מחלקות, כוונון עדין של YOLOv8m—F1 0.73 על ולידציה. הסתכלו על מטריצת הבלבול—מחלקה אחת כמעט אף פעם לא מזוהה. סיבה: חוסר איזון 1:23. פתרון: דגימת יתר של המחלקה הנדירה, focal loss עבור objectness, הגדלות (Mosaic, MixUp מושבתים עבור המחלקה הנדירה מכיוון שהם "מטשטשים" אותה). למידת העברה היא חובה: משקלים מאומנים מראש על COCO מפחיתים את דרישת הנתונים פי 10. כוונון עדין על 500–2000 תמונות תחום נותן מודל עובד תוך 1–2 ימים על GPU יחיד.

לפריסת קצה: ייצוא ל-ONNX → מנוע TensorRT. YOLOv8n ב-TensorRT FP16 על Jetson AGX Orin נותן 150+ FPS ב-P99 latency < 8 ms—פי 3 מהר יותר מ-ONNX Runtime ללא TensorRT. על שרת A10G: 700+ FPS עבור YOLOv8n ב-TensorRT INT8.

כיצד כוונון עדין של YOLO עוזר בזיהוי תבניות?

נניח שצריך למצוא מיקרו-פגמים על משטח מתכת—משימה עם רזולוציה גבוהה וחוסר איזון מחלקות. אנו משתמשים ב-YOLOv8m מאומן מראש על COCO ומכווננים עדין על 2000 תמונות קנייניות. מיישמים הגדלות Mosaic, MixUp, פרספקטיבה אקראית. לאחר 200 אפוקות, mAP 0.5 מגיע ל-0.93. טכניקות מפתח:

• Focal loss עבור ראש ה-objectness—מפחית תרומה של דוגמאות מסווגות בקלות.
• דגימה מאוזנת מחלקתית—משווה ייצוג של מחלקות נדירות.
• Test Time Augmentation (TTA)—מגדיל recall ב-5–7% באמצעות ממוצע על היפוכים וקנה מידה.

קבלו ייעוץ על בחירת ארכיטקטורה למשימה שלכם—צרו קשר.

סגמנטציה: SAM, Mask R-CNN וסגמנטציית מופעים

SAM (Segment Anything Model) מ-Meta שינתה את הגישה לסגמנטציה. SAM 2 עובד עם וידאו, תומך במעקב אחר עצמים בין פריימים—לבחירה אינטראקטיבית של עצם לפי נקודה או bbox, זו הבחירה הטובה ביותר מהמדף. לסגמנטציית מופעים בייצור ללא הנחיה אינטראקטיבית, משתמשים ב-Mask R-CNN או YOLOv8-seg. YOLOv8-seg מתאמן כמו גלאי רגיל עם מסכות נוספות, נוח באותן צינורות עיבוד. סגמנטציה סמנטית (כל פיקסל הוא מחלקה) משתמשת ב-SegFormer, DeepLabV3+. SegFormer-B5 מספק איזון טוב של דיוק ומהירות לתמונות לוויין או סגמנטציה רפואית.

מחקר מקרה: סגמנטציית תאים בתמונות מיקרוסקופיות. מערך נתונים של 400 תמונות עם סימון ידני. אימון Mask R-CNN על עמוד שדרה ResNet-50 נתן IoU 0.61—חלש. בעיה: עצמים (תאים) חופפים; NMS סטנדרטי הורג תחזיות חופפות. פתרון: מעבר ל-cellpose (ארכיטקטורה מתמחה למשימות ביו-רפואיות) + soft-NMS. IoU עלה ל-0.79.

OCR: כשטסרקט נכשל

Tesseract היא נקודת התחלה למשימות פשוטות: טקסט מודפס, תאורה טובה, פריסה ישרה. ברגע שיש אלמנטים בכתב יד, גופנים לא סטנדרטיים, עיוותי פרספקטיבה או פריסות מרובות עמודות, Tesseract מתדרדר במהירות.

PaddleOCR הוא פתרון ברמת ייצור: זיהוי גושי טקסט + זיהוי + ניתוח מבני. עובד מהמדף עבור 80+ שפות, כולל רוסית. תומך בטבלאות ומבני מסמכים מורכבים. TrOCR (מיקרוסופט) הוא OCR מבוסס טרנספורמר עם תוצאות חזקות על כתב יד. עבור כתב יד רוסי, נדרש כוונון עדין: המודל הבסיסי מאומן בעיקר על כתב לטיני.

מה לעשות כשטסרקט לא יכול להתמודד עם זיהוי תבניות במסמכים?

למשימות כמו "חילוץ נתונים מחשבוניות/חוזים/דרכונים," אנו משתמשים ב-LayoutLMv3 או Donut—מודלים אלה מבינים את פריסת המסמך, לא רק את הטקסט. אינטגרציה דרך Hugging Face Transformers, כוונון עדין על 200–500 מסמכים מסומנים. צינור עיבוד טיפוסי:

1. עיבוד מקדים: יישור, הסרת רעש, בינאריזציה דרך OpenCV.
2. זיהוי גושי טקסט: זיהוי PaddleOCR או CRAFT.
3. זיהוי: זיהוי PaddleOCR או TrOCR.
4. עיבוד לאחר: נורמליזציה, ולידציה דרך regex או LLM לשדות מובנים.

למסמכים עם מבנה קבוע, התאמת תבנית + OCR לפי קואורדינטות הוא לעיתים קרובות אמין יותר מפתרון מקצה לקצה.

זיהוי פנים: זיהוי ואימות

זיהוי פנים = זיהוי + יישור + embedding + התאמה. כל שלב חשוב.

זיהוי: RetinaFace או InsightFace למיקום פנים מדויק ונקודות מפתח. MTCNN ישן יותר אך אמין. Embedding: ArcFace (InsightFace) הוא state-of-the-art עבור embeddings של זיהוי פנים. מודלים iresnet50/iresnet100 מאומנים מראש על MS1MV3 (5M זהויות). וקטור embedding 512 float32, השוואה על ידי דמיון קוסינוס. כוונון סף: סף ההחלטה הוא פרמטר קריטי. בסף 0.6, FPR טיפוסי על מדד LFW הוא 0.001, TPR הוא 0.985. בייצור, יש לכייל את הסף להתפלגות האמיתית: אנשים עם מסכות, עם מראה שונה, תנאי תאורה שונים. זיהוי חיות (liveness) הוא חובה: MiniFASNet—מודל קל על CPU; FaceX-Zoo מכיל מספר גלאי liveness מאומנים מראש.

אנליטיקת וידאו

וידאו הוא רצף של פריימים בתוספת ממד זמן. גישה נאיבית—זיהוי על כל פריים—היא יקרה.

מעקב: ByteTrack ו-BoT-SORT הם התקן למעקב אחר עצמים מרובים. הם עובדים על כל גלאי, מוסיפים מזהים מתמשכים לעצמים בין פריימים—מאפשרים ספירת עצמים, מעקב תנועה, מהירות.

אופטימיזציה: לא כל פריים צריך עיבוד. לסצנות סטטיות, זהו כל 5–10 פריימים, עם מעקב ביניהם. לזיהוי אירועים (אדם נכנס לאזור), חיסור רקע (OpenCV MOG2) משמש כמסנן מקדים קל לפני זיהוי עצבי. זיהוי פעולות: SlowFast, VideoMAE לסיווג פעולות. מודלים כבדים—לייצור השתמשו בייצוא ONNX + TensorRT או עיבוד לא מקוון.

כיצד למדוד איכות מודל זיהוי תבניות בייצור?

ניטור איכות הוא מפתח ל-MLOps. אנו עוקבים:

• התפלגות ביטחון התחזיות.
• חלק התחזיות בביטחון נמוך (אינדיקטור לנתוני OOD).
• Drift של תמונות קלט דרך התפלגות תכונות (embeddings מהבסיס).

ירידה בביטחון הממוצע מ-0.87 ל-0.71 במשך שבוע היא אות מוקדם לשינוי התפלגות. NVIDIA Triton Inference Server ממליץ לעקוב אחר מדדים אלה דרך Prometheus. המהנדסים המוסמכים שלנו מקימים ניטור ומבטיחים SLA לאיכות הסקה.

פריסת מודלי CV

להסקה מקוונת, אנו משתמשים ב-Triton Inference Server (NVIDIA)—תקן ייצור להגשת מודלי CV. תומך ב-TensorRT, ONNX, PyTorch, dynamic batching, מופעים מרובים. REST ו-gRPC API. אנו מבטיחים פעולה יציבה תחת עומס.

פריסת קצה: ONNX Runtime על ARM/x86 CPU. TensorFlow Lite למכשירים ניידים. OpenVINO עבור Intel CPU/GPU/VPU—נותן האצה של פי 2–3 על חומרת Intel בהשוואה ל-ONNX Runtime. לאחר הפריסה, אנו מוסרים את המודל עם תיעוד ומכשירים צוות.

מה כלול בעבודה

לוחות זמנים ועלות

אב טיפוס גלאי על נתונים קיימים לוקח 1–2 שבועות. מערכת ייצור עם אופטימיזציה לחומרת יעד לוקחת 4–8 שבועות. מחזור מלא כולל סימון נתונים (1000–5000 תמונות) לוקח 2–4 חודשים. העלות מחושבת בנפרד לכל משימה. חיסכון טיפוסי מהטמעת מערכת בקרת איכות יכול להיות משמעותי לכל קו ייצור.

אנחנו בשוק למעלה מ-5 שנים והשלמנו 60+ פרויקטי ראייה ממוחשבת. אנו נעריך את הפרויקט שלכם מקצה לקצה—בקשו ייעוץ כדי לקבל הצעת מחיר והצעה טכנית.