פיתוח מערכת ראייה ממוחשבת (CV) מקצה לקצה

פיתוח ראייה ממוחשבת: איפה נשבר הפיילוט

פיילוט של זיהוי נכשל רק לעתים רחוקות במודל עצמו — הוא נכשל במעבר לתפעול. על מדגם מוכן המדדים נראים משכנעים, אך בזרימה חיה אותו אלגוריתם מייצר התראות שהמפעיל מפסיק לקבל. משם מתחילה עבודת המשך בלי קריטריון מוכנות.

הסיבה הראשונה — תאורה לא אחידה וגיאומטריית הזירה. את המודל מאמנים על פריימים שצולמו בתנאים נוחים, ואילו בבית המלאכה התאורה משתנה בין משמרות, מופיעים הצפות אור והשתקפויות על מתכת ואריזה מבריקה.

אם פיתוח ראייה ממוחשבת אינו מתחיל בהערכת המצלמה, התאורה ויציבות זווית הצילום, הדיוק יורד אף שהקוד לא משתנה.

השנייה — מחלקה נדירה של פגם. פסילות מעטות, הן מהוות שברירי אחוז מהמדגם: הדיוק הממוצע על כל המחלקות נשאר גבוה, אך את המחלקה הנדירה הספציפית המערכת אינה תופסת. אותה מסווה המדד הכללי, ולכן נדרש מדידה נפרדת לכל מחלקה ותוכנית להשלמת דוגמאות, ולא רק גידול בנפח התיוג.

השלישית — תיוג לא יציב. כל עוד קריטריון הפסילה נשמר בראשו של המפעיל, אותו פריים מתויג באופן שונה, והמודל לומד על סתירות. זה מטופל בתקנון: תיאור המחלקות, דיון בפריימים שנויים במחלוקת, בדיקה חוזרת של חלק מהמדגם ובקרת עקביות בין המתייגים.

הרביעית — היעדר קבלה על זרימה אמיתית. אם לא נקבע מראש איזה שיעור של החמצות והתראות שווא נחשב סביר וכיצד המערכת מתנהגת בעת כשל, אין במה לקבל את הפיילוט. אנו מפרטים כיצד זה נסגר בכל שלב.

אפקט ההטמעה: בקרת איכות ופריקת מפעילים

את המדדים מחשבים לפני ההפעלה, על מדגם פיילוט של פריימים מהקו: שיעור הפסילות שהוחמצו, מספר התראות השווא למשמרת, זמן הדיון בפריים שנוי במחלוקת וכמה החלטות המפעיל מקבל ידנית. אלה ארבעה גדלים שמהם רואים אם המערכת עובדת — ולא «דיוק המודל» הכללי בדוח.

לאחר העלאה לפעולה שיעור הפסילות המוחמצות במחלקות הפגמים הנשלטות יורד מתחת לאחוז: המודל בוחן 100% מהמוצרים, ולא באופן מדגמי כל עשירי. התראות שווא מדוכאות באמצעות סף ביטחון ואימון משלים על פריימים שנויים במחלוקת — למשמרת נותרות בודדות במקום מאות, והקו אינו נעצר לבדיקות חוזרות.

החישובים מתבצעים על מאיצים של NVIDIA: הפריים מעובד מהר יותר מקצב הוצאת הפריים הבא על ידי המסוע, ולכן אין צורך להאט את קצב הקו. פריקת המפעיל היא תוצאה: את רוב ההחלטות מקבלת המערכת, והאדם דן רק בפריימים שנויים במחלוקת ומאשר את המשמרת.

זמן הדיון בפריים שנוי במחלוקת יורד מדקות לשניות: זה לצד זה מונחים הפריים, אזור הפגם המסומן וגרסת המודל שהפיקה אותו. יציבות האיכות ניתנת לא על ידי שיא אלא על ידי פיזור: המפעיל בסוף המשמרת מגיב אחרת מאשר בהתחלה, המודל — באופן זהה, ולכן הפער בין משמרות ואתרים מצטמצם.

בנפרד אנו מנהלים יומן: אילו פגמים מוחמצים, ועל אילו חומרים גדל שיעור הפריימים שנויי המחלוקת. זו תוכנית מוכנה לאימון משלים וגבול ברור — מה המערכת שולטת בו בביטחון, והיכן ההחלטה נשארת בידי האדם.

מודלים מוכנים, אימון משלים או אימון מאפס

אל מודל עובד מובילים שלושה נתיבים, ובחירת הגישה נקבעת לא על ידי אופנה אלא על ידי הנתונים: כמה דוגמאות מתויגות יש ביד, עד כמה הזירה אחידה, ואיזה שיעור שגיאות הלקוח מחשיב כסביר.

מודל מוכן סוגר את המשימה בתוך ימים ספורים — אך רק אם המחלקות ותנאי הצילום שלכם זהים לאלה שעליהם הוא אומן.

את בחירת הגישה איננו עושים לפי העין. תחילה מריצים מודל מוכן על כמה מאות פריימים של הלקוח ובוחנים היכן בדיוק הוא טועה — במחלקה נדירה, בהצפת אור, בצילום לילה. אם פריימים טיפוסיים הוא מחזיק בביטחון, ומתפורר רק על הספציפיקה שלכם — זה העברת למידה.

ואם נתונים דומים אינם קיימים כלל, אנו אומרים ישירות: מודל מוכן לא יעבוד, יש צורך בארכיטקטורה ובתיוג מאפס.

נתיב הפרויקט: הגדרת המשימה, תיוג, אימון, קבלה

את קריטריון הכשירות קובעים לפני שורת הקוד הראשונה — אחרת הקבלה הופכת לוויכוח על טעמים. בכל שלב יש נקודת ביקורת: כל עוד היא לא עברה, השלב הבא אינו מתחיל, וזה זול באופן ניכר מלאמן מחדש את המודל על נתונים שתויגו באופן גרוע.

1. הגדרת המשימה. מתארים מה נחשב לאירוע בפריים, באילו תנאים פועלת המצלמה, ואיזה שיעור של החמצות והתראות שווא נחשב סביר. תוצאת השלב — קריטריון כשירות בגדלים מדידים.
2. תיוג הנתונים. לוקחים הקלטות אמיתיות של האתר, כולל פריימים קשים: לילה, גשם, הסתרות, השתקפויות. התיוג נעשה לפי תקנון כתוב, מקרים שנויים במחלוקת נדונים על ידי בורר, וחמישית מהפריימים נבדקת על ידי מתייג שני.
3. אימון המודל. מאמנים משלים את מודל הבסיס, ובנפרד מחזיקים מדגם מושהה שאינו משתתף בכיול. מסתכלים לא על הדיוק הממוצע אלא על המחלקות הנדירות — בדרך כלל דווקא הן שוברות את התפעול.
4. אימות על הזרימה. מריצים את המודל במצב צל לצד תהליך העבודה ומצליבים את החלטותיו עם המציאות. כאן נראים הפערים בין מדדי המעבדה למציאות: החלפת תאורה, תזוזת מצלמה, סוג אובייקט חדש.
5. ספים ועמידות. את סף ההתראה מתאימים למחיר הטעות, ומתארים את ההתנהגות באובדן פריים או באי-זמינות המצלמה — המערכת צריכה להתדרדר באופן צפוי.
6. קבלה ומסירה. הרצה על קטע בקרה שלא שומש לא באימון ולא בכיול, והצל�בה עם קריטריון הכשירות מהשלב הראשון. מוסרים את המודל, התצורה, תקנון התיוג ונוהל החזרה לגרסה הקודמת.

מערך האספקה: מודל, תיוג, תיעוד, תקנונים

מערך האספקה נבנה כך שצוות הלקוח יוכל לאמן, לבדוק ולהחליף את המודל בלעדינו. לכן הוא כולל לא רק את המשקלים, אלא גם את כל השכבות שמהן תלויה יכולת שחזור התוצאה: נתונים וכללי התיוג שלהם, תצורות אימון, הרשאות לעבודה עם זרמי וידאו ותקנוני תפעול.

• מודל מאומן ונקודות ביקורת — משקלים עובדים בפורמט שמקבל מערך ההרצה שלכם, בתוספת תמונות ביניים לפי שלבי האימון: החזרה לגרסה הקודמת אורכת דקות, ולא איטרציה חדשה של איסוף נתונים.
• מערכי נתונים ומפת תיוג — מדגמים מקוריים ומתויגים, תיאור המחלקות, כללים לאובייקטים גבוליים ושנויים במחלוקת. מפת התיוג מסירה את המקור העיקרי לפערים כאשר מצטרפים אנשים חדשים לתיוג.
• יכולת שחזור של האימון — תצורות, גרסאות תלויות מקובעות, סדר הערבוב ופרוטוקול בקרת איכות. הרצה חוזרת נותנת דיוק דומה, והפער מוסבר ולא נזקף ל«קסם».
• תרשימי אינטגרציה — כיצד המודל משתלב בזרם הווידאו, היכן נקודות הכשל, ואילו השהיות צפויות בכל קטע של עיבוד הפריים.
• מדיניות גישה לוידאו — מי ועל איזה בסיס רואה את הזרם ואת הארכיון, תקופות שמירה, אנונימיזציה, רישום פניות להקלטות. זה גם מסיר שאלות של שירות הביטחון בעת מסירת המערכת.
• תקנון תפעול — מה לעשות בירידת דיוק, כיצד מועלית גרסה חדשה, מי מקבל החלטה על אימון מחדש, וכיצד מתעדים אירועים והתדרדרות בהחלפת תאורה או עונה.
• מערך תיעוד — הוראות למפעילים ולתורנים, תיאור מדדי האיכות, נוהל קבלה ומסירת משמרת, מילון מונחים של תחום היישום.

מקרה בוחן של בקרת איכות: מערכת ראייה ממוחשבת על הקו

לפני ההטמעה

בקו מילוי של אריזה פולימרית הבקרה נעשתה באופן מדגמי: מפעיל בקרת איכות הוציא כל אריזה עשרים ובחן חזותית. החמצת הפגמים הגיעה ל-7% — סדקים מיקרוסקופיים ותפר לא שלם עברו לפלוטיזציה וחזרו כתלונות על המנה. התראות שווא הסתכמו ב-15%: הקו נעצר לבדיקה חוזרת, וקצב המשמרת נפגע.

איטרציות המודל ושינוי מערך הצילום

הגרסה הראשונה על ארבעת אלפים פריימים הורידה את ההחמצה ל-4%, אך במחלקות הנדירות נותרה עיוורת — פחות ממאה דוגמאות על כל המערך.

לא את המודל שינו אלא את הצילום: תאורת צד בזווית לצוואר הבקבוק, סנכרון המצלמות עם חיישן המיקום, סינון פריימים מטושטשים, ותיוג מקרים שנויים במחלוקת ב-CVAT עם בדיקה כפולה של מהנדס.

הבסיס גדל ל-16 אלף פריימים, והמחלקות הנדירות הושלמו לשלושת אלפים דוגמאות. האיטרציה השנייה נתנה החמצה של 1.2% והתראות שווא של 6%, השלישית — 0.9% ו-1.8%: הוספנו אישור על פני שלושה פריימים עוקבים, כדי שהשתקפות בודדת על התווית לא תעבור לפסילה.

התוצאה

אריזה פגומה מוסטת על פי אות ללא עצירת המסוע, והמפעיל עוסק רק במקרים שנויים במחלוקת — שהם פחות משני אחוזים. המשקלים והתצורה מנוהלים בגרסאות, החזרה לגרסה הקודמת אורכת דקות, וסוגי פגמים חדשים הוספו לתיוג כבר לאחר ההפעלה: האימון מחדש עבר ללא שינויים באופטיקה ובמכניקה של הקו.

מה לעשות אם המצלמות כבר מותקנות ויש ארכיון הקלטות

אפשר להתחיל בלי להחליף את המלאי — השאלה רק אם המצלמות וההקלטות הקיימות מספיקות למשימה. המלאי אורך כמה ימים: בודקים זוויות ויציבות ההרכבה, את העומק והשלמות בפועל של הארכיון, את התאורה בשעות הנדרשות, ואת מרווח רוחב הפס של הרשת. בדרך כלל חלק מהמצלמות מספקות זרם מתאים, וחלק יש להוציא מהמערך — הפריימים שלהן רק יוסיפו רעש לאימון.

לאחר מכן בוחרים אחד משלושה תרחישי התחלה: הם נבדלים בזמן ההפעלה ובנפח הנתונים הנדרש עד למודל העובד הראשון.

באימון על הארכיון מתייגים את המדגם באופן שכבתי: יום ולילה, ימי חול וסופי שבוע, עונה. את החלק המושהה לוקחים מתקופת הקלטה אחרת — אחרת המדד על אותו מדגם עצמו יהיה מנופח, ובמערך האמיתי המודל יירד. את העיבוד המקדים מבצעים על ספריות פתוחות, למשל OpenCV, כדי לא להיות תלויים ברישיונות סגורים.

התוכנית ההיברידית היא שלעתים קרובות גם מתבררת כעובדת: המצלמות, השרת והערוצים הקיימים מנוצלים מחדש, וההצטיידות המשלימה נעשית נקודתית — תאורה או זווית נוספת במקום שבו המודל לא משיג את הדיוק. התחלה כזו אינה עוצרת את התהליכים השוטפים, והתוצאות המדידות הראשונות מופיעות על הציוד שכבר מותקן.

ספקות טכניים: תאורה, תיוג, התראות שווא

כל פרויקט זיהוי נתקל בארבעה דברים: תנאי התאורה, איכות התיוג, סף ההתראה וההתנהגות בעת כשלים. אותם דנים לפני ההתחלה, כי דווקא הם קובעים כמה בדיקה ידנית תיוותר למפעיל וכמה מהר המערכת תחזיר את ההשקעה בהטמעה.

להלן — השאלות הנפוצות ביותר שמנהלים טכניים שואלים לפני הערכת הפרויקט.

כיצד להבין שהתיוג איכותי?

את התיוג מנהלים לפי תקנון: פריימים שנויים במחלוקת עוברים לבדיקה שנייה, ושיעור הפערים בין המתייגים משמש כמדד איכות. חלק מהנתונים מתויגים אוטומטית ונבדקים באופן מדגמי — כך נצבר מהר יותר נפח עבור המחלקות הנדירות, שבדרך כלל דווקא הן נכשלות בזירות אמיתיות.

כיצד מפחיתים התראות שווא?

את סף הביטחון מתאימים למחיר הטעות: החמצה והתראת שווא עולות באופן שונה. פריימים שנויים במחלוקת איננו זורקים, אלא שולחים לאימון משלים — שיעור התראות השווא יורד ככל שנצברים נתונים.

מה קורה בעת התדרדרות המודל או כשל מצלמה?

עוקבים אחרי סחיפת הנתונים: אם התפלגות הפריימים מתרחקת מזו של האימון, התדרדרות המודל מתרחשת בשקט, ולכן המדדים מחושבים גם על מדגם הבקרה וגם על הזרימה החיה. באובדן מצלמה המערכת עוברת למצב בטוח — מתעדת את האירוע, מוסרת למפעיל ואינה מפיקה החלטות אקראיות.

נתחיל מהמשימה שלכם: מה לשלוח להערכה

הערכת פרויקט ראייה ממוחשבת נתקלת לא באלגוריתם אלא בנתונים ובתנאי הצילום. לכן את נתוני המוצא להערכה אנו אוספים באופן אחיד — לפי הרשימה שלהלן. אם תשלחו את אלה, נחזור לא עם מילים כלליות אלא עם תרשים הפתרון ותוכנית השלבים.

• וידאו או ארכיון פריימים מהאתר: שעות שונות, תאורה, מזג אוויר, זוויות.
• רשימת האובייקטים והאירועים: מה צריך למצוא, מה נחשב להחמצה ומה להתראת שווא.
• תנאי הצילום: סוג המצלמות, גובה התלייה, אזור הראייה, האם יש סיבוב וזום.
• מה צריך לקרות עם האירוע: הקלטה, אות למפעיל, פקודה למערכת סמוכה.
• היכן מתוכנן העיבוד: באתר או בשרתים שלכם, ואיזו גישה לזרם הווידאו קיימת.
• מגבלות: דרישות לשמירת נתונים, פרטיות, אזורים שבהם הצילום אסור.
• קריטריון קבלה: לפי איזה מדד תחשבו את המערכת לעובדת.
• לוחות זמנים ושלביות: האם יש תאריך הפעלה קשיח ומה צריך לעבוד ראשון.

אם חלק מהנתונים חסר — לא נורא, את התשובות האלה נבהיר בדיון על המשימה. לאחר מכן מקבעים את תרשים הפתרון, את תוכנית השלבים ואת היקף העבודה בכל אחד.