פיתוח מערכת ראייה ממוחשבת לזיהוי נזקים (סדקים, שקעים, שריטות)

זיהוי נזקים בקו: מניין מגיעים החמצות והתראות שווא

בקרת איכות בקו נשענת על שלושה דברים: תאורה, זווית צילום וסף הפעלה. מספיק להזיז מנורה בסנטימטר או להחליף אצווה של חומר — והתפלגות הבהירויות משתנה, ואיתה זז הגבול בין תקין לפגום. מפעיל מפצה על זה בעין, המודל לא: הוא רואה בדיוק את מה שלימדו אותו, וברקע חדש מבלבל בין ברק לשריטה.

החמצת פגם והתראת שווא הם שני צדדים של אותה הגדרה. תוריד את הסף — הקו נעצר על כל צל, ופריט תקין עובר לפסילה. תרים אותו — סדק ברוחב שערה חומק, והאצווה יוצאת ללקוח. המחיר של התוצאות האלה אינו סימטרי, ולכן סף ממוצע תמיד מפסיד.

את המדדים מחשבים בנפרד: שיעור הפגמים שהוחמצו ומספר התראות השווא לאלף פריימים — אלו מספרים שונים, ואי אפשר לאזן אותם עם בקר אחד.

בעיה נפרדת היא פיזור ההערכות של המפעילים. שניים על אותו פריים נותנים פסקי דין שונים, ותיוג לפי המסקנות שלהם מלמד את המודל סתירות. כל עוד קריטריון הפגם לא מעוגן בכתב, זיהוי הנזקים משחזר לא את הסבילות הטכנולוגית אלא את ההרגלים של משמרת מסוימת.

נפרק כיצד זה נסגר: מה מקבעים באופטיקה ובהעמדה, כיצד אוספים תיוג והיכן מציבים ספים.

מה משתנה לאחר הטמעת מערכת בקרת איכות

בקרת האיכות מפסיקה להיות תלויה בתשומת הלב של משמרת מסוימת. המערכת בוחנת כל פרט לפי קבוצה אחת של מאפיינים — סדק, שקע, שריטה, גרד — ומחזירה החלטה עם ציון ביטחון במקום «כנראה תקין». שיעור הפסולים שהוחמצו ביציאה יורד פי כמה: מה שפעם יצא ללקוח וחזר כתלונה, נעצר בקו.

הבודקים מתפנים: מיון שגרתי של פרטים תקינים מוסר מהאדם, ולו נשארים מקרים שנויים במחלוקת — שבהם ביטחון המודל נמוך או שהפגם נמצא על גבול הסבילות. בדרך כלל מדובר באחוזים בודדים מהאצווה, ולכן המשמרת מספיקה גם לבחון את הזרימה מהר יותר וגם לפרק פרטים מורכבים בנחת.

העקביות של ההערכה היא האפקט השני. סף רגישות אחד, מערכת חוקים אחת ופרוטוקול לכל החלטה: בבדיקת תלונה רואים מה המערכת הראתה ולמה. ההערכה מפסיקה להשתנות בין משמרות ואתרים, ומהירות בקרת האצווה עולה בלי לעצור את הקו.

ארכיון התמונות של האצוות נשאר כלי עבודה: לכל מקרה שנוי במחלוקת אפשר לשלוף את הפריימים המקוריים, המקושרים לאצווה, לזמן ולעמדה. המודל מסופק בפורמט פתוח ONNX ורץ על הציוד הקיים, וסוגי פגמים חדשים מתווספים באמצעות אימון נוסף על הארכיון שלכם.

ארגון זיהוי הנזקים: קו, עמדת מיון, דגימה

את נקודת הבקרה בוחרים לפני מדדי המודל: ממנה תלויות הדרישות להשהיית הפלט, ליציבות התאורה ולמי שמקבל את ההחלטה הסופית על פריט שנוי במחלוקת. להלן אפשרויות שבאמת בוחרים מהן בייצור; הן לא סותרות זו את זו, אבל כל אחת מטילה מגבלה משלה על היקף הייצור.

מצב משולב

בפועל זה לרוב כך: בקו נעצרים פסולים ברורים ומוצרים תקינים בעליל, בעוד שחלק גבולי של פריימים עובר לעמדת המיון עם רמז מהמודל. זה מסיר את המגבלה העיקרית של בקרה מדגמית — הסתברות ההחמצה שואפת לאפס, כי לא נבדקת מדגם אקראי אלא כל מקרה מפוקפק.

התפוקה של העמדה מחושבת לפי השיעור האמיתי של פריימים שנויים במחלוקת, ולא לפי כל היקף הייצור, — דווקא המספר הזה קובע אם מפעיל אחד יספיק למשמרת.

שלבי ההטמעה: מביקורת האתר ועד למסירה לתפעול

סדר העבודות כאן נקבע לא לפי הנוחות של המבצע, אלא לפי מחיר הטעות בכל שלב: אזור צילום שגוי מאפס את התיוג, וספים לא מדויקים יוצרים זרם של התראות שווא שאחריו המפעיל מפסיק לסמוך על המערכת. לכן ההטמעה מתנהלת באופן סדרתי — מסקר האתר ועד המסירה, ובכל שלב יש קריטריון מדיד למעבר לשלב הבא.

1. ביקורת האתר. בוחנים כיצד הפריט נכנס לפריים, באיזו תאורה ובאיזו זווית הוא מואר, כיצד הקו מתנהג במהירויות שונות, אילו מחלקות פגמים באמת מופיעות ואילו מהן נפסלות. בפלט — תרשים התקנת המצלמות ורשימת מחלקות מוסכמת: סדקים, שקעים, שריטות, ובנפרד «רקע», כדי שהמודל לא יחפש פגם במקום שבו הוא לא קיים.
2. סכמת הצילום ודרישות מהפריים. מקבעים את הזווית, אזור הכיסוי ויציבות מיקום הפריט. בודקים שהפגם המינימלי המשמעותי ניתן להבחנה בצילום בתנאי התאורה הגרועים ביותר — אחרת לא התיוג ולא האימון יביאו אותו לידי ביטוי.
3. תיוג המדגם. מתייגים פריימים לפי מחלקות, בנפרד מסמנים מקרים שנויים במחלוקת וגבוליים, משלימים פגמים נדירים שמופיעים בזרימה בודדים. חלק מהפריימים מתויגים פעמיים — פערים מפרקים ידנית, זה זול יותר מאשר לאמן מחדש על נתונים סותרים.
4. כיול הספים. עבור כל מחלקה מתאימים את סף ההפעלה לפי מה שיקר יותר: החמצת פגם או עצירה מיותרת. מחלקות קריטיות מכיילים לרגישות גבוהה, ומחלקות קוסמטיות — לשיעור נמוך של התראות שווא.
5. בדיקה על אצוות נפרדות. מריצים את המערכת על אצוות של משמרת אחרת, תאורה אחרת ואחרי כיוונון ציוד — כאלה שלא השתתפו באימון. בודקים לא פריימים בודדים אלא יציבות לאורך סדרה: כמה פרטים עברו בלי התערבות מפעיל.
6. מסירה לתפעול. מוסרים קונפיגורציות ותרשים, תקנון תגובת מפעיל להתראה, הוראות לעדכון המודל עם הופעת פגמים חדשים. מאמנים את המשמרת ומקבעים נקודות בקרה שמהן רואים שהמערכת מדרדרת.

מכאן האתר ממשיך לחיות לפי התקנון הזה: לוגים של התראות מצטברים, פריימים שנויים במחלוקת חוזרים לתיוג, והמודל מתעדכן כבר על הזרימה האמיתית, בלי לעצור את הייצור.

ערכת האספקה: קונפיגורציות, תקנונים ותיעוד

את המערכת מוסרים לא כתחנה עובדת שנשענת על התמיכה שלנו, אלא כערכה שהצוות שלכם ממשיך איתה הלאה בעצמו. להלן מה נשאר פיזית אצל הלקוח, באיזו צורה ולשם מה משמש כל פריט.

• קונפיגורציות של הגלאי — ספי רגישות בנפרד לסדקים, שקעים ושריטות, אזורי עניין לכל מצלמה, חוקים לדיכוי התראות שווא. נשמרות במאגר הקוד שלכם, השינויים עוברים סקירה, ולכן העריכות לא הולכות לאיבוד ותמיד אפשר לחזור לגרסה הקודמת.
• תרשימי פריסה — שיוך המצלמות לקטעי הקו ולאזורי הבדיקה, זוויות, תרשימי תאורה, חפיפות עם ציוד סמוך. המסמך נדרש כדי שאחרי החלפת מצלמה או הזזת מכלול אפשר יהיה לשחזר את הקונפיגורציה במדויק, ולא בניסוי וטעייה.
• תקנון פעולות — תיאור שלב-אחר-שלב של עבודת המפעיל בעת התראה: מתי עוצרים את הזרימה, כיצד מסמנים את הפרט, למי מודיעים ובאיזה פרק זמן. עם חלוקת תפקידים, כדי שההחלטה לא תהיה תלויה באדם אחד.
• יומן התראות — רשומות מובנות עם חתימת זמן, סוג הפגם, ציון ביטחון ופריים מצורף. משמש לפרק מקרים שנויים במחלוקת וכמקור לדוגמאות לאימון נוסף תקופתי של המודל.
• הוראות והדרכת צוות — חומרים נפרדים למפעילים ולמהנדסים שמתקנים ספים ואזורים. ההדרכה מסתיימת בבדיקה על דוגמאות מבחן, ולא בתדרוך פורמלי.
• מדריך תחזוקה — מה לבדוק אחרי החלפת מצלמה, שינוי תאורה או שינוי מצב הקו, אילו מדדים לבדוק באופן קבוע: שיעור הפגמים שהוחמצו ושיעור התראות השווא.
• פרוטוקול קבלה — סט מוסכם של דגימות בקרה והתוצאות שנקבעו עליו. לפיו אתם מקבלים את המערכת, ולפיו גם בודקים לאחר מכן אם לא חלה בה דרדור.

את כל הערכה מוסרים לאחסון ולמאגרים שלכם — בלי תלות בנו ובלי פורמטים סגורים. תארו לנו את האתר ואת סוגי הפגמים, ונחזור עם הערכה ותוכנית עבודה.

מקרה בוחן: בקרת פרטי יציקה על מסוע, מדדים לפני ואחרי

באתר היציקה בדקו את היציקות בעין: בודק מתחת למנורה חיפש סדקים, שקעים ושריטות ורשם את התוצאה ידנית ביומן. הרגישות של המשמרת נעה, סדקים דקים כשערה ליד השפה חלפו בלי לשים לב, ופריטים שנויים במחלוקת עברו לפעמים לפסול ולפעמים לתקין כמעט באקראי. שיעור ההחזרות מהלקוח לא ירד, ומהיומן אי אפשר היה להבין באיזה שלב האיכות הולכת לאיבוד.

מה שינו

את המצלמה הציבו ביציאה מהמסוע, ואת מודל הזיהוי אימנו על תיוג של יציקות אמיתיות — את התיוג והאימון הרכיבו על PyTorch. הפריים משויך למספר הפריט, ולכן כל החלטה נשמרת יחד עם התמונה וציון הביטחון.

בנפרד תיארו חוקי הסלמה: אם הביטחון נמוך מהסף או שהפגם נפל לאזור שנוי במחלוקת, הפריט עובר לבדיקה חוזרת של מפעיל, ולא לפסילה אוטומטית.

מדדים לפני ואחרי

• החמצת פגמים בקבלה: 12% → 2%
• שיעור ההחזרות מהלקוח: 3,1% → 0,6%
• עקביות ההחלטות בין משמרות: 74% → 96%
• שיעור הפרטים שמגיעים לבדיקה חוזרת ידנית: 100% → 8%

ניתוח מקרים שנויים במחלוקת

פריימים שנויים במחלוקת מנתחים פעם בשבוע יחד עם הטכנולוגים: אזורים מדייקים בתיוג, את הסף בוחנים מחדש, וההחלטות המוסכמות הופכות לתקן. דווקא הניתוח הזה הסיר את רוב התראות השווא על שברי יציקה וסימני זרבובית — הסיבות השכיחות ביותר לכך שבאתר כזה בדרך כלל מכבים את האוטומציה.

מה לעשות אם באתר כבר פועלת מערכת ראייה ממוחשבת

מערך ראייה ממוחשבת שכבר פרוס אינו משהו שצריך להרוס, אלא נכס התחלתי: עמדות מצלמה עובדות, תאורה מותאמת, זרימת פריימים מכוילת. העיקר בו אינו המודל, אלא התיוג: פגמים מסומנים, מקרים שנויים במחלוקת, החלטות המפעיל לגביהם. לשחזר את זה מאפס לוקח יותר זמן מאשר לאמן מודל חדש.

העבודה מתחילה בספירת מלאי: אילו מחלקות פגמים מוגדרות, באיזה פורמט נשמר התיוג, על אילו פריימים המערכת טועה וכיצד השגיאות האלה נרשמות. העברת התיוג למערך חדש היא החלק היקר ביותר, וכמעט תמיד מתאימים אותו: התאמת מחלקות, חיפוש כפילויות, לכידת סתירות בין סימונים של משמרות שונות. בלי בדיקה כזו המודל החדש יורש שגיאות זרות וגם לומד עליהן.

הלאה — השוואת גישות. הראשונה: להשאיר את המערך הקיים ולהחליף רק את המודל, תוך שמירה על כל מעטפת הצילום והפקת התוצאה. השנייה: להריץ מערכת חדשה במקביל במצב צל, שבו היא מתייגת את אותם פריימים, והפערים מול הגלאי הישן והמפעיל מנותחים ידנית. השלישית: היברידי, שבו המודל החדש מכסה מחלקות עם נפילה ברגישות, והישן נשאר על מחלקות שעובדות היטב.

הבחירה נעשית לא לפי העיקרון «חדש יותר זה טוב יותר», אלא לפי מדדים: באיזו מחלקת פגמים עולה הרגישות באותה רמה של התראות שווא ומה קורה למחלקות נדירות.

אינטגרציה עם מערכת שכבר פרוסה אינה נוגעת בנקודת קבלת ההחלטה ביום הראשון — הספים והלוגיקה של הפסילה נשארים כשהיו, ורק מקור התחזיות משתנה.

נסיגה לאחור מתוכננת מראש: המודל הקודם נשאר בהרכב ומופעל במתג, והתיוג והיסטוריית ההחלטות נשמרים בפורמט אחיד. כך המעבר לזיהוי נזקים חדש לא מסכן את הייצור השוטף.

ספקות נפוצים לפני ההפעלה: תיוג, ספים, אינטגרציה

הספקות לפני ההתחלה כמעט תמיד אותם ספקות: האם יספיקו פריימים מתויגים, מה לעשות עם פגמים על גבול הסף, והאם נצטרך לעצור את הקו בגלל ההתקנה. להלן תשובות המהנדסים למה שבדרך כלל עולה עוד לפני תחילת העבודות.

כמה פריימים צריך לתייג כדי שהמערכת תעבוד?

אמת מידה — כמה מאות דוגמאות לכל מחלקת פגם, כולל מקרים גבוליים. אנחנו סופרים לא את היקף התיוג הכולל, אלא את הכיסוי של מחלקות נדירות: אם יש מעט שקעים או שברים בערכה, הם פשוט לא ייכנסו לזיהוי, ולא משנה כמה פריימים נוסיף.

שריטה על גבול הסף נותנת התראות שווא — איך מטפלים בזה?

מפצלים את הספים לפי מחיר הטעות: החמצת פגם ופסילה שגויה עולות באופן שונה, ולכן גם הסף שלהן שונה. מקרים שנויים במחלוקת עוברים לתיוג נוסף על ידי מפעיל, ואחרי כמה משמרות הגבול עובר לפי הנתונים בפועל של האתר, ולא לפי ההנחות שלנו.

החליפו ספק או אצווה — המערכת «תזוז»?

אם הטקסטורה, הגוון או ההחתמה משתנים, התפלגות הפריימים נעה. לכן אנחנו מחזיקים מדגם בקרה ובוחנים אותו מחדש אחרי החלפת אצווה: אימון נוסף על דוגמאות חדשות לוקח פחות זמן מהפעלה מחדש של הפרויקט.

ההתקנה תחייב עצירת הקו?

לא. מחברים, תאורה וקווי כבלים מתקינים בתחזוקה מתוכננת או בהחלפת משמרת, ואת המצלמה מכיילים כשהמסוע עובד. ההרצה והכיול מתבצעים על הזרימה האמיתית בלי עצירה; עצירה נדרשת רק במקום שבו האתר עצמו דורש הפסקה לכיול הספים.

נדון במשימה: נתאים מצב בקרה לאתר שלכם

כדי שההערכה תהיה עניינית ולא «ממוצעת בשוק», את השיחה הראשונה בונים סביב האתר שלכם והדרישות לבקרה. להלן מה שצריך להבהיר כדי לחזור עם תוכנית הטמעה, הערכת לוחות זמנים והצעה לפיילוט.

• מחלקות פגמים וסף רגישות. מה נחשב לסדק ומה נחשב לסימן מותר של יציקה או עיבוד — מהגבול הזה תלויים גם התיוג וגם מדד הקבלה.
• תנאי צילום. תאורה, זווית, מהירות תנועת הפריט, רעידות ויציבות חיבור המצלמה: על סרט נע ועל מתקן פותרים משימות שונות.
• נקודת קבלת החלטה. היכן נמצא הפלט — אצל המפעיל באתר או במערכת בקרת האיכות הכללית, ומה קורה בעת התראה: אות, עצירה, רישום ביומן.
• נתונים. האם יש ארכיון צילומים ותיוג, מי בייצור מאשר את הפגם ובאיזו תדירות המדגם מתעדכן.
• קריטריוני קבלה לפיילוט. שיעור הפגמים שהוחמצו והתראות שווא על מוצרים תקינים, זמן תגובה — מקבעים לפני ההפעלה, ולא אחריה.
• מסירת תיעוד. הוראות למפעיל, תקנון לאימון נוסף על אצוות חדשות, תיאור החלפת נתונים עם מערכות ניהול של האתר.

לפי תוצאות הניתוח נשלח תרשים פריסת מצלמות, הרכב העבודות לפי שלבים, ואילו בדיקות אנחנו מחשיבים כחובה לפני העלאה לתפעול. תארו את המשימה — ונחזור עם הערכה ותוכנית.