צינור בינה מלאכותית לתיוג נתונים אוטומטי: הטמעה ואחריות לתוצאה

תיוג אוטומטי של נתונים: היכן נקרע המעגל הידני

תיוג ידני של קורפוסים נשען על אנשים, ותפוקתו כמעט אינה מתרחבת. כל עוד הזרימה היא מאות דוגמאות בשבוע, המעגל מספיק: המתייגים מטפלים בתור, מקרים שנויים במחלוקת נפתרים בעל פה, וההוראות חיות בראשו של הבכיר.

ברגע שהזרימה גדלה לאלפי דוגמאות ביום, התור לתיוג גדל באופן לינארי ומהיר יותר מקצב סגירתו בידי הצוות: מלאי לא מתויג נערם, והאימון מתבצע על מה שהספיקו לעבד, ולא על מה שחשוב לאיכות.

הצוואר בקבוק השני — פער בין תוויות. שני מתייגים על אותו קטע משרטטים אחרת את גבול הישות או משייכים את הדוגמה למחלקה שכנה; מקדם ההסכמה ביניהם עומד על כ-0.6–0.7, והפער הזה עובר ישירות למערך האימון. המודל ממצע סתירות במקום להתעמק בהן, ובנתונים חיים הוא חוזר על שגיאות התיוג כשלו.

השלישי — שחזוריות התיוג. בלי גרסה קבועה של ההוראות ופרוטוקול למקרים שנויים במחלוקת, הרצה חוזרת מניבה קורפוס אחר: המדדים בין הרצות אינם ברי השוואה, אי אפשר לתפוס רגרסיה, ואי אפשר לעשות שימוש חוזר בקורפוס שנצבר.

יומן המשימות ב-Label Studio ובפלטפורמות דומות מתעד תשובות, אך לא כללים — הכללים נשארים מחוץ למערכת, אצל אדם מסוים.

אנחנו מפרקים כיצד זה נסגר: תיוג אוטומטי של נתונים מסיר מהאנשים את החלק ההמוני של הזרימה, ומשאיר להם את השנוי במחלוקת, וניהול גרסאות של ההוראות והמדדים מחזיר את השחזוריות.

מה נותן תיוג אוטומטי של נתונים במעגל תעשייתי

תיוג אוטומטי במעגל תעשייתי הוא לא מודל אחד, אלא שילוב של תיוג מקדים, כללי ולידציה ביציאה ובקרה מדגמית על התוויות. המודל מעבד את כל הזרימה, והאדם בוחן רק את הרשומות שבהן הביטחון נמוך או שהתגלה קונפליקט בין הכללים.

באותו הרכב צוות, זרימת הרשומות המעובדות גדלה פי 5–8: צוואר הבקבוק הופך להיות הגדרת המשימה, ולא התיוג עצמו.

עבודת היד לא נעלמת, אלא מתחלקת מחדש: מעבר רציף מוחלף במדגם מרובד לפי מחלקות, מקורות ורמת ביטחון. לבדיקה ידנית הולכים 10–15% מהרשומות במקום כל המדגם, ומחזור התיוג מתקצר משבועות לימים — גרסה חדשה של המערך מופיעה בכל איטרציה של המודל, ולא לקראת סוף הרבעון.

החלק הכלי נבנה על פלטפורמות תיוג בקוד פתוח, למשל Label Studio, עם ניהול גרסאות של המערך וקיבוע של הכללים: רשומה שנויה במחלוקת חוזרת לאותו מצב שבו הייתה בהרצה הראשונה. זה נותן שחזוריות ומאפשר לחזור אחורה מפרצת תוויות כושלת בלי לתייג מחדש את כל הקורפוס.

איכות מערך האימון נשענת על מדדים מדידים: שיעור הפערים בין הבודקים, שיעור הרשומות שעברו לתיוג חוזר, יציבות התוויות לאחר החלפת גרסת המודל. אנחנו מוציאים אותם לדוח בכל מחזור — רואים היכן המערך נסוג ומה בדיוק משך אותו למעלה.

מעגל ידני, מעגל מודלי ומעגל היברידי: השוואת גישות

תיוג נתונים הוא לא מצב עבודה אחד, אלא בחירה בין מעגל ידני, תיוג במודל ותכנית היברידית. ההחלטה נקבעת לפי מבנה הנתונים, הדיוק הנדרש וסוג השגיאה שמותר למשימה: הפעלה כוזבת על מחלקה נדירה או החמצה של דוגמה המונית.

כיצד לבחור מצב

הכלל פשוט: המודל מתייג כל מה שמוגדר באמצעות מאפיין פורמלי, והמעגל הידני מתחבר היכן שמחיר השגיאה גבוה ממחיר הבדיקה. בפועל את הגבול קובע סף הביטחון — אובייקטים מתחתיו עוברים לאימות, ומעליו מתקבלים ללא תיקונים, ושיעור האובייקטים האלה מכוון לדיוק הרצוי.

מגבלות התיוג האוטומטי מוסרות לא על ידי המודל עצמו, אלא על ידי מעגל הבקרה: בכל שלב נשאר תת-מדגם ידני, לפיו נספר שיעור החפיפות עם תקן האמת. אם ההסכמה יורדת, המפרצה חוזרת לתיוג משלים ולא נכנסת לאימון — אחרת השגיאות משוכפלות על פני כל המערך.

שלבי ההטמעה: אבחון, סכימה, הגדרה, מסירה

הטמעת תיוג אוטומטי היא הרכבה של מעגל שבו הכללים חשובים מהמודל: סכימת התוויות, קריטריוני איכות התיוג וסדר הבירור של מקרים שנויים במחלוקת קובעים מה בכלל ייכנס למערך האימון. אנחנו הולכים בשלבים, ולכל אחד תוצאה ניתנת לבדיקה.

1. אבחון הקורפוס. סופרים נפח, כפילויות, רשומות פגומות, ובוחנים מה תויג ידנית ולפי אילו כללים. בפלט — מפת נתונים: היכן התיוג מספיק והיכן נדרש התחלה קרה.
2. סכימת תוויות. מתאמים טקסונומיה: מחלקות, ההיררכיה שלהן, מה עושים עם חפיפות ועם התשובה «לא יודע». מקרים שנויים במחלוקת מבררים על קטעים אמיתיים, ולא על תיאורים מופשטים.
3. קריטריוני איכות התיוג. קובעים ספים: שיעור החפיפות בין המתייגים על מדגם הבקרה, שיעור ההחמצות המותר, כללי הכרעה. בלי המספרים האלה הקבלה הופכת לוויכוח על טעמים.
4. פיילוט של מעגל התיוג. מריצים על פרוסה מוגבלת: כללי הבחירה, מודל-עוזר, מסלול הבדיקה בידי אדם. רואים היכן המעגל טועה באופן שיטתי, ומתקנים כללים ולא תוויות בודדות.
5. בדיקה על פרוסה מושהית. מריצים את המעגל על נתונים שלא השתתפו בהגדרה, וסופרים דיוק לפי כל מחלקה: בדרך כלל דווקא המחלקות הנדירות מכריעות את המשימה.
6. מסירה לצוות. מוסרים תקנון תיוג, קונפיגורציות, לוח מדדים וסדר אימון נוסף, ומאמנים את המומחים שלכם — המעגל עובד בלעדינו.

קבלת התוצאות — הרצה חוזרת לפי מדדים שנקבעו מראש על אותה פרוסה מושהית. פער לעומת הפיילוט מעל הסף המוסכם נחשב לפגם ומטופל לפני המסירה.

מה מוסרים לידיים: קונפיגורציות, סכימות, תקנונים

אנחנו מוסרים לא «מודל מוכן», אלא מעגל תיוג אוטומטי עובד, שהצוות שלכם יוכל להפעיל בעצמו. כל חפץ מכסה סוג תקלות משלו: מפער בפרשנות המחלקות ועד חזרה לגרסה קודמת של המערך, אם האיכות ירדה.

• קונפיגורציות המעגל — תיאורי שירותים, תורי משימות וכללי ניתוב: איזה שיעור מהנתונים הולך לתיוג אוטומטי, איזה לקריאה בידי אדם, ובאיזה סף ביטחון מופעלת הסלמה.
• סכימת מחלקות ותוויות — היררכיית המחלקות, חפיפות מותרות, כללים למקרים שנויים במחלוקת ודוגמאות גבול. זהו מקור האמת היחיד: לפיו מסתנכרנים גם המתייגים וגם המודל.
• תיעוד התיוג — הוראות למתייגים עם בירור שגיאות טיפוסיות, דוגמאות כיול ורשימת בדיקה לקבלת משימה.
• מדיניות גישה לנתונים — תפקידים, תחומי ראייה, אנונימיזציה בכניסה, יומן פניות. שלילת גישה היא פעולה תקנונית, ולא התכתבות עם מנהל המערכת.
• תקנון בקרת איכות — שיעור התיוג החוזר, מדדי הסכמה בין המתייגים וספים שמתחתם המערך עובר הרכבה מחדש.
• ניהול גרסאות של המערכים — נתונים, סכימת תוויות וקונפיגורציות מנוהלים בגרסאות יחד, ולכן עריכה של הסכימה לא שוברת קורפוס שכבר תויג, והגרסה הקודמת נשארת בת-שחזור.

בנפרד מוסרים יומן החלטות: מדוע נבחרו ספים אלה, אילו השערות נבדקו ומה נזרק. הוא חוסך חודשים של מעבר חוזר בצמתים שכבר עברנו — תארו את המשימה, ונחזור עם הערכה ותוכנית מסירה.

מקרה בוחן: איכות התוויות וקצב הזרימה לפני ואחרי

לפני: זרימה ידנית ותוויות מפוזרות

זרימה של 40–50 אלף מסמכים בחודש תויגה בשתי קבוצות של שישה אנשים. הסכמה בין התוויות עמדה על 0.62 לפי קאפה של כהן — הפערים נבעו מקיצורים בפרטי זיהוי, כתובות מורכבות וטבלאות מקוננות, שכל קבוצה פירשה בדרכה. לבדיקה ידנית הלכו 100% מהרשומות, והחלפה של ההוראות הפעילה מחזור תיוג מחדש מלא של שלושה שבועות.

מה שינו

בנו קו תיוג אוטומטי: כללים ומודל מפיקים תווית גולמית, ומכאן רשומה נכנסת או למוכנות, או לתור הבדיקה. המתייגים עובדים ב-Label Studio, מקרים שנויים במחלוקת נאספים לחלון נפרד וחוזרים לכללים, ולא מבוררים מחדש על ידי כל עובד.

ההסכמה נספרת על מדגם בקרה של 2,000 מסמכים: כל רשומה עשירית מתויגת על ידי שניים בנפרד, ומשווים קאפה של כהן ודיוק בנפרד לפי כל מחלקה. מדד כולל לזרימה היה מסתיר כשלים בסוגים נדירים, ולכן מחלקות נדירות נכנסות לדוח בשורה נפרדת.

אחרי: מדדים

הקאפה עלתה ל-0.89, שיעור הרשומות שעוברות לבדיקה ידנית ירד ל-14% — השאר מתקבל אוטומטית בביטחון מעל הסף. החמצת פרטי זיהוי בתוויות המוכנות הצטמצמה פי שבעה, והזרימה גדלה מ-1,200 ל-9,000 מסמכים ביום.

בירור מקרים שנויים במחלוקת אורך יומיים במקום שלושה שבועות: תיקון בכללים מתייג מחדש את הארכיון בלילה אחד.

מה עושים אם חלק מהמעגל כבר פרוס?

מעגל פרוס לא צריך לכתוב מאפס: התיוג האוטומטי משתלב מעל התהליך הקיים, והתיוג הידני נשאר חלק ממנו. מתחילים במיפוי — היכן הנתונים, איך בנוי מילון המחלקות, ואילו בדיקות איכות כבר פועלות. זה מראה מיד מה עובר ללא שינוי ומה דורש השלמה של המעגל הקיים.

התוויות שנצברו הן הנכס העיקרי, ואסור לאבד אותן. את המערך מייצאים לפורמט אחיד, את המחלקות מאחדים למילון אחד, ואת הפערים בין המתייגים מתעדים כקטגוריה נפרדת: דוגמאות כאלה לא נמחקות, אלא עוברות למדגם מושהה לבדיקה. היסטוריית התיוג הופכת לתקן אמת שלפיו נמדדת איכות המודל, ולא לאשפה שנוח יותר לזרוק.

המעבר לתיוג אוטומטי נעשה בשלבים. תחילה המודל עובד במצב צל על אותה זרימה שמתויגת במקביל ידנית, ותשובותיו מושוות לתקן האמת. את סף הביטחון מגדירים כך שמחלקות שנויות במחלוקת ונדירות יעברו לאדם, ואילו היציבות והנפוצות ייסגרו אוטומטית. לפי שיעור החפיפות בפועל רואים היכן אפשר להרחיב את האוטומציה והיכן עדיין מוקדם.

השילוב עם התהליך הידני נשען על כללי הסלמה: מה נחשב למקרה שנוי במחלוקת, מי ומתי מברר אותו, ואיך תיקונים חוזרים לאימון. התקנון הקיים לא נשבר — משתנה חלוקת התפקידים, ולמתייגים נוצר עומס מובן במקום זרימה רציפה של דוגמאות אחידות.

השלמה של המעגל הקיים מצטמצמת לנקודות החלפה ולפורמטים: בכניסה מוזרמת אותה זרימה כמו קודם, ביציאה — תוויות בסכימת אחסון מוכרת. מכאן מרחיבים את אזור האוטומציה במחלקות שהדיוק בהן אושר על הנתונים שלכם.

ספקות טכניים של מהנדסים והתשובות שלנו

ספקות של מהנדסים נוגעים בדרך כלל לא לרעיון של התיוג האוטומטי עצמו, אלא להתנהגות שלו על הנתונים שלכם. להלן השאלות הנפוצות ביותר: דיוק במחלקות צרות, זכויות על מערכים ומודלים, חילוקי דעות בין מתייגים ואימון נוסף על מחלקות חדשות.

למי שייכות הזכויות על הנתונים והמודלים המאומנים?

המערכים נשארים בבעלותכם, ואנחנו מעבדים אותם רק במסגרת הפרויקט. מודלים מאומנים וקונפיגורציות נמסרים לכם עם תיעוד; בעת הצורך הכול נפרס במעגל שלכם.

מה עושים עם חילוקי דעות בין מתייגים?

סופרים הסכמה על אובייקטים שנויים במחלוקת, מבררים את הפערים ומקבעים אותם בכללי התיוג. פער חוזר מעיד כמעט תמיד על הוראה לא ברורה, ולא על טעות של אדם מסוים.

איך מוסיפים מחלקות חדשות לאחר ההרצה?

מתייגים מדגם קטן של מחלקות חדשות, מאמנים את המודל נוסף ומריצים אותו על הנתונים הקודמים — בודקים שהמחלקות הישנות לא נסוגו. המדדים לפי כל מחלקה נראים בדוח, ואין צורך בהרכבה מחדש מאפס.

נדון במשימה: אילו נתונים לשלוח להערכה

כדי לחזור עם הערכה ותוכנית, ולא עם ניסוחים כלליים, די בפרוסת נתונים ובתיאור התהליך הקיים. אין צורך בגישה מלאה לאחסון בשלב הזה: לפי דגימה מייצגת רואים את מבנה הרשומות ואת המחלקות שיהיה צורך לתייג.

• דוגמת ייצוא — כמה אלפי רשומות בצורתן המקורית: טקסטים גולמיים, תמונות, לוגים, כולל כפילויות, קטעים חתוכים ורעש. מהן רואים היכן נדרש נרמול והיכן בדיקה ידנית.
• סכימת התוויות הנוכחית — רשימת מחלקות, קינון, כללי פתרון קונפליקטים כאשר אובייקט נופל תחת כמה קטגוריות.
• תיאור התהליך — איך התיוג בנוי כיום: מי מתייג, במה בודק, כמה איטרציות עוברת רשומה עד לצורה המוכנה.
• דרישות איכות — דיוק מטרה, שיעור שגיאות מותר לפי מחלקות, מה נחשב קריטי ומה נחשב לסטייה.
• חפצי בקרה — איך מודדים איכות היום והאם קיים מערך תקן אמת עם תוויות מאומתות.
• מגבלות — נפחים בחודש, לוחות זמנים, דרישות לגישות ולמעגלים סגורים.

אם משהו מהרשימה חסר, זה לא חוסם את ההערכה: חלק מהשאלות נסגור בשיחה עם המהנדסים שיובילו את הפרויקט. תארו את המשימה בשתיים-שלוש פסקאות, צרפו ייצוא וסכימת תוויות — ונחזור עם הערכה, תוכנית עבודה ונקודות בקרת איכות בכל שלב.