Label Studio לתיוג נתונים: הגדרת צד שרת ML

תיוג ב-Label Studio: צווארי בקבוק עם גידול בנפח הנתונים

על פני כמה אלפי דוגמאות, תיוג נתונים ב-Label Studio מתקיים בפרויקט אחד: תצורת הממשק, ההנחיות למתייגים, הייצוא ל-JSON — הכול משוחזר ידנית ונשען על הזיכרון של מהנדס מסוים. כל עוד זרם הדוגמאות קטן, המודל הזה עובד: את הייצוא מלקטים מהזיכרון, ופערים בין מתייגים נפתרים בהתכתבות. הבעיה היא שסכמה כזו אינה מתועדת בשום מקום ואינה שורדת לא חופשה ולא החלפת מבצע.

הגידול בנפח התיוג שובר שלושה מקומות בבת אחת. הקורפוס מתפצל לגרסאות: חלק מהדוגמאות מתויגות לפי ההנחיה הישנה, חלק לפי החדשה, ואף אחד לא יכול לומר איזו מהן נמצאת במערך הנתונים הנוכחי. הקשר בין התיוג לאימון נקרע — המודל לומד על ייצוא מלפני שבוע, והתיקונים של המתייגים לא מגיעים אליו.

ייצוא ידני הופך לסוג עבודה בפני עצמו: מלקטים אותו בסקריפט לפי פורמט הקובץ הנוכחי, וכל מחזור דורש שלב ידני של מהנדס.

העלות כאן אינה בזמן של התיוג עצמו, אלא באיכות מערך הנתונים: מדדי האימון מפסיקים להיות משוחזרים, חזרה לגרסה קודמת של הקורפוס אינה אפשרית, ודוגמאות שנויות במחלוקת צצות כבר בסביבת העבודה.

צווארי הבקבוק של התיוג אינם מתגלים בממשק, אלא בתשתית שסביב Label Studio — ניהול גרסאות של הקורפוס, העברה אוטומטית של התוצאות לאימון, בקרת ההסכמה בין המתייגים. להלן כיצד זה נסגר.

האפקט של תיוג מסודר ובקרת איכות נתונים

תיוג מקדים על ידי מודל משנה את יחידת העבודה: המתייג אינו מתייג מאפס, אלא מאשר או מתקן אפשרות מוכנה. שיעור העבודה הידנית יורד למקרים שבהם המודל חולק על כללי הפרויקט — דוגמאות גבוליות, מחלקות נדירות, ניסוחים חדשים. אותו צוות באותה תקופה סוגר יותר מנות ומפנה קשב למה שבאמת דורש החלטה אנושית.

המסקנה השנייה — מהירות הכנת המדגם. כשהכללים מתוארים ומעוגנים בתצורת Label Studio, מנה חדשה עוברת אותו מסלול בדיוק בלי הרכבה ידנית: העלאה, תיוג מקדים, בדיקה, ייצוא בפורמט הנדרש.

המערך מקבל גרסה, ולכן אפשר לחזור אליו כעבור כמה איטרציות ולקבל תוצאה משוחזרת, ולא נתונים שנאספו מחדש מהזיכרון.

בקרת האיכות מפסיקה להיות סקירה מדגמית. בדיקה צולבת של דוגמאות שנויות במחלוקת, מדד הסכמה בין המתייגים וניתוח מחייב של פערים מראים היכן ההנחיה אינה חד-משמעית — התיקון עובר לכללים, ולא לקבצים בודדים. טעות בהנחיה משוכפלת על כל המנה, ולכן משתלם לתפוס אותה בעשרות הדוגמאות הראשונות.

לפני האימון נחסם גם סוג נפרד של פגמים: כפילויות וכמעט-כפילויות, קישורים שבורים לקבצים, מחלקות שאבדו או שונו בשמן, תת-מדגמים עם הטיה לקטגוריה אחת. בדיקות בכניסה מסירות אותם אוטומטית, והמודל אינו לומד על רעש. ניתוח לאחר האימון עוסק אז בהשערות על הנתונים והארכיטקטורה, ולא בפגמים ברורים של המערך.

דרכים לארגון תיוג: השוואת גישות

אפשרויות ארגון התיוג אינן מתחרות זו בזו, אלא משולבות לפי סוג הנתונים ודרישות האיכות. קריטריון הבחירה הוא אחד: כמה פעולות ידניות נותרות ליחידת דוגמה מוכנה וכיצד נבדקת ההסכמה בין המתייגים. להלן שלוש סכמות שבאמת בוחרים ביניהן בעת הגדרת ML backend ב-Label Studio.

שלוש סכמות עבודה

בפועל בונים את הסכמה בשכבות: המודל מתייג מראש את כל הזרם, ולבדיקה צולבת מגיע רק מה שהביטחון בו נמוך מהסף שנקבע. דוגמאות שנויות במחלוקת חוזרות לאימון מחדש — כך אימון אקטיבי של המדגם מקטין את שיעור העבודה הידנית, וההסכמה במקרים שנויים במחלוקת עולה. מערכים מוכנים מיוצאים ל-JSON או COCO, ולכן התוצאה מועברת לאימון בלי הרכבה ידנית מחדש.

הטמעת Label Studio: שלבי העבודה מהאודיט ועד המסירה

תיוג קובע את תקרת האיכות של המודל: כשאי-ההסכמה בין המתייגים עומדת על 20-30%, שום ארכיטקטורה לא תוציא תוצאה. לכן את הטמעת Label Studio אנו מובילים כפרויקט הנדסי — מהאודיט של הנתונים ועד מסירת נהלי עבודה, ולא כפריסה של כלי «מפתח-סוהר».

1. אודיט של הקורפוס. בוחנים את הנפח ואת סוגי הנתונים (טקסט, תמונות, אודיו, טבלאות), את שיעור הכפילויות והדוגמאות השבורות, ואת נקודות החפיפה בין המחלקות. בפלט — מפת משימות תיוג והחלטה אילו מערכים לתייג ראשונים ואילו זול יותר להוציא.
2. הגדרת פרויקט התיוג. מרכיבים ממשק לסוג המשימה המסוים, מקבעים טקסונומיה של תגיות וכללים להכרעה במקרים שנויים במחלוקת. טקסונומיה בלי חפיפות — חצי מההסכמה העתידית.
3. סכמת תפקידים של המתייגים. מפרקים את ההרשאות: מבצע, בודק, מנהל. מגדירים חפיפות — חלק מהמשימות עובר לשני אנשים כדי למדוד התאמה, ומפעילים תור לתיוג מחדש של דוגמאות שנויות במחלוקת.
4. חיבור מודל התיוג המקדים. המודל מתייג ראשון, האדם רק מתקן. שיעור הפעולות הידניות יורד פי כמה, והחיזויים נשמרים כשכבה נפרדת — לפיהם רואים בהמשך היכן המודל והאדם חלוקים באופן שיטתי.
5. בדיקה על מדגם בקרה. מריצים את הנוהל על מערך שתויג מראש, מחשבים הסכמה ומהירות של מעבר אחד. אם המדדים גרועים מהצפוי, מתקנים את ההנחיות, לא את האנשים.
6. מסירת הנהלים. מוסרים הנחיות למתייגים, תיאור כללי הבקרה, סכמת הייצוא לאימון וסדר עדכון הטקסונומיה — צוות הלקוח ממשיך מאותה נקודה להוביל את התיוג בעצמו.

סדר כזה נותן תוצאה צפויה: תיוג חדש נוצר לפי אותו נוהל בדיוק, ואת איכותו אפשר למדוד ולא להעריך בעין.

מה נשאר אצל צוות הלקוח: תצורות ונהלים

מסירת הפרויקט אינה גישה שנמסרת לסביבת התיוג, אלא מערך של ארטיפקטים שלפיהם צוות הלקוח משחזר את התהליך בלעדינו. להלן מה שנשאר במאגר ובבסיס הידע הפנימי עם סגירת העבודה; כל סעיף נבדק במחזור תיוג אמיתי, ולא נכתב «ליתר שלמות».

• סכמת התיוג. תיאור פורמלי של המחלקות, כללי גבולות האובייקטים ומקרים שנויים במחלוקת, בתוספת מדגם ייחוס שתויג ידנית: לפיו מכיילים מתייגים חדשים ותופסים דריפט בקריטריונים.
• הנחיות למתייגים. נוהל של כמה עמודים: סדר העבודה, ניתוח טעויות אופייניות, מה לעשות כשאין חד-משמעיות, קריטריוני קבלה של משימה אצל הבודק.
• מדיניות גישה לנתונים. מטריצת תפקידים (מתייג, בודק, אנליסט, מנהל), כללי ייצוא, אנונימיזציה של שדות רגישים, יומן גישה למערך.
• סקריפטים לבדיקת הסכמה. חישוב אוטומטי של שיעור התגיות החופפות בין המתייגים ותיוג חוזר של מדגם הבקרה: דוגמאות שנויות במחלוקת עוברות לסקירה, ולא נמסות במערך הכללי.
• ניהול גרסאות של הקורפוס. כל ייצוא הוא גרסה בלתי משתנה עם תאריך והרכב. תיקון הסכמה יוצר גרסה חדשה, ולא כותב מחדש את הישנה, ולכן המודל המאומן תמיד קשור לחתך נתונים מסוים.
• תצורות הסביבה וגיבוי. קבצי פריסה, חיבור לאחסון, לוח זמנים של גיבויים וסדר שחזור — הסביבה עולה בסביבה חדשה בלעדינו.
• יומן החלטות. מקרים שנויים במחלוקת והסיכומים שהתקבלו לגביהם מתועדים בכתב, כדי שכעבור חצי שנה הצוות לא יפתח מחדש את אותן שאלות בהרכב חדש.

בנפרד אנו מוסרים נוהל תחזוקה: מי הבעלים של הסכמה, באיזו תדירות נבחן מחדש מדגם הייחוס, ובאיזה טריגר ההנחיות מתעדכנות.

מקרה בוחן: כיצד צומצם שיעור התיוג הידני בזרם מסמכים

מצב התחלתי

זרם של מסמכים נכנסים — חשבוניות, תעודות, חוזים — תויג ידנית במלואו: כל עמוד עבר דרך שני מתייגים, ומקרים שנויים במחלוקת עברו לשלישי לניתוח.

את הקורפוס בפלט קיבלו שמיש, אך מחזור הכנת הנתונים נמתח על פני שבועות, וההסכמה בין המתייגים עמדה על כ-0.6 — המודל למד על דוגמאות סותרות ובאיטרציה הבאה שוב דרש מעבר ידני מלא. דיוק חילוץ השדות נתקל לא בארכיטקטורה, אלא באיכות התיוג ובנפחו.

מה שינו

פרסו תיוג ב-Label Studio וחיברו מודל תיוג מקדים כמקור לתגיות טיוטה: המתייג אינו מציבויות מאפס, אלא מאשר או מתקן את המוצע. סף הביטחון הוגדר כך שמעליו הדוגמה עוברת לבקרה מדגמית, ומתחתיו לבדיקה מלאה; שיעור המעבר הידני המלא ירד מ-100% לכ-20%.

לשדות שנויים במחלוקת קיבעו הנחיה עם כללים חד-משמעיים ומדגם כיול שהמתייג מריץ לפני המשמרת, — זה הסיר פערים שיטתיים בין אנשים, ולא טעויות הקלדה בודדות.

מה נהיה

ההסכמה בין המתייגים עלתה מ-0.6 ל-0.87 — הפערים נעשו נדירים ומנותחים נקודתית, במקום בדיקה חוזרת של כל הקורפוס. מחזור האימון מחדש הצטמצם מחמש איטרציות לשתיים: תגיות הטיוטה של המודל נותנות רווח מהיר בהתחלה, ובהמשך מתקנים רק את מה שהמודל טועה בו. נפח הפעולות הידניות לעמוד ירד כמעט פי שלושה, והדרך מסוג מסמך חדש לחילוץ שדות עובד — משבועות לימים.

במה שונה תיוג מקדים על ידי מודל מתיוג ידני לחלוטין?

ההבדל אינו במהירות, אלא באופי הטעות. בתיוג ידני הטעויות מפוזרות על פני הקורפוס ומתחלקות על הנפח, ואילו תיוג מקדים על ידי מודל טועה באופן שיטתי: מחלקה אחת מתבלבלת באותה צורה באלפי דוגמאות ועוברת כולה למערך האימון. לכן הבחירה אינה בין «להאיץ או לא», אלא בין האופנים שבהם בנויה הבדיקה של התיוג המקדים.

היא מאיצה במקום שבו המשימה אחידה: חילוץ פרטי חשבון, תיוג שלויות אחידות, שיוך קטעים קצרים לרשימת קטגוריות קבועה. ב-Label Studio המתייג אינו יוצר תגית, אלא מאשר או דוחה הצעה מוכנה — המהירות עולה יחד עם שיעור ההצעות הנכונות, ולא עם מורכבות הממשק.

שגיאות המודל בתיוג מתקבעות במקום שבו הביטחון אינו מתואם עם הדיוק. המתייג רואה תשובה מוכנה ונוטה להסכים גם עם שגויה; מחלקות נדירות המודל מפספס לגמרי, והמתייג מפספס יחד איתו. הפספוס לא נראה במדד התיקונים — אין מה לתקן בממשק, הקורפוס נראה מתויג, אבל חלק מהמחלקות חסרות בו.

הבדיקה נבנית על מדדים נפרדים לכל מחלקה: שיעור התיקונים, שיעור ההצעות שנמחקו, שיעור האובייקטים שנוספו מאפס. אם במחלקה מסוימת שיעור התיקונים נשאר מעל הסף שנקבע, תיוג מקדים עבורה מושבת וחוזרים למצב ידני עד שהמודל יאומן מחדש.

מחייב גם חתך בקרה שתויג בלי תיוג מקדים: רק הוא מראה כמה אובייקטים הוחמצו. הגרסה הבאה של המודל מאומנת על התיקונים שאושרו — אחרת היא משכפלת את שגיאותיה שלה.

שאלות טכניות נפוצות על תיוג ואימון מודל

תיוג שורד יותר ממחזור אימון אחד: את הקורפוס משלימים במחלקות, בודקים מחדש ומשתמשים בו שוב. לכן את הפרויקט פורסים כך שהגישות, גרסאות ההערות והקשר לאימון יהיו ניתנים לניהול, ולא משוחזרים מהתכתבות — ב-Label Studio זה מוגדר בכלים המובנים. להלן הספקות שצפים לרוב בקבלה.

מה לעשות אם הקורפוס כבר מתויג לפי סכמה אחרת?

ההערות הקודמות נשמרות כגרסה נפרדת, ואת הסכמה החדשה מיישמים במקביל. את הפערים מייצאים כדוח: רואים היכן הסכמה הישנה סותרת את החדשה, ובודקים מחדש רק את הקטעים השנויים במחלוקת, ולא את כל הקורפוס.

כיצד התיוג קשור לאימון המודל?

האימון מתבצע על החלק המוסכם של הקורפוס עם בדיקת מדדים על מדגם מוחזק. שגיאות המודל מראות אילו דוגמאות חסרות, והמשימה חוזרת לתיוג נקודתית, וגרסת מערך הנתונים מקבעת את המצב ברגע האימון.

מה יקרה אם מתקנים את התיוג אחרי האימון?

התיקונים אינם שוברים את המודל שכבר נבנה — הם נכנסים לגרסה הבאה של מערך הנתונים. כל תוצאה ניתנת לשחזור: רואים על אילו נתונים היא הושגה ומה השתנה אחר כך.

נדון במשימת התיוג שלכם ונחזור עם תוכנית עבודה

כדי לחזור עם הערכת היקף התיוג ותוכנית עבודה, אנחנו צריכים מינימום של נתוני פתיחה — בדרך כלל הם מספיקים כדי להבין את עלות העבודה והסיכונים. תתארו את משימת התיוג בצורה חופשית: מה הנתונים, כמה יש מהם, ואיזו תוצאה נדרשת בפלט.

בשיחה נבהיר את מה שהכי משפיע על לוחות הזמנים והעלות:

• אילו סוגי תיוג נדרשים — סיווג, bounding boxes, פוליגונים, keypoints, תיוג טקסט וקשרים;
• סכמת המחלקות והכללים: היכן גבולות הקטגוריות, מה לעשות בדוגמאות שנויות במחלוקת וגבוליות;
• נפח והרכב המדגם: כמה אובייקטים כבר קיימים, איזה שיעור דורש תיוג מחדש, והאם יש כפילויות נסתרות;
• איכות כתהליך: שיעור האובייקטים בבדיקה חוזרת, סף ההסכמה בין המתייגים, סדר ניתוח הפערים;
• פורמט הייצוא והחיבור לאימון: כיצד ההערות מגיעות למסלול האימון, ולפי איזה סימן אנחנו מחשיבים את מערך הנתונים כמוכן;
• מגבלות על הנתונים: היכן הם מאוחסנים פיזית, למי יש גישה, והאם נדרשת בידוד של המסלול.

אנחנו חוזרים לא עם «הערכה עיוורת», אלא עם ניתוח: תוכנית עבודה לתיוג לפי שלבים עם אחראים ונקודות קבלה, טיוטת סכמת מחלקות, מדיניות בקרת איכות, ואפשרות לתצורת ML backend ב-Label Studio עבור המודל שלכם.

אם אין עדיין תשובה לחלק מהסעיפים — זה בסדר, חלק נסגור בשיחה ונקבע במסמך. תתארו את משימת התיוג, ונחזור עם הערכת היקף ותוכנית עבודה.