כיצד תיוג נתונים משפיע על כוונון עדין של מודלי שפה גדולים

הפעלתם כיוונון עדין (fine-tuning) עבור מודל השפה שלכם, אבל איכות התשובות נמוכה מהציפיות. לרוב, הסיבה אינה הארכיטקטורה, אלא הנתונים. 70% מבעיות הכיוונון העדין נובעות מאיכות האנוטציה, ולא מבחירת המודל או מהיפרפרמטרים. מערך נתונים שנבנה בצורה לקויה עלול לגרום לירידה של 20–30% במדדים בהשוואה למערך עם אנוטציה טובה. אנוטציה לכיוונון עדין שונה מהותית מאנוטציה קלאסית ב-ML: כאן לא מקצים תווית, אלא יוצרים תשובה אידיאלית עבור המודל. איכות האנוטציה קובעת ישירות את איכות המודל המאומן. במשך למעלה מ-5 שנים, השלמנו למעלה מ-50 פרויקטים—מתמיכת לקוחות ועד סוכנים רב-שלביים—ואנו מבטיחים גישה מקצועית לכל משימה.

סוגי אנוטציה

בחירת השיטה תלויה בהיקף, בתקציב ובאיכות הנדרשת. להלן השוואה בין הגישות המרכזיות.

אנוטציה ישירה—האנוטטור יוצר זוג (הוראה, תשובה אידיאלית) מאפס. איכות גבוהה ביותר, עלות גבוהה ביותר. אנו משתמשים בה בתחומים שבהם האיכות קריטית (משפטים, רפואה).

אנוטציה מבוססת עריכה—האנוטטור משפר את התשובה של מודל הבסיס. מהירה פי 2–3 מאנוטציה מאפס. סיכון: האנוטטור עלול לקבל תשובה חלשה עם עריכות מינוריות. כדי להימנע מכך, אנו כוללים שדה חובה של "נימוק לשינויים".

אנוטציית דירוג/העדפה—האנוטטור מדרג מספר תשובות של המודל (בשימוש עבור RLHF ו-DPO). פשוטה יותר מיצירה מאפס, אך דורשת הבנה ברורה של קריטריוני האיכות. בלעדיהם, קאפה בין אנוטטורים rarely עולה על 0.4.

אנוטציה בסיוע AI—מודל חזק (GPT‑4) מייצר תשובות, ובני אדם בודקים ומתקנים. איזון אופטימלי בין איכות למהירות עבור רוב המשימות. בפועל, היא מספקת 90% מאיכות האנוטציה הישירה בעלות של 30%.

איך לבחור את סוג האנוטציה?

אם המשימה שלכם היא לאמן מודל לענות על שאלות טיפוסיות (תמיכה, שאלות נפוצות), בחרו בסיוע AI עם הגהה סופית. למשימות יצירתיות (ייצור קוד, כתיבה יצירתית)—אנוטציה ישירה. למשימות דירוג (מערכות המלצה)—דירוג/העדפה. אם התקציב מוגבל, אפשר לשלב: 20% אנוטציה ישירה להכשרת אנוטטורים ו-80% מבוססת עריכה עבור עיקר הנפח. קבלו ייעוץ לבחירת סוג האנוטציה עבור הפרויקט שלכם—נעזור לכם לבחור.

הנחיות אנוטציה

זהו המסמך המרכזי; בלעדיו, אנוטטורים יפיקו תוצאות לא עקביות. אנו כוללים:

• קריטריוני איכות (דיוק, שלמות, טון, אורך, מבנה)
• דוגמאות לתשובות טובות עם ניתוח
• דוגמאות לתשובות חלשות עם הסבר על השגיאות
• רשימת ביטויים אסורים ("אני רק מודל שפה…", "אני לא יכול…")
• כללים לטיפול בשאילתות עמומות

אנו מפתחים הנחיות לכל פרויקט ומקיימים מפגשי כיול לפני התחלת העבודה. דוגמה להנחיות עבור עוזר תמיכת לקוחות:

## Руководство по аннотации: Customer Support Assistant

### Критерии качества хорошего ответа:
1. Точность: Ответ соответствует политикам компании и фактически верен
2. Полнота: Решает проблему пользователя, не оставляя открытых вопросов
3. Тон: Профессиональный, эмпатичный, без извинений за несуществующие проблемы
4. Длина: Достаточная, но не избыточная (100-300 слов оптимально)
5. Структура: Абзацы, без списков для простых ответов

### Что НЕ должно быть в ответе:
- "Я просто языковая модель..."
- "Я не могу..."
- Повторение вопроса пользователя
- Неуместные извинения
- Устаревшая информация о продукте

### Примеры ХОРОШЕГО ответа:
[примеры]

### Примеры ПЛОХОГО ответа:
[примеры с объяснением]"}

פלטפורמות לאנוטציה

Label Studio (קוד פתוח):

from label_studio_sdk import Client
ls = Client(url='http://localhost:8080', api_key='...')
# Создание проекта для LLM аннотации
project = ls.start_project(
    title='Customer Support Fine-tuning',
    label_config='''
<View>
    <Text name="instruction" value="$instruction"/>
    <TextArea name="response" toName="instruction" placeholder="Write ideal response..." rows="10" maxSubmissions="1"/>
    <Rating name="quality" toName="instruction" maxRating="5" icon="star" size="medium"/>
</View>
'''
)
# Загрузка задач
tasks = [{"instruction": ex.instruction, "input": ex.input} for ex in unannotated_examples]
project.import_tasks(tasks)

Scale AI / Appen—להיקפים גדולים עם אנוטטורים מקצועיים. יקרות משמעותית, אך כוללות בקרת איכות. אנו משתמשים בהן לפרויקטים עם היקפים של למעלה מ-50,000 זוגות.

איך לשלוט באיכות האנוטציה?

המדד העיקרי הוא הסכמה בין אנוטטורים (IAA)—העקביות בין אנוטטורים. ככל שהיא גבוהה יותר, כך הנתונים אמינים יותר. לבקרת איכות, אנו בונים חפיפה של 10–20% במשימות שמבוצעות באופן עצמאי על ידי שני מומחים. אנו מחשבים קאפה של כהן—מדד להסכמה המשמש ב-NLP.

from sklearn.metrics import cohen_kappa_score

def compute_iaa(annotations_a: list, annotations_b: list) -> float:
    """Cohen's Kappa для согласованности аннотаторов"""
    # Для ranking задач (1-5 rating)
    kappa = cohen_kappa_score(annotations_a, annotations_b)
    print(f"Cohen's Kappa: {kappa:.3f}")
    # < 0.4: низкое согласие, пересмотр guidelines
    # 0.6-0.8: хорошее согласие
    # > 0.8: отличное согласие
    return kappa