התאמת Command R למשימות RAG ארגוניות

כוונון עדין של מודל השפה Command R (Cohere)

Command R ו-Command R+ הם משפחת המודלים של Cohere המיועדים למשימות RAG ושימוש בכלים. כברירת מחדל, הם לא תמיד מספקים את דיוק הציטוט הנדרש ושיעור הזיות נמוך בתחום ספציפי. בעיה אופיינית: המודל מצטט סעיפי חוק שאינם קיימים או בוחר באופן שגוי קטע רלוונטי ממסמך בן 50 עמודים. התאמת המודל פותרת זאת.

המהנדסים שלנו מבצעים כוונון עדין של מודלי שפה גדולים עבור לקוחות ארגוניים: אנו מתאימים את Command R לסטack שלך, למערך הנתונים ולהגיון העסקי שלך. יש לנו ניסיון של 5+ שנים ב-NLP ויותר מ-30 מערכות RAG פרוסות. מאז 2018, סי�נו לחברות להפחית הזיות עד פי 5 ולהוזיל עלויות inference ב-40% בהשוואה למודלים בסיסיים. לדוגמה, ארגון עם 10 מיליון בקשות חודשיות חוסך כ-5,000 דולר בחודש. צור קשר לייעוץ—נעריך את הפרויקט שלך תוך מספר ימים.

משפחת Command R

Cohere מספקת משקלים פתוחים עבור Command R דרך Hugging Face, מה שמאפשר כוונון עדין באירוח עצמי. הגרסה הפתוחה תואמת את איכות ה-RAG של הגרסה הסגורה—ההבדל הוא רק בתשתית ובשליטה. כפי שצוין בתיעוד של Cohere, המודל מותאם במיוחד לתרחישי RAG.

איך לבחור בין כוונון עדין מנוהל לבין אירוח עצמי?

הבחירה תלויה בדרישות סודיות הנתונים ובנפח הבקשות. כוונון עדין מנוהל דרך ה-API של Cohere מתאים אם אין צורך לאחסן נתונים באתר הלקוח. אירוח עצמי עם QLoRA מתאים למדיניות אבטחה מחמירה ולעומסים גבוהים.

מנוהל (דרך ה-API של Cohere)

import cohere
co = cohere.Client(api_key="...")
dataset = co.datasets.create(
    name="legal-analysis-dataset",
    type="chat-finetune-input",
    data=open("train.jsonl", "rb"),
    eval_data=open("val.jsonl", "rb"),
)
ft = co.finetuning.create_finetune(
    request=cohere.finetuning.CreateFinetune(
        name="command-r-legal",
        model="command-r-plus",
        settings=cohere.finetuning.Settings(
            base_model=cohere.finetuning.BaseModel(
                base_type=cohere.finetuning.BaseType.BASE_TYPE_CHAT,
                name="command-r-plus",
            ),
            dataset_id=dataset.dataset.id,
            train_epochs=5,
            learning_rate=0.001,
        ),
    ),
)

אירוח עצמי באמצעות PEFT/LoRA

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import LoraConfig, get_peft_model

model = AutoModelForCausalLM.from_pretrained(
    "CohereForAI/c4ai-command-r-v01",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
tokenizer = AutoTokenizer.from_pretrained("CohereForAI/c4ai-command-r-v01")

lora_config = LoraConfig(
    r=16,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
    task_type="CAUSAL_LM"
)
model = get_peft_model(model, lora_config)

אירוח עצמי עם QLoRA מפחית עלויות פי 2–3 בהשוואה ל-API בנפחים גבוהים.

פורמט נתונים: צ'אט עם פתיח (Preamble)

Command R משתמש בפורמט צ'אט מיוחד התומך בהנחיית מערכת (preamble), מסמכי RAG והיסטוריית שיחה:

{
  "messages": [
    {
      "role": "System",
      "message": "Ты — юридический ассистент. Всегда ссылайся на конкретные статьи закона."
    },
    {
      "role": "User",
      "message": "Каков срок исковой давности по договору купли-продажи недвижимости?"
    },
    {
      "role": "Chatbot",
      "message": "Срок исковой давности по договору купли-продажи недвижимости составляет три года (ст. 196 ГК РФ). Для ничтожных сделок — также три года с момента, когда лицо узнало или должно было узнать о нарушении (ст. 181 ГК РФ)..."
    }
  ]
}

ספציפי ל-RAG: כוונון עדין עם מסמכים

יכולת ייחודית של Command R היא אימון עם מסמכים בהקשר. זה מאפשר להתאים את המודל לסגנון ציטוט ספציפי ולרמת פירוט בעבודה עם מסמכים ארגוניים:

{
  "messages": [...],
  "documents": [
    {
      "title": "Регламент обработки претензий",
      "snippet": "3.4. Срок рассмотрения претензии — не более 30 календарных дней..."
    }
  ]
}

בגישה זו, המודל לומד לא רק לייצר תשובות אלא גם לחלץ כראוי קטעים רלוונטיים מהמסמכים שסופקו.

מקרה מעשי: עוזר משפטי למשפט תאגידי

משימה

עוזר למחלקה המשפטית של חברה גדולה—ניתוח חוזים, פניות לתקנונים פנימיים, עבודה מול בסיס חקיקה. הלקוח שלנו היה משרד עורכי דין רוסי עם 2000+ עובדים, שנדרש להבטיח הפחתת הזיות.

מערך נתונים

2800 דוגמאות (שאלה + קטע מסמך רלוונטי → תשובה עם ציטוט מקור). נתונים מפניות אמיתיות של עורכי דין למאגר הידע.

תוצאות

• נאמנות (RAGAS): מ-0.71 ל-0.93
• רלוונטיות תשובה: מ-0.78 ל-0.91
• דיוק ציטוט: מ-64% ל-89%
• שיעור הזיות: מ-18% ל-4%

כוונון עדין זה משתלם באמצעות הפחתת הזיות ופחות טוקנים לתשובה. חיסכון בעלויות inference מגיע ל-40%, ועם הדיוק המוגבר, עלות הבעלות הכוללת יורדת ב-25%.

למה הגישה שלנו יעילה יותר מפתרונות מוכנים?

מודלים מוכנים של עוזרים אינם מתחשבים במאפייני הנתונים שלך. כוונון עדין מספק דיוק שאינו ניתן להשגה באמצעות הנדסת פרומפטים: עד 40% חיסכון ב-inference בזכות פחות טוקנים לתשובה. אנחנו לא רק מבצעים כוונון עדין—אנחנו מתכננים את מערך הנתונים עבור מקרה השימוש שלך. למהנדסים שלנו יש ניסיון של 10+ שנים ב-NLP והסמכות מספקים מובילים (Cohere, Hugging Face). כוונון עדין של מודל השפה שלנו עבור RAG ארגוני מבטיח שהמודל שלך יתאים בצורה מושלמת לתחום שלך.

לוחות זמנים משוערים ליישום

לוחות הזמנים תלויים בגודל מערך הנתונים ובגישה הנבחרת:

תוצרים (מה כלול בעבודה)

כוונון עדין סוהר כולל:

• ביקורת על הנתונים הקיימים ותהליך איסוף הדיאלוגים
• אנוטציה של נתונים עם מומחה תחום
• מחזור אימון והערכה (נאמנות, רלוונטיות, שיעור הזיות)
• פריסה (באתר הלקוח או בענן) עם תיעוד
• גישה למודל המכוונן דרך API או נקודת קצה מקומית
• הדרכת צוות (עד 4 שעות)
• חודש אחד של תמיכה במודל הייצור עם דוחות איכות חודשיים

הכנת מערך נתונים: שלבים מרכזיים

1. איסוף 1000–3000 דיאלוגים עם פניות אמיתיות ותשובות מומחים.
2. כל דוגמה חייבת לכלול פתיח (preamble), מסמכים (אם יש RAG), ותשובה צפויה עם ציטוטים.
3. אנוטציה של נאמנות: התשובה חייבת להסתמך רק על המסמכים שסופקו.
4. הבטחת גיוון: מערך הנתונים צריך לכסות את כל התרחישים האופייניים.

השוואה: כוונון עדין באירוח עצמי עם QLoRA נותן איכות דומה לכוונון עדין מלא אך בעלות נמוכה פי 2–3 ובמהירות גבוהה יותר. זה אידיאלי לפרויקטי פיילוט.

צור קשר כדי לקבל ייעוץ על הפרויקט שלך. נעריך את הנתונים שלך, נבחר את השיטה האופטימלית (מנוהל או אירוח עצמי), ונספק לוחות זמנים מדויקים.

Cohere fine-tuning API Command R on Hugging Face