כוונון עדין של מודלי Qwen: מדריך טכני

כוונון עדין של מודלי Qwen: מדריך טכני

לעתים קרובות אנו נתקלים במצבים שבהם מודל שפה גדול מאומן מראש אינו מבין טרמינולוגיה ארגונית או עושה שגיאות חישוב. כוונון עדין של Qwen2.5 מבית Alibaba פותר זאת — המודל מתאים את עצמו לתחום, לשפה ולפורמט הפלט שלך. לפי הדו"ח הטכני של Qwen2.5, ציון MMLU מגיע ל-85%, ומתעלה על מודלים רבים בקוד פתוח. לדוגמה, Qwen2.5-72B מנצח את Llama 3.1 70B ב-MMLU ב-2 נקודות אחוז, ובמשימות בסינית ב-15%. המשפחה נעה בין 0.5B ל-72B פרמטרים תחת רישיון Apache 2.0 (גרסאות בסיס) ורישיון Tongyi Qianwen (גרסאות גדולות). גרסאות מיוחדות: Qwen2.5-Coder לתכנות, Qwen2.5-Math למתמטיקה, ו-Qwen-VL למשימות מולטי-מודליות. אם אתה צריך לעבד מסמכים ארוכים (חוזים, מאמרים מדעיים, תקנות), Qwen2.5 תומך בהקשר של עד 128K טוקנים. לרוב משימות הייצור, בוחרים ב-7B או 14B, אך אם נדרשת דיוק מרבי — 72B. למכשירי קצה, 0.5B ו-1.5B מתאימים.

כיצד לבחור את גודל המודל לכוונון עדין

לרוב משימות הייצור, 7B או 14B מספיקים. 0.5B ו-1.5B מיועדים להסקה על מכשירים, 72B לדיוק מרבי בתרחישים מורכבים.

QLoRA משתמש בקוונטיזציה של 4-bit למשקלים, ומאפשר כוונון עדין של מודל 7B על A100 40GB יחיד. ירידת האיכות היא לא יותר מ-2% בהשוואה לכוונון עדין מלא. הפחתת עלויות: QLoRA במקום Full מקצצת שעות GPU לניסוי במודל 7B בחצי.

למה Qwen נוח לרב-לשוניות והקשרים ארוכים

רב-לשוניות: Qwen מאומן על נתונים עם חלק משמעותי של סינית, אנגלית ו-27 שפות נוספות. רוסית מיוצגת הרבה יותר טוב מאשר במודלים מערביים רבים, וזה חשוב בעבודה עם קורפוסים בשפה הרוסית.

הקשר ארוך: Qwen2.5 תומך בעד 128K טוקנים. למשימות כוונון עדין עם מסמכים ארוכים (חוזים, מאמרים מדעיים, תקנות), זה יתרון קריטי.

Qwen2.5-Coder: גרסה מיוחדת שמתעלה על רוב המודלים בקוד פתוח באותו גודל ב-HumanEval. כאשר מכווננים על קוד ארגוני, היא נותנת התחלה טובה יותר מאשר כוונון עדין של מודל כללי.

כיצד להכין מערך נתונים לכוונון עדין של Qwen

1. איסוף נתונים: אסוף 500 עד 2000 דוגמאות רלוונטיות למשימה שלך. לניתוח פיננסי — דוחות עם חישובים.
2. ניקוי: הסר כפילויות, תקן שגיאות כתיב, בדוק התאמה לפורמט.
3. תיוג: כל דוגמה חייבת להכיל זוג משתמש-עוזר בפורמט תבנית הצ'אט של Qwen.
4. ולידציה: צור קבוצת בדיקה (10% ממערך הנתונים) להערכת איכות.

השוואת שיטות כוונון עדין

QLoRA מפחית את דרישות הזיכרון פי 7 ללא אובדן איכות קריטי — אופטימלי לניסויים מהירים.

כוונון עדין עם LLaMA-Factory

LLaMA-Factory הוא הכלי הנוח ביותר לכוונון עדין של Qwen, ותומך במגוון המלא של השיטות (Full, LoRA, QLoRA, DoRA) עם פורמט תצורה אחיד:

# config.yaml
model_name_or_path: Qwen/Qwen2.5-7B-Instruct
method: lora
dataset: my_dataset
template: qwen
finetuning_type: lora
lora_rank: 16
lora_alpha: 32
lora_target: q_proj,v_proj
output_dir: ./qwen25-7b-finetuned
num_train_epochs: 3
per_device_train_batch_size: 4
gradient_accumulation_steps: 4
learning_rate: 2.0e-4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true

llamafactory-cli train config.yaml 

לחלופין, באמצעות # config.yaml model_name_or_path: Qwen/Qwen2.5-7B-Instruct method: lora dataset: my_dataset template: qwen finetuning_type: lora lora_rank: 16 lora_alpha: 32 lora_target: q_proj,v_proj output_dir: ./qwen25-7b-finetuned num_train_epochs: 3 per_device_train_batch_size: 4 gradient_accumulation_steps: 4 learning_rate: 2.0e-4 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true מ-ModelScope (Alibaba):

swift sft \ --model_type qwen2_5_7b_instruct \ --dataset my_dataset \ --train_type lora \ --output_dir ./output 

פורמט נתונים: תבנית צ'אט של Qwen

Qwen2.5 משתמש בתבנית צ'אט ספציפית עם תגיות llamafactory-cli train config.yaml ו-swift:

<|im_start|>system Ты — ассистент для анализа финансовой отчётности.<|im_end|>
<|im_start|>user Рассчитай EBITDA по данным: выручка 850M, COGS 420M, OpEx 180M, DA 45M<|im_end|>
<|im_start|>assistant EBITDA = Выручка - COGS - OpEx + DA = 850 - 420 - 180 + 45 = 295M<|im_end|>

בעת שימוש ב-swift sft \ --model_type qwen2_5_7b_instruct \ --dataset my_dataset \ --train_type lora \ --output_dir ./output ישירות, החל את <|im_start|> לעיצוב נכון.

מקרה מעשי: ניתוח פיננסי על Qwen2.5-14B

מהניסיון שלנו: לקוח נזקק לניתוח אוטומטי של דוחות IFRS רבעוניים עם חילוץ מדדים, חישוב יחסים ודגלי חריגות. מערך הנתונים — 1800 דוגמאות מדיווח ארגוני. כיווננו את Qwen2.5-14B Instruct באמצעות QLoRA (r=32, alpha=64), 4 עידנים, על 2×A100 40GB במשך 6 שעות. תוצאות:

• נכונות חישוב יחסים: 71% → 94%
• דיוק דגלי חריגות (F1): 0.67 → 0.88
• איכות סיכום טקסט (הערכה אנושית, 1–5): 3.1 → 4.4

Qwen2.5-14B התעלה על Llama 3.1 8B ב-12% בדיוק חילוץ המדדים. MMLU ו-HumanEval מאשרים את מעמדו התחרותי של המודל. חיסכון בעלויות הסקה: vLLM עם קוונטיזציה INT4 מפחית עלויות ב-40% בהשוואה ל-bf16, וחוסך כמה מאות דולרים בחודש בעומס של 100k בקשות.

פריסת Qwen מכוונן עם vLLM

from vllm import LLM, SamplingParams

llm = LLM(
    model="./qwen25-14b-merged",
    dtype="bfloat16",
    tensor_parallel_size=2,  # 2 GPU
    max_model_len=32768,
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.1, max_tokens=2048)
outputs = llm.generate(prompts, sampling_params)

vLLM מספק batch רציף ו-PagedAttention, ומעניק תפוקה של ~240 tok/s על 2×A100 בגודל batch 16 — פי 3 גבוה יותר מ-Transformers הרגיל.

מה כלול בעבודת כוונון עדין של Qwen

• ניתוח משימה ואיסוף דרישות
• הכנת מערך נתונים: ניקוי, תיוג, בדיקת איכות
• הגדרת תצורת אימון (LoRA/QLoRA, היפרפרמטרים)
• אימון והערכת מדדים ביניים
• השוואת קו בסיס מול מכוונן על קבוצת בדיקה
• פריסה על תשתית נבחרת (vLLM, Triton, SageMaker)
• תיעוד והדרכת צוות

בנוסף: אנו מספקים גישה לספסלי הבדיקה והמדדים שלנו. הערך את הפרויקט שלך — כתוב לנו. לצוות שלנו ניסיון רב ב-NLP וכוונון עדין של LLM, עם למעלה מ-30 פרויקטי כוונון עדין שהושלמו.

לוחות זמנים

• הכנת מערך נתונים: 2–5 שבועות
• אימון (7B, QLoRA): 3–8 שעות
• אימון (72B, QLoRA, 4×A100): 24–72 שעות
• איטרציות והערכה: 1–2 שבועות
• סה"כ: 4–8 שבועות

הזמן כוונון עדין מקצה לקצה של Qwen — קבל מודל שמבין את העסק שלך. צור קשר לייעוץ.