אופטימיזציה של מודלי ML (Pruning) למכשירים ניידים

אופטימיזציה של מודלי ML (Pruning) למכשירים ניידים

לעתים קרובות אנו נתקלים במצבים שבהם מודל מאומן לא נכנס לזיכרון של סמארטפון או רץ לאט מדי. Pruning היא אחת מהשיטות המרכזיות בארסנל שלנו לפתרון בעיה זו. זה לא רק הסרה של משקלים מיותרים — זה תהליך עדין הדורש הבנה של הארכיטקטורה והמכשיר המטרה. להלן, אנו מפרטים כיצד אנו מבצעים pruning סוהר, אילו תוצאות אנו מבטיחים, ומדוע pruning מובנה הוא הבחירה מספר 1 עבור יישומים ניידים. אם המודל שלך לא עומד במגבלות המכשיר, צור קשר ואנו נעזור.

Pruning מסיר חלק מהמשקלים או הנוירונים ממודל. ההיגיון: ברשת נוירונים המאומנת על נתונים אמיתיים, חלק משמעותי מהמשקלים קרוב לאפס ובקושי משפיע על הפלט. ניתן לאפס אותם או להסירם ללא אובדן דיוק משמעותי, תוך קבלת יתרונות במהירות ובגודל.

נשמע אטרקטיבי. בפועל, pruning מורכב יותר מקוונטיזציה, דורש כוונון עדין לאחר החיתוך, ולא תמיד מניב האצות צפויות במכשירים ניידים בשל פרטי יישום. הניסיון הרב שלנו מראה שאין מתכון אוניברסלי. לכן אנו ניגשים למשימה באופן שיטתי: ראשית מנתחים את המודל, ואז בוחרים באסטרטגיה האופטימלית.

איזה Pruning עבור יישומים ניידים?

Pruning לא מובנה — איפוס משקלים בודדים (מטריצות דלילות). מטריצה עם 90% אפסים נראית כמו חיסכון של פי 10. אבל GPUs/NPUs עובדים עם מטריצות צפופות — חישובים דלילים לא מואצים שם. תועלת מעשית: גודל מודל מוקטן לאחר דחיסה (אפסים נדחסים היטב). אבל לא מהירות הסקה במכשירים רגילים.

Pruning מובנה — הסרת פילטרים שלמים (ערוצים) בשכבות קונבולוציה או ראשים באטנשן. התוצאה היא גרף קטן יותר פיזית שרץ בפועל מהר יותר על כל חומרה. זה מה שבאמת חשוב לנייד.

למה Pruning מובנה יעיל יותר

Pruning מובנה מקטין פיזית את גרף החישוב. במכשירים ניידים, זה מניב האצת הסקה אמיתית כי זה לא דורש מעבדים דלילים ייעודיים. אנו משתמשים בנורמת L1 כדי לדרג פילטרים ולהסיר את הפחות משמעותיים. דוגמת יישום ב-PyTorch:

import torch
import torch.nn.utils.prune as prune

# L1-based structured pruning: удаляем 30% фильтров из Conv2d слоёв
# по критерию минимальной L1-нормы (наименее важные фильтры)
for name, module in model.named_modules():
    if isinstance(module, torch.nn.Conv2d):
        prune.ln_structured(
            module,
            name='weight',
            amount=0.3,  # 30% каналов
            n=1,  # L1 норма
            dim=0  # dim=0 — выходные фильтры
        )

# После pruning — важно сделать веса постоянными (убрать mask)
for name, module in model.named_modules():
    if isinstance(module, torch.nn.Conv2d):
        prune.remove(module, 'weight')

לאחר מכן, המודל מכיל פילטרים אפסיים, אבל הם עדיין בגרף. השלב הבא הוא הסרה בפועל של ערוצי אפס:

# Кастомная функция удаления нулевых фильтров
def remove_zero_filters(conv_layer, next_layer=None):
    """Удаляем фильтры с нулевыми весами и синхронизируем следующий слой"""
    weight = conv_layer.weight.data
    # Маска: фильтры с ненулевыми весами
    nonzero_mask = weight.abs().sum(dim=(1,2,3)) > 1e-6
    conv_layer.weight = nn.Parameter(weight[nonzero_mask])
    if conv_layer.bias is not None:
        conv_layer.bias = nn.Parameter(conv_layer.bias.data[nonzero_mask])
    conv_layer.out_channels = nonzero_mask.sum().item()
    # Синхронизируем следующий слой (входные каналы)
    if next_layer is not None and isinstance(next_layer, nn.Conv2d):
        next_layer.weight = nn.Parameter(next_layer.weight.data[:, nonzero_mask])
        next_layer.in_channels = nonzero_mask.sum().item()

יש לעשות זאת בזהירות — שכבות BatchNorm אחרי Conv גם הן בעלות פרמטרים לכל ערוץ ודורשות סנכרון.

כוונון עדין לאחר Pruning

לאחר הסרת 20–40% מהפילטרים, המודל מאבד דיוק. כוונון עדין על נתוני אימון הוא חובה. כלל: ככל שה-pruning אגרסיבי יותר, כך הכוונון העדין ארוך יותר.

# Fine-tuning после pruning — обычно 10-20% от исходного числа эпох
optimizer = torch.optim.Adam(pruned_model.parameters(), lr=1e-4) # меньший LR
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=20)
for epoch in range(20):
    train_one_epoch(pruned_model, train_loader, optimizer)
    val_acc = evaluate(pruned_model, val_loader)
    scheduler.step()
    print(f"Epoch {epoch}: val_acc={val_acc:.4f}")

Pruning איטרטיבי — מחזור של prune → כוונון עדין → prune — מניב תוצאות טובות יותר מאשר הסרה אחת גדולה.

השערת כרטיס הלוטו: לעומק

למשימות שבהן התוצאות קריטיות, אנו משתמשים בגישת כרטיס הלוטו: לאמן את הרשת המלאה, למצוא "כרטיסים מנצחים" — רשתות משנה דלילות שניתן לאמן מאפס לדיוק דומה. יישום באמצעות ספריית import torch import torch.nn.utils.prune as prune # L1-based structured pruning: удаляем 30% фильтров из Conv2d слоёв # по критерию минимальной L1-нормы (наименее важные фильтры) for name, module in model.named_modules(): if isinstance(module, torch.nn.Conv2d): prune.ln_structured( module, name='weight', amount=0.3, # 30% каналов n=1, # L1 норма dim=0 # dim=0 — выходные фильтры ) # После pruning — важно сделать веса постоянными (убрать mask) for name, module in model.named_modules(): if isinstance(module, torch.nn.Conv2d): prune.remove(module, 'weight') :

import torch_pruning as tp # Анализ зависимостей между слоями
example_inputs = torch.zeros(1, 3, 224, 224)
DG = tp.DependencyGraph()
DG.build_dependency(model, example_inputs=example_inputs)
# Получаем группы связанных слоёв (pruning одного требует pruning связанных)
pruner = tp.pruner.MagnitudePruner(
    model,
    example_inputs,
    importance=tp.importance.MagnitudeImportance(p=1),
    pruning_ratio=0.5, # удалить 50% каналов
    global_pruning=False,
    iterative_steps=5 # итеративно за 5 шагов
)

למה Pruning לא תמיד נותן האצה

MobileNetV3 כבר מותאם: קונבולוציות עמוקות-ניתנות להפרדה עם מעט ערוצים. הסרת 30% פילטרים משכבה עם 16 ערוצים משאירה 11 ערוצים — הפרש המהירות מינימלי; תקורה של פעולות טנזור נשארת.

Pruning עובד היטב על מודלים גדולים: ResNet-50, EfficientNet-B4, BERT. על מודלים קומפקטיים כמו MobileNet/EfficientNet-lite, ההשפעה נמוכה יותר. במקרים כאלה, עדיף להתחיל עם ארכיטקטורת בסיס קלה יותר מאשר לקצץ מודל כבד.

שילוב עם קוונטיזציה

Pruning + קוונטיזציה הוא תהליך אופטימיזציה סטנדרטי בשני שלבים:

1. Pruning מובנה של 30–40% → כוונון עדין → הקטנת גרף
2. קוונטיזציית INT8 של הגרף הדחוס → מודל סופי

דוגמת תוצאה: EfficientNet-B0 (20 MB FP32, 80 ms Android) → pruning 35% + INT8 → 4 MB, 18 ms. דיוק Top-1 ירד מ-77.1% ל-75.8%.

אם המודל שלך דורש שיפורים כאלה, אנו מוכנים לבצע את מחזור האופטימיזציה המלא. צור קשר כדי לדון בפרויקט שלך.

כיצד אנו מבצעים Pruning סוהר

1. ניתוח מודל — קביעת ארכיטקטורה, פרופיל זמן אחזור וגודל.
2. בחירת אסטרטגיית pruning — מובנה או כרטיס לוטו, אחוז הסרה.
3. Pruning איטרטיבי + כוונון עדין — 3–5 איטרציות עם ניטור דיוק.
4. בדיקה על מכשירי מטרה — מדידות על סמארטפונים אמיתיים.
5. אופציונלי: קוונטיזציה — INT8 או FP16 לדחיסה נוספת.
6. תיעוד ופריסה — אנו מספקים דוח ומודל סופי.

מה כלול

• מחזור אופטימיזציה מלא מניתוח ועד פריסה.
• Pruning מובנה עם כוונון עדין.
• בדיקה על מכשירי לקוח (iOS/Android).
• תיעוד על שינויי ארכיטקטורה והוראות אינטגרציה.
• תמיכה ל-30 יום לאחר מסירה.

הניסיון וההבטחות שלנו

למומחים שלנו יש ניסיון של שנים באופטימיזציה של רשתות נוירונים למכשירים ניידים. ביצענו בהצלחה pruning ל-50+ פרויקטים, כולל יישומים עם מיליוני משתמשים. אנו מבטיחים שמירת דיוק בטווח של 2% מהמקור, בתנאי שמקפידים על המלצות הכוונון העדין.

אנו נעריך את הפרויקט שלך — פשוט צור קשר. קבל ייעוץ על שיטת ה-pruning האופטימלית למודל שלך. השאר בקשה, ואנו ננתח את המודל שלך.

Pruning (רשת נוירונים מלאכותית) — ויקיפדיה torch.nn.utils.prune — תיעוד PyTorch