שירותי Edge AI ואופטימיזציית מודלים לעסקים

Edge AI ואופטימיזציה: איך פורסים מודלים ללא ענן?

דמיינו: למודל זיהוי הפנים שלכם יש זמן השהיה של 4 שניות על Jetson Orin, הסוללה נגמרת תוך שעה, והמודל קורס עם OOM. אנחנו צוות של מהנדסי Edge AI עם ניסיון של 5+ שנים בפרודקשן — אופטימיזציה של למעלה מ-150 מודלים למכשירי קצה. ללא פרופיילינג ובחירה נכונה של קוונטיזציה או דיסטילציה, הפרויקט נידון לכישלון. הפער בין קוד מחקרי לפריסת קצה הוא דיסציפלינת הנדסה נפרדת; אנחנו עוזרים לכם לשלוט בה תוך 2–16 שבועות במפתח מלא. שירותי Edge AI ואופטימיזציה של מודלים הם לא רק ייצוא, אלא עבודה שיטתית עם חומרה.

למה ייצוא פשוט של מודל לא עובד?

מודל PyTorch עם float32 ו-batch_size=32 לא מוכן לקצה. בעיות אופייניות:

• ResNet-50 ב-fp32 תופס 98 MB, אינפרנס על Cortex-A78 — 380 ms. אחרי קוונטיזציית INT8 דרך torch.ao.quantization — 24 MB, 95 ms. ייצוא ל-ONNX + TensorRT על Jetson — 28 ms.
• YOLOv8m על Raspberry Pi 5 ב-fp32 — 2.8 fps. TFLite INT8 — 9.4 fps. עם XNNPACK delegate — 14 fps (פי 1.5 מהר יותר מ-INT8 טהור).
• אנקודר טרנספורמר על CPU נייד: MobileBERT ב-fp16 דרך CoreML על iPhone 15 — 18 ms/אינפרנס. distilbert-base-uncased ב-ONNX — 42 ms.

הבעיה היא לא לבחור "לקוונטז או לא" — הדרך הנכונה נקבעת על ידי המכשיר, המשימה, וירידה מקובלת במדדים. אנחנו מציעים הערכה של הפרויקט שלכם: תוך 24 שעות נגיד לכם עד כמה ריאלי להאיץ את המודל.

איך לבחור שיטת קוונטיזציה למשימה שלכם?

PTQ (קוונטיזציה לאחר אימון) — דרך מהירה. קחו מודל מאומן, הריצו סט כיול (200–1000 דגימות), קבלו משקלים INT8 או INT4. כלים: torch.ao.quantization, כלי הקוונטיזציה של ONNX Runtime, bitsandbytes. ירידה בדיוק: 0.5–2% בקלסיפיקציה. אזור אדום — זיהוי עצמים קטנים וסגמנטציה, שם PTQ נותן -4–8% mAP.

QAT (אימון מודע לקוונטיזציה) — אימון עם רעש קוונטיזציה מדומה. יקר יותר (אימון מחדש), אבל ירידה של 0.1–0.5%. מוצדק כאשר PTQ לא מקובל. ב-PyTorch — torch.ao.quantization.prepare_qat().

GPTQ / AWQ — עבור LLMs. AWQ שומר טוב יותר על איכות בקוונטיזציה של 4-bit. llm-compressor מ-Neural Magic או autoawq הם הספריות המרכזיות.

החיסכון הפוטנציאלי מבחירת השיטה הנכונה יכול להיות משמעותי — למשל, הפחתת עלויות אינפרנס בענן בעד 70% בעת פריסה לקצה. עלות הפרויקט מחושבת באופן פרטני לפי מורכבות המודל ופלטפורמת היעד.

מתי להשתמש ב-Pruning לעומת Distillation?

Pruning מבני מסיר ערוצים או שכבות. torch.nn.utils.prune — הכלי הבסיסי. עבור טרנספורמרים — pruning של ראשי קשב (LTP, movement pruning). תוצאה: ResNet-50 אחרי הסרת 40% מהערוצים עם fine-tuning — -35% גודל, -28% זמן השהיה, -1.2% דיוק top-1.

דיסטילציית ידע — לאמן סטודנט קטן לחקות מורה גדול. קלאסית דרך KLDivLoss על תוויות רכות. דיסטילציית פיצ'רים על שכבות ביניים יעילה יותר. Hugging Face DistilBERT: 66M מול 110M פרמטרים, -40% זמן השהיה, -3% על GLUE. זו טכניקת דחיסת מודלים.

גישה משולבת: דיסטילציה → pruning → QAT. נותנת אפקט מקסימלי על חומרה מוגבלת. תיעדנו מקרה שבו לקוח השיג הפחתה של 70% בהוצאות מחשוב ענן אחרי מעבר לקצה עם הצינור הזה.

פלטפורמות יעד וכלים

TensorRT — הכלי המרכזי ל-NVIDIA edge. TRT בונה גרף עם מיזוג אופרטורים, בוחר קרנלים אופטימליים. על Jetson AGX Orin YOLOv8m ב-TRT INT8 נותן 78 fps מול 22 fps ב-fp16 PyTorch — שיפור של פי 3.5.

מקרה פרקטי: איך זיהינו פגמים על פס ייצור (הלקוח שלנו)

משימה: זיהוי שריטות בזמן אמת על מתכת, 30 fps, מצלמה ל-Jetson Xavier NX (16GB). המודל המקורי YOLOv8l mAP50 0.91, אינפרנס שרת 28 ms, על Jetson ב-fp16 — 110 ms (9 fps). לא מתאים.

שלבי האופטימיזציה שביצענו עבור הלקוח שלנו:

1. מעבר ל-YOLOv8m — mAP50 0.887 (-2.3%), 68 ms
2. ייצוא ל-TensorRT FP16 דרך yolo export format=engine half=True — 31 ms (32 fps)
3. כיול INT8 על 500 פריימים — 22 ms (45 fps), mAP50 0.879

תוצאה: ירידה של 3.5% בהאצה של פי 5. הלקוח קיבל engine ותיעוד. אנחנו מבטיחים שהמדד לא ירד מתחת לסף המוסכם — מצוין בחוזה.