שירותי הסבר ופרשנות AI (XAI)

ML ניתן להסבר: SHAP, LIME, Integrated Gradients ודרישות חוק ה-AI האירופי

תארו לעצמכם: מודל ניקוד אשראי דוחה בקשה. הלקוח דורש הסבר, קצין הציות רוצה תיעוד מפורט. ללא שיטות הסבר מובנות (XAI), עמידה בדרישות רגולטוריות מודרניות היא בלתי אפשרית. הניסיון שלנו כולל מעל 50 פרויקטים שבהם יישמנו SHAP, LIME ו-Integrated Gradients בסביבת ייצור. אנו מבטיחים שפתרון ה-AI שלכם יהיה שקוף, ניתן להבנה ויעבור ביקורות בניסיון הראשון. זמן ממוצע ליישום הסברים בסיסיים הוא 2-4 שבועות; פתרון ציות מלא אורך 6-14 שבועות. צרו קשר להערכה ראשונית של הפרויקט שלכם.

מדוע הסברתיות של AI היא קריטית לעסקים ולציות?

הסברתיות אינה משימה אחת אלא שלוש דרישות נפרדות. הסברתיות גלובלית מראה כיצד המודל עובד בכללותו: אילו מאפיינים חשובים וכיצד הם משפיעים על התחזיות בממוצע. כלים: SHAP summary plots, partial dependence plots (PDP), permutation importance. הסברתיות מקומית מסבירה תחזית ספציפית: מדוע אשראי זה נדחה, אילו פיקסלים הובילו לסיווג 'חתול'. כלים: SHAP waterfall, LIME, Integrated Gradients. הסבר קונטרסטיבי/קונטרה-עובדתי מסביר מה צריך להשתנות כדי לקבל תוצאה שונה: 'אם ההכנסה הייתה גבוהה ב-10,000 דולר, האם האשראי היה מאושר?' כלים: DiCE (Diverse Counterfactual Explanations), alibi.

כיצד SHAP מסייע בהסברת מודלים טבלאיים?

SHAP (SHapley Additive exPlanations) הוא התקן לנתונים טבלאיים. הוא מבוסס על תורת המשחקים השיתופית: כל מאפיין מקבל תרומה לסטייה של התחזית מממוצע מערך הנתונים. נכון מתמטית — מקיים את תכונות היעילות, הסימטריה, ה-dummy והאדיטיביות.

import shap explainer = shap.TreeExplainer(lgbm_model) shap_values = explainer.shap_values(X_test) # Waterfall plot для одного предсказания shap.plots.waterfall(explainer(X_test)[0]) # Summary для всей выборки shap.summary_plot(shap_values, X_test, feature_names=feature_names) 

TreeExplainer הוא אלגוריתם מהיר ומדויק למודלים מבוססי עצים (LightGBM, XGBoost, Random Forest, CatBoost). הוא מחשב ערכי SHAP מדויקים ב-O(TLD²), כאשר T הוא מספר העצים, L מספר העלים ו-D העומק. על מודל עם 1000 עצים בעומק 6 — אלפיות שניות לכל הסבר. LinearExplainer — למודלים ליניאריים (רגרסיה לוגיסטית, Ridge) — פתרון אנליטי מיידי. KernelExplainer הוא אגנוסטי למודל, עובד עם כל מודל, אך איטי יותר: O(2^M) דגימות עבור M מאפיינים. בפועל, אנו משתמשים ב-nsamples=1000–5000 כקירוב. לרשתות נוירונים — DeepExplainer או GradientExplainer.

טעות נפוצה: ערכי SHAP למאפיינים מתואמים מחולקים ביניהם באופן שווה — נכון מתמטית אך מבלבל ויזואלית. למאפיינים income ו-income_log יש SHAP דומה, אף שרק אחד מהם בשימוש. פתרון: הסירו מאפיינים כפולים לפני האימון.

מתי LIME הוא הכרחי?

LIME (Local Interpretable Model-Agnostic Explanations) בונה קירוב ליניארי מקומי סביב הדוגמה המוסברת. מהיר יותר מ-SHAP לרשתות נוירונים מורכבות, אך לא יציב: שתי ריצות על אותה דוגמה עשויות להניב הסברים שונים. החוזק של LIME הוא בהסברי טקסט. LimeTextExplainer מראה אילו מילים השפיעו על הסיווג. לניפוי באגים מהיר של מסווג טקסט — זה כלי נוח.

from lime.lime_text import LimeTextExplainer explainer = LimeTextExplainer(class_names=['neg', 'pos']) exp = explainer.explain_instance(text, classifier.predict_proba, num_features=10) exp.show_in_notebook() 

מה Integrated Gradients מציע לרשתות נוירונים?

למודלי למידה עמוקה (CNN, Transformer), לא SHAP KernelExplainer ולא LIME מספקים הסברים מספקים: שניהם איטיים מדי או לא מדויקים. Integrated Gradients (IG) היא שיטה מבוססת גרדיאנט, בעלת בסיס תיאורטי (אקסיומות שלמות, רגישות, אי-תלות ביישום). IG מחשב את האינטגרל של הגרדיאנטים לאורך קו ישר מקלט בסיס (אפס או ערכים ממוצעים) לקלט בפועל. התוצאה היא מפת ייחוס המראה את התרומה של כל פיקסל/טוקן.

from captum.attr import IntegratedGradients ig = IntegratedGradients(model) attributions = ig.attribute( inputs=input_tensor, baselines=baseline_tensor, target=predicted_class, n_steps=300, ) 

ספריית captum מ-Meta היא התקן עבור PyTorch. היא כוללת IG, GradCAM, SHAP DeepLift, LayerConductance. GradCAM פשוט יותר, מהיר יותר, אך חלש יותר תיאורטית. הוא ממחיש אילו אזורים בתמונה ה-CNN מסתכל עליהם. מספיק לניפוי באגים של מודלי CV, אך לא לתיעוד ציות.

השוואת שיטות הסברתיות

חוק ה-AI האירופי: מה צריך בפועל

חוק ה-AI האירופי שנחקק לאחרונה (יישום מדורג) דורש עבור מערכות בסיכון גבוה (ניקוד אשראי, AI רפואי, מערכות גיוס, אכיפת חוק): תיעוד טכני של המודל, רישום של כל ההחלטות עם יכולת ביקורת, הסבר על כל החלטה פרטנית לפי בקשת המשתמש, הערכת סיכונים ואמצעי הפחתה, פיקוח אנושי. טכנית, זה אומר: כל תחזית חייבת להישמר עם מאפייני הקלט, הפלט, חותמת זמן, גרסת מודל והסבר מחושב מראש. ערכי SHAP מחושבים בזמן ההסקה ונשמרים לצד התחזית.

עבור מערכות LLM, הדרישות מורכבות יותר: אין שיטת הסבר סטנדרטית, משקלי קשב אינם ייחוס אמין. הפרקטיקה הנוכחית: רישום הקשר מלא, קטעים שנשלפו ב-RAG, חשיבה שלב-אחר-שלב (chain-of-thought) כהסברים פרוקסי. אנו מסייעים לקבוע אם המערכת נופלת תחת קטגוריית הסיכון הגבוה לפי נספח III של חוק ה-AI האירופי, לפתח דרכון טכני למודל (ארכיטקטורה, נתוני אימון, מדדי איכות, מגבלות), להגדיר מערכת רישום החלטות עם תקופת שמירה (מינימום 10 שנים לקטגוריות מסוימות), לשלב מנגנוני הסבר בצינור הייצור וליישם הליך ערעור משתמש על החלטות.

כיצד אנו מיישמים הסברתיות: תהליך שלב-אחר-שלב

1. ביקורת והערכה רגולטורית — אנו קובעים אם המערכת נופלת תחת קטגוריית סיכון גבוה (חוק ה-AI האירופי, GDPR סעיף 22, דרישות תעשייתיות Basel IV, MDR). 2-5 ימים.
2. שילוב הסברים בצינור ההסקה — אנו מחברים SHAP, LIME או IG לשירות הקיים. מגדירים חישוב אסינכרוני עם מטמון. 1-2 שבועות.
3. פיתוח ממשק משתמש להסברים — אם נדרש ממשק לקוח (לוח מחוונים אינטרנטי, ייצוא PDF). 2-4 שבועות.
4. הקמת רישום וביקורת — אנו שומרים את כל הקלטים, הפלטים, ההסברים המחושבים מראש, גרסת המודל, חותמת זמן. 1-2 שבועות.
5. תיעוד כרטיס מודל — לפי Google's Model Card Toolkit עם פילוח לפי דמוגרפיה/תת-קבוצות. שבוע אחד.
6. הכשרת צוות ותמיכה — העברת תיעוד, הכשרת מהנדסים, תמיכת SLA ל-3 חודשים.

מה התוצאה כוללת

• תיעוד טכני של המודל (model card) עם שימוש מיועד, תוצאות הערכה לפי תת-קבוצות, מגבלות, שיקולים אתיים.
• מנגנון הסבר משולב (SHAP/LIME/IG) בצינור הייצור עם שמירה אוטומטית בזמן ההסקה.
• ממשק משתמש לצפייה בהסברים (ממשק אינטרנט או API) עם יכולת ייצוא.
• מערכת רישום עם שדה שמירה מוגדר לדרישות חוק ה-AI האירופי.
• הוראות לערעור משתמש על החלטות (לפורטל הלקוח).
• הכשרת צוות הלקוח (2-3 סדנאות) ותיעוד תמיכה.

טעויות אופייניות ביישום XAI (וכיצד להימנע מהן)

משוב וצעדים הבאים

אם אתם צריכים ליישם הסברתיות תחת חוק ה-AI האירופי, לקבל פתרון מוסמך, או פשוט להעריך את השקיפות הנוכחית של המודל שלכם — בקשו ייעוץ. אנו מוכנים להציע תוכנית יישום אישית בהתחשב בסט הטכנולוגי שלכם (PyTorch, TensorFlow, XGBoost, LLM) ובדרישות הרגולטוריות. צרו קשר להערכת עלות ולוחות זמנים מפורטת לפרויקט שלכם.