כיצד ML מודד השפעה חברתית: מסקנות סיבתיות ו-SROI

הסקה סיבתית להשפעה חברתית: מערכת למידת מכונה

"התכנית שלנו סייעה ל-2400 משתתפים" — זהו תפוקה, לא השפעה. השפעה היא מה שהשתנה בחייהם של אנשים אלה בהשוואה למה שהיה קורה ללא התכנית. הוכחת הסקה סיבתית בתכניות חברתיות היא קשה: ברוב המקרים בעולם האמיתי לא ניתן לבצע רנדומיזציה לקבוצת ביקורת. שיטות ML מאפשרות לגשת למסקנות סיבתיות ללא RCT. הצוות שלנו, עם ניסיון של 5+ שנים ב-ML ואנליטיקה חברתית, מפתח פתרונות שנותנים לבעלי עניין הערכות שקופות ומובהקות סטטיסטית. למידע נוסף על שיטות, ראו ויקיפדיה על הסקה סיבתית. עלות היישום לתכנית טיפוסית נעה בין 30,000 ל-60,000 דולר, עם ROI ל-6 חודשים של 3:1 בזכות דיווח משופר. המערכת שלנו מגדילה את שיעורי התגובה פי 2 בהשוואה לשיטות מסורתיות.

בעיות שאנו פותרים

מדידת השפעה ללא רנדומיזציה

התאמת ציוני נטייה (PSM) היא כלי קלאסי. דוגמה: תכנית הכשרה תעסוקתית סייעה ל-500 מובטלים, אך עלינו לייחס את התוצאה לתכנית, לא לעלייה הכלכלית. PSM בונה קבוצת ביקורת של אנשים דומים (לפי דמוגרפיה, השכלה, משך אבטלה) שלא השתתפו. XGBoost או רגרסיה לוגיסטית חוזים את ציון הנטייה — ההסתברות להיכנס לתכנית עבור כל אדם. לאחר מכן: התאמת השכן הקרוב על בסיס ציון הנטייה → השוואת תוצאות (תעסוקה לאחר 6 חודשים) בין קבוצת הטיפול לקבוצת הביקורת המותאמת. על נתונים מתכנית תעסוקה עם 500 משתתפים + 8000 מועמדים משוק העבודה: PSM הניבה ATT (השפעה ממוצעת של טיפול על המטופלים) של +18.3 נקודות אחוז על הסתברות התעסוקה תוך 6 חודשים (רווח בר-סמך 95%: [14.2, 22.4]). לפני PSM, הערכה ידנית נתנה "תוצאה של 71%" — ללא קו בסיס, זה חסר משמעות. PSM מדויק פי 2–3 מהשוואת ממוצעים נאיבית.

הפרש-בהפרשים (DiD) — כאשר קיימים נתוני לפני/אחרי לשתי הקבוצות: DiD = (תוצאה_טיפול_אחרי - תוצאה_טיפול_לפני) - (תוצאה_ביקורת_אחרי - תוצאה_ביקורת_לפני). הרחבות ML (Double ML / Causal Forests) מטפלות במשתנים נלווים לא-ליניאריים ומזהות השפעות טיפול הטרוגניות לתת-קבוצות — למשל, התכנית יעילה יותר לנשים מעל גיל 30.

משתנים אינסטרומנטליים ו-RDD — עיצוב רצף רגרסיה: אם משתתפים נבחרים רק עם ציון > 70, השוו בין אלה עם ציון 68–69 לאלה עם ציון 71–72. הם כמעט זהים, אך קבוצה אחת קיבלה את התכנית והשנייה לא. זהו עיצוב מעין-ניסויי ללא רנדומיזציה.

איך אנחנו עושים זאת

אוטומציה של איסוף נתוני השפעה עם LLM

אוטומציית סקרים ומעקב: משתתף מסיים את התכנית → סקרי מעקב אוטומטיים לאחר 3, 6, 12 חודשים (SMS + דוא"ל). סוכן LLM מנתח את איכות התגובות: בלוקים חסרים, תשובות לא עקביות → מפעיל הבהרה. ניתוח NLP של תשובות פתוחות: קידוד תמטי על בסיס תוצאות תיאוריית השינוי. שיעור התגובה הוא קריטי לאיכות נתוני ההשפעה. ML מתאים אישית את תזמון המעקב לכל משתתף: מתי אדם ספציפי זה נוטה להגיב לתקשורת. בפיילוט: שיעור תגובה ל-12 חודשים של 34% לעומת 18% בלוח זמנים סטטי.

קישור נתונים מנהליים — קישור נתוני תכנית עם מקורות מנהליים: נתוני קרן פנסיה (תעסוקה), נתוני מס (הכנסה), רישומים רפואיים (אשפוזים), רשומות בית ספר (לתכניות חינוכיות). קישור רשומות שומר פרטיות באמצעות התאמה הסתברותית (מודל Fellegi-Sunter) או מערכות קישור רשומות מבוזרות (במקום שבו זמין).

SROI: המרת השפעה חברתית לכסף

SROI (החזר חברתי על השקעה) — היחס בין הערך החברתי הממותן לעלויות. עבור כל תוצאה, אנו מגדירים פרוקסי פיננסי:

• אדם אחד מועסק → ערך כלכלי של 28,000 דולר (גידול במס + הפחתת קצבאות, פרוקסי מסטטיסטיקות ממשלתיות)
• אדם אחד נמנע מחזרה לפשע → 45,000 דולר (הפחתת עלויות מערכת המשפט)
• ילד אחד משפר ביצועים בבית הספר → 18,000 דולר (פרמיית השתכרות לכל החיים)

רכיב ML: חישוב deadweight — איזה חלק מהתוצאות היה מתרחש ללא התכנית (בהתבסס על הקונטרה-פקטואל של PSM). SROI = (ערך תוצאה כולל - deadweight) / סך ההשקעה. חישוב ודיווח אוטומטיים עבור כל מחזור מענק.

דוגמת SROI פשוטה: תכנית הכשרה מקצועית: השקעה של 200,000 דולר. PSM מניבה השפעה נטו: 50 מועסקים נוספים. פרוקסי פיננסי: 28,000 × 50 = 1.4 מיליון דולר. Deadweight (לפי קונטרה-פקטואל) — 0.3 מיליון דולר. ערך חברתי נטו: 1.1 מיליון דולר. SROI = 1.1 מיליון / 0.2 מיליון = 5.5:1.

סקירת תהליך

1. ביקורת מערכת נתונים — הערכת כיסוי, איכות ופרטיות.
2. פיתוח מודל הסקה סיבתית — בחירת שיטה (PSM/DiD/RDD) למקרה שלך, אימון, ולידציה.
3. שילוב אוטומציית סקרים — הגדרת סוכן LLM לאיסוף נתוני השפעה.
4. הטמעת מחשבון SROI — חישוב ודיווח אוטומטיים.
5. לוח מחוונים לתיאוריית השינוי — dbt + Metabase/Tableau עם עץ KPI והתראות.
6. הכשרת צוות — 2–3 סמינרים מקוונים על פרשנות תוצאות.
7. אחריות מודל — מדדים קבועים (AUC, כיול) בחוזה.

מה כלול

הערכות לוחות זמנים

פיתוח: 3–5 חודשים עבור PSM + SROI + לוח מחוונים לתיאוריית השינוי. קישור נתונים מנהליים: פרויקט נפרד של 2–4 חודשים, תלוי בזמינות נתונים.

למה לבחור במערכת שלנו?

לצוות שלנו ניסיון של למעלה מ-5 שנים ב-ML במגזר ללא מטרות רווח, עם יישום של 30+ פרויקטים בהסקה סיבתית ואוטומציית דיווח. אנו משתמשים בצינורות מוסמכים העוקבים אחר שיטות עבודה מומלצות של MLOps. צרו קשר להדגמה כדי לראות כיצד הנתונים שלכם יכולים להפוך להערכות השפעה שקופות עם דיוק של p < 0.05. קבלו ייעוץ להקמת מערכת מדידת השפעה המותאמת לתקציב שלכם.

העלות נקבעת באופן פרטני על בסיס התקציב וההיקף של התכנית שלכם.