בדיקת A/B לתרחישי צ'אטבוט באפליקציה ניידת

בדיקות A/B לתרחישי צ'אטבוט באפליקציה ניידת

מנהל מוצר רוצה לבדוק איזו הודעת פתיח של הבוט ממירה טוב יותר לרכישה: "היי, איך אפשר לעזור?" או "אציג לך מוצרים עבור השאילתה שלך מיד." בדיקת A/B ברמת ממשק המשתמש היא פשוטה. אבל בוט הוא לא רק טקסט: הוא גרף דיאלוג, קבוצה של כוונות (intents), לוגיקת הסלמה לנציג אנושי. נתקלנו בזה עשרות פעמים — הגדרת בדיקות A/B לתרחישי בוט דורשת תשתית נפרדת. הניסיון שלנו מראה שהטמעה נכונה של בדיקות A/B מקצה לקצה אורכת 3–5 ימים עבור שני וריאנטים, ועד שבועיים עבור לוגיקה מורכבת בצד השרת.

מה אנו בודקים בבוט

תרחישי בוט שונים מאלמנטים של ממשק משתמש: וריאנט הוא לא צבע כפתור אלא גרף דיאלוג שלם. משתמש עשוי להשלים 7 שלבים בווריאנט A ו-3 שלבים בווריאנט B כדי להגיע לאותה תוצאה. המדד הוא לא קליק אלא השלמת פעולת מטרה (רכישה, בקשה, פתרון בעיה). זה מסבך את המדידה ודורש מעקב אחר אירועים בכל שלב בדיאלוג.

השערות טיפוסיות לבדיקות A/B על בוט:

• ברכות שונות וטון דיבור שונה
• תשובות מהירות לעומת הזנת טקסט בשלב הראשון
• תזמון הצעת ההסלמה לנציג (מיד לעומת לאחר 2 כוונות שנכשלו)
• ניסוחים שונים של קריאה לפעולה (CTA) בתוך הדיאלוג

כיצד אנו מיישמים בדיקות A/B לבוטים

אנו מציעים גישה מוכחת הכוללת בחירת פלטפורמה, הגדרת תצורה, ושילוב מעקב אירועים. כל שלב מתועד ומטופל על ידי המהנדסים המוסמכים שלנו.

בחירת פלטפורמה. הטבלה שלהלן משווה בין פתרונות פופולריים:

שילוב עם Firebase. להתחלה מהירה, אנו משתמשים ב-Firebase Remote Config. פרמטרי תצורת הבוט (מזהה תרחיש, גרסת הנחיה, סף הסלמה) נקראים בעת השקת האפליקציה:

let remoteConfig = RemoteConfig.remoteConfig()
remoteConfig.fetch(withExpirationDuration: 3600) { [weak self] status, error in
    guard status == .success else { return }
    remoteConfig.activate { _, _ in
        let botVariant = remoteConfig["bot_scenario_variant"].stringValue ?? "control"
        self?.chatViewModel.loadScenario(variant: botVariant)
    }
}

Firebase מפצל אוטומטית את הקהל לקבוצות לפי אחוזי תנועה. ניתן להגדיר תנאים נוספים (מדינה, גרסת אפליקציה). האנליטיקה מטופלת דרך Firebase Analytics עם אירועי המרה.

A/B בצד שרת לעומת צד לקוח. אם הבוט מיושם דרך מנוע דיאלוג בצד השרת (Rasa, Dialogflow CX, מותאם אישית), אנו ממליצים לנהל את הווריאנט בשרת. הלקוח שולח let remoteConfig = RemoteConfig.remoteConfig() remoteConfig.fetch(withExpirationDuration: 3600) { [weak self] status, error in guard status == .success else { return } remoteConfig.activate { _, _ in let botVariant = remoteConfig["bot_scenario_variant"].stringValue ?? "control" self?.chatViewModel.loadScenario(variant: botVariant) } } + userId, השרת בוחר את קבוצת הניסוי ומחזיר תשובות עבור הווריאנט המתאים. זה מונע רמאות ומפשט את האנליטיקה. השתמשנו בגישה זו בפרויקט עם למעלה מ-500,000 משתמשים.

מדוע מובהקות סטטיסטית היא קריטית

הטעות העיקרית בבדיקות A/B היא עצירת הבדיקה במספרים המבטיחים הראשונים. יש לחשב מראש גודל מדגם מינימלי. עבור אפקט רצוי של 5%, המרת בסיס של 15%, ועוצמת בדיקה של 80%, נדרשים לפחות 2,800 משתמשים לכל קבוצה. Firebase A/B Testing מחשב זאת אוטומטית, אך אנו בודקים בנוסף את החישובים.

המהנדסים שלנו, עם ניסיון של למעלה מ-5 שנים בפיתוח מובייל, מבטיחים שהבדיקה תופסק רק לאחר הגעה למובהקות סטטיסטית. אחרת, אנו מנתחים מחדש ללא עלות.

מעקב אחר אירועי דיאלוג

ללא מעקב מפורט אחר כל שלב, אי אפשר להבין היכן המשתמש נשר מהמשפך. סט האירועים המינימלי:

• sessionId — {וריאנט, userId, sessionId}
• bot_session_start — {וריאנט, stepId, messageType}
• bot_message_sent — {וריאנט, stepId, intentId, confidence}
• bot_message_received — {וריאנט, stepId, userInput} — כאשר NLU לא זיהה כוונה
• bot_intent_failed — {וריאנט, stepId, reason}
• bot_escalated — {וריאנט, goalType} — אירוע המרה

כל האירועים עם bot_goal_completed ו-variant מאפשרים שחזור מלא של נתיב המשתמש בכל וריאנט. אנו מגדירים מעקב זה כחלק מהשירות — אתה מקבל אנליטיקה מוכנה בפלטפורמה שבחרת.

מה כלול בעבודה

• ביקורת על תרחיש הבוט הנוכחי וניסוח השערות
• בחירת פלטפורמת בדיקות A/B (Firebase, Growthbook, Statsig, או צד שרת)
• הגדרת תצורה (Remote Config, דגלי תכונה)
• פיתוח מעקב אירועים לכל שלב בדיאלוג
• שילוב והשקה לבדיקה
• ניטור וחישוב מובהקות סטטיסטית
• בחירת זוכה אוטומטית (ניתן להגדרה)
• תיעוד תוצאות והמלצות להרחבה

הערכות זמנים

הטמעת בדיקות A/B עבור שני וריאנטים של תרחיש באמצעות Firebase Remote Config ומעקב אירועים: 3 עד 5 ימים. אם נדרשת שילוב עם מנוע דיאלוג בצד השרת וסגמנטציה מורכבת יותר של קהל: 1 עד 2 שבועות.

רוצה לדעת כמה זמן ייקח הפרויקט שלך? צור קשר לקבלת הערכה ופתרון אופטימלי.