בדיקת רב-משתנים (MVT) — בצע אופטימיזציה עם ביטחון סטטיסטי

def mvt_sample_size(n_combinations, baseline_cr, mde=0.05, alpha=0.05, power=0.8):
    """Каждая комбинация требует столько же трафика, сколько AB тест"""
    from scipy import stats
    import math
    p1 = baseline_cr
    p2 = baseline_cr * (1 + mde)
    p_avg = (p1 + p2) / 2
    z_a = stats.norm.ppf(1 - alpha / 2)
    z_b = stats.norm.ppf(power)
    n_per_combo = ((z_a * math.sqrt(2 * p_avg * (1-p_avg)) + z_b * math.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2-p1)) ** 2
    total = n_per_combo * n_combinations
    print(f"Per combination: {math.ceil(n_per_combo):,}")
    print(f"Total needed: {math.ceil(total):,}")
    print(f"At 1000 daily visitors: {math.ceil(total/1000)} days")

mvt_sample_size(n_combinations=12, baseline_cr=0.04, mde=0.15)
# Per combination: 4,519
# Total needed: 54,228
# At 1000 daily visitors: 55 days

אם התנועה אינה מספקת, השתמשו בתכנון פקטוריאלי חלקי. לדוגמה, עם ריבוע לטיני תבדקו 4 שילובים במקום 12, ותוותרו על חלק ממידע האינטראקציה אבל תחסכו במשאבים.

איך אנחנו מיישמים בדיקת MVT באתר שלכם?

אנחנו משתמשים ב-Optimizely או בפתרון JavaScript משלנו. גישה פרוגרמטית לדוגמה:

// Optimizely Snippet (добавить в <head>)
<script src="https://cdn.optimizely.com/js/PROJECT_ID.js"></script>

// Программный вариант
const optimizely = window.optimizely || []

// Получить вариацию для конкретного эксперимента
const variationKey = optimizely.get('state').getVariationMap()['mvt_homepage_elements']
// variationKey = "headline_B_image_C_cta_A"

// Реализация без Optimizely
function getMVTVariant(userId, elements) {
  const variants = {}
  for (const [element, options] of Object.entries(elements)) {
    const hash = cyrb53(`${userId}_${element}`)
    variants[element] = options[hash % options.length]
  }
  return variants
}

const elements = {
  headline: ['Купите сегодня', 'Скидка 20% для новых клиентов'],
  image: ['lifestyle', 'product-white', 'product-action'],
  cta: ['Добавить в корзину', 'Купить сейчас'],
}

const variants = getMVTVariant(userId, elements)
// variants = { headline: 'Купите сегодня', image: 'product-action', cta: 'Купить сейчас' }
// Применить варианты к DOM
applyVariants(variants)
// Зафиксировать в аналитике
gtag('event', 'mvt_assignment', {
  experiment: 'product_page_mvt',
  headline: variants.headline,
  image: variants.image,
  cta: variants.cta,
  combination: Object.values(variants).join('_')
})

יישום מותאם אישית נותן לכם שליטה מלאה על הניסוי ומונע עלויות רישוי. אנחנו גם משלבים את הבדיקה עם מערכת האנליטיקה שלכם — Google Analytics, Yandex.Metrica או Amplitude. כל המהנדסים שלנו מוסמכים ב-Optimizely ובעלי ניסיון עם React, Vue, Next.js.

ניתוח תוצאות MVT

import pandas as pd
from scipy import stats

def analyze_mvt(data):
    """data: DataFrame с колонками combination, visitors, conversions"""
    data['cvr'] = data['conversions'] / data['visitors']
    data = data.sort_values('cvr', ascending=False)

    # Найти лучшую комбинацию
    best = data.iloc[0]
    control = data[data['combination'] == 'baseline'].iloc[0]

    print(f"\nTop combinations:")
    print(data.head(5).to_string())

    # Статистическая значимость лучшей vs контроль
    from scipy.stats import proportions_ztest
    _, p_value = proportions_ztest(
        [best['conversions'], control['conversions']],
        [best['visitors'], control['visitors']]
    )

    print(f"\nBest: {best['combination']} CVR={best['cvr']:.2%}")
    print(f"Control: CVR={control['cvr']:.2%}")
    print(f"P-value: {p_value:.4f}")

    # Анализ главных эффектов (main effects)
    # Насколько каждый элемент в отдельности влияет на конверсию
    for element in ['headline', 'image', 'cta']:
        effect = data.groupby(element)['cvr'].mean()
        print(f"\nMain effect of {element}:")
        print(effect.sort_values(ascending=False))

אנחנו תמיד מנתחים אפקטים עיקריים — זה עוזר להבין איזה אלמנט תורם הכי הרבה. מניסיוננו, לעתים קרובות לתמונה יש השפעה גדולה יותר מאשר לכותרת. לדוגמה, בפרויקט אחד שינוי רק של התמונה נתן +8% בהמרה, בעוד ששינוי בו-זמני של כותרת וקריאה לפעולה נתן +12%.

תהליך שלב-אחר-שלב להרצת MVT

1. ניתוח (1-2 ימים): איסוף נתוני המרה נוכחיים, זיהוי אלמנטים לבדיקה.
2. תכנון (יום אחד): תכנון שילובים, יישום פקטוריאלי חלקי אם נדרש.
3. יישום (1-2 ימים): הגדרת הכלי (Optimizely/JS), אינטגרציה עם אנליטיקה.
4. ולידציה (יום אחד): בדיקת חלוקת תנועה נכונה, היעדר שגיאות.
5. השקה (יום אחד): התחלת הבדיקה, ניטור חריגות.
6. ניתוח (1-2 ימים): לאחר סיום, איסוף תוצאות, חישוב מנצח ואפקטים עיקריים.

טעויות MVT נפוצות

• בדיקת יותר מדי אלמנטים (≥5) — גידול אקספוננציאלי של שילובים.
• הפסקת הבדיקה מוקדם מדי לפני הגעה למובהקות סטטיסטית.
• שימוש בווריאציות זהות לאלמנטים שונים (למשל, שתי כותרות זהות).
• התעלמות מאפקטי אינטראקציה — פירוש אפקטים עיקריים ללא בדיקת אינטראקציות.
• התעלמות מפלחי תנועה: אפקטים עשויים להיות שונים במשתמשים ניידים.

אנחנו מבטיחים שכל בדיקה עוברת ולידציה לחלוקת תנועה נכונה והיעדר התנגשויות עם ניסויים אחרים.

מה כלול בעבודה שלנו

• תיעוד: תיאור השערה, תכנון ניסוי, תוכנית ניתוח.
• יישום קוד באתר שלכם (עם גישה לריפוזיטורי).
• אינטגרציה עם Google Analytics, Yandex.Metrica או כל מערכת אחרת.
• דוחות התקדמות שבועיים.
• דוח סופי עם המלצות ליישום השילוב המנצח.
• חודש תמיכה לאחר סיום הבדיקה.

לוח זמנים ועלות

תכנון ויישום של MVT עם ניתוח מלא אורכים בין 5 ל-7 ימי עסקים. העלות מחושבת באופן אישי, בהתאם למורכבות הניסוי ומספר האלמנטים. עבור MVT טיפוסי עם 3 אלמנטים, העלות מתחילה מ-$1,500. אנחנו מבטיחים שקיפות בכל שלב.

אם אתם שוקלים בדיקת MVT, הזמינו ייעוץ להערכה ראשונית של תנועה והשערות. צרו קשר כדי לקבל הערכה לפרויקט שלכם. תארו את המשימה שלכם, ואנחנו נציע תוכנית בדיקה אופטימלית.