פיתוח מערכות המלצה במפתח מלא

פיתוח מערכות המלצה: מסינון שיתופי ועד הגשה בזמן אמת

בפרויקט מסחר אלקטרוני אחד עם קטלוג של 300 אלף SKU, הגדלנו את שיעור הקליקים (CTR) מ-1.8% ל-4.4% — עלייה של פי 2.4. הקפיצה הראשונה הגיעה ממעבר מ'פופולרי ב-7 הימים האחרונים' לסינון שיתופי; השנייה מהוספת מאפייני תוכן ומיון מחדש. ההבדל בין הצגת פריטים פופולריים להצגת המלצות מותאמות אישית הוא מדיד ומשמעותי. להלן הניסיון ההנדסי שאפשר זאת, יחד עם ארכיטקטורות שעובדות בפועל בסביבת ייצור.

סינון שיתופי: פירוק מטריצות וגישות נוירוניות

פירוק מטריצות (Matrix Factorization) הוא הגישה הקלאסית למשוב מרומז (קליקים, צפיות, רכישות ללא דירוגים מפורשים). ALS (Alternating Least Squares) מספריית Implicit מטפל במטריצות משתמש×פריט עם מאות מיליוני ערכים שאינם אפס בדקות על GPU. גורמים סמויים 64–256, רגולריזציה λ=0.01–0.1 הם פרמטרי התחלה. בעיית התחלה קרה: אין היסטוריה למשתמשים או פריטים חדשים — CF טהור נכשל; יש צורך במאפייני תוכן או בגישה היברידית.

סינון שיתופי נוירוני (NCF) מחליף את מכפלת הנקודה ברשת נוירונית. בפועל, הרווח על פני ALS מכוונן היטב הוא צנוע, אך NCF קל יותר להרחבה עם תכונות נוספות (גיל, קטגוריה, שעה ביום). מודלים מודעי רצף (SASRec, BERT4Rec) מתחשבים בסדר האינטראקציות — מצב-האמנות להמלצות מבוססות סשן.

כיצד לבחור ארכיטקטורת מערכת המלצות?

התשובה תלויה בנתונים, בעומס ובדרישות התחלה קרה. להלן שלוש גישות עיקריות עם קריטריוני בחירה.

ארכיטקטורה היברידית עולה על CF טהור ב-20–40% בכיסוי זנב ארוך — אומת על קטלוגים מ-100 אלף SKU.

סינון מבוסס תוכן: כאשר היסטוריית אינטראקציות דלה

מבוסס תוכן ממליץ על סמך מאפייני פריט ולא על התנהגות משתמשים אחרים — פותר התחלה קרה לפריטים חדשים. הטמעות טקסט באמצעות sentence-transformers (multilingual-e5-base, BGE-M3) → חיפוש דמיון באמצעות FAISS IndexFlatIP — שאילתה ב-<5 אלפיות שנייה עבור 100 אלף פריטים. Item2Vec (Word2Vec על רצפי צפייה) מניב 'פריטים דומים' ניתנים לפירוש בכמה שעות אימון.

תכונות מובנות (קטגוריה, מותג, מחיר) מוזנות דרך שכבות הטמעה או gradient boosting — CatBoost מטפל בקטגוריות ללא קידוד ידני.

מדוע מודלים היברידיים עובדים טוב יותר?

מערכות ייצור הן כמעט תמיד דו-מפלסיות. שלב 1 (אחזור) — בחירה מהירה של 100–500 מועמדים מתוך 300 אלף פריטים באמצעות ALS או מודל Two-Tower עם חיפוש וקטורי (FAISS, Qdrant). שלב 2 (מיון) — מדרג כבד על LightGBM או רשת נוירונית עם תכונות צולבות, זמן, מכשיר והקשר סשן. LightFM היא נקודת התחלה טובה לקנה מידה בינוני ללא תשתית כבדה. הניסיון שלנו מראה: מעבר משלב יחיד לדו-שלבי מניב שיפור דיוק של 15–25% עם תוספת זמן השהיה של 20–30 אלפיות שנייה בלבד.

הגשה בזמן אמת: ארכיטקטורה תחת עומס

SLA זמן השהיה — 50–100 אלפיות שנייה באלפי בקשות בשנייה. המלצות בסיס מחושבות מראש (עבודת אצווה שעתית) → Redis לפי user_id → <5 אלפיות שנייה. מיון מחדש בזמן אמת באמצעות Kafka לאירועים (קליקים, הוספות לעגלה) → עדכון תכונות הקשר. הגשת תכונות — Redis עם TTL (צפיות ב-24 שעות, הפריט האחרון שנלחץ). ב-10 אלף בקשות/שנייה, אנו פורסים Redis Cluster עם שכפול.

בדיקות A/B הן הדרך האמינה היחידה למדוד שיפורים. מדדים אופליין לא תמיד מתואמים עם אונליין. Kohavi et al., 'Online Controlled Experiments at Large Scale' (KDD 2013) — חובה לקריאה לצוות. בדקו על 5–10% מהתנועה, עקבו אחר CTR, המרות והכנסה לסשן. אחת ממערכות הלקוחות שלנו לאחר היברידיזציה הגדילה הכנסות ב-18% במשך חודש של A/B.

ציר זמן לפיתוח מערכת המלצות

השלבים ומסגרות הזמן האופייניות מופיעים בטבלה להלן. העלויות מחושבות בנפרד לפי קנה מידת הקטלוג ודרישות זמן השהיה.

מה כלול בפיתוח מפתח מלא

1. ביקורת נתונים — צפיפות מטריצת משתמש×פריט (בדרך כלל <0.1%), התפלגות פעילות, דפוסים זמניים, סטטיסטיקות התחלה קרה.
2. בסיס — 'פופולרי' כסף פשוט שלעתים קרובות קשה לנצח.
3. שיפור איטרטיבי — ALS → מאפייני תוכן → דו-שלבי → מודע רצף. כל שלב עם A/B.
4. תשתית הגשה — חישוב מוקדם באצווה, Redis, מיון מחדש בזמן אמת, ניטור Grafana.
5. תיעוד — כרטיס מודל עם מדדים, הוראות פריסה, תיאורי תכונות.
6. הכשרת צוות — סשן על פרשנות תוצאות וכוונון עדין של המודל.
7. תמיכה — חודש אחד לאחר ההשקה (תיקוני תקלות, כוונון צינור נתונים).

אנחנו צוות עם ניסיון של 7+ שנים במערכות המלצה, שסיפקנו למעלה מ-30 פרויקטים למסחר אלקטרוני ומדיה. אנו מבטיחים בדיקות A/B שקופות ושיפורי מדדים מתועדים.

רוצים להעריך את פוטנציאל הצמיחה של הקטלוג שלכם? צרו קשר לביקורת נתונים חינמית. הזמינו פיתוח מערכת המלצות — אב-טיפוס ראשון תוך שבועיים.

from implicit.als import AlternatingLeastSquares model = AlternatingLeastSquares( factors=64, regularization=0.05, iterations=15, use_gpu=True ) model.fit(user_item_matrix)