פיתוח מערכת המלצות תוכן לפי סינון מבוסס תוכן

מדוע מערכת ההמלצות לתוכן מאבדת דיוק

מערכת ההמלצות לתוכן נשברת לא ברגע ההשקה, אלא לאחר מספר שבועות של עבודה, כאשר התוצאות מתייצבות ומפסיקות להגיב לשינויים. פורמלית ההתאמה עובדת: הבלוקים מלאים, אין שגיאות, ושיעור הפעולות הממוקדות מחליק לאט מטה. הסיבה בדרך כלל אינה בעומס, אלא בכך שהמאפיינים אינם תואמים את ההתנהגות האמיתית של הקהל.

את הקטלוג מתארים לפי תגיות עריכה — מדור, נושא, מחבר, פורמט. המשתמש בוחר אחרת: לפי הקשר הצפייה, לפי מה שפתח לפני כן, על מה עצר. כאשר הדיוק של ההתאמה נשען רק על תיאור החומר, המערכת ממליצה בביטחה על דומה לפי תגיות, אך לא לפי עניין, וכל הצגה נוספת מרחיקה מהמטרה במקום לקרב אליה.

נקודת כשל נפרדת — ההתנעה הקרה של הקטלוג. לחומר חדש אין היסטוריית אינטראקציות, ולכן הוא אינו מקבל הצגות, ובלי הצגות ההיסטוריה לעולם לא תיווצר. בתוצאות נשארים אותם פריטים, מדורים חדשים אינם צוברים תגובה, וההתאמה постепенно מפסיקה לשקף את מה שבאמת נמצא בקטלוג.

הסיבה השלישית — אחידות התוצאות. התאמה שמותאמת לפרופיל ממוצע מציעה חומרים קרובים בתיאורם: המשתמש רואה חמישה כרטיסים דומים ועוזב. המעגל נסגר: המערכת קוראת תגובה כזו כאישור להשערותיה ומצמצמת את התוצאות עוד יותר. ננתח כיצד זה נסגר — משחזור המאפיינים ועד לניהול הגיוון.

מה משתנה לאחר ההטמעה: אפקטים מדידים

שיעור הפגיעות בעניין

פרופיל המשתמש נבנה ממאפיינים של תוכן שהוא באמת צרך: נושא, מחבר, פורמט, משך. התוצאות נשענות על התאמת תכונות, ולא על פופולריות כללית, ולכן שיעור הפעולות הממוקדות — מעברים, קריאה עד הסוף, הוספות למועדפים — עולה גם בנישות צרות.

מהירות הופעת החדשים

חומר חדש נכנס להצגות מיד לאחר הפרסום: המאפיינים שלו מושווים לפרופילים, והוא מוצא את הקוראים הראשונים כמעט ללא השהיה. אין צורך להמתין להצטברות סטטיסטיקת אינטראקציות — התוכן לא "תלוי" בקטלוג עד שהאלגוריתם יצבור נתונים.

שלמות כיסוי הקטלוג

ההצגות מתפרסות על פני כל הקטלוג, ולא מתרכזות בכמה פריטים פופולריים. שיעור החומרים שקיבלו לפחות הצגה אחת בתקופה עולה, והזנב הארוך מפסיק להיות משא מת — כולל פרסומים ארכיוניים.

ביקורים חוזרים

כאשר המשתמש מקבל באופן קבוע תוכן רלוונטי, החזרה הופכת להרגל: הוא יודע שימצא את שלו בלי לחפש. שיעור הביקורים החוזרים ועומק הסשן גדלים — עם אותו קטלוג ובלי כוונון ידני לכל סגמנט.

הפחתה של עריכות ידניות

קידומים ידניים הם הדרך היקרה ביותר לתמוך בתוצאות, והם מתקשים להתאים לקנה מידה. לאחר ההשקה שיעור העריכות הידניות יורד למקרים בודדים: מבחרים עונתיים, בלוקים לקידום, הגבלות זכויות על חומר.

אפשרויות התאמה: כיצד המערכת בוחרת הצגות

מקור האות בגישות שונה: התוכן של החומר עצמו, התנהגות משתמשים עם תחומי עניין קרובים, או שילוב של השניים. מה לבחור — תלוי בהיקף הסטטיסטיקה שנצברה ובקצב שבו הקטלוג מתעדכן.

פרופיל העניין ומשקל המאפיינים

פרופיל העניין הוא מאפיינים של החומר עם משקלים: נושא, מחבר, פורמט, טריות, שפה, מקור. כל פעולה משנה את המשקל: קריאה עד הסוף ושמירה מעלות, חזרה מהירה לרשימה מורידה. כך הפרופיל נשאר גמיש ומשקף שינוי בעניין, ולא ממוצע של כל הזמנים.

המשקלים מנורמלים זה מול זה — אחרת מאפיין פעיל אחד מכסה את האחרים והתוצאות מתכווצות לנושא אחד. המאפיינים נמצאים באינדקס החיפוש Elasticsearch: בנייה מחדש של הפיד עבור הפרופיל הנוכחי מתבצעת בזמן אמת, בלי לחשב מחדש את כל בסיס החומרים.

כיצד אנו מטמיעים את ההתאמה: שלבי העבודה ההנדסית

את העבודה מתחילים מהנתונים, ולא מהנוסחה: כל עוד הקשרים "תוכן — עניין" לא שוחזרו, ההתאמה מחזירה כרטיסים אקראיים בכל מתמטיקה מדויקת. בהמשך מתקדמים בשישה שלבים.

1. ניתוח נתונים. מלאי של כרטיסים, טקסטים, תגיות, היסטוריית צפיות ודירוגים; מסמנים אילו מאפיינים חסרים.
2. קריטריוני הצלחה. קובעים מה נחשב לתוצאות טובות: פגיעה בעשירייה המובילה, קריאה עד הסוף, כיסוי הקטלוג. בלי זה אין במה למדוד את האיכות.
3. סכמת מאפיינים. מתארים כיצד התוכן הופך לפרופיל: נושא, מחבר, תגיות, מילות מפתח בתיאור והמשקל של כל מאפיין.
4. כיוונון ההתאמה. בונים פרופיל עניין של המשתמש, מחשבים קרבה לתוכן, חותכים התאמות חלשות באמצעות סף.
5. בדיקת איכות התוצאות. מחשבים מדדים על מדגם מושהה, ואז משווים מול קבוצת ביקורת של קהל חי.
6. מסירת הפתרון. פורסים את השירות, מוסרים לצוות הלקוח את התצורה, את סכמת המאפיינים ואת נוהל האימון מחדש.

הכנת הנתונים

מביאים את הטקסטים לצורה אחידה, מאחדים כפילויות, משחזרים תגיות חסרות לפי התיאור. בפלט — וקטור בר-השוואה לכל פריט במקום שדות בצורה חופשית.

בדיקת איכות התוצאות

מדדים אופליין אינם מספיקים: הם אינם מראים את התנהגות ההתאמה על פריטים חדשים ומשתמשים לא מוכרים. בודקים פגיעה בטופ, גיוון התוצאות ופיזור תחומי העניין — כדי שההתאמה לא תדחוק אדם לנושא צר.

ערכת האספקה: מודלים, סכמות ונוהלים

הלקוח מקבל לא רק התאמה עובדת, אלא גם את כל מה שנדרש כדי לתחזק אותה בכוחות עצמו. ערכת התיעוד מגדירה אילו מאפיינים משתתפים בדירוג, מאין הם מגיעים וכיצד נבדקת איכותם.

מה אנו מוסרים כחלק מהעבודה

• סכמת מאפיינים: רשימת השדות, סוגים, מקורות, תדירות חישוב מחדש וכללי טיפול בערכים חסרים.
• נוהל עדכון: באיזו תדירות מחושבים מחדש משקלי המודל ואילו מדדים משמשים כתנאי לפרסום.
• מדיניות גישה לנתונים: תפקידים, הרשאות על היסטוריית אינטראקציות, פרופילים אנונימיים ויומני מערכת.
• הנחיות למערכת: כיצד להוסיף תוכן, אילו שדות חובה כדי שחומר ייכנס לתוצאות.
• נוהל בדיקת שינויים: סביבת בדיקה, קריטריוני קבלה, סדר חזרה לגרסה קודמת.
• קטלוג מאפיינים עם תיאור המאגר שבו הם נמצאים — אצלנו זה PostgreSQL.
• יומן ניסויים: אילו השערות נבדקו ומדוע חלקן נדחו.

סדר התמיכה והתחזוקה

לאחר המסירה אנחנו נשארים בקשר: מטפלים בתקלות באיכות התוצאות, מסייעים בחישוב מחדש של מאפיינים בעת שינוי הקטלוג, מייעצים למערכת בנוגע לחומרים שנויים במחלוקת. חישובים מחדש מתוכננים מתבצעים לפי לוח הזמנים מנוהל העדכון, וחישובים שלא מתוכננים — רק דרך סביבת בדיקה עם הרצת מדגם ביקורת. אם המדדים יורדים מתחת לסף, חוזרים למערך המשקלים הקודם בלי לעצור את התוצאות.

מקרה בוחן: עלייה בדיוק ההתאמה בחנות מקוונת

מצב התחלתי

הקטלוג של החנות המקוונת על 1С-Битрикс נבנה ביד: מנהל הקטגוריות בחר פעם בשבוע מוצרים לפי מכירות עבר ופרסם אותם בבלוקים בעמוד הבית ובכרטיסים. הוצגו כחמישית מהקטלוג, מוצר חדש המתין להצגה הראשונה כשבועיים, ושיעור הפגיעות בעניין עמד על 11% — המבקר פתח כרטיס ועזב.

שורש הבעיה הוא שהמבחר הידני נשען על מכירות, ואלה קיימות רק אצל החלק העליון. פריטים שלא נכנסו לבלוקים אינם מקבלים הצגות ואינם צוברים סטטיסטיקה — המעגל נסגר, והקטלוג אינו יוצא ממנו בכוחות עצמו.

מה נתן סינון התוכן

את הבלוקים הידניים החליפה התאמה לפי מאפיינים: פרופיל העניין נבנה מהשם, התיאור, הקטגוריה, החומרים והתכונות של המוצר המסוים, ואז מושווה להיסטוריית הצפיות של המבקר. החישוב מחדש מתבצע עם הופעת פריטים חדשים, ולכן מוצר חדש אינו צריך להמתין להצטברות מכירות.

שיעור הפגיעות בעניין עלה מ-11% ל-34%, כיסוי הקטלוג — מ-20% ל-88%, וההצגה הראשונה של פריט חדש אורכת פחות מיממה במקום שבועיים. מבחרים ידניים נותרו רק למבצעים: המנהל מגדיר תנאים, ולא בורר מוצרים בעצמו. את המדדים חישבנו על תקופה מושהית, ואז אישרנו על קהל חי עם קבוצת השוואה.

במה שונה סינון תוכן מסינון שיתופי

שתי הגישות פותרות משימה אחת — להראות למשתמש את מה שסביר שיפתח — אך נשענות על מקורות אות שונים. סינון תוכן מתאר את האובייקט עצמו: נושא, מחבר, תגיות, מאפיינים טקסטואליים ווקטוריים.

סינון שיתופי מסתכל לא על האובייקט, אלא על מטריצת האינטראקציות, ומשלים קשרים לפי התנהגות של משתמשים דומים.

ההבדל ניכר בקצוות. סינון תוכן מתחיל בלי נתוני התנהגות, אך מוציא בקושי אל מחוץ לנושא המוכר. הסינון השיתופי נותן קשרים מפתיעים, אבל נתקל בהתנעה קרה של משתמש חדש ובדלילות נתונים במדורים צרים.

בחירת הגישה נקבעת לפי מה שיש יותר במערכת — תיאורי אובייקטים או התנהגות. בקטלוג המתעדכן מדי יום ובקהל קטן, ההסתמכות על התוכן מניבה תשואה מיד; בתעבורה צפופה הקשרים ההתנהגותיים עובדים מדויק יותר.

בפועל, לרוב מנצח ההיברידי: התוכן מכסה את ההתנעה הקרה ואת החומרים הטריים, והמצב השיתופי מדייק את התוצאות על נתונים שנצברו. אנחנו בונים את שני המעגלים ומכווננים את תרומתם לפי מדידות על תעבורה חיה.

שאלות טכניות נפוצות בנוגע להטמעה

לרוב, השאלות בשלב ההתחלה נוגעות לא לאלגוריתם עצמו, אלא להתנהגות המערכת על נתונים אמיתיים: היסטוריית אינטראקציות קצרה וקטלוג שמשתנה מדי שבוע. להלן מה שאנו עוברים עם הצד הטכני של הלקוח לפני תחילת העבודה.

הגישה Content-Based Filtering נשענת על מאפיינים של התוכן עצמו ועל פרופיל תחומי העניין של המשתמש, ולא על היסטוריית אינטראקציות המונית, ולכן תוצאות בעלות משמעות אפשריות גם בנתונים דלילים.

הקטלוג מתעדכן מדי שבוע — האם יהיה צורך לאמן הכול מחדש?

לא. פריטים חדשים נכנסים לאינדקס לפי מאפיינים ונכנסים לתוצאות מיד, בלי חישוב מחדש מלא. חישוב מחדש מלא של הפרופילים מתבצע לפי לוח זמנים ואינו חוסם את עבודת המערכת.

האם ניתן לשלב מאפיינים של תוכן ושל התנהגות?

כן, התאמה משולבת היא בדרך כלל זו שנותנת את התוצאה הטובה ביותר: מאפייני תוכן מספקים כיסוי של כל הקטלוג, כולל חדשים, ומאפיינים התנהגותיים — את דיוק הדירוג. האיזון נקבע לפי היקף ההיסטוריה של משתמש מסוים.

כיצד אנו בודקים שהתוצאות באמת השתפרו?

משווים מדדים אופליין על מדגם מושהה מול חתך אונליין: שיעור הפגיעות בטופ, גיוון התוצאות, שיעור המשתמשים עם המלצה לא ריקה. לאחר ההשקה עוקבים אחרי סחיפת מאפיינים — זהו חלק מהתחזוקה.

נדון במשימה ונחזור עם הערכה ותוכנית

כדי לדון במשימה בצורה עניינית ולחזור עם הערכה ותוכנית הנשענות על עובדות ולא על הנחות, נדרש ניתוח קצר עם המעגל המוצרי והטכני שלכם.

מניסיון, את עוצמת העבודה של מערכת המלצות לתוכן קובעים לא האלגוריתמים, אלא הנתונים הגולמיים והסובלנויות לגביהם — ולכן חלק מהשאלות כדאי לסגור עוד לפני הפגישה.

מה יועיל מצד הלקוח:

• נתוני מקור: קטלוג תוכן עם מטא-נתונים, היסטוריית אינטראקציות (צפיות, קריאה עד הסוף, שמירות, דילוגים), טקסטים וסימון נושאי, אם קיים.
• היקף ואיכות ההיסטוריה: על פני איזו תקופה נצברו הפעולות, איזה חלק נופל על משתמשים חדשים, האם קיימות כפילויות ורשומות ללא מאפיינים.
• סובלנויות לנתונים: מה מותר להשתמש בו לאימון, מה דורש אנונימיזציה, אילו תקופות שמירה ודרישות אזוריות חלות.
• קריטריוני הצלחה: מה נחשב לשיפור — שיעור ההצגות הרלוונטיות, עומק הסשן, שימור, כיסוי הקטלוג. בלי מדדים מוסכמים הכיוונון הופך לוויכוח על טעם.
• מגבלות וסביבה: היכן פועלת המערכת, איזו תגובתיות נדרשת בשעות שיא, כיצד היא משתלבת בשכבת התוצאות הנוכחית ומה אסור לשבור.
• משתתפים והחלטות: מי אחראי על ייצוא הנתונים, מי מאשר את התוצאה ומי מתאם שינויים בלוגיקה המוצרית.

תארו את המשימה — נחזור עם הערכה ותוכנית: שלבים, הרכב העבודה, דרישות לנתונים ונקודות בקרה.