פיתוח מערכת AI לסיווג אוטומטי של מוצרים

סיווג אוטומטי של מוצרים: היכן נכשל הסיווג הידני

כאשר קטלוג נמדד בעשרות אלפי כרטיסים, סיווג ידני מפסיק להיות משימה שאנשים יכולים לסגור באופן עקרוני. סימון מוצרים באופן ידני עובד בדיוק עד לרגע שבו המבחר גדל לאט יותר מקצב שבו הצוות מספיק לטפל בו.

אז נוצרת תור: פריטים חדשים מגיעים למדורים לפי סימן פורמלי או לפי הרגל של המפעיל, ולא לפי תכונותיו האמיתיות של המוצר.

קו הכשל השני — חוקים. הם מצטברים במשך שנים: לפי מותג מוצר הולך למדור אחד, לפי מילה בשם לאחר, חריגים לספקים מסוימים מוציאים ברשימה נפרדת. חוקים הופכים להיות יותר ממספר הפריטים במדורים מסוימים, הם מתחילים להתנגש זה בזה, ואף אחד כבר לא יכול לחזות לאן תגיע כרטיס חדש. כך גדילה של קטלוג ללא חוקים הופכת לאוסף של הסכמות מקומיות שנשענות על הזיכרון של שני עובדים.

בהמשך נשברת לא הסימון, אלא המטרה שלשמה הוא נעשה. המאפיינים מלאים באופן לא אחיד: בחלק מהמבחר מצוינים צבע וחומר, באחר — רק שם. מסננים בקטלוג מציגים ערכים ריקים, החיפוש מוצא פריט רק בהתאמה מדויקת, והקונה לא מגיע למוצר שקיים פיזית במלאי. מנהל מתקן כרטיסים לפי פנייה, מבזבז זמן על מה שהיה אמור להיפתר פעם אחת בעת הקליטה.

טעויות במדורי הקטלוג עולות יותר ממה שנדמה: חלק מהמבחר פשוט לא קיים עבור אלה שמחפשים, וכל קטגוריה או ספק חדשים דורשים מיון ידני. נפרק כיצד זה נסגר — מסדר במבנה המדורים ועד למודל שמסמן משלוחים חדשים ומוסר נתונים למסננים.

אפקט היישום: מהירות ניתוח הקטלוג ושיעור התיקונים הידניים

לאחר שהמודל מוטמע במערך העבודה, משתנים לא «תחושת הסדר» אלא מספרים מוחשיים. שיעור הפריטים שנכנסים לקטלוג ללא מעורבות אדם מגיע ל-85–95%, והשאר עובר לתור לבדיקה — המפעיל רואה לא את כל הזרימה, אלא רק מקרים שנויים במחלוקת.

דיוק התאמת הקטגוריות במדגם ביקורת נשמר מעל 95%, וזה לא מדידה חד-פעמית, אלא מדד שמחושב מחדש בכל טעינה.

מהירות עיבוד הקטלוג מצטמצמת משעות של ניתוח ידני לדקות: השירות מסמן את הזרימה, החוקים משלימים מאפיינים ומפזרים פריטים בין ענפים. מבחר חדש נהיה גלוי לקונה באותו יום, ולא לאחר שהמפעיל סיים לעבד את התור שהצטבר.

מסווג אחיד מפסיק להתפשט. אותה קטגוריה כבר לא נקראת בשמות שונים אצל ספקים שונים, והופעת ענף חדש לא מביאה לתיקון ידני של פריטים שכבר עובדו. בזמן עליות עונתיות, כשהזרימה גדלה פי כמה, הזמן לפריט בודד לא גדל: צוואר הבקבוק עובר מאנשים לתפוקת השירות, שאנחנו קובעים מראש.

כדי שהאפקט יהיה נשלט ולא הצהרתי, אנחנו מגדירים סף קבלה אוטומטית ויומן החלטות: עבור כל פריט נראה מדוע הוא שויך לקטגוריה, וניתן לבדוק זאת באופן סלקטיבי. אם חוק או משקלים נותנים ירידה בביצועים על נתונים חדשים, המערך חוזר לתצורה הקודמת ללא עצירת הקטלוג.

גישות לסימון: חוקים, למידה מדוגמאות, מודלים לשוניים

השאלה הראשונה בהתחלה — מה לקחת כמקור לחוקים: מילונים וחוקים, מודל על דוגמאות מסומנות או מודל לשוני. הבחירה קובעת לא את «מודרניות» השיטה, אלא את יכולת החיזוי של הקטלוג — יציבות השמות, מספר הקטגוריות החופפות ותדירות הופעתן של קבוצות מוצרים חדשות. לכן אנחנו מריצים את ההיסטוריה של הלקוח דרך כל הגישות ומחשבים את שיעור התיקונים הידניים לאלף פריטים.

בפועל לרוב מנצחת סכמה היברידית: מילונים מכסים מקרים ברורים ומשמשים כהבטחה מפני טעויות גסות, המודל פותר את השנויים במחלוקת, והמודל הלשוני מתחבר במקומות שבהם יש מעט סימון. האדם במערך בודק רק פריטים עם ודאות נמוכה — בדרך כלל אלה אחוזים בודדים מהזרימה.

קריטריוני ההשוואה נקבעים מראש: שיעור הפריטים ללא תיקון ידני, דיוק על מדגם נפרד וזמן הכנסת קטגוריה חדשה.

שלבי היישום: מביקורת הקטלוג ועד מסירת המודל

סיווג מתחיל לא באימון המודל, אלא בביקורת הקטלוג: מייצאים פריטים עם מאפיינים, מחשבים את שיעור הלא-מסומנים, כפילויות, עומק העץ וצעיפים «זבל». בלי שלב זה כל מדד איכות תלוי באוויר — לא ברור מה בכלל נחשב לתשובה נכונה.

1. ביקורת קטלוג ונתונים — הערכת שלמות ואחידות של שמות, מאפיינים וקטגוריות נוכחיות. בפלט מפת בעיות: היכן חסרים נתונים, היכן הסימון סותר, אילו צמתים מכפילים זה את זה.
2. סכמת טקסונומיה — מתאמים עץ קטגוריות וכללי הבחנה בין צמתים קרובים. קובעים אילו פריטים הם במהותם דו-משמעיים ונשארים לבדיקה ידנית.
3. סימון מדגם — מדגם ביקורת עם הטיה לטובת קטגוריות נדירות, סימון ידני ומדידת עקביות בין המסמנים. זהו אמת מידה לכל המדידות הבאות.
4. הגדרת מודל — גרסה בסיסית על מודל מאומן מראש, השוואה לניתוח לפי מילות מפתח, כיול ספי ודאות, עבודה עם מחלקות לא מאוזנות.
5. בדיקה בזרימה — הרצה דרך קו ייצור אמיתי של קליטת סחורה במצב צל: התחזית לא משנה את הקטלוג, אבל כל אי-התאמה מנותחת.
6. קבלת איכות — המדד מחושב לפי מחלקות, ולא «בממוצע»: קטגוריה נדירה שוקלת כמו קטגוריה המונית. פריטים מתחת לסף עוברים לבדיקה ידנית.
7. מסירת מודל — תיעוד, אימון משוחזר, תקנון אימון מחדש על נתונים חדשים וניתוח טעויות אופייניות.

לאחר המסירה הקטלוג מסווג בקבוצות בצד שלכם, והמודל מאומן מחדש על פריטים חדשים ללא מעורבותנו.

תוצרי הפרויקט: טקסונומיה, מודל, תקנון תמיכה

פרויקט סיווג אוטומטי מסתיים לא בהצגת מודל על מדגם נפרד, אלא במסירת ערכה שאיתה הצוות שלכם ממשיך לעבוד בלעדינו. להלן מה שנשאר בידי הלקוח: מעץ הקטגוריות ועד לכללים שלפיהם המודל מאומן מחדש.

• טקסונומיה של קטגוריות ומאפיינים — עץ עם רמות קינון, כללי ירושה ומאפיינים חובה לכל עלה. בסיס גם לסימון וגם לייצוא למערכות חשבונאיות.
• סכמת אינטגרציה — היכן המודל מקבל נתונים על המוצר, באיזו צורה מחזיר קטגוריה וודאות, מה קורה כשהוודאות נמוכה. שני מצבים: עיבוד אצווה של הקטלוג וניתוח כרטיס ברגע הפרסום.
• מודל מוגדר — מאומן על ההיסטוריה שלכם, עם ספי ודאות קבועים ורשימת קטגוריות שהוא לא לוקח ומעביר לאדם.
• תיעוד המודל — אילו תכונות משפיעות על מה, על אילו נתונים האימון, כיצד לקרוא איכות לפי כל קטגוריה והיכן המודל טועה באופן שיטתי.
• ערכת בדיקה — מדגם קבוע של מוצרים עם קטגוריות אמת. הרצה דרכו מראה אם המודל הורע לאחר אימון מחדש.
• תקנון תמיכה — תדירות אימון מחדש, מי מאשר קטגוריות חדשות, כיצד לחזור לגרסה קודמת אם האיכות ירדה.
• הוראות למפעילים — כיצד לנתח כרטיסים שנויים במחלוקת ולאן לאסוף תיקונים כדי שייכנסו למחזור האימון הבא ולא יאבדו.

מקרה בוחן: קטלוג של עשרות אלפי פריטים ללא סימון ידני

הלקוח — רשת חנויות קמעונאיות «Северный Дом»: קטלוג של 120,000 פריטים ו-2,400 תת-קטגוריות. מוצרים הוזנו ידנית — המנהל בחר מדור לפי שם ותיאור, מקרים שנויים במחלוקת עברו לסבב שני.

בשיא האספקה העונתית התור לסימון נמתח לימים, וחלק מהכרטיסים פורסמו במדורים הלא נכונים, והקונה פשוט לא מצא אותם.

איך זה היה לפני

שיעור השיוכים השגויים למדור — כ-18%: כמעט כל כרטיס חמישי הגיע למקום הלא נכון. המוצר הופיע בקטלוג כעבור שניים-שלושה ימים לאחר קבלתו למחסן, וכל הזמן הזה היה לא זמין להזמנה. יותר ממחצית הכרטיסים דרשו עיבוד ידני: כללי הסיווג לא כיסו קווים חדשים של ספקים.

מה שינו ומה התוצאה

מדגם האימון נאסף מ-8,000 פריטים שסומנו ידנית לפי סכמה אחידה; המודל למד על שם, מאפיינים ותמונת המוצר. סף הוודאות הוגדר כך שפריטים דו-משמעיים עברו לבדיקה אנושית, ולא פורסמו באקראי.

שיוכים שגויים בזרימה — 3% במקום 18%. המוצר נכנס לקטלוג בתוך שעה לאחר הקליטה: הסימון מופעל אוטומטית עם טעינת התעודה. העיבוד הידני הצטמצם מ-60% מהכרטיסים ל-8% — האדם מנתח רק פריטים שנויים במחלוקת וקווים חדשים שהמודל טרם ראה.

אחת לחודש התיקונים המצטברים עוברים לאימון מחדש, האיכות נבדקת על מדגם נפרד — הדיוק לא יורד ככל שהקטלוג גדל.

במה שונה סיווג לפי חוקים ממודל על דוגמאות?

סיווג לפי חוקים — זה מפרטי מילים נרדפות, ביטויים רגולריים ועדיפויות לפי מאפיינים: התנאי התקיים — הקטגוריה הוקצתה לפי טבלת התאמות. לוגיקה כזו עובדת מהיום הראשון, לא דורשת סימון והיא מוסברת במלואה: ביומן רואים איזה חוק פעל ומדוע.

מודל — מסווג ניתן לאימון, שמסתכל על השם והמאפיינים בכללם ומכליל דפוסים. הוא שורד שגיאות כתיב, מותגים חדשים וניסוחים לא שגרתיים, אבל דורש התחלה קרה: כמה אלפי דוגמאות מסומנות ובדיקה על מדגם נפרד. יכולת ההסבר נמוכה יותר — בפלט הסתברות ותכונות שהשפיעו על ההחלטה, ולא חוק מפורש.

הגישות נשברות בדרכים שונות. את המפרט צריך להשלים עבור כל קטגוריה חדשה, ובמבחר רחב התחזוקה אוכלת יותר זמן ממה שהיא מביאה תועלת. המודל מתדרדר באופן לא מורגש: הדיוק יורד עם החלפת ספקים וניסוחים, לכן יש צורך בבקרה על שיעור התיקונים הידניים.

בפועל אנחנו מרכיבים היברידי: חוקים חוסמים מקרים חד-משמעיים ומסננים זבל בנתונים, המודל מכסה את השאר. החלטות עם ודאות מתחת לסף עוברות לבדיקה ידנית וממלאות את מדגם האימון — שיעור העיבוד האוטומטי גדל מ-40-60% בהתחלה ל-85-90% לאחר כמה מחזורי אימון מחדש. לכניסה מהירה מספיק מסווג קומפקטי כמו FastText.

חששות טכניים: איכות הסימון, סחיפת נתונים, תמיכה

התנגדויות טכניות בשלב זה נדירות נשמעות כמו «האם המודל יעבוד» — שואלים על איכות הסימון, התנהגות בזרימה חיה ותמיכה כשהטקסונומיה תתחיל להשתנות. להלן תשובות קצרות לכל אחד מהסעיפים הללו.

מה לעשות כשמופיעות קטגוריות חדשות?

אין לאמן מחדש את הטקסונומיה כולה: ענף חדש מחברים כשכבה נפרדת, ומסמנים מחדש רק את התחום השנוי במחלוקת. גבולות המחלקות הקיימות לא זזים, ולכן הוספת קטגוריה לא מחלישה את האיכות באחרות.

איך המודל מתנהג בזרימה חיה — האם הוא לא מתדרדר?

סחיפת נתונים נתפסת לא לפי דיוק כללי, אלא לפי שיעור הדוגמאות עם ודאות נמוכה ופער בהתפלגות התיאורים הנכנסים לעומת מדגם האימון, בתוספת ביקורת דגימה על ידי מפעיל. כשהמדד יורד מתחת לסף, מופעל התראה וחזרה לגרסה הקודמת.

איך זה משתלב במערך הנוכחי?

אינטגרציה — דרך ממשק שירות או תור אירועים, במצב אצווה או מקוון. בתקופה הראשונה המודל עובד במצב צל לצד הלוגיקה הנוכחית, כך שאי-התאמות נראות לפני המעבר, והחזרה מסתכמת בהחזרת גרסה.

נדון במשימה: נחזור עם הערכה ותוכנית יישום

לאחר הפנייה אנחנו לא מתחילים מהמודל, אלא מנתחים את הקטלוג: עומק עץ הקטגוריות, שיעור הפריטים עם מאפיינים חסרים, מאין מגיעים הנתונים ותדירות שינוי מבנה המדורים. על בסיס ניתוח זה נבנית סכמת הסיווג והרכב העבודה — מה אנחנו עושים ומהיידרש מצדכם.

• הערכת הפרויקט. מחשבים את נפח הקטלוג, מספר הקטגוריות וכללי ההקצאה, בודקים אם יש די נתונים לבקרת איכות. התוצאה — הרכב העבודה וסדר השלבים.
• פיילוט על מדגם. לוקחים כמה אלפי פריטים מענפים שונים של הקטלוג ומשווים את התוצאה לסימון אמת: מקבלים את שיעור ההקצאות הנכונות ואת שיעור הפריטים שעברו לבדיקה ידנית.
• סכמת פתרון. קובעים סף ודאות שמתחתיו המוצר עובר למפעיל, כללים לקטגוריות חדשות וסדר ניתוח פריטים שמתאימים לכמה מדורים בבת אחת.
• תוכנית יישום. סדר חיבור המקורות, נקודות בקרת איכות בכל שלב, חזרה לגרסה קודמת של כללים אם הדיוק בזרימה יורד.
• מסירה לתמיכה. תיעוד כללים ומדדים, הוראות למפעילים, תקנון אימון מחדש על נתונים חדשים וניתוח מקרים שנויים במחלוקת.
• הדרכת צוות. מראים כיצד לקרוא דוחות איכות, לשנות ספים ולהוסיף קטגוריות ללא מעורבותנו.

תארו את המשימה ושלחו ייצוא של הקטלוג — נחזור עם הערכה, סכמה ותוכנית יישום, כולל פיילוט על מדגם.