קיורציית AI ועדכון מאגר ידע: ביקורת, המלצות, דשבורד

קיורציית AI של מאגר ידע: היכן נשבר חיפוש התשובות

מאגר ידע נשבר לא ברגע הפרסום, אלא לאחר כמה חודשי שימוש. מופיעים כפילויות במאגר הידע: אותה הוראה בדיוק חיה בשלושה מדורים, כל אחד עם העריכות שלו, ולא ברור איזו מהן הראשית. מאמרים מיושנים אף אחד לא מסיר — הם ממשיכים להימצא בחיפוש ומופיעים מעל עדכניים.

חוסר סנכרון בין גרסאות המסמך — קו כשל נפרד. את הנהלים עדכנו במאגר אחד, והעותק במאגר אחר נשאר כשהיה, והעובד מוצא את זו שקרובה יותר לניסוח השאילתה, ולא את זו שבתוקף. לצד זה מדורים אבודים: החומר הועבר בין מרחבים, אך קישורים, הרשאות גישה וקישורים חוזרים לא הועברו במלואם.

מנקודת המבט של המשתמש זה נראה כמו «החיפוש לא מוצא תשובה». אדם מבזבז על שאלה אחת לא דקה אלא עשרות דקות, הולך לשאול בצ'אט — והידע שוב שוקע בהתכתבות, תוך עקיפת המאגר. כשלים כאלה נמדדים לפי שיעור השאילתות ללא תוצאה והזמן עד לתשובה רלוונטית ראשונה, ולא לפי מספר המאמרים בקטלוג.

קיורציית AI של מאגר ידע עובדת עם התוכן, ולא עם העיצוב. אינדקס סמנטי מתאים את השאלה לקטע טקסט, ולא לכותרת המדור; דה-דופליקציה מכנסת עותקים למקור קנוני אחד עם בעלים מוגדר; מאמרים מיושנים מקבלים מועד לבדיקה חוזרת ויורדים למטה עד שיאושרו.

בהמשך נפרק לפי אילו אותות זה מתגלה באודיט וכיצד להטמיע בדיקה במחזור קבוע, כדי שהמאגר לא יחזור למצב ההתחלתי.

מה משתנה כשהתשובה נמצאת בשאילתה אחת

שאלה טיפוסית של לקוח מחפשים דקות ארוכות: חלק מהידע שקע בהתכתבות, חלק במרחב ויקי, וחלק נשאר רק אצל המהנדס התורן. בזמן שהעובד משווה בין שלושה-ארבעה מקורות, המשימה תקועה, והתמיכה מקבלת את אותה שאלה שוב. קיורציה מכנסת את המסלול לשלב אחד: שאילתה — מקור אמת אחיד — תשובה.

תחילה אנו מודדים כמה זמן לוקח המסלול עד התשובה ומה שיעור המאמרים המיושנים. בדרך כלל חלק ניכר מהחומרים לא עודכן מאז השינוי האחרון במוצר, ודווקא אליהם מפנים בתשובות. לאחר איחוד המקורות וסימון הבעלים, הזמן עד לתשובה מתקצר פי כמה — מדקות לעשרות שניות.

ההשפעה המדידה השנייה — העומס על התמיכה. כשהתשובה נמצאת בשאילתה אחת, שיעור הפניות החוזרות יורד: אדם לא חוזר עם אותה שאלה כעבור שבוע. אנו סופרים פניות בנושא אחד ואת השיעור של אלו שנסגרו בלי מעורבות מהנדס.

עדכניות התוכן מפסיקה להיות משימה ידנית: לכל מאמר יש מועד בדיקה חוזרת ואחראי. חומרים בלי בעלים עוברים לארכיון, ולא צפים בחיפוש. במאגרים כמו Confluence זה מוגדר באמצעות כללים, אבל מה שעובד הוא לא ההגדרה, אלא מחזור ביקורות קבוע.

לוח מדדים שומר את התמונה לנגד העיניים: זמן עד לתשובה, שיעור המאמרים המיושנים, פניות חוזרות, כיסוי נושאים על ידי בעלים. לפיו רואים היכן המאגר מתדרדר, והקיורציה מפסיקה להיות פרויקט חד-פעמי.

גישות לקיורציה: מה לבחור למשימה

בחירת מצב הקיורציה נקבעת לא לפי גודל המאגר, אלא לפי תדירות השינויים בתחום הידע ומחיר הטעות בתשובה. במקום שבו סכמת הקטגוריות מיושנת והכפילויות תופסות חלק ניכר במדריך, תיקונים נקודתיים רק מאריכים את התהליך — דרושה עיבוד מחדש מלא של המאגר עם סימון חדש ובנייה מחדש של קישורים.

במקום שבו כרטיסים בודדים סוטים מהפרקטיקה, בטוח יותר לעדכן בהדרגה: המדריך ממשיך לתת תשובות בזמן שההחלפה מתבצעת.

כיצד מצבי העבודה מתייחסים זה לזה

מצבים טהורים כמעט לא קיימים בפועל: סימון אוטומטי מכסה את הנפח, קיורציה ידנית — נושאים שנויים במחלוקת ומוסדרים, ומצב היברידי קובע מי ולפי איזה סימן מאשר את התווית הראשונית. בהמשך נפרק כיצד להעריך את היקף העבודה ולא לאבד את תפקוד המדריך במהלך התהליך.

כיצד אנו מנהלים את הפרויקט: שלבי העבודה מהאודיט ועד למסירה

הפרויקט מתקדם בגלים: תחילה מתעדים מה בכלל נמצא במאגר, אחר כך בונים קישורים, לאחר מכן מגדירים כללים, ורק אחרי זה מפעילים את האוטומציה במסלול העבודה. כל שלב נסגר בארטיפקט — בלעדיו לא עוברים לשלב הבא.

1. אודיט של מאגר הידע. מייצאים את כל החומרים, מסמנים לפי סוגים, כפילויות וגרסאות מיושנות. בפלט — רשימת מדורים עם הערכת עדכניות וכיסוי נושאים.
2. מפת תוכן. מקשרים חומרים לפי משמעות, מסמנים פערים ומקומות שבהם שתי תשובות סותרות זו את זו. רואים אילו נושאים מכוסים בביטחון, והיכן נדרש מקור.
3. כללי תחזוקה. מתאמים מי מוסיף חומר, באיזה צורה, כיצד מסומנות גרסאות ותוקף הרשומה. מזה תלוי אם המאגר ימשיך להתעדכן או שוב יתמלא בצמחייה.
4. הגדרת קיורציה. ה-AI מפזר חומרים חדשים לפי מדורים, מסמן כפילויות ומציע לאחד רשומות קרובות — שום דבר לא נמחק בלי אישור העורך.
5. בדיקה עם שאילתות אמיתיות. מריצים שאלות אמיתיות של משתמשים: היכן התשובה מלאה, היכן מיושנת, היכן סוטה מהמדור הסמוך. מתקנים את הכללים, ולא תשובות בודדות.
6. מסירת תיעוד. סכמת קישורים, נהל עדכון, יומן שינויים והוראות לעורכים — מכאן והלאה הצוות מנהל את המאגר בעצמו.

מה נשאר בידיכם לאחר המסירה

אנו מוסרים לא תיקייה עם דוחות, אלא מסלול קיורציה עובד, שממשיך לחיות בלעדינו. לכל ארטיפקט יש בעלים, נקודת כניסה וסדר פעולות — עריכה במאגר לא מחייבת להרכיב את התהליך מחדש.

• מפת מאגר הידע: מדורים, מקורות וקישורים בין מסמכים. מיד רואים היכן יש כפילויות, אילו נושאים לא מכוסים ואילו מדורים סותרים זה את זה.
• נהל עדכון: באיזו תדירות נבנה האינדקס מחדש, מי יוזם עריכה ובאיזה פרק זמן קטע מיושן יוצא מהתוצאות.
• סכמת תפקידים והרשאות: מחבר, סוקר, מפרסם; בנפרד — הרשאות לייצוא ולמחיקת מדורים. ההרשאות מחולקות לפי תפקידים, ולא לפי אנשים, לכן עזיבת עובד אינה שוברת את התהליך.
• הוראות לעורכים: כיצד לנסח קטע, אילו מטא-נתונים חובה, כיצד לעצב כותרות. האיכות מפסיקה להיות תלויה במי בדיוק התיישב לערוך.
• לוח בקרה לאיכות: שיעור התשובות בלי עיגון במקור, נפח הקטעים המיושנים, כיסוי נושאים. לכל מדד הוגדר סף שמפעיל בדיקה.
• יומן שינויים: מי, מה ומתי ערך, מאיזה מקור הגיע השינוי וכיצד לחזור לגרסה הקודמת של הבלוק.
• מערך בדיקות רגרסיה: שאלות בקרה מורצות אחרי כל עריכה — רואים אם האיכות לא ירדה בנושאים הסמוכים.

מערך כזה מאפשר לקבל את המאגר לתפעול בכוחות עצמכם: לעדכן, לבדוק ולבטל שינויים בלי לפנות אלינו.

מקרה בוחן: היו שישה מקורות אמת, נשאר אחד

המדריך חי בשישה מקומות: מרחב ויקי, קובצי נהלים, התכתבות התמיכה, מאגר פניות, הודעות נעוצות וטבלה עם הוראות תפעול.

אודיט לפני הקיורציה הראה: 41% מהחומרים סתרו זה את זה או תיארו תהליכים שהוצאו משימוש, כשליש מהכרטיסים שכפלו זה את זה בניסוחים שונים, וחיפוש תשובה ארך עד 22 דקות ובכל זאת הסתיים בעריכה ידנית של הטקסט ישירות בהתכתבות.

איחדנו את המקורות למרשם אחד על בסיס Confluence וסימנו כל כרטיס: בעלים, מועד אישור, קישור לנהל, סטטוס.

כלל העדכניות מעביר לארכיון חומר שבעליו לא אישר בזמן, והמלקט מושך נתונים ממערכת הפניות ומסמן אי-התאמות בין הכרטיס לתהליך בפועל — עריכות נכנסות לתור לבדיקה, ולא הולכות לאיבוד בהודעות פרטיות.

ברבעון הראשון של העבודה המרשם הצטמצם מ-4,800 כרטיסים ל-1,700: כפילויות אוחדו, מיושנים הועברו לארכיון ולא נמחקו — היסטוריית השינויים והחזרה נשמרו. שיעור החומרים המיושנים ירד מ-41% ל-6%, הזמן עד לתשובה — מ-22 ל-4 דקות, עריכות ידניות — מיותר משלוש מאות לארבעים בחודש.

לוח המדדים מציג את שיעור האישורים באיחור ואת מספר אי-ההתאמות בכל מדור, ולכן ההידרדרות נראית לפני שהתמיכה מבחינה בה.

מה לעשות אם המדריך כבר פרוס ומשתמשים בו

מדריך פרוס וכבר פעיל לא סוגרים לשיפוץ: קיורציית AI מופעלת במסלול צל, שקורא את אותו מאגר כמו הגרסה העובדת, אך כותב רק למרחב ביקורות נפרד. הקוראים מקבלים תשובות רגילות, והמדורים במקביל עוברים כללי סימון, קישור ובדיקת מקורות חדשים. אי-התאמה בין המסלולים נראית בלוח הניטור לפני שהיא מגיעה למשתמש.

ההגירה מתבצעת בשלבים, לפי מדורים. ניתוב לפי קידומת מרחב שמות: ענפים שהועברו מטופלים בידי המסלול החדש, והשאר ממשיכים לעבוד לפי ההגדרות הקודמות. כך נפח ההעברה מתחלק למנות, כל אחת נבדקת על מערך שאלות בקרה ומוחזרת לאחור בלי לפגוע במדורים השכנים.

תאימות לאחור של קישורים נשמרת ברמת המזהים: מספר העמוד והכתובת לא משתנים, גם אם הכותרת או המקום בעץ הועברו. כתובות ישנות ועוגנים לתת-מדורים חיים דרך שכבת הפניות — סימניות, קישורים מתוך נהלים ומעברים פנימיים לא נופלים. שיעור המעברים השבורים — אפס, זהו קריטריון קבלה, ולא משאלה.

המעבר גם אינו חד-פעמי: תחילה אינדוקס מקבילי והשוואת תשובות על שאלות ייחוס, אחר כך העברת תעבורה במנות, והמסלול הישן — למילואים. חזרה לאחור — החזרת המצביע לתמונת מצב קודמת, דקות, ולא פירוק ארכיון.

בסופו של דבר המאגר לא נעצר אפילו לשעה, והתוצאה נקראת לפי מדדים: שיעור השאלות בלי תשובה שנמצאה, דיוק על מערך בקרה, מספר המדורים שעברו מחזור קיורציה מלא.

ספקות טכניים נפוצים לפני תחילת הפרויקט

לפני תחילת קיורציה של מאגר ידע עולה אותו מערך שאלות: מי רואה את המסמכים, כמה זמן תיקח העבודה, מי אחראי למשמעות העריכות וכיצד להוכיח את ההשפעה. אנו עונים על כל סעיף באופן קונקרטי, בלי «תלוי במשימה» במקום שאפשר לנקוב במכניקה.

כמה זמן לוקחת הקיורציה?

אודיט של מבנה, כפילויות וגרסאות מיושנות אורך בין כמה ימים לשבועיים, לאחר מכן העבודה מתקדמת באיטרציות לפי לוח זמנים מוסכם. מחזור קבוע שומר על המאגר במצב עדכני: מסמכים חדשים נכנסים למקומם, ומיושנים — מסומנים כלא רלוונטיים.

מי אחראי לתוכן המאגר?

אנחנו אחראים למבנה, לסימון, לקישורים ולפעולת כללי העדכון. החלטות תוכן — מה נחשב לתשובה נכונה — נשארות בידי המומחים שלכם: עריכה משמעותית עוברת אישור של בעל התחום. זה מונע מצבים שבהם שינו ניסוח, והצוות גילה על כך רק מתקלה.

כיצד אתם מודדים תוצאה?

בהתחלה קובעים נקודת מוצא: שיעור השאלות שעליהן המאגר מוצא תשובה, שיעור הקטעים הסותרים והמיושנים, הזמן עד לקישור עובד בחיפוש. בהמשך המדדים האלה עולים ללוח, והשפעת הקיורציה נראית בדינמיקה, ולא לפי תחושות.

נדון במשימה ונחזור עם הערכה ותוכנית עבודה

הערכת היקף העבודה לקיורציית AI של מאגר ידע תלויה בהרכב נתוני המקור ובאופן שבו המדריך חי כיום, ולא במספר המסמכים שבו. כדי לחזור עם תוכנית קיורציה, ולא עם שיקולים כלליים, מספיק לנו חתך ראשוני — שלחו את מה שיש בהישג יד, אין פורמט קפדני:

• כיצד מאורגן המדריך: מדורים, תגיות, גרסאות, קישורים בין מאמרים והאם יש אחראי לכל בלוק;
• מי משתמש בו — תמיכה, מהנדסים, מנהלים, לקוחות — ובאילו ערוצים מגיעות השאלות;
• אילו נושאים נשאלים הכי הרבה ואיפה מחפשים תשובה הכי הרבה זמן לפני הסלמה;
• מה כבר ניסיתם: חיפוש, סימון ידני, הגהה קבועה, הצעות אוטומטיות — ולמה זה לא תפס;
• כיצד מתעדכן התוכן: מי כותב, באיזו תדירות, מה קורה עם מאמרים מיושנים וכפילויות;
• עם אילו מערכות המדריך צריך להישאר תואם ואילו מגבלות גישה קיימות.

זה מספיק כדי לדון במשימה לגופה ולפרוס את העבודה לשלבים: אודיט של המצב הנוכחי, המלצות למבנה ולכללי עדכון, לוח בקרה לאיכות. תארו את המשימה ושלחו חתך — נחזור עם הערכת היקף העבודה ותוכנית קיורציה, שבה בכל שלב רואים את התוצאה ואת נקודת הבדיקה.