הטמעת זיהוי אנומליות בסדרות זמן (Anomaly Detection)

איתור אנומליות בסדרות עיתיות: היכן נשברת הבקרה

ניטור מופיע בדרך כלל לפני המודל: לוחות מחוונים קיימים, הספים מוגדרים, אבל האירוע מתגלה רק מתלונת משתמש. הסיבה היא השהיה באיתור: כלל מחשב ממוצע על חלון של 10-15 דקות ומשווה לסף סטטי, ולכן דעיכה הדרגתית צוברת תאוצה הרבה לפני ההפעלה. עד לרגע ההתראה ההפסדים כבר הצטברו.

נקודת הכשל השנייה היא התראות שווא של הניטור. סף אחד מיושם על סדרה עם עונתיות יומית ושבועית, על אזורים בעלי עומס שונה ולעיתים בתקופת שחרור — שיאים ליליים ועבודות מתוכננות יוצרים רעש. התורן מקבל עשרות התראות, רק חלק קטן מאושר, וכעבור כמה שבועות מפסיקים לשים לב לאות.

השלישי — פער בין הנתונים להתראות. הטלמטריה נשמרת במאגר אחד, הכללים חיים במערכת ההתראות, ותגית על אתחול צומת או שינוי תצורה לא מגיעה לאנליטיקה. הסדרה נראית כאנומליה, אף שמאחוריה עומד אירוע ידוע, ומשוב מהמהנדס למודל לא חוזר — הבקרה על הטלמטריה נשארת ידנית.

המשותף לכל שלושת המקרים — האנומליה מוערכת מחוץ להקשר של הסדרה, ואיתור אנומליות בסדרות עיתיות הופך לניתוח ידני של גרפים. אנו מפרקים כיצד זה נסגר: קו בסיס לפי עונתיות, ספים אדפטיביים על חלון נע, תיוג של הפעלות מאושרות ונדחות, ומעגל אחד מקבלת הטלמטריה ועד להתראה.

השפעות ההטמעה: פחות התראות שווא ופחות השבתות

ההשפעה הראשונה נראית בשיעור התראות השווא. במקום סף קשיח, המודל חוזה טווח צפוי תוך התחשבות בעונתיות יומית ושבועית ובמגמה, ולכן ההתראה מגיעה על סטייה מהתחזית, ולא על העלייה עצמה בערך. גיבוי מתוכנן, ייצוא דוח או זינוק בשעת שיא מפסיקים להעיר את התורן.

השנייה — הזמן עד לגילוי הסטייה. בעבר היא צפה לפנייה של משתמשים או לפי עצם התקלה, כעת החציון בין תחילת הסטייה להתראה נמדד בדקות. בנפרד נסגר סוג כשלים שסף כלל לא תופס: החלקה איטית של מדד, דעיכה מצטברת וחוסר סנכרון בין סדרות קשורות. הם אינם חוצים גבול מיידי, אבל לאחר שעות מובילים לעצירה.

השלישי — העומס על משמרת התורן. אנו סופרים התראות במשמרת ואת השיעור מהן שדורש התערבות אמיתית: לאחר כוונון על חלונות היסטוריים, התראות מיותרות נעלמות, והאירוע מנותח בשלב הדעיכה, כאשר די להעביר צומת או להסיר עומס, ולא לשחזר נתונים. זמן ההשבתה, הנמדד בשעות אדם של משמרות, מצטמצם בדיוק הודות לשלב המוקדם.

אנו בודקים זאת על נתוני עבר, ולא על סמך מילים: המודלים מתחברים למאגר מדדים כמו Prometheus, מורצים על אירועים מתויגים, ולפני/אחרי משווים שלמות גילוי, שיעור התראות שווא וזמן תגובה.

מצבי איתור: אצווה, זרימה והיברידי: מה לבחור

המצבים נבדלים לא בעוצמת המודל, אלא ברגע שבו מחושבת תכונת האנומליה. עיבוד אצווה של הסדרה מחשב מחדש חלון שלם לפי לוח זמנים — המודל רואה את כל ההקשר ומפריד בביטחון בין עונתיות לחריגה.

איתור בזרימה מעריך כל נקודה בכניסה: השהיית הגילוי נמדדת בשניות, אבל החלון קצר, ומגמה איטית אינה נראית בו.

המצב ההיברידי מפריד בין המשימות: מעגל מהיר תופס חריגות חדות בזרימה, וחישוב רקע על ההיסטוריה המצטברת מדייק את הספים וממתן התראות שווא. הוא יקר יותר לתחזוקה — שני מעגלים, תיאום כללים, שמירת היסטוריה — אבל רק הוא מכסה מקרים שבהם האנומליה מתגלה גם מיד וגם כשינוי לאורך שבועות.

הקריטריון המעשי לבחירה — הזמן המותר עד לאות ומחיר התראת השווא: הוא שקובע אם המעגל השני מוצדק.

סדר העבודות: מביקורת נתונים ועד מסירת נהלים

סדר העבודות זהה גם לפיילוט על צומת אחד וגם להטמעה בכל הצי — משתנה רק היקף ההיסטוריה. כל שלב מסתיים בארטיפקט שנבדק בשלב הבא, ולכן אי אפשר לדלג עליו.

1. ביקורת נתונים היסטוריים. מפרקים את עומק הארכיון, תדירות המדידות, החמצות וחיישנים תקועים. בנפרד אוספים יומן אירועים: מה נחשב לתקלה ומי תיעד אותה.
2. תיאום קריטריון איכות. קובעים מה יקר יותר — החמצת אירוע או התראת שווא. איכות נמדדת לפי אפיזודות, ולא לפי נקודות: הגלאי צריך לתפוס את האירוע בשלמותו ולא לפרק אותו לעשרה הפעלות.
3. הכנת מדגם ייחוס. מתייגים מקטעים תקינים ואנומליים, ומקרים שנויים במחלוקת מוציאים בנפרד. חלק מההיסטוריה מניחים בצד ולא נוגעים בו עד לבדיקה הסופית.
4. כוונון וכיול. בוחרים רגישות וספים לפי הקריטריון המתואם. עונתיות, שינוי מצב ועצירות מתוכננות לא אמורים להיקרא כתקלה.
5. בדיקה על תקופה נדחית. מריצים את הגלאי על נתונים שהוא לא ראה, כולל החלפת עונה. בודקים לא רק דיוק, אלא גם מרווח הזמן עד לאירוע — האם התורן מספיק להגיב.
6. נוהל תגובה ומסירה. מתארים למי הולך האות, מה לעשות בעת הפעלה, איך מסמנים התראת שווא. מוסרים הגדרות, תיעוד וסדר עדכון על נתונים חדשים.

ערכת מסירה: תצורות, תרשימים ונהלים

פתרון שאי אפשר למסור לצוות אחר נשאר בשליטת המחבר בלבד. לכן יחד עם המודל אנו מוסרים ערכה הנדסית: לפיה מהנדס תורן של הלקוח יקים את הגלאי מאפס, ישנה רגישות וינתח אירוע ללא התמיכה שלנו.

• תצורות הגלאי — ספי רגישות, חלונות ניתוח, תיקון לעונתיות, כללי דיכוי רעש ולוח זמנים לאימון מחדש נמצאים במאגר הקוד כקבצים, ולא בהגדרות הממשק.
• תרשימי זרימות נתונים — מהיכן מגיעות הסדרות, היכן מתבצעים ניקוי וצבירה, לאן הולכות הערכות האנומליות ואיך מתנהג המעגל בעת ניתוק מקור.
• מדיניות גישה — תפקידים לקריאת מדדים ולשינוי ספים מופרדים, מפתחות חיבור נשמרים במאגר מאובטח ומוחלפים לפי לוח זמנים.
• תיעוד הפתרון — ארכיטקטורה, הרכב תכונות, יומן ניסויים עם מדדי איכות, סדר פריסה וחזרה לגרסה קודמת.
• נוהל התראות — רמות קריטיות, מסלולי אותות, זמן תגובה, כללי הסרת כפילויות וסדר ניתוח התראות שווא.
• יומן בדיקות — כיצד לשחזר אירוע קודם על חיתוך נתונים שמור ולוודא שתיקון הספים לא שבר מדדים שכנים.

את הערכה מפרקים בקבלה יחד עם צוות הלקוח: העבודה לא נחשבת למסורה עד שהמהנדס שלו יקים את הגלאי וינתח אירוע בדיקה בעצמו.

מקרה בוחן: הסרנו התראות שווא ליליות בזרימה

מעגל תעשייתי: כמה מאות חיישנים — לחץ, טמפרטורה, רעידות — מעבירים טלמטריה אל Prometheus, והמפעיל עוקב אחרי גרפים בפאנל משותף. ההתראות הוגדרו על ספים סטטיים שנבחרו ידנית: הגבול החזיק מעמד עד לשינוי הראשון במצב פעולת הקו.

מה היה לפני: משמרות לילה בעיוורון

בלילה הקו עובר למצב אחר, והספים שהוגדרו ביום נתנו עד 7 התראות שווא מתוך 10. המפעיל עלה לאזור, בדק את הצומת וחזר בלא כלום — במשמרת הצטברו כמה עשרות בדיקות ריקות, והקשב לאותות ירד.

סטיות אמיתיות הלכו לאיבוד: סחיפה איטית של רעידות התקרבה לסף ולא חצתה אותו — כך במשך רבעון הוחמצו שלושה מקרים שבהם מסב עבר את הגבול התפעולי.

מה שינו ומה יצא

בחודש הראשון לאחר ההטמעה המודל עבד במצב צל לצד הספים הישנים, ופערים נותחו ידנית — זה נתן בסיס השוואה הוגן. אחר כך האותות פורקו לרכיב עונתי: הפרופיל היומי והשבועי מופחת, הגבולות מחושבים מחדש לפי חלון נע, והתראה עולה רק בעת סטייה יציבה של כמה נקודות ברצף. את הסף כיילו לפי מספר התראות יעד למשמרת, ולא לפי דיוק על ההיסטוריה.

התראות שווא ליליות ירדו מ-7 מתוך 10 ל-1 מתוך 10, זמן התגובה — מחצי שעה לכמה דקות, וסטיות שהוחמצו בשמונה חודשי תצפית אין. יציאות לילה של משמרת התורן הצטמצמו לאחת-שתיים בשבועיים, וכללי הסף הישנים נשארו פעילים כגיבוי.

במה שונה סף סטטיסטי ממודל מאומן

סף סטטיסטי ומודל מאומן נבדלים לא בדיוק הכוונון, אלא במקור של גבול הנורמה. במקרה הראשון מהנדס מגדיר אותו ככלל על נתונים היסטוריים, ובשני — פונקציה ששוחזרה ממספר רב של תצפיות. הסף צפוי וניתן לשחזור, והמודל רגיש לסטיות חלשות שהכלל אינו רואה.

סף מחשבים לפי ממוצע ופיזור של המדד, לעיתים קרובות לאחר הסרת עונתיות ומגמה. אם התהליך יציב, והכשלים מתגלים בחריגה חדה מהגבול, זה מספיק: את הכלל מסבירים בשורה אחת, והתראת שווא התורן מנתח בדקה.

עונתיות ומגמה הן המקור העיקרי לשגיאות: מרווח המחושב על פני כל הסדרה נותן מספר שונה של הפעלות בתקופות שונות.

מודל מאומן חוזה את הנקודה הבאה ומשווה לעובדה, או משחזר את צפיפות ההתנהגות התקינה — למשל, Isolation Forest. הוא תופס שינויים הדרגתיים, שילובי תכונות והפרה של צורת הפרופיל היומי. המחיר — היסטוריה לאימון, נוהל אימון מחדש וירידה ביכולת הפרשנות: ניתוח אירוע דורש הליך נפרד.

פשרה מעשית — סף אדפטיבי: הגבולות מחושבים לפי שאריות לאחר דקומפוזיציה ולפי חלון נע, בעקבות עונתיות ומגמה, אך נשארים כלל שניתן לבדוק. את המודל מחברים במקום שבו מחיר ההחמצה גבוה ממחיר התראת השווא, ומחזיקים אותו כמעגל שני.

את הבחירה מאשרים באמצעות מדדים: שיעור האירועים שנמצאו, מספר התראות השווא למשמרת, זמן עד הגילוי. אם המודל מפסיד לכלל פשוט לפי המספרים האלה, איננו מסבכים את המעגל.

שאלות נפוצות לפני התחלה: נתונים, תיוג, ספים

לפני התחלה עולים בדרך כלל אותם ספקות: מהיכן לקחת תיוג כשיש אנומליות נדירות, מה לעשות עם עונתיות משתנה ואיך לשלב את הגלאי במעגל פעיל.

העונתיות משתנה — האם לא יהיו יותר התראות שווא?

קו הבסיס מחושב מחדש בחלון נע, והפרופילים העונתיים נבנים בנפרד לפי שעות וימי שבוע, ולכן שינוי עומס הדרגתי מטופל. חגים ומבצעי מכירות מוציאים ללוח אירועים, ואת שינוי מצב הפעולה של המעגל — לנקודת אימון מחדש נפרדת.

איך לשלב זאת במעגל קיים בלי לעצור?

מתחילים ממצב צל: הגלאי מחשב לפי זרם הנתונים, אבל אינו מחליף דבר. אחר כך מגיע מצב המלצות, שבו ההחלטה נשארת בידי המפעיל, ורק לאחר מכן — פעולות אוטומטיות. הרשאות ניתנות בחשבון שירות עם הרשאות מינימליות, והחזרה לאחור נעשית באמצעות הסרת דגל.

מה עם בקרת איכות לאחר ההפעלה?

ללוח המחוונים מוציאים את שיעור התראות השווא, השהיית הגילוי וכיסוי המקטעים המנותחים, ולצדם — התראה על דעיכה. פעם בשבוע מנתחים הפעלות עם המפעיל: מקרים שנויים במחלוקת עוברים לתיוג, והספים מחושבים מחדש לפי התוויות המצטברות.

נדון במשימה: מה נדייק ומה נשלח בתשובה

כדי לחזור עם הערכה, ולא עם שאלות הבהרה, בשיחה ננתח שלושה דברים: מהיכן מגיעות הסדרות העיתיות ובאיזו תדירות, האם יש תיוג של אירועים קודמים, ומה בטרמינולוגיה שלכם נחשב לאנומליה — חריגה בודדת, שינוי רמה או סטייה מהפרופיל העונתי. זה מספיק כדי להבין את סוג המשימה ולא לתכנן שכבות מיותרות.

איסוף הדרישות נעשה לפי נתונים, ולא לפי משאלות: בודקים נתוני עבר, מעריכים את שיעור ההחמצות והרעש, ובודקים אם האירוע משוחזר על ההיסטוריה. לאחר מכן מרכיבים תוכנית עבודה והערכת לוחות זמנים — עם שלבים, נקודות קבלה ורשימה מפורשת של מה שנדרש מצדכם.

יחד עם ההערכה והתוכנית נשלח:

• תרשים המעגל: מקורות הסדרות, תדירות ההגעה, המאגר שאליו הולך האות על אנומליה;
• רשימת מדדי איכות על היסטוריה מתויגת — שיעור האירועים שהוחמצו ושיעור התראות השווא;
• תוכנית עבודה לפי שלבים: הכנת נתונים, מודל בסיס, כוונון ספים, הפעלה ניסיונית, מסירה;
• הערכת לוחות זמנים לכל שלב ורשימת מקומות שבהם נדרשת החלטה שלכם;
• דרישות לנתונים: עומק נתוני העבר, תיוג אירועים, הרשאות גישה למאגרים;
• אפשרויות מצב עבודה — דוח תקופתי או אות מקוון עם התראה לאחראי;
• תנאי החזרה לאחור וקריטריוני קבלה שלפיהם אתם מקבלים את התוצאה.

תארו את המעגל והנתונים לאיתור אנומליות בסדרות עיתיות — נחזור עם הערכה ותוכנית.