פיתוח מערכת בינה מלאכותית לניטור איכות אוויר

מדוע פיתוח מערכת AI לניטור אוויר נתקע בנתונים

כשל קלאסי בשלב ההתחלה — אובדן כיול של העמדות. חיישן אלקטרוכימי סוטה תוך חודשים ספורים מהכיול מהייצור, הקריאות נעות, אבל הטור נשאר חלק: לא קפיצות ולא קטיעות שהמפעיל היה מבחין בהן. מודל שאומן על סדרה כזו משחזר את ההסטה כנורמה — ורובע «שקט» נראה מזוהם יותר משכנו בלי שום בסיס.

המקור השני לטעויות — חוסרים בטלמטריה. סוללה שהתרוקנה, אתחול של Gateway, קטיעה בערוץ — ובטור מופיעים חורים, שבשלב הכנת הנתונים סוגרים אותם באינטרפולציה. המודל מפסיק להבחין בין «אין נתונים» ל«אוויר נקי», ובפלט אנחנו מקבלים התראות שווא או, גרוע מכך, אירוע זיהום שהוחמץ.

הלאה — חוסר סנכרון בין העמדות ומקורות מפוזרים. חיישנים מקומיים, תחנות עירוניות ותחזיות מטאורולוגיות מגיעים בקצבי דגימה שונים ובחתימות זמן שונות, חלקם באיחור. כל עוד כל זה לא מיושר לציר זמן משותף ולשיוך מרחבי, השוואה בין העמדות והעברת דפוסים מאחת לאחרת לא מניבות דבר.

רעש וסחיפה של חיישנים, חוסרים, חוסר סנכרון — שלוש תקלות שונות, והטיפול בהן שונה: הצלבה בין עמדות, סטטוס נפרד של «אין נתונים» במקום אינטרפולציה, רשת זמן אחידה. בדיוק משום כך פיתוח מערכת AI לניטור אוויר מתחיל לא בבחירת המודל, אלא במעגל הכנת הנתונים — נפרט כיצד זה נסגר.

מה נותן ניטור חזוי של איכות האוויר

התראת סף מופעלת כשהחיישן כבר צבר ריכוז: אנחנו מתעדים את השיא במקום למנוע אותו. מודל חזוי פועל על ההתנהגות המשותפת של העמדות, של סדרות מטאורולוגיות ושל לוח האירועים העירוני — מגיב לשיפוע העקומה ולמעבר זיהום מרבעות שכנים, ולא לקפיצה בודדת בערך.

שיעור ההתראות השווא יורד מ-30–40%, האופייני לספי קשיחים, לכמה אחוזים בודדים באותה רמת זיהוי של חריגות אמיתיות. הזמן עד לגילוי החריגה מתקצר מעשרות דקות ל-2–5: האות מגיע לפני שהריכוז מגיע למקסימום, ולאחראי נשאר מרווח לפעולה.

אופק התחזית — מכמה שעות ועד יממה, עם עלייה צפויה בשגיאה לקראת סוף החלון. זה מספיק כדי לעצור עבודות באתר, לשנות מסלולי השקיה וניקיון או להתריע לבתי ספר, בלי להמתין לאישור לפי מדידות.

שלמות הנתונים לאחר הניקוי היא תנאי מוקדם, לא קוסמטיקה: הקשר עם העמדות נופל, החיישנים סוחבים בין כיולים, וחלק מהערכים הם חריגים ממקורות מקומיים.

צינור הבדיקה והשחזור של הטורים מעלה את שיעור הנקודות הראויות לאימון ולחישוב מ-70–80% ליותר מ-95%; בלעדיו המודל לומד על רעש ומאבד דיוק דווקא באירועים חדים.

בנפרד נסגר סוג של כשלים שאינו מטופל בסכמות סף: התראת שווא מפחיתה את אמון המפעיל, מכבים את ההתראות — וחריגה אמיתית עוברת בלי ששמו לב.

את התנהגות המודל אנחנו מצליבים עם מדידות בלתי תלויות, כולל ארכיונים עירוניים פתוחים OpenAQ ונתוני עמדות ייחוס, כדי שהמדדים יישארו ברי בדיקה ולא הצהרתיים.

דרכי איסוף וכיול נתונים: השוואת גישות

את תקרת הדיוק של כל המערכת קובעים לא המודל, אלא נתוני הקלט: חיישן לא מכויל סוחב תוך שבועות ספורים, ורגישות צולבת ללחות ולחומרים מחמצנים יוצרת שיאים מדומים במקומות שבהם הרקע נקי. להלן אפשרויות איסוף מציאותיות, שביניהן בוחרים בהתחלה, והמגבלות שלהן.

הסכמה ההיברידית עובדת רק בנוכחות תחנות ייחוס להשוואה: לפיהן נבנה תיקון לקריאות של חיישנים זולים, ומודל הכיול עצמו מאומן מחדש לפי עונה ולאחר החלפת חיישנים. קריטריון הקבלה כאן הוא שיעור המדידות התקפות ושחזוריות הפרופיל היומי, ולא מספר הנקודות על המפה.

שלבי ההטמעה: מביקורת נתונים ועד להפעלה ניסיונית

הפעלה ניסיונית אינה הרצה חד-פעמית של המודל, אלא רצף עבודות שבו כל שלב מותיר אחריו חפץ ברי-בדיקה: מרשם מקורות, תרשים זרימות, תצורת מודלים, פרוטוקול בדיקה. הסדר חשוב: מודל שאומן על מקורות שלא נחקרו משחזר בקפידה את שגיאות החיישנים ומוציא תחזית סבירה אך שגויה.

1. ביקורת מקורות נתונים. עורכים מלאי של עמדות הניטור והפידים החיצוניים, בוחנים את תדירות ההגעה, החוסרים, סחיפת הכיול, כפילויות ופערים ביחידות מידה. התוצאה — טבלת כשירות של המקורות: מה נכנס למודל, מה דורש בדיקה, ומה מוחרג.
2. תרשים זרימות נתונים. מתארים את המסלול מהחיישן ועד לאחסון ולתצוגות: חציצה בעת קטיעת הקשר, חתימות זמן, המרת יחידות, עיבוד חוזר של רשומות «מאחרות». התרשים מוסכם לפני כיוונון המודלים — אחרת המאפיינים מחושבים באופן שונה באימון ובהפעלה.
3. הכנת מאפיינים וכיוונון מודלים. אוספים טורים היסטוריים, מסנכרנים נתונים מטאורולוגיים ולוח שנה, מנקים חריגים. בנפרד מכווננים מודל לחיזוי ריכוזים ומודל לגילוי אנומליות — יש להם דרישות שונות לרגישות ומחיר שונה להתראת שווא.
4. בדיקה על נתונים היסטוריים. מריצים את המודלים על תקופה מושהית, כולל אירועים של שריפות, אינוורסיה ותקלות ציוד. משווים למדידות ייחוס ובוחנים לא את השגיאה הממוצעת, אלא את ההתנהגות בשיאים — דווקא שם הפתרון מביא תועלת.
5. הפעלה ניסיונית. מריצים במקביל למעגל התצפית הקיים, מצליבים את ההתראות עם האירועים בפועל, מכווננים ספים כדי שההתראות לא יהפכו לרעש.
6. מסירה והדרכת הצוות. מוסרים תיעוד, תקנון אימון מחדש, נוהל הוספת עמדות חדשות וניתוח כשלים אופייניים. מהנדסי הלקוח מבצעים עדכון אופייני של המודל בעצמם.

כל שלב מסתיים בהדגמה קצרה, ולכן פערים בנתונים ובציפיות צפים בתחילת העבודה ולא בהשקה.

מה נשאר אצלכם לאחר מסירת המערכת: חפצים ותקנונים

מערכת עובדת היא לא רק שירות שמגיב לבקשות. יחד איתה אתם מקבלים ערכה שלפיה הצוות שלכם יוכל להפעיל, לאמן מחדש ולפתח אותה בלעדינו: מתרשים זרימות הנתונים ועד תקנונים שקובעים מי ומתי רשאי לשנות הגדרות.

• תרשים ארכיטקטורה: מסלול המדידה מהחיישן ועד לתצוגות ולדוחות, גבולות השירותים, נקודות כשל ומצבי דעיכה — מהנדס חדש מתמצא לפי המסמך, לא לפי התכתבות.
• תצורות צינור העיבוד: כללי ניקוי, צבירה והמרה, ספי התראות, לוחות זמנים — מוצאים מחוץ לקוד, ולכן נערכים בלי להוציא גרסה חדשה.
• מדיניות גישה לנתונים: תפקידים, הפרדה לפי אתרים וסוגי מדידות, רישום פניות ביומן, נוהל הענקה ושלילת הרשאות.
• תקנון כיול: תדירות ההשוואה למידה, תיעוד הסחיפה, סבילויות ופעולות בחריגה מהן, האחראי לחתימה.
• הוראות הפעלה: תרחישים אופייניים, אבחון חוסרים בזרם, התנהגות בעת דעיכת הקריאות, נוהל הסלמה.
• ערכות לבדיקת איכות ומדדי ייחוס: לפיהם מתקבל כל אימון מחדש — מודל לא יוצא לעבודה אם נכשל במדגם הביקורת.
• יומן החלטות הנדסיות: מדוע נבחרו דווקא ספים ומסננים כאלה — בניתוח תקלה המשיב משחזר את ההיגיון לפי הרשומה, לא לפי הזיכרון.

הערכה בנויה כך שהמערכת תישאר ניתנת לניהול בלעדינו: עריכות בצינור לא דורשות הוצאת גרסה, הכיול מתבצע לפי התקנון, והגישות — לפי המדיניות.

מקרה בוחן: רשת עמדות עירונית — מהתראות שווא לתחזית

רשת העמדות העירונית הורכבה מתחנות של ספקים שונים: חלקן העבירו מדידות פעם בשעה, חלקן פעם בחמש דקות, ובחלק מהעמדות היו נפילות קשר של יממה. המוקדן ראה זרם שבו אי אפשר להשוות ערכים ישירות, וכללי הסף הופעלו על כל אנומליה של חיישן.

את החיבור של עמדות הטרוגניות התחלנו בהבאת כל המדידות לסכמה אחידה: מערך מדדים משותף, סקאלת זמן אחידה וסימן איכות מפורש לכל רשומה. את האימות הצלבנו עם הארכיון הפתוח OpenAQ — כך הופרדו אירועי זיהום אמיתיים מתקלות ציוד.

מה השתנה ברשת

תחזית החריגות נשענת על קישור של עמדות שכנות ופרמטרים מטאורולוגיים: אם שתיים-שלוש תחנות באותו אזור מתעדות עלייה, המערכת מוציאה התראה מראש. המשמרת התורנית מספיקה ליידע את האחראים ולצאת למקור, במקום לנתח את האירוע בדיעבד.

המכריע היה לא החלפת הציוד, אלא החיבור: בדיקה צולבת של עמדות נותנת יותר מחיישן מדויק בודד. המעגל מתרחב לתחנות חדשות בלי אימון מחדש מאפס — עמדה חדשה נכללת בהיגיון הבדיקות המשותף.

מה לעשות אם רשת החיישנים כבר פרוסה והנתונים מזוהמים?

הרשת כבר עומדת ועובדת, הנתונים זורמים לדוחות, והחלטות נשענות עליהם — אף אחד לא יסכים לעצור את האיסוף כדי «לעשות הכול נכון מחדש». בה בעת, בחלק מהעמדות הכיול סטה, במקומות מסוימים יש חוסרים לפי שעות, ולכל יצרן יש פורמטי זמן ויחידות משלו.

לכן הצעד הראשון הוא להירשם לרשת במצב קריאה, בלי לשנות את המעגל הפעיל. לצידו מופיע שכבה שנייה של עיבוד: הערכים הגולמיים נכתבים כמקודם, ומעליהם מתבצעת בדיקה לחוסרים, חריגים, קריאות תקועות וסחיפה ביחס לעמדות שכנות. ההפעלה לא נעצרת ולו לשעה, וכל תיקון נרשם ביומן עם ציון הכלל.

הניקוי הרטרוספקטיבי של הארכיון מתבצע לפי אותם כללים כמו הזרם. מריצים את ההיסטוריה דרך אותן בדיקות ומקבלים סקאלה אחידה: רשומות מהתקופה הקודמת ונתונים חדשים מחושבים באופן זהה ומפסיקים לסתור זה את זה. הערכים המקוריים נשמרים לצד, ולכן בניתוח רואים מה הגיע מהחיישן ומה הושתל.

חיבור של נתונים הטרוגניים הוא החלק הקפדני ביותר. העמדות נדגמות בתדירויות שונות, חתימות הזמן מגיעות באזורי זמן שונים, ולמנתחי גז ולמדדי אבק יש יחידות בלתי ניתנות להשוואה.

מביאים הכול לזמן ולסקאלה משותפים, משייכים לפרמטרים מטאורולוגיים ולבדיקת ייחוס — כך אפשר להבחין בין שיא בודד לאירוע אמיתי, במקום לנחש אם מדובר בתקלה או בחריגה.

חיבור הדרגתי מפחית את הסיכון. מתחילים מעמדה אחת או מסוג חיישנים אחד: בוחנים את שיעור הערכים הפסולים ואת הפער מול מדידות הביקורת, ורק אחר כך מרחיבים לקבוצה הבאה. בסופו של דבר הלקוח מקבל ארכיון נקי למפרע ונתונים צפויים קדימה, בלי להוציא מכלל פעולה אף צומת ובלי לעצור את הניטור.

ספקות נפוצים של מהנדסים: עונים על שאלות טכניות

להלן שאלות שמהנדסי הפעלה ומחלקות איכות שואלים לרוב, כשהפתרון עובר מהפעלה ניסיונית להפעלה קבועה. לכל סעיף יש נוהל עבודה, לא הבטחה: אפשר לבדוק אותו על הנתונים שלכם לפני ההשקה.

במה נבדל ערך חריג מחריגה — האם לא יהיו התראות שווא?

אלה שני סוגים שונים של אירועים, והסף שלהם שונה. ערך חריג הוא קפיצה בודדת, ותופסים אותו בהשוואה לחציון של חלון נע ובבדיקה צולבת מול עמדות שכנות: עלייה בו-זמנית במספר נקודות מעידה על מעבר אמיתי, ושיא בודד — על הפרעה או תקלת חיישן.

חריגה היא רמה יציבה מעל הנורמה לאורך חלון מיצוע שנקבע בתקנון. ההתראות, היומנים והדיווח עליהם נפרדים, ולכן הרעש של החיישן לא נכנס לסיכומים הרשמיים.

מה קורה אם עמדה מפסיקה ליצור קשר?

העמדות מעבירות טלמטריה ב-MQTT, ואנחנו עוקבים לא רק אחר הקריאות השימושיות, אלא גם אחר מדדים תפעוליים: מתח האספקה, זרם, ספיקת אוויר דרך תא המדידה. חוסר בטור, רמה שקפאה או עלייה ברעש מעבירים את העמדה לסטטוס של בלתי מהימנה — היא מסומנת על המפה, במקום לעוות את התמונה בשקט.

את ההערכה לאזור בונה המודל לפי עמדות שכנות עם תיקון לסחיפה מטאורולוגית, ומראה בכנות את האזור שבו חסרים נתונים.

היכן נשמרים הנתונים ולמי יש גישה אליהם?

טורים גולמיים, תוצאות סימון וגרסאות מודלים נשמרים במעגל שלכם, ולחוץ יוצאת רק סקירה נטולת זיהוי, אם היא נדרשת לפרסום. הגישה מופרדת לפי תפקידים — מפעיל, אנליסט ומנהל רואים דברים שונים, הפעולות נרשמות ביומן, ואפשר לשלול גישה בלי לעצור את המערכת. ייצוא הארכיון לרשויות הביקורת נאסף בדוח נפרד לפי תקופה מוגדרת.

באיזו תדירות צריך לאמן את המודל מחדש?

באופן מתוכנן — לפי עונה: משתנים המקורות, מצבי החימום וכיוון הרוחות השולטות. באופן מוקדם — לפי סחיפה: אם האיכות במדגם הביקורת נשארת מתחת לסף המוסכם כמה ימים ברצף, האימון מופעל אוטומטית.

גרסת המודל מתועדת, אפשר לחזור לגרסה הקודמת, והשוואה בין שתי גרסאות על אותו קטע היסטוריה מראה מה בדיוק השתנה.

נדון במשימה: מה לשלוח כדי לקבל הערכה ותוכנית

כדי לחזור עם הערכת לוחות זמנים ותוכנית, איננו זקוקים לפרויקט טכני מוגמר — די בנתוני מקור ובתשובות לכמה שאלות. את העלות והמורכבות של מערכת ניטור האוויר קובעים לא גודל השטח, אלא צפיפות העמדות, איכות הטלמטריה שנצברה, ואילו החלטות בנוגע לזיהום מתקבלות כיום.

• הרכב העמדות. כמה נקודות, היכן הן ממוקמות, אילו חיישנים עליהן (אבק, דו-חמצני חנקן, אוזון, חד-חמצני פחמן), מאיזו גובה נדגם האוויר ומה מספק את החשמל והתקשורת באתר.
• ייצוא טלמטריה. קובץ או גישה לאחסון של כמה חודשים: חתימות זמן עם אזור זמן, יחידות מידה, סימונים על כיולים והשבתות. לפי נתונים אלה אנחנו מעריכים אם ההיסטוריה מספיקה לאימון.
• רשימת משימות הניטור. מה המערכת צריכה לעשות: להתריע על חריגות, לבנות מפת זיהום עירונית, לנתח מקור סביר או לחשב תחזית.
• דרישות מהתחזית. אופק התחזית וצעד התחזית, השגיאה המותרת לאורך האופק, לפי אילו עמדות וחומרים מחשבים — מזה תלוי גם המודל וגם היקף העבודה.
• מדידות ייחוס. נתונים של תחנת ייחוס או מדידות מעבדה — לפיהם מכוונן תיקון ללחות ולטמפרטורה, אחרת חיישנים זולים יוצרים הסטה.
• נוהל אישור השלבים. מי מקבל את התוצאה, האם נדרשת אינטגרציה עם המוקד או עם האקולוגים, האם אתם מוכנים להפעלה ניסיונית על חלק מהעמדות לפני הרחבה לכל הרשת.

מערכה זו נבנית תוכנית: הכנת נתונים, אימון ובדיקת המודל, אותות למפעיל, תקנון הצלבה עם מדידות ייחוס. תארו את המשימה ושלחו את מה שכבר קיים — נחזור עם הערכת לוחות זמנים והרכב השלבים.