מערכת AI לניתוח זרימות של אנשים ותחבורה לפי נתונים גאוגרפיים

מדוע ניתוח AI של זרימות אנשים נכשל בנתונים עירוניים

ספירה אוטומטית של זרימה נשברת לא על המודל, אלא על נתוני הקלט. מכשיר שנוסע בתא הרכב וטלפון של הולך רגל נכנסים לאותה דגימה, ולכן ניתוח AI של זרימות אנשים מערבב תנועת הולכי רגל עם תנועת כלי רכב. התוצאה — צפיפות מוגברת על עורקים ראשיים ומופחתת במעברים בין שכונות, אף שהתמונה הפיזית הפוכה.

המקור השני — חוסרים בנתונים גאוגרפיים. אירוע לא מגיע בכל דקה, חלק מהמכשירים כלל לא נכנסים ללוג, ובגבולות האזורים הרשומה נקטעת. המודל משלים את הפער ליניארית ומקבל פרופיל חלק אך שגוי: שיא בנקודה אחת ושקט מדומה בשכנה, לשם אנשים פשוט לא הגיעו ברגע המדידה.

מעל זה פועלות אנומליות תנועה: יריד, תיקון כביש, סגירת תחנה לסוף שבוע. פרץ חד-פעמי נכנס לאימון כנורמה ומזיז את הרכיב העונתי. שגיאות זיהוי מצטברות בשקט — דיוק ספירת הזרימה יורד בחצי, ובגרף המסכם זה נראה כצמיחה אחידה.

דווקא על נתונים כאלה מתקבלות החלטות לגבי האובייקט: מציבים נקודת משיכה במקום שבו הזרימה הייתה שבוע אחד, ולא רואים ביקוש יציב בשתי שכונות סמוכות. מפרקים כיצד זה נסגר — מניקוי הדגימה ועד בדיקת המודל במדידה בלתי תלויה.

אפקט מדיד: דיוק, מהירות ועמידות המערכת

תוצאת מערכת AI לניתוח זרימות מתפרקת לגדלים שהמזמין יכול לבדוק בעצמו, ולא לקבל כמובן מאליו. את שיעור האובייקטים שזוהו נכון, היקף ההצלמה הידנית וזמן הכנת הדוח אנו קובעים לפני ההתחלה — על דגימה מתויגת של מקטעים וחלונות זמן, ואותם ערכים נכנסים גם לקבלה.

דיוק הזיהוי נספר בנפרד לפי סוגי משתתפי התנועה: הולך רגל, רכב פרטי, זרימת מעבר. בזרימה מעורבת השגיאות מתפלגות באופן לא אחיד, ולכן המספר הכולל של המערכת לא מוכיח דבר.

הסיווג מובהר לפי שכבת אזורים ואובייקטי תשתית, שהגאומטריה שלהם נלקחת מ-OpenStreetMap ואחר כך נבדקת מול מסלולים בפועל.

זמן הכנת הדוח מפסיק להיות תלוי בעבודה ידנית: אגרגטים לפי רשת נספרים באופן תקני, והייצוא נאסף משכבות מוכנות. ההצלמה הידנית מצטמצמת לדגימת בקרה — המפעיל בודק לא את כל המערך, אלא את הרשומות שבהן המודל נתן ביטחון נמוך וסימן אותן לבדיקה.

בנפרד אנו סוגרים סוג תקלות שקודם שבר את החישובים: פערים במסלול במקומות אובדן אות, כפילויות במעבר בין אנטנות, ספירה כפולה בגבולות אזורים. התאמת סשנים ודה-דופליקציה מסירות אותם לפני האגרגציה, ולכן הרצה חוזרת על אותם נתונים נותנת אותה תוצאה. החישובים משוחזרים, והפערים בין שני דוחות תמיד מוסברים — עד למקטע ולשעה ספציפיים.

מקורות נתונים ומצבי עיבוד: מה מתאים למשימה

בחירת המקור נקבעת לפי השאלה: האם נדרש כיסוי של שטח, דיוק בנקודה מסוימת או רטרוספקטיבה. נתונים גאוגרפיים אנונימיים של מפעילי סלולר מראים זרימות בין רובעים, נדידת מטוטלת ופרופילים יומיים, אך מחליקים פרטים בתוך השכונה.

חיישנים עצמאיים מדויקים בכניסות ובמעברים צרים, אך תלויים בהתקנה, באספקת חשמל ובמזג אוויר — זה המחיר של הפירוט. מצב העיבוד הוא הציר השני של הבחירה: ספירה מקוונת מוסרת עומס נוכחי, וניתוח ארכיוני משחזר היסטוריה ומשמש כתקן לכיול.

בפועל, הסכימה כמעט תמיד היברידית: הנתונים הגאוגרפיים קובעים את הכיסוי, החיישנים מדייקים נקודות מפתח, והארכיון בודק שהחישוב לא התפצל מהמציאות. בהתאם למשימה אנו בוחרים שילוב מתוך הטבלה הזו וקובעים אילו מגבלות מקובלות עליכם.

כיצד אנו מטמיעים את המערכת: שלבי העבודה ההנדסית

מערכת ניתוח זרימות מתחילה לא במודל, אלא בביקורת נתונים. אנו בוחנים אילו מקורות זמינים — ייצוא אנונימי של מפעילי סלולר, מסלולי כלי רכב, שכבות בנייה ואירועים — והאם צפיפותם מספקת עבור המקטעים הנדרשים. אם מדלגים על שלב זה, המודל יספור רעש בביטחון.

1. ביקורת נתוני המקור. בודקים שלמות, תדירות ואיכות של חתכים, מוצאים פערים וכפילויות, ומסמנים אזורים ושעות בעלי כיסוי חלש. התוצאה — מפת כשירות הנתונים.
2. איחוד מקורות. ממירים את הייצואים לסכימה אחידה, מצנזרים ומקשרים ביניהם, כך שזרימה אחת מתוארת באופן זהה ללא תלות במקור.
3. כיול מודלים. מכווננים את הפרמטרים לעיר הספציפית: צפיפות בנייה, מצב פעולת התחבורה, עונתיות. המודל לומד על חתכים היסטוריים, ולא על תבניות ממוצעות.
4. דגימת בקרה. חלק מהנתונים לא משתתף בהגדרה — עליו מאמתים את החישוב מול המציאות. כך רואים היכן המודל טועה באופן שיטתי והיכן באופן חד-פעמי.
5. בדיקה באתר. מאמתים את החישוב מול ספירה בשטח במקטעי בקרה — צומת, מפרק, תחנה. סטייה מעל הסף מחזירה אותנו לכיול, ולא לדוח.
6. מסירה לתפעול. פורסים את המערכת בצד שלכם, מגדירים עדכון נתונים והתראות, מאמנים את הצוות, מוסרים תיעוד.

מה נשאר לאחר ההשקה

תקנון: באיזו תדירות לבחון מחדש את המודל, אילו סטיות נחשבות עילה לכיול חוזר ומי אחראי על עדכון הנתונים.

תיעוד, סכימות ותקנונים: הרכב הערכה הנמסרת

ערכת התיעוד נאספת במקביל לפיתוח, ולא לפני המסירה: מערכת שתוארה בדיעבד מתפצלת מהמצב בפועל, וכעבור חודש אף אחד לא משתמש במסמכים כאלה. להלן מה שנשאר פיזית אצל המזמין ומאפשר לפתח ניתוח זרימות של אנשים וכלי רכב בכוחות הצוות שלו.

• סכימת זרימות הנתונים — ממקור הנתונים הגאוגרפיים ועד חלונות האנליטיקה: אילו שדות מגיעים, היכן מתעשרים ומתאגדים, היכן נשמרת השכבה הגולמית, באיזו תדירות מתעדכן כל מקטע.
• תיאור לוגיקת החישוב — כיצד נספרים עוצמה וצפיפות הזרימה, כיצד מזוהים אנומליות ומסלולים יציבים, אילו כללים חותכים חריגים ופערים בנתונים.
• מדיניות גישה — תפקידים ומטריצת הרשאות לפי אובייקטים ושטחים, הבחנה בין חתכים רגישים, נוהל הנפקה וביטול הרשאות, תיעוד פניות לנתונים.
• תקנון עדכון הנתונים — חלון חישוב מחדש, התנהגות המערכת באיחור או בניתוק מקור, נוהל פרסום גרסה חדשה של המודל וחזרה לקודמת.
• הוראות לצוות — הפעלה ועצירה של קווי עיבוד, אבחון תקלות טיפוסיות, נוהל פעולה בירידת מקור, נקודות שבהן נדרש מהנדס והיכן המערכת מתמודדת לבדה.
• מילון מדדים — הגדרות אחידות של המדדים, כך ש"זרימה" בדוח ובמודל תסמל אותו דבר, ללא פערים בין אגפים.
• יומן החלטות — אילו שינויים הוכנסו ללוגיקת החישוב ומדוע: בבדיקת תקלה רואים את הסיבה, ולא רק את התוצאה.

כל מסמך חי במאגר של המזמין ומתעדכן יחד עם הקוד — הפער נראה בסקירה, ולא מתברר ברגע התקלה. המסירה אינה "שלחנו ארכיון": מפרקים את הסכימות עם הצוות, עונים על שאלות וקובעים מי אחראי על איזה קו עיבוד לאחר ההשקה.

מקרה בוחן: כיצד השתנה דיוק הספירה באובייקט אמיתי

האובייקט — מפרק תחבורה-הולכי רגל עם ארבע גישות: שתי מצלמות הסתכלו לאורך הכביש, ושתיים — על מעברי הולכי רגל.

המזמין הגיע עם מדידות ידניות בשעות השיא, ודווקא אותן לקחו כדגימת התקן: מסלולים גולמיים, אזורים גאוגרפיים ותוויות אובייקטים נאספו ל-PostGIS, כדי לאמת את הספירה האוטומטית מול הידנית בכל דקה.

בכניסה, ההתאמה למדידה הידנית עמדה על רמה של שלושה מקרים מתוך ארבעה ביום ושניים מתוך שלושה בלילה. קבוצת הולכי רגל נספרה כאובייקט אחד, השתקפויות על אספלט רטוב יצרו התראות שווא, והמסלול נקטע כשזרימת כלי רכב הסתירה אדם. בעיה נוספת — חוסר סנכרון זמן בין המצלמות: אותו רכב נכנס לדוח פעמיים.

מה כויל

ספי הביטחון של הזיהוי הופרדו לפי תרחישים — שעות אור, לילה, משקעים — במקום סף כללי אחד. הפריים המלא הוחלף באזורי עניין, החותכים חלונות ראווה והשתקפויות, ותפירת מסלולים דרך חסימות הוגדרה לפי כיוון תנועה וזמן ההיעלמות, ולא לפי קרבת האובייקטים. הזמן במצלמות נקשר למקור משותף, כדי שזרימות בצומת יצטברו ולא יוכפלו.

מה התקבל

דיוק הספירה עלה מ-74% ל-94% בשעות אור ומ-61% ל-88% בלילה, שיעור קטיעות המסלולים ירד משליש ל-6%. הסטייה מהמדידה הידנית בשעות השיא נשמרת בטווח של 3–4%, והדוחות לפי שעות וכיוונים נבנים אוטומטית — אין עוד צורך בייצואים נפרדים לאימות.

במה שונה ספירת אנשים לפי נתונים גאוגרפיים מניתוח וידאו?

מצלמה ונתונים גאוגרפיים מודדים גדלים פיזיקליים שונים. ניתוח וידאו מזהה אובייקטים בפריים וסופר חציות של קו מוגדר, ואילו נתונים גאוגרפיים הם רישומים אנונימיים מצטברים של מכשירי מנויים באזור שירות. מכאן נבדלים הכיסוי, הפירוט ומגוון המשימות שבכלל יש смыс להציב בפני כל מקור.

נתונים גאוגרפיים מנצחים בכיסוי: הם מכסים עיר או אזור ללא התקנת ציוד, פועלים מסביב לשעון ואינם תלויים בתאורה, במזג אוויר ובזווית. המחיר לכך — רזולוציה. הזרימה נראית ברמת האזור, ולא של אדם בודד, ובמספרים קטנים מופעל סף האנונימיזציה, וחלק מהערכים מגיעים מוחלקים. קשה להבחין בין הולך רגל, רכב ומעבר דרך הרובע בנפח הכללי ללא סימנים נוספים.

ניתוח וידאו חזק בנקודה: מבחין בין סוג האובייקט, בכיוון ובזמן המעבר, ומוסר מדד עבור כניסה ספציפית. אך הטעות שלו גדלה דווקא במקום שבו הזרימה הכי מעניינת — בהמון צפוף, בחסימות, בדמדומים ובמשקעים, במפגש אזורי הראייה, שבו אותו אדם נכנס לשני מונים.

לכך נוספים גידול ליניארי של עלויות הכיסוי: כדי לכסות רובע, יש צורך בפרופורציה גדולה יותר של מצלמות, התקנה ותחזוקה.

לכן בחירת מקור הנתונים נקבעת לפי המשימה, ולא לפי נוחות הכלי. נדרשת ספירה מדויקת בכניסה ופילוח לפי סוגים — ניקח וידאו. נדרש מבנה של זרימות בין רובעים, קצבים יומיים ושבועיים, כיסוי שטח ללא ציוד — נעבוד עם נתונים גאוגרפיים.

סכימה משולבת נותנת את הטוב משניהם: ספירת וידאו בנקודות עוגן משמשת תקן כיול, והנתונים הגאוגרפיים מרחיבים את התמונה לכל העיר ומקשרים בין הנקודות. להלן מפרקים כיצד בוחרים מקור למשימה ספציפית.

ספקות טכניים: פרטיות, דיוק ואינטגרציה

מזהים גולמיים של מכשירים לא יוצאים מהקו שלנו: בכניסה הם מוחלפים בפסבדונים עם salt שמתחלף לפי לוח זמנים, ולאנליטיקה נכנסים רק אגרגטים לפי תאי גיאוגרפיה. תאים שבהם מספר המכשירים נמוך מהסף שנקבע אינם מתפרסמים כלל — דרכם לא ניתן לשחזר את המסלול של אדם ספציפי.

קו כזה סוגר את דרישות הגנת המידע האישי, ובמקביל מותיר את הנתונים כשירים למודל: על האגרגטים נראים הן פיזור הזרימות והן העונתיות היומית.

בזרימות קטנות המספרים מתנהגים אחרת — מכשירים בודדים יוצרים קפיצות שקלות להיתפס כמגמה. אנו סופרים את הדיוק בזרימות קטנות במפורש: בונים רווחי סמך, מחליקים לפי זמן ולא מציגים מסקנה במקום שבו הדגימה נמוכה מהסף. בדוח רואים לא נקודה אחת, אלא טווח, ולכן החלטות לא מתקבלות על רעש.

אינטגרציה עם מערכות החשבונאות של המזמין מתבצעת דרך חילוף תקני. מתאימים את מפקדי האובייקטים והאזורים, ממירים אגרגטים לפורמט שלכם ומוסרים אותם לאחסון או לדיווח שכבר פועל — המערכת מתייצבת לצד וממלאת את מה שאתם משתמשים בו, בלי לבנות מחדש את התהליכים.

מה אם חלק מהנקודות לא מוסרות נתונים?

אנו מחזיקים מפת כיסוי לפי אזורים ובודקים אותה באופן קבוע. אם אזור נופל, הזרימה דרכו מסומנת כלא שלמה, ולא מחושבת על ידי המודל — אחרת היו מופיעים בדוח מספרים שלא קיימים בנתונים. הפער נסגר על ידי הוספת מקור או תיקון גבולות האזור.

נדון במשימה: ממה נתחיל ומה נדרש מצדכם

תחילת הפרויקט נתקלת לא במודל, אלא בנתונים ובהרשאות: ללא חתכים היסטוריים והבנה כיצד בנויים המקורות, לא ניתן להעריך בכנות לא את הארכיטקטורה ולא את לוחות הזמנים. להלן — רשימת הקלט המינימלית מהמזמין, שלאחריה אנו חוזרים עם תוכנית עבודה והערכה, ולא עם שאלות הבהרה.

• מטרות וגבולות: אילו החלטות אתם מקבלים לפי התוצאה — עדיפות מסלולים, עומס תחנות, תחזית מרווחי שיא.
• חתכים היסטוריים אנונימיים של נתונים גאוגרפיים על פני כמה תקופות, כולל ימים אנומליים: חגים, תיקונים, תקלות.
• מפקדים ושכבות: תחנות, מסלולים, לוחות זמנים, גבולות רובעים ונקודות משיכה.
• הרשאות למערכות: אחסון נתונים, תור אירועים, פאנל ניטור תחבורה — עם הרשאת קריאה.
• אחראי על הנתונים מצדכם ונוהל אישור שינויים במקורות.
• דרישות לייצוא התוצאה: פורמט, לאן כותבים, מי ובאיזו תדירות צופה בסיכום.
• מגבלות על מידע אישי וכללי אחסון של מערכים אנונימיים.

ברגע שהרשימה סגורה, אנו מתארים את סכימת העיבוד, בודקים אותה על החתך ההיסטורי שלכם ומראים היכן המודל טועה. לאחר מכן קובעים שלבים, היקף עבודה ולוחות זמנים. תארו את המשימה — נחזור עם הערכה ותוכנית.