פיתוח מערכת בינה מלאכותית לשליטה ברחפנים ובכטב״ם באמצעות למידת חיזוקים

שליטה ברחפן AI: היכן נשברים הטייסים האוטומטיים הקלאסיים

מעגל הבקרה הקלאסי נבנה סביב מודל מחושב מראש: המקדמים נבחרים לפי מסה נומינלית, אווירודינמיקה ותרחיש טיסה משוער. כל עוד התנאים תואמים את המחושב, הטייס האוטומטי מחזיק במסלול בביטחון — בעיות השליטה ברחפן מתחילות בגבולות המותרים, שם המודל מפסיק לתאר את המציאות.

הראשון — החלפת מטען ייעודי. תליתם מצלמה כבדה יותר מהקודמת, הזזתם את מרכז המסה — ואותה לוגיקה נותנת יתר-תיקון ותנודות עצמיות: המכשיר "מנקר" באף, סוטה, מאבד גובה בסיבוב. השני — רוח ומשבים: הרגולטור מפצה על הפרעה באיחור, ובמסלול ארוך השגיאה מצטברת עד לטיסה לא יציבה.

השלישי — אובדן אות ומסלולים לא שגרתיים. תרחיש דטרמיניסטי יודע "רחף" ו"חזור לנקודה", אבל לא יודע לבנות מסלול מחדש בשטח לא מוכר או לעקוף מכשול דינמי. כאן כשל של הטייס האוטומטי נראה כמו כשל של הציוד, אף שהמכשיר תקין — חסרה מדיניות התנהגות.

כל אחד מהמקומות האלה הוא צוואר בקבוק של השליטה, והוא לא מטופל על ידי כיוונון מקדמים. למידת חיזוק יוצרת מדיניות אחרת: לא לפי נוסחאות, אלא מניסיון של אלפי הרצות בסימולטור עם רוח, מסה שונה וניתוקי קשר. נבחן כיצד מערכת שליטה כזו ברחפן AI סוגרת את הכשלים האלה.

מה נותנת למידת חיזוק בטיסות אמיתיות

למידת חיזוק נותנת את מה שמעגל ייצוב קלאסי לא מצליח לספק: מדיניות שליטה שלמדה לא על מסלול אחד, אלא על אלפי אפיזודות עם רנדומיזציה של תנאים — מסה והזזת מרכז המסה, משבי רוח, ירידת דחף, השהיית ערוץ וכשלים של חיישנים בודדים.

הסוכן מקבל תגמול על שמירה על מסלול נתון ועל השלמת משימה, ולא על פריים מוצלח בודד של שליטה, לכן בטיסה אמיתית הוא בוחר מצב שמחזיק את המשימה כולה, ולא רק מתמודד עם הפרעה אחת.

באופן מדיד זה נראה בשלושה מספרים: שיעור המשימות שהושלמו בהצלחה, סטייה מקסימלית מהמסלול הנתון ומספר ההתערבויות הידניות של המפעיל לשעת טיסה.

לאחר העברת המדיניות המאומנת לסיפון, בדרך כלל מצטמצם פיזור הסטייה במסלול ופוחת מספר ההתערבויות — המפעיל מ"טייס בתוך הלולאה" הופך לצופה, שמתחבר בשלב בחירת המשימה, ולא בכל תיקון.

אפקט נפרד — עמידות בפני הפרעות והחלפת ניווט. את המדיניות מאמנים מחדש בתרחישים עם עיוות אות ואובדן זמני של פתרון ניווט, לכן המכשיר לא נסחף לסחיפה בלתי נשלטת, אלא עובר להחזקה לפי נתונים חזותיים ואינרציאליים וממשיך במסלול.

סוג שלם של כשלים — אובדן שליטה בהשפעה חיצונית — יוצא מהסטטיסטיקה, ואיתו יוצא גם המצב הידני כמעגל גיבוי חובה.

העברה בין מערכות ניתנת הודות לחיבור עם סטאק טיסה פתוח: אנחנו עובדים עם PX4 כפלטפורמה על הסיפון, לכן המדיניות המאומנת משתלבת בחומרה ובצי הקיים ללא החלפת מכשירים.

אימון מחדש על לוגים של טיסות אמיתיות מדייק את המודל בתנאי האתר הספציפיים — וטיסה אוטונומית מפסיקה להיות הדגמה, והופכת למצב עם אחוז ביצוע משימות צפוי.

מצבי אימון ושליטה: השוואת גישות

בחירת המעגל נקבעת לא לפי אופנה, אלא לפי כמה טיסות אמיתיות אתם מוכנים להשקיע באימון וכמה יקרה הטעות. הסימולטור נותן אלפי אפיזודות ללא סיכון לחומרה, אבל מדיניות שאומנה על מודל דינמיקה אידיאלי מתפרקת מרעש חיישנים ומהשהיות במעגל. נתוני טיסה סוגרים את הפער הזה, אבל יש מעט מהם והם מכסים מצבים באופן לא אחיד.

אנחנו משווים אפשרויות לפי שלושה צירים: כמה טיסות אמיתיות נדרשות עד לאיכות עבודה, כיצד המדיניות מתנהגת מחוץ למצב הנומינלי וכמה עולה אימון מחדש לאחר החלפת פלטפורמה או מטען ייעודי.

העברת המודל למעגל אמיתי

זהו שלב נפרד, ולא תופעת לוואי. באימון מכניסים פיזור של מסה ודחף, השהיות של ערוץ שליטה, רעש והטיית חיישנים, מגבלות זווית ומהירות — אז המדיניות מפסיקה להיות תלויה בקבוצת תנאים אחת. הבדיקה נעשית בשלבים: מתקן, טיסות קצרות עם גיבוי מפעיל, ואז הרחבת מצבים.

שלבי פיתוח: מביקורת טלמטריה ועד בדיקות טיסה

סדר העבודה בנוי כך ששגיאות נתפסות על הקרקע ולא בטיסה. כל שלב מסתיים בארטיפקט שניתן לבדוק: סימון לוגים, תרשים מעגלי שליטה, תוצאה של סדרת הרצות בסימולטור. עוברים לשלב הבא לאחר קבלת השלב הקודם — כך שליטה ברחפן מבוססת AI מכויילת ללא סיכון למכשיר ולאתר.

1. ביקורת טלמטריה והגדרת מטרה. מנתחים את הלוגים הקיימים: תדר דגימת חיישנים, חוסרים, רעש, התנהגות המכשיר במצבים שונים ובטייס ידני. קריטריוני קבלה מנסחים באופן מדיד — שמירה על כיוון וגובה, זמן תגובה לפקודה, שיעור משימות שהושלמו בהצלחה.
2. תרשים מעגלים ומגבילים הגנתיים. קובעים מה פותר המודל המאומן ומה נשאר בייצוב קלאסי: חזרה הביתה, הגבלת גובה, גבולות אזור, ריחוף חירום. המודל לא מקבל שליטה במקום שהשגיאה שלו בלתי הפיכה.
3. הרכבת סביבת אימון. בונים סימולטור לפי מידות של מכשיר ספציפי ומוסיפים הפרעות: רוח ומשבים, הזזת מרכז המסה, השהיות בערוץ תקשורת, כשלי חיישנים. ככל שמודל הסביבה נאמן יותר, כך פחות הפתעות בשטח.
4. כיול המודל. מעצבים פונקציית תגמול: קנסות על עומסי יתר חדים, יציאה מהמסדרון, תנודה. האימון מתנהל בגלים, גרסאות מתועדות בנפרד — צריך יכולת לחזור לגרסה הקודמת.
5. הרצת תרחישים לא שגרתיים. מריצים אובדן אות, כשלים, פריקות, מסלולים מתנגשים. מתעדים היכן המדיניות מתדרדרת באופן צפוי והיכן היא מתנהגת באופן לא יציב.
6. בדיקות טיסה. הולכים בשלבים: מתקן, ריחוף, משימות קצרות, מסלול מלא בתנאים שונים. פער מהסימולטור מנתחים ומדייקים או את המודל או את התאום הדיגיטלי.
7. מסירת המערכת. מעבירים משקלי מודל, קונפיגורציות, סקריפטים לאימון, תיעוד לאימון מחדש ופרוטוקולי בדיקות טיסה, וכן מלווים את השבועות הראשונים של התפעול.

הרכב האספקה: קונפיגורציות, תיעוד, נהלים

הפרויקט נמסר לא כשהמודל טס בביטחון בסימולטור, אלא כשהצוות שלכם יכול להרכיב מחדש, לבדוק ולבצע רולבק בבטחה בלעדינו. לכן באספקה נכללת לא רק מדיניות שליטה מאומנת, אלא כל מעגל הליווי שלה — מקונפיגורציות הסיפון ועד נהלי התפעול.

• קונפיגורציות סיפון: פרמטרים של בקר טיסה, רגולטורים ומגבילים עם הסבר איזה תרחיש נסגר באילו ערכים ומה אסור לשנות.
• סביבת אימון: תרחישים, פונקציות תגמול, קבצי הרצה ותלויות מקובעות — הניסוי משוחזר במכונה שלכם עם אותה תוצאה.
• כרטיסי מודלים: ארכיטקטורה, טווח נתוני קלט, מטריקות על מדגם מוחזק וגבולות ישימות המתוארים במפורש.
• תרשימים: מעגל שליטה, נתיב נתונים מהחיישנים לפקודות, נקודות כשל והתנהגות הסיפון בעת אובדן קשר.
• מדיניויות גישה ותפקידים: מי עורך קונפיגורציה, מי רק קורא טלמטריה, כיצד מופרדים המתקן והסיפון האמיתי.
• נהלי תפעול: בדיקות לפני טיסה, סדר עדכון המודל, פעולות במקרה של סטיית התנהגות מהצפוי.
• תוכנית רולבק: כיצד להחזיר גרסה קודמת של המודל והקונפיגורציה בפעולה אחת, בלי לעצור את תוכנית הניסויים.

תיעוד המערכת מנוהל במעגל שלכם — מאגר קוד, מרשם מודלים, בסיס ידע פנימי. הקבלה נעשית לפי צ'ק-ליסט: המהנדסים שלכם מריצים בעצמם אימון ועדכון סיפון, אנחנו מתעדים פערים וסוגרים אותם לפני החתימה.

מקרה בוחן: ייצוב טיסה באזור ללא קשר לוויינים

איך היה לפני ההטמעה

מדדים נלקחו על סוג משימה אחד — הקפה של אובייקט מוארך באזור ללא קשר לוויינים: בנייה צפופה, תבליט צר, הפרעות בערוץ שליטה. המפעיל הוביל את המכשיר ידנית לפי וידאו מהסיפון.

במדגם של עשר טיסות, ארבע משימות הופסקו לפני סוף המסלול, סטייה צדית מהנתיב הגיעה ל-12–15 מטר, והקפה חוזרת של אותו נתיב לא תאמה את הקודמת — אי אפשר היה להשוות נתונים בין טיסות.

מה שינו ומה לא עבד בניסיון הראשון

אימנו מדיניות שליטה בסימולטור עם רנדומיזציה של דינמיקה, משבי רוח ורעש חיישנים, ואז העברנו לסיפון. הערכת מיקום הורכבה מנתונים אינרציאליים, זרימה אופטית ואודומטריה חזותית, והמעגל נסגר על ROS 2.

הגרסה הראשונה לא עברה בדיקה: התגמול עודד שמירה על מיקום, וברוח צדית המכשיר ריחף במקום להמשיך במסלול. שכתבנו את פונקציית התגמול, הוספנו קנס על מסלול שלא הושלם והרחבנו את הרנדומיזציה של ההפרעות.

מה השתנה

באותו נתיב, משימות שהופסקו — אחת מתוך שתים עשרה, סטייה צדית — כ� метр, פיזור בין הקפות חוזרות של אותו נתיב — חצי מטר. הנתונים נעשו ברי השוואה בין טיסות, והמפעיל עבר ממצב שליטה רציפה למצב בקרה והתערבות לפי סטייה.

מה לעשות אם על הסיפון כבר פועל מעגל AI מוכן

תשובה קצרה: אין צורך לשכתב מעגל עובד. פתרון מוכן בדרך כלל סוגר את הרמה התחתונה — ייצוב, שמירה על גובה וכיוון, ביצוע פקודות מפעיל — והוא כבר נבדק בטיסות אמיתיות. המדיניות המאומנת משתלבת ברמה מעל: היא לא שולטת בהנעות ישירות, אלא יוצרת ערכי יעד שאותם מבצע אותו רגולטור קלאסי.

נקודת האינטגרציה — ממשק פקודות וטלמטריה שכבר קיים במערכת. אם החלפה מתבצעת דרך ערכי יעד של מהירות, מיקום וגובה, הסכימה החדשה מתחברת בלי התערבות בבקר הטיסה. חשוב ששתי הסכימות יכתבו לאותו יומן: אז ההתנהגות מושווית באותן טיסות, והפערים נראים לא לפי תחושות אלא לפי נתונים.

המעבר מתבצע לפי מצבים, ולא באופן מלא. שלב ראשון — הפעלה בצל: החלטות המודל המאומן מחושבות ונרשמות בלוג, אבל לא משפיעות על השליטה. שני — החלפת מקטע אחד, למשל עקיפת מכשולים או טיסה לפי מסלול, תוך שמירת המעגל הקלאסי כגיבוי. שלישי — הרחבה לשאר המצבים, אם הסטטיסטיקה המצטברת מאשרת יציבות.

בחירת הסכימה תלויה לא בחדשנות הגישה, אלא באזור האחריות: היכן שהשליטה הקלאסית צפויה יותר, משאירים אותה, ואת החלק המאומן מפעילים שם שהכללים נעשים רבים מדי ומתחילים לסתור זה את זה.

מעבר כזה משאיר אפשרות לחזור להתנהגות הקודמת במתג אחד — וזה התנאי העיקרי שבו החלפת מעגל על הסיפון בכלל מותרת.

ספקות טכניים נפוצים לפני תחילת הפרויקט

ספקות טכניים לפני התחלה הם בדרך כלל אותם ספקות: כיצד לבדוק התנהגות מודל בלי סיכון לחומרה, מי אחראי לבטיחות טיסה ומה יישאר לצוות לאחר ההפעלה.

אנחנו מתייחסים למדיניות השליטה כשכבה הניתנת להחלפה מעל הלוגיקה התקנית של הסיפון: אפשר לכבות או לבצע לה רולבק בלי להוציא את המכשיר מכלל פעולה.

מה יקרה אם המודל יטעה באוויר?

מעגל מגבלות חיצוני פועל ללא תלות במודל: הוא מחזיק גובה ומהירות, משאיר את המכשיר באזור המותר ומחזיר אותו בעת אובדן קשר. המדיניות לא שולטת בהנעות ישירות, לכן שגיאה שלה מפעילה את מנגנון ההגנה. כל מקרה מנתחים לפי לוגים.

האם יהיה צורך לאמן את המודל מחדש לכל סיפון?

בדרך כלל לא. המדיניות מאומנת עם פיזור תנאים, לכן היא עוברת בין מכשירים מאותו סוג וסובלת שינויים קטנים במסה ובעומס. בשינוי קונפיגורציה מהותי, אימון מחדש נעשה בסימולטור על הקלטות טיסה.

מה כלול בתחזוקה לאחר ההפעלה?

נהלים: בקרת איכות שליטה לפי טלמטריה, מעקב אחר סחיפת המודל בשחיקת חומרה, עדכון מדיניות מתוכנן. מעבירים תיעוד, קונפיגורציות ותרחישי בדיקה, כדי שאפשר יהיה להפעיל תמיכה בכוחות עצמכם.

נדון במשימה ונחזור עם הערכה ותוכנית עבודה

כדי לחזור עם הערכה, ולא עם שאלות הבהרה, אנחנו צריכים מכם מינימום לפרויקט. להלן מה שבאמת משפיע על הארכיטקטורה והזמנים: את השאר המהנדסים שלנו משחזרים בעצמם לפי לוגים, טלמטריה והתיעוד שלכם.

• סוג המכשיר, סכימת שליטה ופלטפורמת סיפון שעליה אפשר להתקין מודל שליטה ברחפן.
• תרחישי יעד: מה המכשיר עושה בכניסה, איזו תוצאה נחשבת להצלחה ומה נחשב לכשל.
• מגבלות סביבה: מסדרון טיסה, עומס רוח, הפרעות, דרישות להתנהגות בעת אובדן אות.
• נתונים: לוגי טיסה, טלמטריה, הקלטות חיישנים, תיאור אתר ניסויים או סימולטור שבו אפשר לצבור ניסיון בלי סיכון למכשיר.
• מדדי קבלה — שיעור אפיזודות מוצלחות, זמן הגעה ליעד, יציבות במצבים לא שגרתיים.
• אחראים מצדכם: מי פותח גישה למכשירים ומתאם ימי טיסה.
• מגבלות בטיחות חיצוניות שאסור להפר באימון ובבדיקות.

בתגובה אתם מקבלים הערכת פרויקט ותוכנית עבודה: שלבים, תוצאה של כל שלב, סדר התחלה ונקודות שבהן אנחנו מתייעצים איתכם. בנפרד אנחנו מראים את הסיכונים — היכן חסרים נתונים והיכן יהיה צורך להגביל את השליטה בכללים — ובמה אנחנו סוגרים כל סיכון. תארו את המשימה בצורה חופשית: נחזור עם הערכה ותוכנית עבודה.