מנתח המבצע ניתוח באמצעות קונסולת דה וינצ'י רואה את שדה הניתוח דרך מצלמת סטריאו עם הגדלה של פי 10. תנועות ידיו מוקטנות ומוחלקות מסינון רעידות. אבל אפילו המערכת הרובוטית הטובה ביותר לא עונה על שאלות מפתח: האם עורק נפגע? האם מתח הרקמה מספק? אנו מפתחים מערכות ראייה ממוחשבת (CV) מבוססות בינה מלאכותית שמוסיפות הקשר זה בזמן אמת. מערכת ה-CV שלנו עוקבת אחר מיקומי המכשירים, מבצעת סגמנטציה של מבנים אנטומיים, ובונה מפה תלת-ממדית של שדה הניתוח. זו אינה אב-טיפוס מחקרי—אלה פתרונות מוכנים לייצור עם אישור IEC 62304. הניסיון שלנו: למעלה מ-10 שנים בראייה ממוחשבת ו-5 פרויקטים ברובוטיקה רפואית. עלויות הפיתוח האופייניות נעות בין 50,000 דולר למודול מעקב בסיסי ועד למעל 500,000 דולר למערכת מלאה עם אישור רגולטורי. השקעה בבינה מלאכותית לרובוטיקה כירורגית יכולה להפחית את שיעורי הסיבוכים בעד 30%, ולחסוך אלפים בעלויות תביעות פוטנציאליות. קבלו ייעוץ: נעריך את הפרויקט שלכם תוך יומיים.
להלן נפרט שלוש משימות מפתח: מעקב אחר מכשירים, סגמנטציה של רקמות, והערכת עומק לשכבת AR. נראה אילו מודלים עובדים בחדר הניתוח ונדבר על לוחות זמנים ליישום.
משימות ראייה ממוחשבת ברובוטיקה כירורגית
מעקב אחר מכשירים כירורגיים
המשימה הבסיסית שבלעדיה רוב הדברים האחרים לא יעבדו. המערכת חייבת לדעת בזמן אמת: היכן כל מכשיר (מהדק, מספריים, מחט) נמצא, מה הכיוון שלו במרחב תלת-ממדי, ומה המהירות שלו.
גישת סגמנטציה לפי מופעים: Mask R-CNN או YOLOv8m-seg לסגמנטציה פיקסל-אחר-פיקסל של כל מכשיר. על מערך הנתונים Cholec80 (80 סרטונים של כריתת כיס מרה לפרוסקופית), YOLOv8m-seg מכוונן משיג mAP50 = 0.89 לזיהוי מכשירים. YOLOv8m-seg מהיר פי 3 מ-Mask R-CNN עם דיוק דומה.
גישת זיהוי נקודות מפתח: להערכת כיוון מדויקת—זיהוי נקודות מפתח (קצה, מפרק לסתות, ידית). ViTPose או HRNet מותאמים למכשירים כירורגיים.
כיצד פותרים את בעיית ההסתרה של מכשירים?
ראות חלקית והסתרות—כאשר מכשירים חופפים זה לזה או יוצאים מהפריים. חיזוי זמני (פילטר Kalman או RNN) משחזר את המעקב במהלך אובדן זמני. בפרויקטים שלנו אנו משתמשים בשילוב של YOLOv8-seg ופילטר Kalman עם יכולת תצפית על 5–10 פריימים לאחור.
סגמנטציה של מבנים אנטומיים
הבחנה בין מבנים קריטיים (צינור המרה, עורקים, עצבים) לבין רקמה מסביב—משימה עם דרישות הדיוק הגבוהות ביותר. טעות כאן משמעותה פגיעה בחולה.
היבטים מיוחדים: תמונות תוך-ניתוחיות אינן אנטומיה נקייה מספרי לימוד. דם, עשן מאלקטרוקרישה, ועיוות רקמה במהלך מניפולציות. המודל חייב להיות עמיד בפני חפצים אלה.
מערכי נתונים: CholecSeg8k (8,000 פריימים מתויגים של כריתות כיס מרה, 13 מחלקות רקמה), Endoscapes (סצנות אנדוסקופיות), KidneyVSS. ארכיטקטורה: TransFuse (מיזוג CNN + Transformer) או HardNet—המתמחה בסגמנטציה רפואית.
מדוע הערכת עומק היא המשימה הקשה ביותר?
החלק המורכב ביותר מבחינה טכנית. המנתח עובד במרחב תלת-ממדי אך רואה תמונה דו-ממדית (אם אין מערכת סטריאו). הערכת עומק מאפשרת שחזור תלת-ממד מסרטון אנדוסקופ חד-עיני.
מדוע זה קשה
תמונות אנדוסקופיות מפרות את רוב ההנחות של מודלים סטנדרטיים להערכת עומק:
- עיוות עדשה משמעותי (אופטיקה אנדוסקופית רחבת זווית)
- חוסר מרקם על רקמות הומוגניות (מודלים לא רואים פרלקסה)
- הבזקים ספקולריים—בוהק מרקמות רטובות מטעה את המודל
- עיוות רקמה רכה—בניגוד לסצנות סטטיות, רקמות נעות ומתעוותות
גישות
הערכת עומק בלמידה עצמית (Monodepth2, DynDepth): אימון ללא מפות עומק אמת, רק מרצפי פריימים. הפסד פוטומטרי + חיזוי תנועה עצמית. על נתונים לפרוסקופיים: AbsRel ≈ 0.12–0.18—מקובל להערכות יחסיות.
סטריאו + אור מובנה: ל-da Vinci Xi יש אנדוסקופ סטריאו. הפרש (disparity) מהתאמת סטריאו (RAFT-Stereo, CFNet) נותן עומק מוחלט מדויק. AbsRel < 0.05 עם כיול נכון.
גישה היברידית: הערכת עומק כקדם + נקודות ציון תלת-ממדיות דלילות מהתאמת תכונות (SuperGlue + SuperPoint) לעידון. משמש לשכבת AR של אטלס אנטומי על וידאו.
| שיטה | AbsRel | דורש סטריאו | זמן השהיה (ms) |
|---|---|---|---|
| Monodepth2 (למידה עצמית) | 0.16 | לא | 12 |
| RAFT-Stereo | 0.04 | כן | 28 |
| DPT (חד-עיני) | 0.14 | לא | 18 |
| היברידי (סטריאו + DPT) | 0.03 | כן | 35 |
שכבת מציאות רבודה (AR)
הצגת אטלס אנטומי (מבנים שאסור לפגוע בהם) על גבי הווידאו הכירורגי בזמן אמת. צנרת: הערכת עומק → רישום תלת-ממדי עם CT/MRI טרום-ניתוחי → מודל עיוות רקמה (כדי להתחשב בתנועות) → עיבוד AR.
דרישת זמן השהיה: < 50 ms מקצה לקצה. זה קובע את בחירת הארכיטקטורה: רק מודלים קלי משקל או GPU ייעודי.
תהליך פיתוח מערכת AI מקצה לקצה
אנו מיישמים גישה שלב-אחר-שלב כדי למזער סיכונים ולהבטיח עמידה בתקנים רפואיים.
- ניתוח משימה: איסוף דרישות, בחירת משימות יעד (מעקב, סגמנטציה, הערכת עומק), הערכת נתונים זמינים.
- איסוף ותיוג נתונים: תיוג פריימים (מסכות מכשירים, נקודות מפתח, מפות עומק). אנו משתמשים בכלים פנימיים לסגמנטציה סמנטית. חיסכון בזמן בשלב התיוג—עד 40% באמצעות למידה פעילה.
- אימון ואימות: בחירת ארכיטקטורה, כיוונון עדין על מערכי נתונים רפואיים, הערכה לפי AbsRel, mAP, זמן השהיה.
- אינטגרציה ואופטימיזציה: ONNX Runtime או TensorRT להאצה, פריסה על NVIDIA IGX Orin.
- בדיקות ואישור: אימות על נתונים מייצגים, תיעוד לפי IEC 62304.
- פריסה ותמיכה: התקנה בחדר הניתוח, הכשרת צוות, שירות אחריות.
מה כלול בעבודה
- תיעוד: כרטיס מודל, תיאור ארכיטקטורה, מדריך הפעלה.
- גישה: קוד מקור, מודלים מאומנים, תיוגי מערכי נתונים.
- הכשרה: הכשרת צוות הלקוח לעבודה עם המערכת.
- תמיכה: תמיכה טכנית במהלך היישום ותקופת האחריות.
- התאמה: לחדר הניתוח הספציפי ואינטגרציה עם ציוד קיים.
דרישות מערכת בחדר הניתוח
דרישות רפואיות מחמירות: IEC 62304 (מחזור חיי תוכנה למכשור רפואי), FDA 510(k) או CE MDR לשימוש קליני. זו אינה רק פיתוח CV—זה פיתוח רפואי עם תיעוד, אימות ואישור מתאימים.
פלטפורמת מחשוב: NVIDIA IGX Orin (פלטפורמה מוסמכת רפואית) או NVIDIA Clara Holoscan למערכות AI רפואיות בזמן אמת. תומכת בעיבוד 4K ב-60fps עם זמן השהיה < פריים אחד.
השוואת שיטות סגמנטציה של מכשירים
| שיטה | mAP50 | זמן השהיה (ms) | עמידות להסתרה |
|---|---|---|---|
| Mask R-CNN | 0.91 | 45 | בינונית |
| YOLOv8m-seg | 0.89 | 12 | גבוהה |
| HRNet + Kalman | 0.87 | 18 | גבוהה מאוד |
לוחות זמנים
מערכת מחקרית למשימה ספציפית (מעקב אחר מכשירים או סגמנטציה של מבנה אחד): 3–5 חודשים. מערכת מוכנה לייצור עם אימות רפואי: 9–18 חודשים, בהתחשב בדרישות רגולטוריות. עלות הפיתוח מחושבת באופן פרטני לפי מורכבות והיקף.
העוזר הכירורגי מבוסס ה-AI שלנו משפר את הבטיחות באמצעות התראות בזמן אמת. צרו קשר כדי לדון בפרויקט שלכם. נעזור להעריך משימות ולוחות זמנים. קבלו ייעוץ: המהנדסים שלנו ינתחו את הנתונים שלכם ויציעו את הפתרון האופטימלי. בקשו ייעוץ עוד היום.
פרטים טכניים של הצנרת
למעקב, נעשה שימוש בשילוב של YOLOv8-seg + פילטר Kalman. סגמנטציית רקמות מתבצעת עם TransFuse. הערכת עומק—היברידית של סטריאו ו-DPT. כל הצנרת מותאמת עם TensorRT ורצה על IGX Orin עם זמן השהיה < 50 ms.