רוטוסקופינג בינה מלאכותית: פילוח אובייקטים אוטומטי בווידאו

רוטוסקופיה ידנית של סצנה באורך 4 דקות היא 5,760 פריימים ב-24fps. מומחה מנוסה מכסה 30–60 פריימים ביום, מה שהופך פרק אחד ל-3–6 חודשי עבודה. אנו הופכים תהליך זה לאוטומטי באמצעות AI, ומקצרים את זמן הביצוע לכשבוע. הצינור שלנו משתמש במודלים מתקדמים של פילוח וידאו ובהחלקה זמנית (temporal smoothing) לאיכות ברמה תעשייתית. עובדו מעל 50 פרויקטים, כולל סרטי קולנוע ופרסומות. לקוחות חוסכים עד 70% מתקציבי רוטוסקופיה, שיכולים לנוע בין $5,000 ל-$50,000 בפרויקטים גדולים.

תחומי יישום של רוטוסקופיית AI

רוטוסקופיית AI מחלצת אוטומטית אובייקטים (אנשים, מכוניות, חיות) מתוך וידאו באמצעות מודלים של ראייה ממוחשבת. בניגוד לרוטוסקופיה ידנית, שבה כל פריים משורטט ביד, מודלי AI מפלחים את האובייקט ועוקבים אחר תנועתו. זה חיוני לפוסט-פרודקשן: החלפת רקע, הוספת אפקטים, בידוד אובייקטים לקומפוזיטינג. הטכנולוגיה עובדת על כל סצנה: מפשוטה (מצלמה סטטית, קו מתאר ברור) ועד מורכבת (תנועה מהירה, שיער זורם, המונים).

איך עובדת רוטוסקופיית AI

פרטים טכניים

הגישה המודרנית אינה רק פילוח פריים-אחר-פריים, אלא מעקב אחר מסכות לאורך זמן עם עקביות. כלים מרכזיים:

SAM 2 (Segment Anything Model 2) של Meta SAM 2 — נבנה במיוחד לפילוח וידאו. מספקים נקודה או תיבה תוחמת על הפריים הראשון, והמודל מפיץ את המסכה דרך כל הקליפ תוך התחשבות בתנועה. בפועל: הדיוק נשמר ל-80–120 פריימים ללא הנחיות נוספות, ומעבר לכך נדרש תיקון. מודול הזיכרון של SAM 2 שומר הקשר מפריימים קודמים.

import torch
from sam2.build_sam import build_sam2_video_predictor

predictor = build_sam2_video_predictor(
    "sam2_hiera_large.yaml",
    "sam2_hiera_large.pt",
    device="cuda"
)

with torch.inference_mode(), torch.autocast("cuda", dtype=torch.bfloat16):
    state = predictor.init_state(video_path="scene_001.mp4")
    # Задаём точку на актёре в кадре 0
    _, _, masks = predictor.add_new_points_or_box(
        state,
        frame_idx=0,
        obj_id=1,
        points=[[540, 380]],
        labels=[1]
    )
    # Пропагация маски по всему видео
    for frame_idx, obj_ids, masks in predictor.propagate_in_video(state):
        save_mask(frame_idx, masks)

RVM (Robust Video Matting) — מתמחה בהפרדת אנשים מרקע, פועל בזמן אמת (30fps על RTX 3080). עדיף על SAM 2 לסצנות עם שיער זורם ואלמנטים שקופים למחצה.

למה מתרחשת הבהוב מסכה ואיך לתקן אותה

שימו לב: כשמפלחים פריימים באופן עצמאי, המסכה מהבהבת — הקצוות קופצים 2–5 פיקסלים בין פריימים. בקומפוזיטינג סופי, זה נראה כמו קו מתאר רועד. פתרון — החלקה זמנית:

1. עקביות זרימה אופטית: יש ליישם RAFT או FlowFormer לחישוב זרימה אופטית בין פריימים; לעקם את המסכה מפריים N לפריים N+1 ולממוצע עם תחזית המודל.
2. עיבוד שלאחר עם פעולות מורפולוגיות: erode/dilate קל על המסכה מסיר רעש; טשטוש גאוסיאני על הקצוות יוצר מעברים חלקים.
3. Alpha matting: במקום מסכה בינארית (0/1), משתמשים באלפא רך (0..1) על הקצוות — דרך GuidedFilter או Deep Image Matting.

בפועל: SAM 2 ללא החלקה זמנית מראה הבהוב קצוות בתנועה מהירה. לאחר יישום RAFT + עידון אלפא עם ViTMatte, תזוזת קצה המסכה בין פריימים היא מתחת ל-1.2 פיקסלים (יציבות תת-פיקסלית).

איך החלקה זמנית מבטלת הבהוב מסכה

החלקה זמנית אינה רק פילטר אלא סט של טכניקות המבטיחות עקביות זמנית של המסכה. זרימה אופטית (RAFT) מעבירה את המסכה מפריים לפריים, בעוד alpha matting (ViTMatte) מוסיף דיוק תת-פיקסלי בקצוות. התוצאה: מסכה יציבה גם בסצנות מורכבות עם תנועה מהירה.

תהליך עבודה בייצור

1. פילוח אוטומטי ראשוני עם SAM 2 / RVM — כל הקליפ.
2. בקרת איכות: גלאי הבהוב אוטומטי (שונות מסכה בחלון נע של 5 פריימים > סף).
3. תיקון ידני רק בפריימים בעייתיים — דרך Silhouette, Mocha Pro, או After Effects Roto Brush.
4. עידון אלפא עם ViTMatte לשיער ובדים שקופים למחצה.
5. ייצוא רצף EXR עם ערוץ אלפא.

יחס ידני-לאוטומטי: סצנה פשוטה — 90/10, מורכבת — 60/40. חיסכון בתקציב על סרט עלילתי יכול להגיע למאות של כ-$9–13 בחיסכון. צינור רוטוסקופיית ה-AI שלנו משתמש ב-SAM 2 ו-RVM לפילוח אובייקטים אוטומטי בוידאו.

צרו קשר להערכה מדויקת של הפרויקט שלכם. אנו נבחר את הצינור האופטימלי ונחשב את העלות באופן אישי. לצוות שלנו ניסיון של 10+ שנים ב-VFX, עם הסמכה בקומפוזיטינג.

מה כלול

• פילוח אוטומטי ראשוני באמצעות המודל הנבחר (SAM 2, RVM).
• בקרת איכות וגילוי הבהוב עם דוח.
• תיקון ידני של פריימים בעייתיים (עד 10% מהנפח הכולל) — ללא עלות.
• עידון אלפא לשיער, עשן, אובייקטים שקופים למחצה.
• ייצוא בפורמט הנדרש (EXR, PNG, MOV עם ערוץ אלפא).
• הכשרת הצוות שלכם לשימוש במסכות המתקבלות (לפי בקשה).

לוחות הזמנים הם משוערים; הערכה מדויקת לאחר בחינת חומר המקור. העלות מחושבת באופן אישי לפי מורכבות הסצנה והאיכות הנדרשת. הזמינו ריצת ניסיון של קליפ באורך דקה כדי לוודא את האיכות. קבלו ייעוץ לפרויקט שלכם — נעזור לבחור את הגישה הטובה ביותר.

קישורים: RVM