שחזור תלת-ממד אינטראקטיבי בשיטת Gaussian Splatting: פיתוח מקצה לקצה

למה 3D Gaussian Splatting לא מגיע לגרסת עבודה

הכשל הראשון — פער בין הדמו לדפדפן. בעמדת הדמו הסצנה נבנתה בתאורה אחידה ובהקפה מעגלית, אבל אצל הלקוח התמונה מתפרקת: פריימים נקטעים, כתמים בודדים בולטים לפני האובייקטים, וסיבוב המצלמה נע בקפיצות.

הסיבה אינה איכות השחזור, אלא שלא הונחו עבורו סדר הציור לפי עומק, חלוקת הסצנה לבלוקי נראות ומגבלה על מספר הפרימיטיבים — רינדור הסצנה בדפדפן קורס בדיוק במקום שבו על מחשב חזק הכול נראה ללא דופי.

הכשל הטיפוסי השני — משקל הסצנה. מודל שנפתח כהלכה בתחנת עבודה שוקל יותר מהתעלה שמובילה למשתמש הקצה: בלי רמות פירוט וטעינה בזרימה כל מבקר מוריד את כל הנפח, אף שהוא צופה בזווית אחת.

שחזור תלת-ממדי אינטראקטיבי בצורה כזאת או שלא עולה כלל, או שעולה אחרי דקות של המתנה — וזו אינה שאלה של «אופטימיזציה אחר כך», אלא שאלה של סכימת אחסון הנתונים שהונחה בשלב הבנייה.

השלישי — עריכות בחומרים. ברגע שמסירים אובייקט ממערך המקור, מחליפים תאורה או מצלמים תוספת של אזור, תפרי הפרימיטיבים מתפרקים: מופיעים גושי ערפל במקום שהוסר, תפרים בגבולות ההקפה, ואובדן מגע עם הרצפה. שחזור שמחושב פעם אחת עבור צילום מסוים לא שורד אפילו איטרציה אחת — ומכאן שהוא אינו חי בתוך מוצר.

3D Gaussian Splatting נותן תמונה פוטו-ריאליסטית, אבל גרסת עבודה היא גם אריזת הסצנה, עלייה צפויה מראש על חומרה חלשה ובנייה חוזרת לאחר כל עריכה. נפרט כיצד זה נסגר.

מה נותן שחזור אינטראקטיבי בפועל

Gaussian Splatting מתאר סצנה לא כרשת פוליגונלית עם טקסטורות, אלא כענן של פרימיטיבים גאוסיים עם צבע וצפיפות. מכאן נובעים ארבעה אפקטים שהלקוח רואה בעיניו ואנו מתעדים במדידות לפני מסירת הפרויקט.

זמן הטעינה של הסצנה מתקצר הודות לשליפה בזרימה לפי רמות פירוט: קודם מגיע שלד גס, והפרטים מגיעים תוך כדי סקירה. משקל מודל הסצנה יורד פי כמה לעומת רשת צפופה — מודל עם מיליוני פוליגונים בטלפון או שלא נפתח, או שנפתח כל כך לאט שהמבקר מספיק לעזוב.

החלקות של סצנת תלת-ממד נשענת לא רק על מכשיר חזק: הפרימיטיבים מצוירים באצוות, והפירוט מותאם לעומס הנוכחי. יציבות התגובה נשמרת גם במכשירים חלשים — סיבוב והתקרבות לא «נתקעים», והתמונה לא מתפרקת בתנועת מצלמה מהירה.

הצגת האובייקט בדפדפן מפסיקה להיות סוג נפרד של כשלים: אין מסך שחור בפריים הראשון, אין טקסטורות מתפצלות ואין לשונית שקרסה. הסצנה נפתחת מקישור בלי התקנת אפליקציות ומתנהגת באופן זהה במחשב נייד ובטלפון.

כל אפקט אנחנו מצמידים למדידה — משקל הנתונים הנשלחים, הזמן עד לפריים הראשון, שיעור הפריימים ללא נפילות. אם הערכים חורגים מהמוסכם, התיקונים הולכים לסצנה, ולא לציפיות הלקוח.

השוואת גישות לשחזור סצנה

אין דרך אוניברסלית אחת להרכיב סצנה תלת-ממדית: הבחירה נקבעת לפי קנה המידה של האובייקט, דרישות לפוטו-ריאליזם ומה שאמור להתקבל בתוצאה — סקירה חופשית, גאומטריה מדויקת או מודל שניתן לעריכה.

להלן ארבע אפשרויות שביניהן בוחרים בפועל כבר בהתחלה: סצנה גאוסית מאומנת (3D Gaussian Splatting), ענן נקודות, מודל פוליגונלי והיברידי.

קנה המידה הוא המגביל העיקרי: סצנות גאוסיות שומרות על איכות כל עוד האובייקט מצולם במעבר אחד עם חפיפה צפופה, ואילו בשטחים גדולים גדלים נפח הנתונים וזמן ההרכבה. לכן שטחים ומסלולים ארוכים מרכיבים לרוב באופן היברידי.

אנחנו מריצים את חומרי המקור שלכם דרך הרצת בנייה ניסיונית ומציינים את האפשרות שתעמוד גם בהצגה וגם בשינויים עתידיים.

שלבי ההטמעה: מהצילום ועד מסירת הפרויקט

שלבי ההטמעה של סצנת תלת-ממד בנויים כך שטעות בשטח לא תהפוך לעבודה מחדש של כל הפרויקט. כל שלב מסתיים בתוצר שניתן לבדוק לפני המעבר לשלב הבא.

1. ניתוח המשימה ומגבלות האתר. אנחנו מגדירים מה חייב להיות קריא מקרוב ומה נראה רק מרחוק, ואוספים את המגבלות: היכן מותר ללכת ולהציב חצובה, מהי התאורה והתנועה באובייקט.

2. תרשים הסצנה. אנחנו מתווים את מסלול ההקפה, נקודות הצילום, חפיפת הפריימים ואובייקטי עוגן להצמדה. מאשרים את התרשים לפני היציאה — תיקונים על הנייר זולים מנסיעה עסקית חוזרת.

3. צילום האובייקט. אנחנו הולכים בדיוק לפי התרשים, תוך בקרת חשיפה, פוקוס ואחידות התנועה, ובנוסף מצלמים פריימים לבקרת גאומטריה.

4. הרכבה ואימון הסצנה. מכיילים מצלמות, מסננים פריימים מטושטשים, מאמנים את המודל על 3D Gaussian Splatting ומכווננים פרמטרים כך שיישמרו פרטים עדינים בלי גידול בגודל הסצנה.

5. בדיקה במכשירי היעד. מריצים את הסצנה על אותם טלפונים, משקפיים ודפדפנים שיש לקהל של הלקוח: חלקות הסיבוב, זמן הטעינה הראשונה, ההתנהגות ברשת חלשה. נפילות סוגרים לפני הקבלה.

6. קבלת התוצאה ומסירה. מוסרים את חומרי המקור, הסצנה המורכבת, סקריפטי ההרכבה ותקנון צילום חוזר אם האובייקט ישתנה. את רשימת הבדיקה של הקבלה עוברים יחד, על מכשירים אמיתיים.

ערכת המסירה: סצנות, קונפיגורציות, תקנונים

אחרי המסירה נשאר אצל הלקוח לא רק הסצנה המורכבת, אלא גם כל מה שדרוש לתפעול עצמאי ולפיתוח שלה. ערכת התיעוד מתארת את מבנה הפרויקט, את הקשרים בין הקבצים ואת סדר הבנייה מחדש: מהנדס שלא השתתף בפיתוח פורש את הסצנה בעמדה שלו בלי התכתבות איתנו. הקבלה מתבצעת לפי אותה רשימה — פערים נראים לפני החתימה על הפרוטוקול.

• נתוני המקור של הפרויקט — מערכי צילום ממוינים לפי תאריכים, ערכי פרמטרים של מצלמות, מסכות של אזורים בעייתיים ויומן צילום: רואים אילו פריימים משפיעים על מה ומה כדאי לצלם מחדש.
• הסצנה המורכבת — המודל הסופי, מחולק לצמתים סמנטיים כך שעריכה של קטע אחד לא תגרור בנייה מחדש של הכול; לצידו — זוויות בקרה לבדיקת גאומטריה.
• קונפיגורציית הסצנה — פרמטרי ההרכבה, גבולות הסקירה, נקודות הכניסה של המצלמה והגדרות התאורה מוצאים לקבצים נפרדים, ולא צרובים בקוד.
• כללי גישה לסצנה — תפקידים, הגבלה על הורדה, תוקף מפתחות; בנפרד מתוארות הפרסום במתאר הפנימי ובעמדה החיצונית.
• תקנון עדכון הסצנה — רצף הצילום החוזר וההרכבה המשלימה, התדירות, הדרישות לחומרי המקור והקריטריונים שלפיהם גרסה חדשה מתקבלת.
• סכימת הפריסה — היכן נמצאים חומרי המקור, המערכים המוכנים והגיבויים, כיצד נספרת הגרסה וכיצד חוזרים למערך הקודם.
• הוראות הקבלה — מדדי איכות בקרה, זוויות בדיקה ורשימת פגמים אופייניים שנסגרים לפני המסירה.

פרויקט: סיור אינטראקטיבי באובייקט לפני ואחרי

הלקוח — ביתן תערוכות שבו המבקר עובר את התצוגה בעצמו, והסיור צריך להציג את אותו אולם בשני מצבים: לפני השיפוץ ואחריו. האב-טיפוס הראשון על פוטוגרמטריה קלאסית לא עמד בבדיקה בשטח: הסצנה שקלה יותר מדי, נפתחה בעשרות שניות, ובטאבלטים באולם המצלמה פיגרה בבירור אחרי המחווה. אנשים נטשו את ההקפה באמצע ופנו לעמדת המוצגים.

מה שינינו ומה קיבלנו

השחזור הועבר ל-3D Gaussian Splatting: הסצנה מתוארת כמערך של גאוסים במקום רשת צפופה עם טקסטורות, ולכן בפוטו-ריאליזם דומה המשקל יורד פי כמה. בהמשך חילקנו את החלל לאזורים וטוענים אותם בהדרגה עם תנועת המשתמש, ואזורים מרוחקים נשלחים בצורה מפושטת. בנפרד קבענו תקציב תגובה: סיבוב המצלמה חייב להדביק את המחווה בלי קפיצות בטאבלטים שבעמדה.

המדדים לפני ואחרי נלקחו על אותה חומרה ובאותו אולם. האזור הראשון נפתח בשניות ספורות במקום עשרות שניות של המתנה, משקל הסצנה קטן בערך פי ארבעה, ותגובת הסצנה למחווה נכנסה לסף נוח. שיעור המשתמשים שמגיעים לסוף ההקפה עלה מ-54% ל-88% — קטיעות בטעינה כמעט לא נותרו.

המסקנה לפרויקטים הבאים פשוטה: לא היופי של פריים בודד הוא שקובע, אלא תקציב המשקל והתגובה שחושב לפני צילום האובייקט. לכן את הסצנה מריצים במכשיר היעד לפני המסירה, ולא אחרי תלונות בשטח.

במה שונה שחזור תלת-ממדי ממודל ידני

תשובה קצרה: מקור הגאומטריה שלהם שונה. מודל פוליגונלי ידני נבנה בידי אדם לפי מדידות ושרטוטים — מפרימיטיבים שאפשר אחר כך לפרק לצמתים ולערוך. סצנת תלת-ממד מאומנת נבנית ממערך תמונות ומשחזרת את האובייקט כפי שהוא בפועל, ולא לפי תכנון.

ב-3D Gaussian Splatting הסצנה מתוארת במספר רב של פרימיטיבים תלת-ממדיים: לכל אחד מיקום, גודל, שקיפות וצבע משלו, בהתאם לכיוון המבט. לכן ברקים, סיבים, שקיפות למחצה, מתכת שחוקה וציפויים לא אחידים מועברים כפי שהם, בלי כיוונון חומרים ידני. את לוחות הזמנים קובע כאן לא המידול, אלא הצילום: שעות עבודה באובייקט במקום שבועות של בנייה.

במקומות שבהם אמינות החומרים והמהירות קריטיות, הסצנה המאומנת מנצחת. צילום חוזר מתעד שינויים: צבעו מחדש קירות, החליפו ציוד — הסצנה מתעדכנת, ולא נבנית מחדש.

המודל הפוליגונלי נשאר האפשרות העובדת היחידה כשנדרשת טופולוגיה שניתנת לעריכה: פריסת UV, אנימציה, חישובים, הטמעה בפיזיקה או קונפיגורטור עם וריאנטים. כמו כן אם האובייקט טרם נבנה, הגישה מוגבלת מטעמי סיווג, ובידיים יש תיעוד תכנוני. סצנה מאומנת לא ניתנת לפירוק לרכיבים — היא מציגה רק את מה שנכנס לפריים.

בפועל הבחירה לעתים רחוקות בינארית: להדגמה אינטראקטיבית או לקבלת אובייקט לוקחים סצנה, ולמשימות ייצור — היברידי, שבו הבסיס הפוליגונלי אחראי על המבנה, והמעטפת הפוטו-ריאליסטית על האמינות. תארו את האובייקט והמשימה — נחזור עם תוכנית והערכה איזו דרך קצרה יותר בלוחות זמנים.

שאלות טכניות שנשאלות לפני ההתחלה

לפני ההתחלה נשמעות אותן שאלות טכניות: כיצד יתנהגו נתוני המקור, מה יקרה בעדכון הסצנה, כמה גדול אובייקט אפשר באמת לצלם. קנה המידה מוגבל לא בטכנולוגיה, אלא בזמן ההקפה — רובע מחלקים לסקציות ותופרים לפי עוגנים משותפים, והתפר בגבולות אינו נראה.

מה עושים אם הסצנה השתנתה?

מרכיבים מחדש רק את האזור שהשתנה, ולא את כל הסצנה: את השאר לוקחים ממערך הנתונים הקודם. החלפת תצוגה או הזזת ציוד — זה כמה שעות וצילום משלים קצר אחד, ולא פרויקט מאפס.

למי שייכות הזכויות על הסצנה?

לכם. אנחנו מוסרים את חומרי הגלם של הצילום, את נתוני הביניים ואת מערך הקבצים הסופי, ובחוזה קובעים שאיננו משתמשים בהם למטרותינו. אם האובייקט מסווג, את המיותר חותכים לפני ההרכבה — באישור קל יותר להסיר מאשר להסביר אחר כך.

איך הסצנה עובדת במכשירים חלשים?

אנחנו חותכים לא את הסצנה, אלא את הזרימה: טוענים רמות פירוט בהדרגה ככל שהמצלמה מתקרבת, שולחים חומרים בחלקים ומגבילים את מספר מקורות האור. במחשב נייד ובטאבלט זה נפתח בלי נפילות, והפירוט המלא נדלק כשהמכשיר מסוגל לעמוד בו.

נדון בסצנה שלכם ונחזור עם הערכה

כדי להתחיל את הניתוח אין צורך בסצנה מוכנה ב-3D Gaussian Splatting — די בחומרים שכבר קיימים על האובייקט. ככל שנתוני המקור מלאים יותר, כך הערכת הפרויקט מדויקת יותר: לפיהם רואים את היקף העבודה האמיתי, ולא היקף מקורב.

• צילום: תמונות או וידאו של הקפה סביב האובייקט מזוויות שונות. חפיפה צפופה בין פריימים מקטינה את מספר השטחים המתים שאחר כך צריך להשלים בצילום.
• גאומטריה: מדידות, תכניות או מודל תלת-ממד קיים — משווים את קנה המידה והפרופורציות של הסצנה העתידית.
• אינטראקטיביות: מה המשתמש אמור להיות מסוגל לעשות — לסובב את הסצנה, להתקרב לפרטים, להחליף אזורים, לפתוח כרטיסי אובייקטים.
• ערוצי תצוגה: דפדפן במחשב, טאבלט באתר או פאנל מובנה — מכך תלויים משקל הסצנה והדרישות לציור במכשירים חלשים.
• עוגנים ומגבלות: דוגמאות שמוצאות חן בעיניכם, ומה שאסור להציג — אזורים סגורים, זוויות לא מוצלחות, לוגואים של אחרים.
• גישה ולוח זמנים: מתי אפשר לצלם, האם יש מגבלות על זמן, תאורה ותנועה בתוך האובייקט.

לפי המערך הזה אנחנו מרכיבים תוכנית עבודה: שלבים, תחומי אחריות ונקודות אישור. הרכב הצוות נבחר בהתאם לאובייקט — מהנדס צילום, אמן תלת-ממד, מפתח רינדור ואינטגרטור. הערכה ולוחות זמנים של ההטמעה ניתנים לפי שלבים, ולא כמספר אחד: כך רואים מה בדיוק משפיע על משך הזמן.

תארו את המשימה ושלחו חומרים — נדון ונחזור עם הערכה ותוכנית עבודה.