AI Super Resolution: אפסקייל תמונות ללא אובדן עד פי 8

מדוע AI super resolution יוצר ארטיפקטים בצילומים אמיתיים

מדוע על סט בדיקה ההגדלה נראית נקייה, ואילו בצילום אמיתי היא מתפרקת? מפני שהמודל מאומן על זוגות של «מקור — פריים מוקטן תוכנתית». בעת הקטנה, הרעש והגריין ממוצעים, תדרים גבוהים נחלשים באופן צפוי, והרשת לומדת לשחזר בדיוק את השחיקה הזו.

בפריים אמיתי הרעש אינו ממוצע: הוא נמצא באותו טווח תדרים כמו פרט קטן. AI super resolution אינו מפריד בין גריין לטקסטורה כשהספקטרים שלהם חופפים, ולכן מגביר בו-זמנית גם את האות המועיל וגם את הרעש.

כתוצאה מכך, הגדלת תמונות מוציאה אל פני השטח כתמים צבעוניים וכתמים גדולים שהעין כמעט לא הבחינה בהם במקור.

המחלקה השנייה — ארטיפקטים של הגדלה על קווי מתאר. הרשת חוזה חדות לפי הסטטיסטיקה של זוגות האימון, ועל גבולות בעלי ניגודיות גבוהה — ברק, מתכת, טקסט כהה על רקע בהיר — מופיעים שוליים בהירים וכהים.

בסמוך מתרחש אפקט הפוך: טקסטורות קטנות (דשא, בד, נקבוביות עור) נופלות לאזור שהמודל מחשיב כרעש ומנוקות. זה בדיוק אובדן הפירוט — הרזולוציה גדלה, אך לא נוסף מידע חדש לפריים.

בסדרת פריימים מתווספת סטיית צבע. כל פריים מעובד בנפרד, ולכן בסצנה סטטית הגוון והניגודיות משתנים קלות, ובהרכבה זה נקרא כהבהוב.

רעש וגריין בצילום במקרה כזה יש להפריד מהפרט לפני ההגדלה, ולא להתמודד עם התוצאות בדיעבד: פרופיל רעש עבור מצלמה מסוימת, הגבלת הגברה לפי קווי מתאר, עקביות זמנית בין פריימים סמוכים. לכן אנחנו מתחילים לא מבחירת מודל, אלא מפירוק החומר — מה צולם, במה, ומה בפריים נחשב לפרט מועיל. בהמשך נפרט כיצד זה נסגר.

מה משתנה לאחר ההטמעה: לוחות זמנים, איכות, עריכה ידנית

לפני ההטמעה, אצווה של 300–500 פריימים היא כמה ימי עבודה: המהנדס פותח כל קובץ, מעריך רעש ורכות, בוחר דרגת הגדלה, ומשלים ידנית קצוות וטקסט קטן. פרסום קטלוג או מסירת חומר ממתינים עד שהשרשרת כולה מסתיימת, ומקור כושל גורר אחריו צילום מחדש ומדחיק את לוחות הזמנים עוד יותר.

במעברים הראשונים לאחר ההפעלה משתנה לא פריים בודד, אלא המסלול. הגדלה במודל מסוג Real-ESRGAN מעלה תמונה עד פי 8 ומשחזרת טקסטורה קטנה — סיבי בד, גופן על אריזה, עלווה.

מצב אצווה מחשב את האצווה במקביל, ולכן אותם פריימים עוברים תוך עשרות דקות, ואיכות ההגדלה נמדדת לפי מדגם בקרה, ולא לפי העין.

כאשר הפרמטרים מכוילים לסוג צילום מסוים, מתקבלת המדד העיקרי — שיעור הפריימים ללא השלמה ידנית. בצילום מוצרים ופנים הוא נשמר בסביבות 85–90%, והתיקון נשאר לפריימים בודדים עם רקע מורכב או רעש חזק במקור.

סוג הפגם «רזולוציה לא מספקת» מפסיק לדרוש צילום מחדש: במקום יציאה חוזרת, די להעלות קובץ מהארכיון ולהעביר אותו באותו מסלול.

בהמשך משתנה התכנון. תפוקת העיבוד מפסיקה להיות תלויה במספר האנשים — הזרימה גדלה באצוות, צילום והכנה מתנהלים במקביל, ואת מועד יציאת החומר קובע לוח הצילום, ולא כוח העבודה של ההשלמה הידנית.

השוואת מצבים: אצווה, זרימה ופריימים בודדים

מצב העיבוד קובע לא רק מהירות, אלא גם שחזוריות של התוצאה. בעיבוד תמונות באצווה יש רשימת קבצים מלאה והרצה חוזרת: אפשר להריץ מחדש את אותו ארכיון ולהשוות לקודם. בעיבוד פריימים בזרימה התוצאה תלויה בסדר ההגעה — לאחר תקלה חלק מהפריימים משוחזרים מהחוצץ.

הגדלה סלקטיבית — פשרה בין נפח לאיכות: כלל בוחר פריימים לפי חדות המקור, סוג וגודל, וההגדלה לא מתבזבזת על חומר שבו היא לא תוסיף דבר. בפועל משלבים מצבי עיבוד ארכיון: המלאי המצטבר עובר באצווה, תקבולים חדשים בזרימה, וקטעים שנויים במחלוקת — בפריימים בודדים.

המגבלה משותפת לכל המצבים: הגדלה לא משחזרת פרטים שאין במקור — היא מסירה ארטיפקטים של דחיסה ומחזירה מבנה. לכן לפני בחירת מצב אנחנו בוחנים את חומר המקור: היכן פי 8 נותן תוצאה, והיכן הגבול מגיע כבר בפי 2–4.

שלבי ההטמעה: מביקורת הארכיון ועד מסירת נהלים

השלבים מתבצעים בסדר קפדני: איכות ההגדלה נקבעת לא לפי המודל, אלא לפי מצב קבצי המקור וקריטריוני קבלה מוסכמים. כל עוד הארכיון אינו מסומן, כל הערכת תוצאה נשארת סובייקטיבית — לכן מתחילים בספירה ובמיפוי, ולא בעיבוד המוני.

1. ביקורת ארכיון תמונות. ספירה ומיפוי: פורמטים, ארטיפקטי דחיסה, כפילויות, קבצים פגומים ודחוסים מחדש. לכל מחלקה מתעדים אילו פרטים ניתנים לשחזור, ומה יהיה צורך להחליף.
2. קריטריונים לאיכות ההגדלה. מגדירים יעדים מדידים: חדות קווי מתאר, היעדר טקסטורות «פלסטיקיות», קריאות טקסט קטן, תקינות פנים. בנפרד מתארים פגם אסור.
3. הרכבת קו עיבוד. עיבוד מקדים, הגדלה, הפחתת רעש, התאמה לפורמט ולפרופיל צבע אחיד. הפרמטרים מנוהלים בגרסאות, כדי שהאצווה הבאה תעובד באותו אופן.
4. בדיקה על מדגם בקרה. בוחרים את הפריימים הכבדים והאופייניים ביותר, משווים זוגות «לפני/אחרי», מתקנים ספים ומקבעים תוצאת ייחוס.
5. קבלת התוצאה. מדדים וזוגות תמונות נמסרים ללקוח, והוא בודק על המדגם שלו; פריימים שנויים במחלוקת נבחנים נקודתית, ולא לפי ממוצע הארכיון.
6. מסירת נהלים. תיאור קו העיבוד, פרמטרים, הוראות להפעלת אצוות חדשות וכללי קבלה — הצוות ממשיך לעבוד בלעדינו.

כל שלב נסגר בארטיפקט כתוב: דוח, זוג ייחוס, קונפיגורציה. זה הופך את הקבלה לצפויה, ואת האצוות החוזרות לשחזוריות.

מה נשאר בידיכם: קונפיגורציות, תרשימים, הרשאות, נהלים

אנחנו לא מוסרים את המערכת כ«קופסה שחורה»: לאחר ההפעלה נשאר לצוות שלכם סט ארטיפקטים שמאפשר להפעיל את הפתרון, לפתח אותו ולהעביר אותו לצוות אחר בלי הנדסה לאחור.

• קונפיגורציות עבודה — קבצים עם פרמטרים של כל נתיב העיבוד: איזה מקדם הגדלה להחיל על איזה סוג תמונות, אילו ערכות הגדרות פעילות למצב אצווה ולמצב בודד.
• תרשים קו העיבוד — המסלול מקבלת הקובץ ועד למסירת התוצאה: שלבים, הסתעפויות, התנהגות בשגיאה בכל שלב, היכן נשמר קובץ המקור והיכן התמונה המוכנה.
• מדיניות גישה לנתונים — אילו עובדים ושירותים רואים קבצי מקור, מי יכול לשנות הגדרות, אילו נתונים אינם יוצאים מהסביבה שלכם וכיצד הדבר נבדק.
• רישום פעולות — עבור כל תמונה נראים הזמן, הפרמטרים, גרסת ערכת ההגדרות והתוצאה; היומנים נשמרים בנפרד ואינם נמחקים יחד עם קבצי העבודה.
• נוהל עיבוד תמונות — כיצד לקבל אצווה, לפי אילו קריטריונים לבדוק איכות, מה נחשב לפגם ומה לעשות כשרמת החדות יורדת.
• הוראות למשמרת — תזכורות שלב-אחר-שלב למפעילים: פעולות אופייניות, אבחון תקלות נפוצות, סדר הסלמה.
• סדר עדכון — כיצד להחליף מודל או ערכות הגדרות בלי לעצור את קו העיבוד, וכיצד לחזור לגרסה קודמת אם האיכות נפגעה.

אנחנו מוסרים הכול יחד עם הקבלה: המהנדסים עוברים על כל סעיף על הנתונים שלכם, כדי שהארטיפקטים לא יישארו פורמליים.

מקרה בוחן: עיבוד ארכיון צילומים ומעבר מהשלמה ידנית

הלקוח הגיע עם ארכיון של כמה עשרות אלפי צילומים: חלק סרוקים מפילם, חלק צולמו במצלמות מוקדמות, חלק התקבלו משותפים. לקטלוג ולהדפסה לפריימים כאלה היה חסר רזולוציה, ולפני פרסום השלימו אותם ידנית בעורך גרפי — בממוצע כ-12 דקות לפריים.

בזרימה זה הפך לצוואר בקבוק: עיבוד הארכיון נמשך חודשים, ו-35% מהתמונות לאחר השלמה ידנית בכל זאת סומנו כלא ראויות — רעש, ארטיפקטים, אובדן טקסט קטן וטקסטורה בהגדלה. פריימים כאלה הוחזרו לתור או נשרו מהפלט לחלוטין.

את מקרה ההגדלה של הארכיון סגרנו בקו עיבוד באצווה: הגדלה עד פי 4 ופי 8 על בסיס Real-ESRGAN עם פיצול הפריים למקטעים חופפים — בגבולות לא נוצרים תפרים. לפני ההגדלה מתבצעת הפחתת רעש ותיקון איזון צבע, ואחריה בדיקה אוטומטית של חדות וארטיפקטים: לאדם מגיעים רק פריימים שמתחת לסף.

תוצאת ההטמעה: שיעור התמונות הלא ראויות ירד מ-35% ל-5%, השלמה ידנית נותרה לפריימים בודדים במקום לכולם, והזמן לצילום — מ-12 דקות ל-40 שניות של בדיקה סלקטיבית בידי מפעיל.

תפוקת העיבוד גדלה ביותר מפי 20: מה שפעם דרש שבועות של עבודת מעצבים, נסגר כעת במשמרת, ותקבולים חדשים מעובדים לפי אותם כללים.

במה super resolution שונה מהגדלה רגילה של פריים

הגדלה רגילה של פריים היא אינטרפולציה של תמונה: מסנן בילינארי, ביקובי או Lanczos מותח את הפיקסלים הקיימים על רשת גדולה יותר וממצע שכנים. הגודל גדל, הגבולות מטשטשים, ומידע חדש לא נוסף.

Super resolution פותר את המשימה ההפוכה: המודל מאומן על זוגות «רזולוציה נמוכה — גבוהה» ומשלים פרטים לפי הסטטיסטיקה של תמונות דומות.

הגבול בין שחזור פרטים לבין השלמה בדויה עובר דרך יכולת החיזוי של המבנה. טקסטורת אספלט, תלתל שיער או אות של גופן מוכר — מודלים גנרטיביים כמו Real-ESRGAN משחזרים אותם באופן מהימן, כי עומדים מאחוריהם אלפי דוגמאות דומות באימון. לאובייקט ייחודי, מספר סידורי או סדק חד-פעמי אין תמיכה כזו, והמודל מצייר השלמה סבירה במקום נכונה.

לכן את גבול ההגדלה קובעת המשימה, ולא שם המצב: היכן שדי בסבירות, והיכן שנדרשת דיוק עובדתי. אנחנו משווים את התוצאה למקור ובודקים אם לא נוספו לפריים פרטים מיותרים, ובמחלקות אובייקטים שבהן אסור להשלים בדויה אנחנו מחזיקים מצב שמרני ומאשרים איכות על סט ולידציה של פריימים של הלקוח.

ספקות טכניים שכדאי להסיר לפני תחילת העבודה

הספקות נוגעים בדרך כלל לא למודל, אלא להתנהגותו בארכיון אמיתי: רעש, עקבות דחיסה, פורמטים לא אחידים, אלפי קבצים באצווה. לכן לפני ההתחלה מקבעים את תרשים העיבוד ואת קריטריוני הקבלה — אחרת קשה לקבל את התוצאה.

להלן השאלות שהמהנדסים שואלים לעתים קרובות ביותר.

האם הגדלה עוזרת בקבצים דחוסים מאוד?

חלקית: בלוקיות ו«צלצול» סביב קווי מתאר עוברים בירושה ובהגדלה מודגשים. תחילה משחזרים את הארטיפקטים, ומגבילים את המקדם — מעבר לגבול שהמקור מחזיק בו, לא הפירוט גדל אלא המריחה.

האם אפשר לעבד את כל הארכיון באצווה, בלי סינון?

מבחינה טכנית כן, אבל חלק מהפריימים יהפכו גרועים יותר: במקום שאין פרטים, המודל משלים משהו סביר. לפני האצווה מחשבים מדדי חדות ומחלקים את המערך — פריימים חזקים עוברים במקדם מלא, חלשים במקדם עדין.

האם תפרסו את הפתרון בסביבה שלנו?

כן: העיבוד מתבצע על החומרה שלכם, התמונות אינן יוצאות לשירותים חיצוניים, והסגמנט הסגור עובד ללא אינטרנט. אנחנו מוסרים קונפיגורציות, סקריפטים להפעלה והוראות תחזוקה.

נדון במשימה: מה לשלוח להערכת היקף העבודה

הערכה מדויקת של היקף העבודה נשענת לא על תיאור כללי של «רוצים איכותי יותר», אלא על נתוני הקלט. ככל שקבצי המקור והדרישות לתוצאה מפורטים יותר, כך נשארות פחות הנחות במערך ההטמעה. להלן המינימום שמספיק כדי שנחזור עם הערכה, תרשים עיבוד ולוחות זמנים.

• דוגמאות צילום — 10–20 קבצים ממקורות שונים, כולל ה«כבדים» ביותר: דחוסים מאוד, מטושטשים, עם רעש או ארטיפקטי דחיסה. מהם רואים היכן די בהגדלה עד פי 2, והיכן נדרש גבול של פי 8 וענף עיבוד נפרד.
• דרישות לתוצאה — מה נחשב לראוי: היעדר ארטיפקטים בגבולות אובייקטים, שימור טקסט ופרטים קטנים, חדות מותרת. מוטב לצרף 2–3 זוגות ייחוס «לפני/אחרי», כדי שהקריטריון לא יישאר במילים.
• נפח הארכיון — מספר התמונות, גודל ממוצע, פורמטים (JPEG, PNG, TIFF, RAW), שיעור הקבצים הפגומים והכפולים. זה קובע את תרשים העיבוד באצווה ואת סדר התור.
• מגבלות מיקום הנתונים — עיבוד בסביבה שלכם או בשרתים ייעודיים, דרישות בידוד, משך שמירת קבצי המקור והקבצים המוכנים.
• תרחיש השימוש בתוצאה — הדפסה, כרטיסי מוצר, פנורמות, וידאו. מכך תלויים רזולוציית היעד ופורמט המסירה.
• מועד ההפעלה הרצוי והמצב — עיבוד חד-פעמי של הארכיון או זרימה קבועה. עבור זרימה נדון בנפרד באוטומציה של ההעלאה ובבקרת האיכות.
• קריטריון קבלה — מי מקבל את התוצאה ולפי איזה מדגם בקרה, כדי שלא ייווצרו מצבים שנויים במחלוקת במסירה.

נתחיל בדיון במשימה: תתארו אותה ותצרפו את מה שיש — נחזור עם הערכה, תוכנית הטמעה ונקודות בקרה ברורות.