צביעה באמצעות בינה מלאכותית של תמונות שחור-לבן עם DeOldify ו-Stable Diffusion

צביעה בעזרת AI של קטעי ארכיון: היכן הזרימה נשברת

הארכיון עבר דיגיטציה, הפריימים ממוספרים — וכאן נגמר החלק היציב. צביעה פריים-אחר-פריים של תמונות שחור-לבן באמצעות DeOldify ו-Stable Diffusion נותנת תוצאה משכנעת על פריים בודד: פנים, שמיים וצמחייה נראים טבעיים.

אבל כשמדובר באלפי פריימים, הצלחה בודדת מפסיקה להיות משמעותית — המשמעות היחידה היא עד כמה הצבע אחיד לאורך כל החומר.

ארטיפקטים צבעוניים מופיעים דווקא בזרימה. המודל משלים גוון לפי בהירות והקשר, ולכן באזורים בעלי ניגודיות נמוכה ובמעברים בין סצנות מופיעים כתמים ירוקים וסגולים, ולאורך קווי המתאר של אובייקטים — הילות.

איזון הצבע בין פריימים סמוכים מתערער, ובתנועה זה נקרא כהבהוב: הצופה רואה לא כרוניקה אלא תמונה לא יציבה.

צוואר הבקבוק כאן אינו במודל עצמו, אלא בהיעדר עקביות זמנית ומדיניות צבע אחידה. כל פריים מחושב בנפרד: אין פריים עוגן לסצנה, אין כיול לפי רפרנס, אין בדיקה לזינוק בגוון בין פריימים סמוכים.

תיקון ידני משפר את התוצאה, אבל הזמן גדל יחד עם הנפח — בשחזור קטעי ארכיון זה הדבר הראשון שמפסיק להתאים לקנה מידה.

נסביר כיצד זה נסגר: איך מרכיבים צינור עיבוד באצוות לתמונות, היכן שמים בקרת יציבות צבע לפי סצנות ואיך לעבד מחדש רק פריימים בעייתיים, ולא להריץ את כל החומר מחדש.

אפקט מדיד: מהירות, שיעור תיקון ידני, יציבות

צביעה פריים-אחר-פריים נתקלת בעבודה ידנית: הרצה אחת לכל פריים, סקירה בעיניים של התוצאה, ותיקון פריימים שנויים במחלוקת בעורך. צינור מנוהל הופך זאת לזרימה — תור משימות, מנות לפי סצנות, עיבוד מקבילי ובקרת איכות אוטומטית ביציאה. תפוקת העיבוד עולה מיחידות פריימים בשעה לאלפים ביום, וצוואר הבקבוק כבר אינו המודל אלא קבלת התוצאה.

שיעור העיבוד הידני הוא המדד השני שקובע אם הארכיון מחזיר את ההשקעה. עבור כל פריים מחושבת מידת הביטחון של המודל והסטייה מהפלטה של הסצנה; כל מה שמתחת לסף עובר אוטומטית לתור נפרד לתיקון.

בחומר טיפוסי שיעור הפריימים האלה יורד משליש לכמה אחוזים, והתיקונים הופכים ממוקדים — עור, שמיים, מסמכים, ולא הפריים כולו.

יציבות הצבע של הסצנה נשענת על כך שהעיבוד נעשה לא פריים אחר פריים אלא בסצנות שלמות. הארכיון נחתך לסצנות, לכל סצנה נבחר פריים עוגן, הפלטה שלו מועברת לפריימים הסמוכים, והגבולות מוחלקים.

כך נעלם סוג שלם של כשלים כמו צבע "צף" והבהוב גוון בתוך הסצנה — בגללם בעבר נפסלו פרקים שלמים.

DeOldify במערך כזה נותן מעבר טיוטה מהיר ופלטה בסיסית, ומודל דיפוזיה מכוונן משלים את הפרטים. המשמעות אינה במודל מסוים, אלא במעטפת סביבו: בפלט הלקוח מקבל לא תיקייה עם תמונות, אלא דוח על כמה פריימים עברו אוטומטית והיכן יציבות הצבע דרשה התערבות של מהנדס.

גישות לעיבוד קטעי ארכיון: השוואת מצבים

את המצב בוחרים לא לפי גודל הארכיון, אלא לפי אחידות הקורפוס ומחיר הטעות בפריים מסוים. עיבוד באצוות זול יותר ביחס לפריים, אבל כשל של המודל משוכפל על כל הפלט. עיבוד לפי דרישה נותן שליטה בכל שלב, אך כמעט אינו מתרחב לקנה מידה.

להלן ארבעה מצבי צביעה שבהם באמת בוחרים בפרויקטים. הקריטריון אחד: האם יש תקן שלפיו אפשר לבדוק את הצבע.

השוואת מצבי צביעה

בפיילוט לוקחים 20–50 פריימים אופייניים ומריצים אותם דרך שניים-שלושה מצבים — סטייה בצבע העור, השמיים והמדים נראית מיד. לאחר מכן המצב מקובע בתיעוד, ולנושאים חוזרים מוסיפים אימון נוסף של המודל על סט משלך.

איך בונים צינור: שלבי הטמעה ובדיקה

צביעת ארכיון אינה הרצה חד-פעמית של קבצים דרך מודל, אלא צינור עם נקודות בקרה. בכל שלב נשאר ארטיפקט: מפת האוסף, סט הגדרות, מדגם תקן — לפיהם רואים מה השתנה אם התוצאה התקלקלה.

1. ביקורת ארכיון התמונות. מפרקים את האוסף: סוגי פריימים, נפח, אופי הפגמים — ארטיפקטי דחיסה, גרעיניות, חשיפת יתר, דהייה. בפלט: מפת הארכיון ומדגם רפרנס לאישור.

2. סכימת צינור הצביעה. קובעים מה עובר בזרימה ומה דורש השלמה ידנית: סדרות אחידות — במנות, פורטרטים ונושאים נדירים — בענף נפרד.

3. קדם-עיבוד פריימים. מרחב צבע אחיד, דיכוי רעש, יישור ניגודיות, שחזור נזקים. בפריים מלוכלך המודל משלים פגמים ומייצר לכלוך בצללים.

4. בחירת מודל. DeOldify שומר על צבע יציב בסדרות גדולות, מודל דיפוזיה נותן תוצאה חיה בנושאים בודדים — משלבים את שני הענפים.

5. כיול על מדגם רפרנס. מתאימים פלטה לתקופה ולנושא, מגדירים כללים לגוון עור, שמיים, מדים. משווים לתקן עד שהסטייה הופכת לצפויה.

6. בקרת איכות צבע. היסטוגרמות, איזון לבן, היעדר גוונים "צפים" בתוך הסדרה. בנפרד בודקים פריימים שבהם צבע האובייקט מוסק מההקשר.

7. אישור ומסירה. הלקוח בוחן את המדגם, פריימים שנויים במחלוקת עוברים סבב נוסף. מעבירים מקורות, סטים של הגדרות ותקנון לקבלות חדשות.

לאחר המסירה הצינור אינו נעצר: פריטים חדשים עוברים לפי אותו תקנון, והתיקונים שנצברו מכווננים את המודל לארכיון המסוים.

מה מועבר לידיים: קונפיגורציות ותקנונים

אנחנו מוסרים לא "מודל במחברת", אלא צינור צביעה עובד: ארטיפקטים שלפיהם הצוות שלכם משחזר עיבוד פריים בלי התמיכה שלנו. להלן מה בדיוק עובר למאגר הקוד ולתיעוד הפנימי.

• סכימת עיבוד פריימים — גרף שלבים מקבלת הסריקה ועד לקובץ הצבעוני, עם נקודות בדיקה ידנית מסומנות ומקומות שבהם התוצאה עוברת הרצה חוזרת.
• קובצי קונפיגורציה של הצינור — פרמטרים להכנת התמונה, פרופילים לפי סוגי נושאים (פורטרט, נוף, עיר), ספי ביטחון שמתחתם פריים מסומן אוטומטית לאישור בידי מפעיל.
• תקנון הרצה — פריסה על התשתית שלכם: בדיקת סביבה, חימום מודלים, הרצת בקרה על מדגם תקן וקריטריונים שלפיהם הצינור נחשב למורם כראוי.
• מדיניות גישה לארכיון — תפקידי מפעיל, מאשר ומנהל, הפרדה בין מקורות לתוצאות, זמני אחסון ונוהל מחיקת חומרים.
• יומן איכות עיבוד — מדדים לכל מנה: שיעור הפריימים שהתקבלו בסבב הראשון, התפלגות פגמים טיפוסיים, מספר ההרצות החוזרות לאחר תיקון פרמטרים.
• תיעוד הצינור — שלבים, תלויות חיצוניות ואזורים שבהם תיקונים בטוחים, לעומת מקומות שבהם הם שוברים את יכולת שחזור התוצאה.
• הוראות פיתוח — איך לחבר סוג נושא חדש או להחליף מודל צביעה בלי לבנות מחדש את כל התהליך.

הכול מנוהל בגרסאות יחד עם הקוד: שינויים בפרמטרים נראים בהיסטוריה, וחזרה לקונפיגורציה קודמת אורכת דקות.

מקרה בוחן: שחזור כרוניקה קולנועית, מדדים לפני ואחרי

הפרויקט — ארכיון כרוניקה קולנועית: סרט סרוק עם גרעיניות, שריטות וחשיפה לא יציבה. החומר הועבר לדיגיטל אך נשאר שחור-לבן, וצביעה ידנית של דקה אחת ארכה לאמן כ-40 דקות. בנפח של כמה שעות כרוניקה זה נמשך חודשים ונתקל בתפוקה של הארכיון.

מה היה לפני המעבר לצינור

מעבר ידני נתן צבע מדויק בתקריבים, אבל התאים בקושי לקנה מידה: כל פריים אושר בנפרד, הפלטה "צפה" בין סצנות סמוכות, והעור נטה לירק בצללים. כ-18% מהפריימים חזרו להשלמה חוזרת, והשיעור לא ירד — התיקונים הסתובבו במעגל. התפוקה נשמרה ברמה של 2–3 דקות חומר מוגמר ביום.

מה שינו

המעבר הראשון — DeOldify: הוא נותן פלטה בסיסית לפריים ומסיר את רוב השגרה. אחר כך מודל דיפוזיה משלים טקסטורות ומדייק גוונים במקומות שבהם המקור דהה. בין השלבים פועלת בקרה אוטומטית: אם גוון חורג מהסף ביחס לפריימים סמוכים, הסצנה מסומנת ועוברת למפעיל בשלמותה, ולא פריים-פריים.

הפלטה מקובעת בפרופיל אחד לסצנה, ולכן המעברים אינם "מהבהבים". לאחר המעבר לצינור, שיעור הפריימים להשלמה — 4%, זמן עיבוד של דקה — כ-6 דקות, ותפוקת הארכיון עלתה ל-12–14 דקות ביום. העבודה הידנית נותרה לסינון ולסצנות עם תאורה מעורבת.

במה גישת הדיפוזיה שונה מהגישה היריבה?

רשת צביעה יריבה פותרת את המשימה במעבר אחד: המחולל מנבא צבע לפי בהירות, והמבחין באימון דורש אי-ניתנות להבחנה מפריים צבעוני אמיתי. המודל לומד את הפלטה הסבירה ביותר של המדגם — מכאן המהירות והסיכון המרכזי: הגוון נלקח לפי סטטיסטיקה של נושאים דומים, ולא לפי המשמעות של סצנה מסוימת.

מודל דיפוזיה לצביעה הולך בדרך אחרת: התמונה משוחזרת מרעש בעשרות צעדים, וכל צעד אפשר לכוון בהנחיית טקסט. זה נותן שליטה — מגדירים את הפלטה של הסצנה ומקבלים גוון צפוי במקום ממוצע על פני מערך האימון.

העמידות לפגמי סרט שונה בין המשפחות. רשת יריבה מקבלת שריטה או חשיפת יתר כאובייקט וצובעת אותה בביטחון — בפלט מתקבל פס צבעוני במקום שבו האמולסיה ניזוקה.

דיפוזיה נשענת על הסטטיסטיקה של הפריים כולו ומדכאת ארטיפקטים כאלה, אבל מחליקה את הגרעיניות: במקומות שבהם הגרעיניות היא חלק מהמרקם ההיסטורי, יש להגביל את עוצמת ההשפעה.

בסדרת פריימים של נושא אחד רשת יריבה מהירה פי כמה, אבל הצבע צף: הפריימים מעובדים בנפרד, והעור, השמיים, המדים סוטים בגוון מפריים לפריים. דיפוזיה, עם רעש מקובע והנחיה משותפת, שומרת על פלטה אחידה בכל הסצנה — במחיר זמן של הרצה באצוות.

לכן בחירת מודל לארכיון אינה ויכוח על מה טוב יותר, אלא החלטה לפי מצב החומר. מערך אחיד אך דהוי משתלם יותר להריץ ברשת יריבה באצוות; אוספים עם פריימים מרכזיים ודרישה לאמינות היסטורית — במודל דיפוזיה עם הנחיה ובדיקה ידנית סלקטיבית. ההבדל בין המשפחות נראה בקנה מידה — שם ברור היכן המהירות הופכת לעבודה מחדש.

צביעה בעזרת AI: ספקות טכניים ותשובות

לפני תחילת מנה לקוחות שואלים את אותה קבוצת שאלות: עד כמה הצבע מהימן היסטורית, מה עושים עם ארכיון מעורב, איך מסירים ארטיפקטים על פנים ולמי שייכות הזכויות לעיבוד. נענה בקצרה על כל סעיף.

מה עושים אם בארכיון מעורבים סרטים שונים ואיכות סריקות שונה?

תמונות בצפיפות, גרעיניות וניגודיות שונות נותנות טונאליות שונה, ולכן הגדרה כללית אחת לכל האוסף לא עובדת. את החומר מחלקים לקבוצות לפי המאפיינים האלה, ולכל קבוצה פרופיל עיבוד משלה. כתוצאה מכך הסדרה נראית אחידה, בלי קפיצות צבע מפריים לפריים.

למה על הפנים מופיעים כתמים צבעוניים ואיך אתם מתמודדים איתם?

המעבר הראשון של DeOldify נותן כשלים אופייניים: צללים כחלחלים בלחיים, הילות לאורך קו השיער, שפתיים ואוזניים שאבדו בפורטרטים קטנים. אזורים כאלה מכסים במסכות ומעבדים בנפרד, עם מעבר חוזר והשלמה ידנית של אזורים שנויים במחלוקת. העור מובא לגוון טבעי, ולא ל"פלסטיקי".

למי שייכות הזכויות על המקורות ועל התמונות המעובדות?

העיבוד נעשה במעטפת מבודדת על הנתונים שלכם: התמונות אינן עוברות לשירותים חיצוניים ואינן משמשות לאימון מודלים של אחרים. הזכויות על המקורות ועל התוצאה נשארות שלכם. אימון נוסף על החומר שלכם אפשרי — המודל מותאם לאוסף המסוים ואינו יוצא מהמעטפת שלכם.

איך מתקבלת מנה שלמה והאם אפשר לתקן את הפלטה אחרי ההתחלה?

האישור נעשה לפי מדגם: פריימי בקרה מכל קבוצה נבחנים יחד אתכם, ורושמים הערות לגבי גוון ופרטים. הפלטה היא פרמטר ניתן להתאמה, ולכן תיקונים מוכנסים בכל שלב ומחושבים מחדש באופן אחיד לכל המנה.

נדון במשימה שלכם ונחזור עם הערכה

כדי שהערכת פרויקט הצביעה תישען על נתונים ולא על הנחות, די בכמה חומרי קלט. השיחה הראשונה היא דיון ישיר במשימה עם מהנדסים: הם בוחנים את החומר ואומרים מיד היכן האוטומציה תסתדר והיכן נדרשת השלמה ידנית.

מה עוזר לזרז את הבדיקה:

• 5–10 פריימים אופייניים: פורטרט, צל, תאורה מעורבת, תקריב עור — דווקא בהם המודלים טועים לרוב.
• נפח הארכיון: מספר קבצים, פורמטים, משך, מבנה תיקיות — מכאן נגזרים סדר העבודה וסכימת אחסון גרסאות ביניים.
• מצב המקורות: גרעיניות, שריטות, חשיפת יתר, רעד פריים — פגמים חזקים דורשים שלב הכנה נפרד.
• דרישות צבע לארכיון: רפרנסים, פלטת מיתוג, אמינות היסטורית של תלבושת או נוף.
• מגבלות גישה: מעטפת סגורה, עיבוד בלי הוצאה אל מחוץ לתשתית שלכם, הסכמי סודיות.
• קריטריוני אישור: מי מאשר את התוצאה ולפי איזה סימן פריים נחשב מוכן.
• סדר מסירה: פעם אחת או במנות לפי התקדמות העיבוד, באיזו תדירות בוחנים תוצאות ביניים.

לאחר מכן נעשית הרצת ניסיון על מדגם: המהנדסים מעבדים 10–20 פריימים, מציגים לפני ואחרי, מנתחים כשלים טיפוסיים — סטיית גוון עור, צבע שגוי על מדים, ארטיפקטים בפרטים קטנים. לפי הניתוח הזה מקבעים את שיעור הפריימים להשלמה ידנית ואת הרכב השלבים.

תארו את המשימה וצרפו דוגמאות — נחזור עם הערכת פרויקט הצביעה ותוכנית עבודה.