צביעה ב-AI של תמונות שחור-לבן: מדריך אינטגרציה לאפליקציות מובייל

import coremltools as ct
import torch
from deoldify.visualize import get_image_colorizer

colorizer = get_image_colorizer(artistic=True)
model = colorizer.learn.model.eval()

# Экспорт через torch.jit.trace
example = torch.zeros(1, 3, 256, 256)
traced = torch.jit.trace(model, example)

mlmodel = ct.convert(
    traced,
    inputs=[ct.TensorType(name="input", shape=(1, 3, 256, 256))],
    compute_precision=ct.precision.FLOAT16,
    minimum_deployment_target=ct.target.iOS16
)

mlmodel.save("DeOldify_artistic.mlpackage")

פרט חשוב: DeOldify מצפה לקלט RGB (גם עבור גווני אפור — הוא ממיר פנימית ל-Lab ועובד עם ערוצי AB). לפני הזנת תמונה בגווני אפור, יש לשכפל אותה לערוץ RGB משולש: import coremltools as ct import torch from deoldify.visualize import get_image_colorizer colorizer = get_image_colorizer(artistic=True) model = colorizer.learn.model.eval() # Экспорт через torch.jit.trace example = torch.zeros(1, 3, 256, 256) traced = torch.jit.trace(model, example) mlmodel = ct.convert( traced, inputs=[ct.TensorType(name="input", shape=(1, 3, 256, 256))], compute_precision=ct.precision.FLOAT16, minimum_deployment_target=ct.target.iOS16 ) mlmodel.save("DeOldify_artistic.mlpackage") . ב-Core ML זה נעשה בעיבוד המקדים, לא במודל עצמו.

iOS: הרצת Inference

let config = MLModelConfiguration()
config.computeUnits = .cpuAndNeuralEngine // ANE для FLOAT16
let model = try DeOldify_artistic(configuration: config)

// Подготовка: grayscale CVPixelBuffer → RGB
func prepareInput(from grayImage: UIImage) -> CVPixelBuffer? {
    // Создаём RGB пиксельный буфер из grayscale, реплицируя канал
    var pixelBuffer: CVPixelBuffer?
    CVPixelBufferCreate(nil, width, height, kCVPixelFormatType_32BGRA, nil, &pixelBuffer)
    // ... копируем серый канал во все три
    return pixelBuffer
}

let input = DeOldify_artisticInput(input: pixelBuffer)
let output = try model.prediction(input: input)
let colorizedImage = UIImage(cvPixelBuffer: output.output)

באייפון 13, תמונה בגודל 512×512 מעובדת ב-0.8–1.2 שניות. עבור Full HD (1920×1080), אנו משתמשים ב-inference באריחים עם טלאים בגודל 512×512 ומיזוג בתפרים. הגישה מבוססת האריחים יוצרת בעיה של חוסר עקביות צבע בין טלאים: המודל עשוי לצבוע קטע שמיים אחד בכחול וקטע שכן באפור. הפתרון הוא התאמת היסטוגרמת צבע גלובלית: נורמליזציה של היסטוגרמת כל טלאי להיסטוגרמה הגלובלית.

אנדרואיד: TFLite עם ONNX Runtime כחלופה

// ONNX Runtime даёт гибкость: одна модель для iOS и Android
val env = OrtEnvironment.getEnvironment()
val session = env.createSession(
    "deoldify_optimized.onnx",
    OrtSession.SessionOptions().apply {
        addNnapi() // или addCuda() если есть GPU
    }
)
val inputTensor = OnnxTensor.createTensor(env, inputArray, longArrayOf(1, 3, 512, 512))
val results = session.run(mapOf("input" to inputTensor))
val outputArray = (results[0].value as Array<*>)

ONNX Runtime Mobile הוא בחירה טובה כאשר אותו מודל נדרש בשתי הפלטפורמות — אין צורך בהמרה כפולה. ה-NNAPI delegate עובד על מכשירים עם Android 8.1 ומעלה. ONNX Runtime מפחית את מורכבות הפריסה פי 3 בהשוואה לבניית Core ML ו-TFLite נפרדות.

UX: מה לקחת בחשבון

צביעה היא פעולה איטית (1–5 שניות). הצג מחוון התקדמות מונפש. דפוס טוב הוא מחוון לפני/אחרי: המשתמש גורר מחלק ורואה את המקור והתוצאה זה לצד זה. זה גם UX וגם הדגמה ברורה של עבודת המודל.

שמור את התוצאה ב-gray → [gray, gray, gray] או let config = MLModelConfiguration() config.computeUnits = .cpuAndNeuralEngine // ANE для FLOAT16 let model = try DeOldify_artistic(configuration: config) // Подготовка: grayscale CVPixelBuffer → RGB func prepareInput(from grayImage: UIImage) -> CVPixelBuffer? { // Создаём RGB пиксельный буфер из grayscale, реплицируя канал var pixelBuffer: CVPixelBuffer? CVPixelBufferCreate(nil, width, height, kCVPixelFormatType_32BGRA, nil, &pixelBuffer) // ... копируем серый канал во все три return pixelBuffer } let input = DeOldify_artisticInput(input: pixelBuffer) let output = try model.prediction(input: input) let colorizedImage = UIImage(cvPixelBuffer: output.output) באיכות מקסימלית. תוצאת הצביעה סובלת בצורה גרועה דחיסת JPEG חוזרת: חפצים במעברי צבע הופכים לבולטים.

מה כלול בעבודה

• בחירה והמרה של המודל לפלטפורמת היעד (Core ML / TFLite / ONNX)
• אופטימיזציה למכשירים ספציפיים (Neural Engine, GPU, NNAPI)
• יישום inference באריחים עם נורמליזציית צבע
• פיתוח ממשק משתמש עם השוואת לפני/אחרי והתקדמות
• שילוב שמירה לגלריה ושיתוף
• תיעוד על המודל, עיבוד מקדים והוראות לבדיקת App Store Review (לפי App Store Review Guidelines סעיף 5.1 לעיבוד תמונות)
• בדיקות על תמונות היסטוריות באיכויות שונות

חיסכון ברישיונות: לא משלמים עבור מודלים בקוד פתוח. עלות פיתוח טיפוסית לפלטפורמה אחת היא $8,000–$12,000, וחוסכת לך עד $20,000 בהשוואה להעסקת צוות פנימי. עלות הפיתוח דומה למשכורת חודשית של מפתח אחד.

אנו מספקים שילוב מפתח ביד (под ключ) תוך 2–8 שבועות. העבודה כוללת (входит) את כל השלבים לעיל. צור קשר כדי להעריך את הפרויקט שלך בחינם. כתוב לנו לקבלת הצעת מחיר.

הערכות לוחות זמנים

אנו יכולים ליישם את הפתרון עבורך תוך 2 שבועות בלבד לפלטפורמה אחת. קבל ייעוץ — נעריך את הפרויקט שלך ונציע את המחסנית האופטימלית תוך יומיים.