AI System for Beauty and Cosmetics Industry

AI-система для индустрии красоты и косметики

Косметическая отрасль встречает ML в нескольких точках: разработка формул, персонализация ухода, виртуальная примерка, контроль качества, прогноз спроса. Эти задачи технически неоднородны — но каждая из них уже решается с измеримым результатом.

Персонализация ухода: от анкеты к рекомендательной системе

Проблема. Большинство "персонализированных" рекомендаций — это сегментация по 4–6 типам кожи, которая некорректна биологически. Тип кожи не статичен: меняется с возрастом, сезоном, гормональным циклом, климатом.

ML-подход. Входные данные объединяют несколько каналов:

• Анкета (тип кожи по ощущениям, проблемы, предпочтения)
• Анализ фото кожи (жирность, поры, текстура, тон — через CV-модель)
• История покупок и реакций на продукты
• Контекст: климатическая зона, сезон, возраст

Архитектура: multi-modal encoder: фото → ViT или EfficientNet, анкета → dense encoding, история → user embedding из collaborative filtering. Concatenation → MLP предсказывает affinity score к каждому продукту.

На пилоте (beauty-ритейлер, 120k SKU, 80k пользователей с историей покупок): precision@10 = 0.41 против 0.27 у правилового движка на типах кожи. Lift в basket size после внедрения рекомендаций: +14%.

Виртуальная примерка (Virtual Try-On)

Это технически наиболее интересный компонент.

Foundation: face landmark detection + skin segmentation. MediaPipe FaceMesh даёт 478 3D лэндмарков в реальном времени на CPU. Сегментация зон (губы, веки, брови, скулы) через lightweight semantic segmentation model (BiSeNet-V2, ~5ms на GPU).

Нанесение макияжа. Наивный подход — texture overlay с alpha blending. Работает плохо: не учитывает освещение, геометрию лица. Реалистичный результат требует:

1. Lighting estimation из изображения (SphericalHarmonics) → коррекция цвета тона под свет сцены
2. Geometry-aware blending: цвет помады деформируется по кривизне губ (mesh деформация)
3. Specular highlights: глоссовые продукты добавляют specularity через Phong-модель

Продвинутые системы используют Neural Rendering: GAN (PSGAN, BeautyGAN) обучается на парах без/с макияжем и генерирует реалистичный результат. Проблема GAN — нестабильность обучения при разнообразии оттенков кожи. Conditional generation с подачей shade как embedding решает дисбаланс классов.

Реальное время. WebGL + MediaPipe позволяет работать в браузере без сервера: лэндмарки в JS, оверлей через WebGL shader. Latency < 20ms, работает на мобильных устройствах. Серверная GAN-примерка качественнее, но ~200ms — приемлемо для e-commerce, неприемлемо для AR-фильтра.

Анализ кожи по фото

Pipeline:

1. Face detection (MTCNN или RetinaFace)
2. Face alignment по лэндмаркам
3. Region-specific classification:
   • Жирность/сухость: texture analysis через LBP (Local Binary Patterns) + CNN
   • Поры: high-res crop → anomaly detection или count regression
   • Морщины: edge detection + density scoring
   • Гиперпигментация: CIE Lab color space + blob detection
   • Акне/воспаления: object detection (YOLO или Faster R-CNN на labeled dataset)

Публичных датасетов мало; основные — FFHQ (для базы) + внутренняя разметка дерматолога. На датасете 5000 фото с дерматологической разметкой: классификация 5 классов состояния кожи — macro-F1 = 0.79.

Важно: система сопровождается дисклеймером — это не медицинская диагностика. Skin analysis AI не должен диагностировать заболевания.

Разработка формул и предсказание стабильности

Surrogate models для косметических составов. Аналогично химической формуляции: ML-модель предсказывает вязкость, SPF, стабильность эмульсии, pH, sensory properties по составу рецептуры. Входные фичи — INCI-ингредиенты кодируются через one-hot + physicochemical descriptors.

Предсказание совместимости ингредиентов. GNN на графе ингредиент–ингредиент (рёбра = исторические случаи несовместимости или синергии). Задача бинарной классификации: AUC-ROC 0.84 на валидационной выборке 800 пар.

Accelerated stability testing. Предсказание 12-месячной стабильности продукта по 3-месячным данным accelerated aging test (40°C/75% RH) через регрессионную модель. RMSE изменения вязкости при хранении ~3.1% от номинала.

Контроль качества и дефекты упаковки

Computer vision для конвейерной линии:

• Проверка заполнения флаконов (fill level detection через измерение высоты жидкости)
• Дефекты этикетки: перекос, складки, отсутствие
• Целостность укупорки

EfficientDet или YOLOv8 на типичных дефектах; few-shot learning (Siamese network) на редких случаях. Throughput 800+ единиц/мин на NVIDIA Jetson AGX Orin.

Стек

Сроки

Виртуальная примерка (в браузере, базовый набор продуктов): 6–10 недель. AI skin analysis + персонализация: 3–5 месяцев. Полная платформа (AR + рекомендации + аналитика формул + QC): 8–14 месяцев.