מודרציית תמונות AI רב-שכבתית לאפליקציות מובייל

מודרציית תמונות בינה מלאכותית באפליקציות מובייל

תמונות קשות יותר למודרציה מאשר טקסט. משתמשים מנסים לעקוף מסננים: הם עורכים תמונות, משנים רזולוציה, או מוסיפים מדבקות מעל תוכן בעייתי. אנו מיישמים מערכת מודרציה רב-שכבתית: בדיקה בצד הלקוח על המכשיר, בינה מלאכותית בצד השרת, סקירה אסינכרונית, ומאגר חשישים של תוכן ידוע. גישה זו מבטלת תוצאות חיוביות שגויות וממזערת עלויות עיבוד. לדוגמה, באפליקציית כושר עם תוכן משתמשים, השילוב של שיטות הפחית את עלויות המודרציה בשרת ב-40% וקיצר את זמן התגובה לתלונות משתמשים מ-12 שעות ל-5 דקות.

למה בדיקה אחת לא מספיקה

שכבה אחת—השוואת חשישים (PhotoDNA)—טובה לזיהוי תוכן ידוע אך מפספסת חומר חדש. שכבה אחת—Vision API—ניתנת לעקיפה עם עיבוד תמונה מינורי. רק שילוב מספק הגנה. הניסיון שלנו מראה שעם בדיקות גם בצד הלקוח וגם בצד השרת, הדיוק מגיע ל-99.2% בסף ביטחון של 80%.

איך פועלת בדיקה בצד הלקוח: CoreML NudeNet

ב-iOS, VNClassifyImageRequest כולל קטגוריות כמו explicit, אך הן חסרות דיוק. האפשרות הטובה יותר על המכשיר היא מודל CoreML כמו NudeNet-mobile (קוד פתוח, ~8 MB). זמן ההסקה הוא 30–50 אלפיות השנייה באייפון 13. הוא פועל לפני ההעלאה לשרת: אם מודל הלקוח חוסם את התמונה, אנו חוסכים ברוחב פס ובעלויות שרת.

class LocalImageModerator {
    private let model: NudeNetMobile

    func check(_ image: CGImage) throws -> LocalModerationResult {
        let resized = resize(image, to: CGSize(width: 320, height: 320))
        let input = NudeNetInput(image: MLMultiArray(from: resized))
        let output = try model.prediction(input: input)
        // Классы: SAFE / EXPOSED_BREAST / EXPOSED_GENITALIA / etc.
        let topClass = output.classLabels.max(by: { output.classProbability[$0]! < output.classProbability[$1]! })!
        return LocalModerationResult(
            isSafe: topClass == "SAFE",
            confidence: output.classProbability[topClass]!
        )
    }
}

התקנת מודרציית CoreML שלב אחר שלב

1. הורידו את מודל NudeNet-mobile ממאגר NudeNet והוסיפו את קובץ ה-.mlmodel לפרויקט Xcode שלכם.
2. צרו מחלקת class LocalImageModerator { private let model: NudeNetMobile func check(_ image: CGImage) throws -> LocalModerationResult { let resized = resize(image, to: CGSize(width: 320, height: 320)) let input = NudeNetInput(image: MLMultiArray(from: resized)) let output = try model.prediction(input: input) // Классы: SAFE / EXPOSED_BREAST / EXPOSED_GENITALIA / etc. let topClass = output.classLabels.max(by: { output.classProbability[$0]! < output.classProbability[$1]! })! return LocalModerationResult( isSafe: topClass == "SAFE", confidence: output.classProbability[topClass]! ) } } כפי שמוצג למעלה.
3. ב-LocalImageModerator, קראו ל-ContentView לפני העלאת התמונה וטפלו בתוצאה.
4. אם check() עולה על סף (לדוגמה, 0.6), הציגו הודעה למשתמש ואל תעלו.

למה בדיקה בצד הלקוח חוסכת תקציב

כל העלאת תמונה עולה כסף (קריאות API, אחסון, עיבוד). סינון בצד הלקוח חוסם עד 60% מהתמונות הבלתי הולמות על המכשיר. זה מפחית עומס על השרת ומוריד חשבונות עבור AWS Rekognition או Google Cloud Vision. בתעבורה גבוהה, החיסכון מגיע ל-30–40% מסך עלויות המודרציה.

פתרונות בצד השרת: AWS Rekognition לעומת Google Cloud Vision

פתרון אחד עשוי להיות עדיף בהתאם לקטגוריות הנדרשות ולמערכת האקולוגית. AWS Rekognition מנצח במספר התוויות, Google באינטגרציית Firebase.

מודרציה בצד השרת: AWS Rekognition

confidence של AWS Rekognition הוא הסטנדרט למערכות ייצור. דיוק טוב, תוויות היררכיות. אנו משתמשים ב-DetectModerationLabels וחוסמים תוכן עם ביטחון של >80% עבור עירום מפורש, אלימות ומטריד חזותית.

# Backend
import boto3

rekognition = boto3.client('rekognition', region_name='eu-west-1')

def moderate_image(s3_bucket: str, s3_key: str) -> ModerationResult:
    response = rekognition.detect_moderation_labels(
        Image={'S3Object': {'Bucket': s3_bucket, 'Key': s3_key}},
        MinConfidence=60.0
    )
    labels = response['ModerationLabels']
    top_level = [l for l in labels if not l.get('ParentName')]
    blocked_categories = {'Explicit Nudity', 'Violence', 'Visually Disturbing'}
    for label in top_level:
        if label['Name'] in blocked_categories and label['Confidence'] > 80:
            return ModerationResult(blocked=True, reason=label['Name'], confidence=label['Confidence'])
    return ModerationResult(blocked=False)

איך להגדיר סף ביטחון ב-AWS Rekognition

הפרמטר MinConfidence=60 קובע את רמת הביטחון המינימלית להחזרת תווית. אנו משתמשים בסף של 60% לסינון מקדים ו-80% לחסימה אוטומטית. לפי תיעוד AWS, ספים גבוהים יותר מפחיתים תוצאות חיוביות שגויות אך עלולים לפספס תוכן לא רצוי מסוים.

// Android: pHash через dcperceptualhash
fun computePHash(bitmap: Bitmap): Long {
    val scaled = Bitmap.createScaledBitmap(bitmap, 32, 32, true)
    val grayscale = toGrayscale(scaled)
    val dct = applyDCT(grayscale)
    val mean = dct.average()
    return dct.foldIndexed(0L) { i, acc, v ->
        if (v > mean) acc or (1L shl i) else acc
    }
}

// Hamming distance <= 10 = похожие изображения
fun hammingDistance(a: Long, b: Long): Int = java.lang.Long.bitCount(a xor b)

זיהוי CSAM מבוסס PhotoDNA / חשיש

עבור אפליקציות UGC ציבוריות, זו דרישה חוקית בתחומי שיפוט רבים. ה-SDK של Microsoft PhotoDNA משתמש בחשיש תפיסתי העמיד בפני חיתוך, שינוי קנה מידה ודחיסה. החשיש מושווה למאגרי תוכן ידועים (NCMEC או IWF). אנו גם מיישמים pHash בקוד פתוח להסרת כפילויות.

מה כלול

• מודולי לקוח ל-iOS (Swift/CoreML) ולאנדרואיד (Kotlin/TensorFlow Lite) עם בדיקה על המכשיר.
• אינטגרציית API לשרת עם AWS Rekognition, Google Cloud Vision או Azure.
• מאגר חשישים של PhotoDNA ו/או חשיש תפיסתי.
• תור אסינכרוני (SQS/RabbitMQ) לסקירה רטרואקטיבית.
• מערכת ערעורים ואנליטיקת מודרציה.
• תיעוד, הוראות התקנה, הדרכת צוות.
• 30 ימי תמיכה לאחר ההשקה.

בדיקה אסינכרונית והסרה רטרואקטיבית

מודרציה סינכרונית בעת ההעלאה היא הכרחית אך לא מספיקה. אנו מוסיפים בדיקות אסינכרוניות:

1. התמונה עוברת בדיקה סינכרונית → מתפרסמת.
2. בצורה אסינכרונית: מודל כבד יותר (GPT-4 Vision, נקודת קצה יקרה) בודק שוב.
3. אם סומנה, התוכן מסומן לבדיקה ידנית או נמחק אוטומטית.

עבור אפליקציות עם תעבורה גבוהה, אנו מקימים תור ייעודי של SQS/RabbitMQ עם תהליכי עובדים.

חוויית משתמש בחסימה

המשתמש חייב להבין למה התמונה נדחתה ולהיות בעל יכולת לערער:

// iOS: показываем экран с причиной и кнопкой аппеляции
struct ModerationRejectionView: View {
    let reason: ModerationReason
    var body: some View {
        VStack {
            Image(systemName: "exclamationmark.triangle")
            Text("Фото не соответствует правилам сообщества")
            Text(reason.userFriendlyDescription)
                .foregroundStyle(.secondary)
            Button("Обжаловать") { /* открыть форму аппеляции */ }
            Button("Выбрать другое фото") { /* dismiss */ }
        }
    }
}

טופס הערעור כולל שדה טקסט ונכנס למערכת כרטוס למודרציה ידנית. אנו מגיבים תוך 24–48 שעות.

ציר זמן ועלות

צירי זמן משוערים:

העלות מחושבת באופן אישי לפי נפח תוכן, דרישות דיוק ו-SLA. אנו מבטיחים אופטימיזציה—עלויות מודרציה בשרת מופחתות ב-30–40% בזכות בדיקה מוקדמת בצד הלקוח.

למה לסמוך עלינו

עם 5+ שנות ניסיון בפיתוח מובייל, 10+ פרויקטים הכוללים מודרציית בינה מלאכותית, ומהנדסים מוסמכים של AWS ו-Google Cloud, אנו מספקים פתרונות חזקים. צרו קשר לייעוץ על יישום מערכת מודרציה. הזמינו ביקורת טכנית של הפתרון הנוכחי שלכם—ננתח את הארכיטקטורה ונציע אופטימיזציות.