מודרציה מבוססת בינה מלאכותית לתוכן שנוצר על ידי משתמשים

OpenAI Moderation API מעבד בקשה בכ-200 אלפיות השנייה, מהיר פי 3 מ-Perspective API עם אותו דיוק. לתוכן בשפה הרוסית, Perspective נותן ציון רעילות אך עלול לטעות בסרקזם.

import openai

def moderate_text(content: str) -> dict:
    response = openai.moderations.create(input=content)
    result = response.results[0]
    if result.flagged:
        categories = {k: v for k, v in result.categories.__dict__.items() if v}
        return {"allowed": False, "categories": categories}
    return {"allowed": True}

Google Perspective API—ניתוח רעילות עם ציון מ-0 עד 1. מאפיינים: TOXICITY, SEVERE_TOXICITY, IDENTITY_ATTACK, INSULT, PROFANITY, THREAT. תומך ברוסית. מגבלה: 1 QPS חינם, בתשלום מ-$0.25 לכל 1000 בקשות.

AWS Rekognition—ניהול תמונות. API של DetectModerationLabels מחזיר היררכיה של תוויות עם ציון ביטחון. קטגוריות: עירום מפורש, אלימות, מטריד חזותית, סמלי שנאה.

Azure Content Safety—טקסט ותמונות ב-API אחד. קטגוריות: שנאה, מיני, אלימות, פגיעה עצמית. כל אחת מדורגת בסולם 0-6. כולל זיהוי קרקעיות לדיוק עובדתי של תשובות.

מודל מותאם אישית באמצעות Fine-Tuning

לתוכן מתמחה (פורום מקצועי עם ז'רגון טכני, פלטפורמה רפואית), APIs של צד שלישי גורמים להרבה חיוביים שגויים. הפתרון הוא fine-tuning על נתונים משלך.

תהליך: איסוף מערך נתונים של 2000-5000 דוגמאות מתויגות (מאושר/נדחה), fine-tuning של distilbert-base-multilingual-cased דרך Hugging Face Transformers, פריסה כשירות נפרד.

from transformers import pipeline

classifier = pipeline(
    "text-classification",
    model="./moderation-model",
    device=0  # GPU
)

def classify_content(text: str) -> tuple[str, float]:
    result = classifier(text, truncation=True, max_length=512)[0]
    return result["label"], result["score"]

הסקה על CPU: ~50 אלפיות השנייה לטקסט עד 512 טוקנים. על GPU (T4): ~5 אלפיות השנייה.

עיבוד תמונות

לפני שליחה ל-API, יש לעבד מראש: לשנות גודל ל-2048px בצד הארוך, להמיר ל-JPEG באיכות 85%, להסיר מטא-דאטה של EXIF. זה מפחית עלויות ומאיץ תגובה. אוטומציה מקטינה את גודל צוות הניהול פי כמה, וחוסכת משמעותית בתקציב. פריסת פיילוט בדרך כלל מחזירה את ההשקעה תוך חודשים.

להגנה מפני העלאה חוזרת של תוכן אסור ידוע—PhotoDNA (מיקרוסופט) או התאמת pHash מול מסד נתונים של חשישים. PhotoDNA משתלב דרך Azure; pHash ניתן ליישום עצמאי:

import imagehash
from PIL import Image

def compute_phash(image_path: str) -> str:
    img = Image.open(image_path)
    return str(imagehash.phash(img))

def is_known_violation(phash: str, banned_hashes: set, threshold: int = 10) -> bool:
    for banned in banned_hashes:
        if imagehash.hex_to_hash(phash) - imagehash.hex_to_hash(banned) < threshold:
            return True
    return False

לוח מחוונים לניהול ידני

אוטומציה לא מחליטה על מקרי גבול—יש להציג אותם למנחה. תור הניהול הידני כולל:

• תוכן עם ביטחון 0.4–0.7 (תוצאה לא ודאית);
• תוכן שדווח על ידי משתמשים;
• תוכן מחשבונות חדשים ללא היסטוריה.

ממשק: רשימה עם מסננים, מקשי קיצור להחלטות מהירות (אישור/דחייה/הסלמה), היסטוריית החלטות מקושרת למפעיל, מדדי דיוק לכל מפעיל.

לולאת משוב ואימון מחדש

מודלים מתדרדרים אם דפוסי התוכן משתנים. מחזור שיפור:

1. שמירת כל ההחלטות (אוטומטיות וידניות) עם תוויות.
2. ניתוח שבועי של פערים: היכן האוטומציה טעתה, המנחה תיקן.
3. אימון חודשי מחדש של המודל על התיקונים שנצברו.
4. בדיקת A/B של הגרסה החדשה על 10% מהתעבורה לפני מעבר מלא.

ניטור

מדדים עבור Grafana/Datadog:

• moderation.requests.total — נפח כולל;
• moderation.latency.p99 — אחוזון 99 של זמן אחזור;
• moderation.flagged.rate — חלק התוכן החסום;
• moderation.false_positive.rate — חלק החסימות השגויות (לפי ערעורים);
• moderation.queue.depth — עומק תור הניהול הידני.

התראה: אם false_positive.rate > 5% ב-24 שעות, המודל דורש בדיקה.

מה כלול בעבודה

• שילוב של API אחד או יותר (OpenAI, Perspective, Rekognition, Azure).
• פיתוח middleware סינכרוני או תור אסינכרוני על המחסנית שלך.
• לוח מחוונים לניהול ידני עם היסטוריה ומדדים.
• תיעוד API וארכיטקטורה.
• הדרכת צוות (שעתיים אונליין).
• חודש תמיכה לאחר ההשקה.

הערכות זמנים

שילוב בסיסי עם OpenAI Moderation API ותור בדיקה ידנית: שבועיים. מערכת מלאה עם מודל מותאם אישית, ניטור ולוח מחוונים: 5-6 שבועות. צרו קשר לפרויקט פיילוט—נעריך את העומס שלכם ונציע פתרון. בקשו ייעוץ על שילוב.

לצוות שלנו יש ניסיון של למעלה מ-5 שנים בניהול AI והשלים 50+ פרויקטים, ועזר לפלטפורמות לחסוך עד $50,000 בשנה על ידי אוטומציה של תהליך הניהול.