AI מולטימודאלי מתפרק במפגש בין טקסט, תמונה וקול
לקוח שולח פנייה בטקסט, מצרף תמונה של פגם והודעת קול — שלושה ערוצים, שלושה מסלולי עיבוד שונים. את הטקסט מפענח מודל אחד, את התמונה — שני, והקול מפענח שלישי. כל ענף בנפרד עובד, אך במפגש בין הערוצים התוצאה מתפצלת: במכתב מספר הזמנה אחד, בתמונה — אחר, בהקלטה נאמר שלישי.
עיבוד מולטימודאלי נשבר לא בתוך המודלים, אלא בהלחמה. שגיאות זיהוי לעיתים רחוקות נראות בפלט של ענף אחד — הן מוסתרות על ידי תשובה בטוחה. הבעיה צפה מאוחר יותר: הישויות אינן תואמות, השדות מלאים בסתירה, ולחלק מהנתונים אין עוגן שמחבר אותם לאחרים.
סוגי נתונים שונים מגיעים עם תיוג לא תואם. לטקסט יש מבנה ומפתחות, לתמונה — סימנים חזותיים וביטחון המודל, לקול — קטעים בלי קישור לישויות ולמחברים. איחוד זה לרשומה אחת מתאפשר רק ידנית, וכל פנייה שנויה במחלוקת אוכלת זמן של מפעיל לצורך הצלבה.
זרימת פניות אחודה נבנית אחרת. תחילה שכבת זיהוי משותפת מקשרת בין הערוצים לפי לקוח, זמן והקשר הפנייה, לאחר מכן הסימנים מתואמים ביניהם, וסף ביטחון חותך את מה שהמערכת לא אמורה להשלים במקום האדם — נתונים כאלה מסומנים ככאלה שדורשים בדיקה, ולא ממשיכים הלאה בשקט. להלן נפרט כיצד זה נבנה.
מה נותן AI מולטימודאלי אחוד במקום סט שירותים
כאשר טקסט, תמונות ואודיו חיים בשלושה שירותים נפרדים, כל מפגש ביניהם — עבודה ידנית: מסמך מזוהה במקום אחד, פרטים מועברים לשני, תמלול שיחה מודבק בשלישי.
בכל הלחמה הולך לאיבוד הקשר ומופיע סוג שגיאות שאף אחד מהשירותים לא רואה: הסכום בחשבונית והסכום במכתב אינם תואמים, ואין מי שיצליב ביניהם — אי-ההתאמה צפה כבר בשלב הניתוח הסופי.
במערכת מולטימודאלית אחודה המודאליות נפגשות בשכבת ייצוגים משותפת: טקסט, תמונה וקול מובאים לצורה ניתנת להשוואה, והמודל מפענח את הקטע כמכלול, ולא שלוש תשובות נפרדות.
דיבור אנו מתרגמים לטקסט בשכבה נפרדת — כאן נשענים על מודל פתוח Whisper — אך התוצאה מגיעה לאותה זרימת נתונים רוחבית כמו שדות המסמך.
בזכות זה נעלמות ההעברות הידניות: במקום הצלבה ידנית של נתונים משלושה מקורות נשארת בדיקה של מקרים שנויים במחלוקת. שיעור השגיאות במפגש בין הערוצים יורד פי כמה — אי-התאמה בין המודאליות נתפסת אוטומטית ומסומנת כחשד, ולא ממשיכה הלאה בתהליך.
זמן התגובה נקבע כבר לא לפי מהירות של מודל בודד, אלא לפי היעלמות המפל: המודאליות מעובדות במקביל ומתכנסות בנקודה אחת, בלי בקשות עוקבות עם המתנה בכל שלב.
מצבי עבודה: ענן, מתחם סגור, סכמה היברידית
בחירת המצב נקבעת לא לפי עוצמת החומרה, אלא לפי שתי שאלות: אילו נתונים מותר להוציא מחוץ למתחם וכמה קריטית השהיית התגובה. במערכת מולטימודאלית הזרימות שונות — תמלול דיבור רגיש להשהיה, וניתוח ארכיון סריקות עובר בשקט לעיבוד אצווה בלילה.
מעבר בין מצבים אינו אומר לכתוב את המערכת מחדש. לוגיקת העיבוד נשארת אחודה, משתנה שכבת ההרצה: היכן פיזית חיים המודלים, היכן נשמרים ארטיפקטי זיהוי ביניים ולאן נכתב יומן הבקשות.
| אפשרות | מתי מתאים | מגבלות |
|---|---|---|
| פריסה בענן | נדרש התחלה מהירה, עומסי שיא בלתי צפויים, מגבלות הנתונים מתירות עיבוד חיצוני | תלות בערוץ התקשורת; העברת נתונים צריכה להיות מוצדקת משפטית |
| מתחם סגור | נתונים אישיים, סוד מסחרי, דרישות רגולטור | משאבים קבועים: שיא מעל התכנון יש לחכות שיחלוף, הרחבה — ברכישה |
| סכמה היברידית | חלק מהתרחישים ציבוריים, חלק — רגישים | יקר יותר בתחזוקה: שני מתחמים, שתי מדיניות עדכונים, סנכרון משקלי מודלים |
| מודלים מקומיים באתר | נדרשת עבודה ללא קישוריות, השהיה קריטית | מודלים קומפקטיים יותר — בתרחישים מורכבים האיכות נמוכה יותר, עדכונים מותקנים ידנית |
הגבולות בין המצבים נקבעים ברמת זרימות בודדות, ולא של המערכת כולה: זרימת אודיו רגישה נשארת בפנים, ויצירת טקסטים יוצאת החוצה.
שלבי הטמעה: מביקורת נתונים ועד מסירה לעבודה
מערכת מולטימודאלית אינה נבנית מבלוקים מוכנים: טקסט, תמונות ואודיו מגיעים באיכות שונה, ובפלט נדרשת תשובה אחת מתואמת. לכן העבודה מתנהלת בשלבים, וכל אחד מסתיים בארטיפקט שנבדק לפני המעבר לבא — אחרת פגם בנתונים יצוף כבר בתפעול.
- ביקורת נתונים. בודקים נפחים לפי כל מודאליות, שיעור תיוג ידני, פסולים והחמצות, חוסר סנכרון בין הטקסט לתמונה או להקלטה המצורפת.
- תיאום קריטריוני איכות. מסכימים מה נחשב לתשובה נכונה ואילו שגיאות קריטיות: התראת שווא, החמצה, מודאליות שזוהתה לא נכון.
- תכנון הסכמה. מחליטים כיצד המודאליות מתכנסות לשרשרת אחת: היכן זיהוי דיבור, היכן ניתוח טקסט, היכן תמונה ובאיזו נקודה התוצאות מאוחדות.
- כיול מודלים. בוחרים מודלים בסיסיים למשימה, מדייקים על נתונים שהוכנו, קובעים ספי הפעלה וכללים למקרים שנויים במחלוקת.
- בדיקת איכות. מריצים על סט נפרד ועל חתכים לפי מודאליות, מנתחים שגיאות ובמידת הצורך חוזרים לתיוג או לסכמה.
- מסירה לתפעול. מוסרים קונפיגורציות, תיאור סכמה, תקנון עדכון מודלים ונוהל חזרה לגרסה קודמת.
- הדרכת הצוות. מראים כיצד לקרוא מדדים ויומני עבודה, מה לעשות אם האיכות ירדה לאחר הגעת נתונים חדשים.
בפלט הלקוח מקבל לא סט סקריפטים נפרדים, אלא מערכת עם גבולות ישימות ברורים, איכות מדידה ונקודות בקרה בכל שכבה.
מה נשאר אצל הלקוח: סכמות, הגדרות ותקנונים
לאחר ההפעלה המערכת חיה בלי מפתחים, לכן כל מה שקובע את התנהגותה חייב להיות ניתן לשחזור בצד הלקוח. אנו מוסרים לא "שירות עובד", אלא סט מלא: בלעדיו כל תיקון הופך לפנייה לקבלן, וחזרה לאחור — לחיפוש אחר מי שזוכר את הפרמטרים המקוריים. ההרכב נקבע בפרוטוקול קבלה ונבדק בסביבת הלקוח.
- סכמת מערכת: מתחמי עיבוד טקסט, תמונות ואודיו, זרימות נתונים בין שירותים, נקודות אחסון וקריאות חיצוניות עם קישור למקטעי רשת.
- קונפיגורציות לפי סביבות: סטי פרמטרים לבדיקה, לפני ייצור וייצור, כולל ספי ביטחון של מודלים, כללי ניתוב מודאליות ומגבלות תורים.
- מדיניות גישה: תפקידים, הרשאות לאחסון ולאינדקסים, חשבונות שירות ונוהל רוטציית מפתחות בלי לעצור עיבוד.
- סכמת נתונים: פורמטים בקלט ובפלט, זמני אחסון קבצי גלם, רשימת שדות שממוסכים לפני כתיבה ליומנים.
- תיעוד: תיאור מתחמים, הוראות לפעולות טיפוסיות, מגבלות ידועות של מודלים וגבולות שמעבר להם איכות התשובה יורדת.
- תקנון טיפול באירועים: כיצד מתועדת תקלה, באילו יומנים ועקבות להסתכל, מי מקבל החלטה על חזרה לגרסת מודל קודמת.
- תקנון עדכון: נוהל פריסת גרסאות חדשות ותבניות בקשות, סט תרחישי בדיקה וקריטריון שבו העדכון מוחזר לאחור.
קבלה מתבצעת לפי תרחישים: מריצים מקרים טיפוסיים ומקרי קצה, מצליבים מדדי איכות וזמן התאוששות אחרי תקלה מתורגלת. הדרכת צוות הלקוח היא חלק מהמסירה, ולא אופציה נפרדת.
מקרה בוחן: פניות עם תמונה וקול בזרימת עיבוד אחת
הלקוח — חברת שירות עם רשת נקודות מבוזרת: ביממה מגיעים כמה מאות פניות, וכמעט מחציתן אינן טקסט נקי. הלקוח מצרף תמונה של פגם, מקליט הודעת קול, מוסיף הערה במילים.
המפעיל ניתח זאת ידנית: קרא טקסט, הסתכל בצילום, האזין לאודיו — בממוצע 14 דקות לפנייה, ולקראת סוף המשמרת שיעור השגיאות בסיווג הגיע ל-18%.
| מדד | לפני | אחרי |
|---|---|---|
| זמן ניתוח פנייה | 14 דקות | 4 דקות |
| שיעור שגיאות בסיווג | 18% | 3% |
| פניות שדורשות ניתוח ידני | 100% | 28% |
מה נבנה
טקסט, תמונה ואודיו מגיעים כעת לנקודת כניסה אחת, מובאים לצורה אחודה ומעובדים תחת מזהה פנייה אחד. תמלול דיבור עובר דרך Whisper, סיווג צילום — במודל נפרד, ומעל פועלת שכבת כללים: היא קובעת עדיפות לפי סוג הפגם ודחיפות. המפעיל מקבל פנייה מסווגת ומאשר החלטה, ולא בונה אותה מאפס.
ניתוחים שגויים ירדו מ-18% ל-3% — השפיע העובדה שהמודאליות כבר לא מתנגשות: קול ותמונה נמצאים בכרטיס אחד, ולא במערכות שונות. ניתוח ידני נשאר במקום שבו ביטחון המודל נמוך מהסף — אלה 28% מהפניות, ועליהן הולך הזמן שהתפנה למפעילים. זמן הניתוח הראשוני הצטמצם מ-14 ל-4 דקות, ושעות שיא כבר לא דורשות הוצאת משמרת נוספת.
מה לעשות אם חלק מהנתונים כבר מתויגים ידנית?
נתונים שתויגו ידנית איננו זורקים — הם הופכים לסט עוגן למערכת החדשה. תחילה אוספים דרכון תיוג: מילון מחלקות, כללי שיוך לכל אחת, רשימת דוגמאות שנויות במחלוקת והסכמות לגביהן. אם מסמך כזה אינו קיים, משחזרים אותו מהאנוטציות עצמן ומשיחות עם מי שתייג.
הלאה העברה. ממיר משווה שדות של מאגר נוכחי לסכמה של המערכת החדשה, ואת התאימות בודקים על חיתוך — לוקחים דוגמאות שתויגו על ידי שני אנשים באופן בלתי תלוי ובודקים אם התוצאה לאחר ההעברה זהה.
מחלקות שאינן בסכמה החדשה לא נמחקות, אלא מוציאות בשכבה נפרדת: חלקן ילכו לאימון נוסף כפי שהן, חלקן — כרמז למתייג.
אימון נוסף נבנה באיטרציות: אנוטציות ישנות קובעות איכות התחלתית, מנות חדשות מוסיפים ולאחר כל אחת מצליבים מדדים על חלק נפרד. עבודה ידנית עוברת בהדרגה ממקרים פשוטים למורכבים — שיעור התיוג הידני יורד, והאיכות במחלקות בסיסיות לא נשחקת.
את המעבר עושים במקביל: תהליך ישן וחדש רצים על אותה זרימת מסמכים, תוצאות מושוות על אותן דוגמאות, ומעבירים בחלקים — תחילה סוג נתונים אחד, אחר כך השאר. חזרה לתהליך הקודם אפשרית עד השלב האחרון.
הגירת תהליך היא תקנון: מי מתייג, מי בודק, מה נחשב שנוי במחלוקת ולאן זה הולך. אפשר להשאיר כלים קיימים אם הם מספקים ייצוא; עבור סוגי נתונים חדשים פורסים Label Studio ומעבירים לשם גם את הכללים.
ספקות טכניים נפוצים לפני תחילת העבודה
לפני ההתחלה מהנדסים ומנהלי אגפים שואלים כמעט את אותו סט שאלות — על נתונים, איכות זיהוי, אינטגרציות ואחריות לאחר מסירה. להלן תשובות בצורה שבה אנו נותנים אותן במפגשים טכניים, בלי ניסוחים מתחמקים.
באיזה מתחם עובדים הנתונים?
המערכת נפרסת בסביבה שלכם ואינה שולחת קבצים לשירותים חיצוניים. הגישה מופרדת לפי תפקידים, הפניות לאחסון מתועדות ביומן, ותקופת האחסון נקבעת במדיניות לפי דרישות אגף האבטחה שלכם.
איזו דיוק לצפות על החומרים שלנו?
מדדים ציבוריים של מודל אומרים מעט על הזרימה שלכם, לכן איכות מחשבנים על מדגם פיילוט מהטקסטים, התמונות וההקלטות שלכם. קובעים שיעור פעולות שעוברות בלי תיקון ידני, ובנפרד — סוג שגיאה קריטי עבורכם.
מה יקרה כשהמודל יתיישן?
גרסת המודל מקובעת, האיכות מנוטרת על מדגם בקרה. כשהמדדים יורדים, מפעילים אימון נוסף על דוגמאות שנצברו: העדכון עובר את אותה בדיקה כמו המהדורה הראשונה, ובכל רגע אפשר לחזור לגרסה קודמת.
כיצד זה ישתלב בתהליכים שלנו ומי אחראי אחרי ההפעלה?
נקודות החיבור מגדירים בבדיקה: ממשק תוכנה, תורים או החלפת קבצים — לפי מה שכבר עובד אצלכם. מוסרים קונפיגורציות, סכמות ותקנון תפעול, מדריכים את הצוות שלכם, נותנים אחריות לתיקון פגמים ומקיימים ליווי עם בקרת מדדים.
נדון במשימה: מה להבהיר בשיחה הראשונה
השיחה הראשונה נדרשת לא למצגת, אלא כדי לאסוף נתוני בסיס שבלעדיהם הערכת מערכת AI מולטימודאלית הופכת לניחוש. מניסיון, סט הנתונים הזה מספיק כדי לחזור עם תוכנית עבודה, הערכת לוחות זמנים והרכב צוות למתחם קונקרטי.
- מודאליות ונתונים: מה בקלט — טקסט, תמונות, אודיו, באיזה יחס, האם יש תיוג ובאיזה היקף.
- מדד איכות: איזה שיעור שגיאות נחשב סביר ועל איזה מדגם מחשבים אותו.
- תשתית והרשאות: ענן או מתחם סגור, דרישות לבידוד נתונים, מי מנפיק הרשאות.
- אינטגרציות: עם מה מחברים — אחסון, תורים, מערכות חשבונאיות, לאן הולכת התוצאה.
- עומס: כמה בקשות בשיא, איזו השהיית תשובה קריטית, האם נדרש עיבוד אצווה.
- גבולות הגרסה הראשונה: מה חובה בהפעלה הראשונה, ומה אפשר לדחות בלי לאבד משמעות.
- קבלה: מי מצד הלקוח מקבל את התוצאה ולפי איזה תרחיש בודקים.
אחרי הדיון במשימה אנו חוזרים עם תוכנית עבודה לפי שלבים, הערכת זמנים עם מרווח לאימון נוסף ולכיול איכות, הרכב צוות ושלב הבא המתואר במפורש. לאחר מכן — בדיקה קצרה על הנתונים שלכם, כדי שההערכה תישען על מדידות ולא על הנחות.