תרגום קולי בזמן אמת: מערכות STS בהשהיה של עד 800 מילישניות

פיתוח speech to speech: היכן הדיאלוג נשבר

דיאלוג חי לא נשבר על משפט קצר, אלא על דבר ארוך ללא הפסקות. אם המערכת ממתינה לדממה כדי לשלוח את הקטע שנצבר לתרגום, החוצץ גדל יחד עם משך האמירה, ובסוף המונולוג הפיגור מגיע לכמה שניות — ובן השיח כבר לא מבין למה מתייחסת התשובה. לכן בפיתוח speech to speech הסגמנטציה מתבצעת תוך כדי הזרם של הצליל, ולא בסיומו.

השבר השני — חפיפה בין דברים. כאשר התרגום מגיע באיחור, המשתתף השני מתחיל לדבר שוב, והסינתזה מחרישה את הדיבור החי. כאן חשובה לא רק דיוק הזיהוי, אלא גם סדר התורות: למי למסור את הערוץ, מה לעשות עם קטיעות, ואיך לא לאבד את תחילת המשפט. תרגום קולי בזמן אמת ללא ניהול תורות הופך לרעש גם עם מודל טוב.

הלאה — החלפת דובר ואינטונציה. שאלה באינטונציה עולה נקראת לאחר התרגום כקביעה, והאירוניה והספק נעלמים יחד עם המשמעות. עיבוד דיבור בזרימה חייב לגרור אחריו מאפייני קול וסימון דובר, אחרת הצדדים מאבדים מי אמר מה.

נקודת כשל נפרדת — מונחים, שמות ומספרים. שם חברה או ראשי תיבות נשמעים פעם אחת וללא הקשר, והמודל מכניס מילה דומה בצליל. מילון התחום, שנאסף לפני ההשקה ומחובר לפני הסינתזה, מסיר את רוב השגיאות האלה ואינו חורג מתקציב השהיית התרגום.

תקציב של 800 מ״ש מתפרק לזיהוי, תרגום וסינתזה, וכל שלב לוקח את חלקו. נבחן איך זה נסגר חלק-חלק והיכן עובר הגבול בין «שומעים, אבל לא נוח» לבין דיאלוג עובד.

מה נותן תרגום דיבור מקצה לקצה בזמן אמת

השהיה מקצה לקצה היא הזמן מההברה האחרונה של הדובר ועד ההברה הראשונה של התרגום באוזנייה. היא מורכבת משלוש חוליות: זיהוי דיבור, תרגום וסינתזת דיבור. אם אחת מהן צוברת חוצץ עד סוף המשפט, ההשהיה גדלה פי כמה, והדיאלוג מתפרק: בני השיח מפסיקים לקטוע זה את זה ומאבדים את חוט השיחה.

עיבוד זורם מחשב השערות על כל קטע, ולא אחרי משפט מוגמר, ולכן ההשהיה מקצה לקצה נשמרת בשברי שנייה. את הסכמה בוחרים לפי התרחיש:

הרציפות של הסשן חשובה יותר מדיוק חד-פעמי: המערכת שומרת הקשר בין דברים, מבדילה בין החלפת דובר להפסקה ואינה בונה מחדש את הערוץ בכל ניתוק. דווקא בהחלפת הדובר אבדו בעבר המילים הראשונות של הדבר.

עמידות הערוץ היא המחצית השנייה של המשימה: גלאי פעילות דיבור חותך רעש והד, נתונים שאבדו נשלחים מחדש, והחיבור משוחזר בלי לאבד את היסטוריית הדיאלוג.

מודלים פתוחים כמו Whisper קובעים את רמת הבסיס של הזיהוי, אבל את סוג הכשלים — במיקרופון רועש וברשת לא יציבה — מסירה סכמת העיבוד, ולא המודל עצמו.

אפשרויות בנייה: קסקדה, מודל מקצה לקצה, היברידי

קסקדה מרכיבה תרגום משלוש חוליות: זיהוי דיבור, תרגום מכונה של טקסט וסינתזת קול. כל חוליה מכוילת ומתעדכנת בנפרד, ובפלט נשאר תמלול טקסטואלי — נוח לשמור אותו, לבדוק אותו ולתקן אותו עם מילוני מונחים. המחיר לכך הוא הצטברות השהיה ואובדן האינטונציה: הפרוזודיה של המקור אינה מגיעה לסינתזה.

מודל מקצה לקצה מדיבור לדיבור מאומן ישירות על זוגות אודיו ושומר על הקצב, ההפסקות והרגש של הדובר. אין בתוכו טקסט ביניים — כלומר קשה יותר לשלוט בטרמינולוגיה ובשמות, ולתחום תוכן צר נדרשים נתונים משלו.

את בחירת ארכיטקטורת התרגום מכתיבה בדרך כלל לא האיכות כשלעצמה, אלא דרישות השליטה: היכן שהלקוח מוכן לקבל טעות נדירה בשם או במונח — עובר מודל מקצה לקצה; היכן שלא — היברידי סוגר את הקטעים הקריטיים עם מסלול קסקדי.

איך מתנהלת הפיתוח: שלבים מהאודיט ועד למסירה

את המסלול בונים סביב תקציב ההשהיה: מסוף הדבר של הדובר ועד הצליל הראשון של התרגום באוזנייה של המאזין. את התקציב הזה מחלקים למנות — לכידת צליל, זיהוי, תרגום, סינתזה, מסירה לערוץ התקשורת.

כל עוד המנות לא נמדדו על ההקלטות שלכם ועל הערוץ האמיתי, אין מה לייעל, ולכן השלב הראשון הוא תמיד מדידה.

1. אודיט של תרחיש קולי — מפרקים סשנים אמיתיים: אורך הדברים, קטיעות, החלפת שפה בתוך המשפט, רעש רקע. מודדים את ההשהיה הנוכחית לפי מנות ואת שיעור המילים שזוהו נכון.
2. סכמת זרימת נתונים — היכן הצליל נלכד, היכן הוא נאגר בחוצץ, ומה קורה לקטע בעת ניתוק. הסכמה מתעדת את נקודות הכשל לפני שנכתב הקוד.
3. כיול לטרמינולוגיה — מילונים של מונחים ענפיים, הגיית שמות וראשי תיבות, כללים למספרים, תאריכים ויחידות. בודקים על תמלולים: כמה מונחים מזוהים נכון במעבר הראשון.
4. אינטגרציה עם פלטפורמת התקשורת — חיבור לערוץ שלכם: חדר ווב, טלפוניה, אולם. מתאמים פורמטי צליל, התנהלות עם קטיעות והד, והתנהגות בעת צניחת רשת.
5. מבחן מאמץ לסשן — כמה דוברים בו-זמנית, מיקרופון חלש, ניתוקים, ריצה של שעות רבות. מסתכלים לא על הממוצע, אלא על השהיות שיא ועל שיעור הסשנים שעברו בלי תקלות.
6. מסירה ותקנון — קונפיגורציות, סכמת זרימה, מדדים, הוראה לירידה מדורגת ולחזרה לפרופיל הקודם.

מה נשאר אצלכם: קונפיגורציות, סכמות ותקנונים

הפרויקט מסתיים לא בהדגמה, אלא בערכה שהצוות שלכם עובד איתה בלעדינו. כל מה שנבנה למשימה נמסר בצורתו המקורית ועם הסברים — כולל הפרמטרים שההשהיה ואיכות התרגום תלויים בהם ישירות.

• קונפיגורציית פריסה — סביבות, מגבלות סשנים בו-זמנית, פרמטרים של עיבוד זורם, נקודות הרחבה. לכל פרמטר הערה: על מה הוא משפיע ומתי לשנות אותו.
• סכמת זרימות הנתונים — המסלול מלכידת הצליל ועד סינתזת הקול: היכן האודיו נאגר בחוצץ, היכן מתחבר הזיהוי, היכן התרגום, היכן הסינתזה ובאיזה קטע נמדדת ההשהיה.
• מילון טרמינולוגיה — מונחים ענפיים, שמות, ראשי תיבות, וריאציות הגייה. מתווסף על ידי הצוות שלכם בלי לבנות מחדש את המודל.
• מדיניות גישה להקלטות — מי ובאיזה בסיס מאזין לקטעים או מייצא אותם, תקופות שמירה, מיסוך נתונים אישיים, יומן פניות לארכיון.
• תקנון תפעול — סדר ההפעלה והעצירה, בקרה יומית של השהיה ואיכות, פעולות בעת ירידת ביצועי הערוץ, עדכון מילונים, נקודות הסלמה.
• תיעוד — תיאור ארכיטקטוני, סכמת אינטגרציה עם הטלפוניה או פלטפורמת הישיבות שלכם, הוראות למפעילים ולמנהלים.
• ערכת קבלה — הקלטות מבחן עם תמלולי ייחוס ומדידות השהיה לפני ואחרי האופטימיזציות: לפיה אתם מקבלים את העבודה וחוזרים על הבדיקה אחרי כל שינוי.

אנחנו מוסרים הכול יחד עם סשן לצוות שלכם — כדי שניתן יהיה לערוך את הקונפיגורציה, ולא לשחזר אותה מהזיכרון.

קייס: תרגום סימולטני במשא ומתן רב-צדדי

מה היה לפני ההטמעה

הלקוח — ספק בינלאומי של ציוד תעשייתי, שמכנס פעמיים בשנה סשן רב-לשוני של שותפים מחמש מדינות. המשא ומתן התנהל בקליינט Zoom המוכר למשתתפים, והתרגום נשען על השרשרת «זיהוי דיבור → תרגום → סינתזת קול».

השהיית התגובה הגיעה לכמה שניות, והדיאלוג הפך לחילופי מונולוגים: בזמן שהתרגום נשמע, הדבר הבא כבר איבד את ההקשר.

דיוק המונחים באוצר המילים הענפי — סבילויות, מכלולים, תקני תחזוקה — עמד על 78%. השגיאות צפו לא מיד, אלא בדיון על אישור המפרטים, כשנאלצו לשאול מחדש את כל שרשרת האספקה.

מה שינו ומה קיבלו

המהנדסים שלנו העבירו את התרגום לסכמה זורמת בלי הצטברות בחוצץ: המשפט עובר לסינתזה תוך כדי הגעתו, ולא אחרי שהדובר השתתק. את זיהוי סוף הדבר לימדו להישען על מאפיינים אקוסטיים ועל הפסקות, ולכן החלפת דובר אינה קורעת יותר את המשפט לשניים. בשכבה נפרדת חוברו גלוסר ענפי עם בדיקת מונחים והפרדת ערוצים לפי קולות המשתתפים.

לפי המדדים לפני ואחרי: השהיית התגובה קטנה פי שלושה — התרגום נשמע כמעט בו-זמנית עם המקור. שיעור המונחים הנכונים עלה מ-78% ל-96%, והקטיעות בדיאלוג בהחלפת דובר נעלמו לחלוטין. התרגום הסימולטני של המשא ומתן הפך לרציף: הצדדים מתווכחים ומדייקים בקצב שלהם, ולא בתורות דרך מתורגמן.

מה לעשות אם כבר נבנה צינור קסקדי?

צינור התרגום הקסקדי מורכב משלושה שלבים — זיהוי, תרגום, סינתזה — וכל אחד מוסיף השהיה ומאבד הקשר. המזהה מוסר טקסט סופי אחרי הפסקה, המתרגם ממתין למשפט שלם, והסינתזה יוצאת אחרונה. לכן הצעד הראשון הוא מדידה: היכן מצטברת ההשהיה ובאיזה חיבור נולד עיקר העיוותים.

שדרוג המערכת הקיימת הוא המסלול הזול ביותר מבחינת סיכון. משאירים את הצינור, אבל מפעילים השערות ביניים של זיהוי, מוסרים את התרגום בחלקים בלי להמתין לסוף המשפט, ומוסיפים חוצץ קדם-סינתזה. ההשהיה יורדת באופן ניכר, האינטגרציות ומילוני המונחים נשארים במקומם, אבל תקרת הסכמה נשמרת.

החלפת חוליית הביניים נותנת רווח גדול יותר בסיכון מתון. מחליפים שלב אחד — למשל, מציבים מודל זיהוי זורם ברמת Whisper או מתרגם שאומן על סגמנטים קצרים — ואת שאר הצינור ואת נקודות החיבור לא נוגעים.

זרם מקצה לקצה מאודיו לאודיו מסיר את החיבורים לגמרי, אבל דורש נתונים משלו לאימון נוסף ולמחזור קבלה מלא.

הגירה בלי השבתה נעשית דרך מסלול צל: הגרסה החדשה רצה במקביל על אותה תעבורה, ואנחנו משווים מדדים — שיעור הדברים שהוחמצו, עיוותי משמעות בתרגום, זמן מסירת הצליל הראשון, התנהגות בשמות ובספרות. הערכת סיכוני התרגום נבנית על התחום שלכם, ולא על מבחנים כלליים.

ההסתעפות נבחרת לפי שתי מדידות: כמה השהיה מסיר כל שלב, ואיזה אחוז מהמשמעות אובד בחיבור. תארו את הסכמה הנוכחית — נחזור עם הערכה ותוכנית מעבר.

השהיה, מבטאים, רעש: ספקות טכניים

מהנדס בודק מערכת כזו על תקלות ועל הקצב של שיחה חיה, ולא על סרטון הדגמה. אספנו חמש שאלות שנשאלות לפני ההתחלה, ותשובות קצרות לכל אחת.

איך מעובדים מבטאים ושמות פרטיים?

רשימת שמות המשתתפים ומילון מונחי התחום נטענים מראש: הזיהוי מקבל רמזים פונטיים, והתרגום — וריאציות כתיב קבועות. כשהשפה ונושא השיחה ידועים, המערכת מחזיקה יציב יותר מבטא כבד.

מה קורה בעת ניתוק ערוץ התקשורת?

סגמנטים שלא הגיעו נשארים בחוצץ ומדביקים את הזרם לאחר ההתחברות מחדש. בניתוק ממושך נדלק מצב חד-כיווני — טקסט בלי קול, כדי שהדיאלוג לא ייעצר.

איך מטמיעים את זה בפלטפורמה שלנו?

המודול מתחבר לערוץ האודיו הקיים ומחליף נתונים עם חלק השרת דרך הממשק התקני. אין צורך באפליקציה נפרדת למשתתפים — את פאנל התרגום אנחנו מטמיעים בקליינט הנוכחי.

האם הקלטות אודיו של שיחות נשמרות?

כברירת מחדל הזרם מעובד ואינו נשמר. הקלטה מפעילים לפי המדיניות שלכם: הצפנה, תקופת שמירה מוגבלת, מחיקה לפי התקנון.

נדון במשימה ונחזור עם הערכה ותוכנית

כדי להתחיל פיתוח speech to speech בצורה עניינית, ולא ברמה של «ספרו לי על בינה מלאכותית», מספיקים כמה נתוני פתיחה. הם קובעים את ארכיטקטורת זרם התרגום ואת גבולות ההערכה — בלעדיהם כל מספר על השהיה יילקח מהאוויר.

• תרחיש שימוש: חדר ישיבות עם מיקרופון אחד, אולם כנסים, אפליקציית משתתף או קו תמיכה — מזה תלוי היכן ממוקם זיהוי הדיבור והיכן הסינתזה.