פיתוח עוזר בינה מלאכותית עם הבעות פנים ומחוות ריאליסטיות

הלקוח מצפה לתגובה חיה, והעוזר עונה במשפט קפוא ומאבד את הקשר. אנו מפתחים עוזרים וירטואליים עם הבעות פנים ומחוות ריאליסטיות מקצה לקצה: מתרחישי שיחה ועד מסירת מערכת מוכנה לצוות שלכם. זמן התגובה מתקצר, ושיעור הפניות שנפתרות ללא נציג עולה.

תחומי פיתוח AI

שאלות נפוצות

העבודות האחרונות

  • פיתוח אפליקציית ווב עבור FEEDME
    פיתוח אפליקציית ווב עבור FEEDME
    1365
  • פיתוח חנות מקוונת לחברת FURNORO
    פיתוח חנות מקוונת לחברת FURNORO
    1331
  • עיצוב לוגו לחברת B2B Advance
    עיצוב לוגו לחברת B2B Advance
    783
  • פיתוח אפליקציית ווב עבור Enviok
    פיתוח אפליקציית ווב עבור Enviok
    1077
  • פיתוח לוגו חברת AIDER
    פיתוח לוגו חברת AIDER
    1022
  • פיתוח CRM עבור Chasseurs
    פיתוח CRM עבור Chasseurs
    1113

למה העוזר הווירטואלי שובר דיאלוג חי

השיחה עם העוזר הווירטואלי נשברת לא על משמעות המשפטים, אלא על החיבורים. הבעות הפנים מגיעות באיחור מהדיבור, ההקשר לא שורד אתחול מחדש של הסשן, והתשובה מאחרת עד כדי כך שהאדם מספיק לשאול שוב.

הבעות פנים לא טבעיות הן תוצאה של סדר החישובים: את הארטיקולציה והמחוות מחשבים במעבר נפרד, כשפס הקול כבר מוכן. הפנים חיות בקצב משל עצמן, העין קולטת את חוסר הסנכרון בשנייה הראשונה – ומכאן ואילך האדם עוקב אחרי חוסר ההתאמה, ולא אחרי משמעות התשובה.

ההשהיה בתשובת העוזר מורכבת משלבים עוקבים: זיהוי הדיבור, חיפוש במאגר הידע, יצירה, סינתזת דיבור. אם מחשבים אותם בזה אחר זה, ההשהיה גדלה לכמה שניות: בזמן הזה המשתמש מפריע, חוזר על השאלה או עובר לערוץ אחר.

אובדן ההקשר של הדיאלוג פוגע הכי חזק. כשהמצב נשמר בתוך סשן אחד, באתחול מחדש או במעבר מצ'אט לשיחה, העוזר הווירטואלי שואל מחדש את מה שהוא כבר יודע. בשירות לקוחות זה נראה כמו כל פנייה מאפס: הלקוח חוזר על ההיסטוריה, והנציג בכל זאת מתחבר.

אנחנו מפרקים איך זה נסגר: שכבות הדיבור, הבעות הפנים והחיפוש במאגר הידע מופרדות בזמן כדי לעבוד במקביל, ואת ההקשר של השיחה מוציאים למאגר סשנים משותף.

מה נותן עוזר וירטואלי עם הבעות פנים חיות

ההשפעה הראשונה של עוזר וירטואלי עם הבעות פנים נמדדת לפי שיעור הדיאלוגים שנסגרו ללא נציג. כשהמחוות והאנימציה של הפנים תואמות לאמירה, האדם לא מאבד את חוט השיחה בהבהרות: התסריט מגיע לסיומו בחלון אחד, והאוטומציה של הקו הראשון מפסיקה להיות מסנן פורמלי.

בפניות טיפוסיות – קביעת תור, סטטוס בקשה, התאמת תנאים – אלה השיחות שקודם עברו לתור והסתיימו בסירוב. מכאן גם נעלם סוג הסירובים 'לא חיכה לתשובה' ו'עזב בזמן שחיפשו מידע במאגר'.

זמן התגובה הראשונה מפסיק להיות תלוי בעומס המשמרת: העוזר עונה מיד גם בשעת שיא וגם בלילה. הבעות הפנים סוגרות ספק נפרד – 'האם מדבר איתי אדם או הקלטה מוכנה' – שבו הדיאלוג בדרך כלל נקטע באמירה השלישית.

ההמרה של דיאלוג לפנייה גדלה בזכות העובדה שהשיחה מובלת למטרה: מבהירים פרמטרים, מסירים התנגדות, מציעים צעד הבא. לנציג מועברת לא 'שלום', אלא כרטיס עם היסטוריית הפנייה – הוא נכנס לדיאלוג בשלב הפתרון, ולא בשלב הבירור.

ההקלה על הנציגים נראית במבנה העומס, ולא בהיקפו הכולל: השגרה נשארת אצל העוזר, ולבני האדם נשארים מקרים לא שגרתיים ורגישים. כדאי לבדוק זאת לפני ואחרי ההטמעה על אותם מדדים – שיעור הדיאלוגים שהושלמו, זמן התגובה הראשונה, שיעור הפניות ללא נציג, מעבר לפנייה.

מצבי עבודה של העוזר: זרימה, הקלטה, היברידי

מצב העבודה של העוזר קובע היכן מבוזבז הזמן בתשובה: על יצירה בזמן אמת או על השמעת סצנה שהורכבה מראש.

במצב זרימה העוזר מתחיל לדבר בעוד שאר הטקסט עדיין מחושב, וסינתזת הדיבור והאנימציה של הפנים פועלות במקביל לפי סימון פונמות משותף – לכן השפתיים לא מפגרות אחרי הצליל, והתשובה הראשונה מגיעה מהר יותר.

תכנית היברידית של יצירה מחזיקה סצנות שהוקלטו מראש עבור בלוקים טיפוסיים – ברכה, תשובות שגרתיות, הבהרות חוזרות – ועוברת לזרימה עבור כל השאר.

כאן עולה שאלת התאימות: האינטגרציה עם ערוצי התקשורת בנויה באופן שונה, והחלפת המצבים צריכה לחיות בצד השירות שלנו, ולא בצד הערוץ – אחרת שער הקול ווידג'ט האינטרנט ייתנו השהיה שונה והבעות פנים שונות לאותה אמירה.

אפשרות מתי מתאים מגבלות
זרימה דיאלוג חופשי: שאלות על מאגר הידע, ייעוץ הבעות פנים בניסוחים נדירים דלות יותר; רגיש לירידת ערוץ – ייתכן חוסר סנכרון בין צליל לשפתיים
סצנות שהוקלטו מראש ברכה, שגרה, שידור ללא נציג לא עונה על שאלה מחוץ לתסריט; אוצר המילים מוגבל לסט הסצנות; עריכת טקסט = הקלטה מחדש
תכנית היברידית ערוץ מכירות ודלפק, ששם מחצית מהאמירות חוזרות נדרש מסווג אמירות וכלל החלפה; שני קווי סאונד נשמרים מסונכרנים בטון

איך אנחנו מטמיעים את העוזר: שלבי העבודה ההנדסית

ההטמעה של עוזר וירטואלי מתחילה מניתוח פניות אמת, ולא מבחירת מראה הדמות. תחילה מחשבים אילו בקשות חוזרות ובאיזה שיעור מהמקרים העוזר יסגור את השאלה בעצמו, והיכן הוא חייב להעביר את הדיאלוג לאדם.

לאחר מכן בונים את תכנית הדיאלוגים, מחברים ערוצים, ורק אחרי זה מוציאים את העוזר לתעבורה חיה לפי מדדים.

  1. ביקורת תרחישים. מייצאים היסטוריית פניות מטלפוניה, מלשוחנים ומדואר אלקטרוני, מתייגים נושאים ומחשבים שיעורים. בפלט – רשימת תרחישים עם הערכה כמה פניות הם מכסים והיכן נדרש אסקלציה.
  2. תכנון תכנית הדיאלוגים. מקבעים ענפים, הבהרות חובה, תנאי העברה לנציג וניסוחים למקרה של אי-הבנה. התכנית מאושרת לפני הפיתוח, כדי שעריכות לא ישנו את הלוגיקה.
  3. הגדרת אינטגרציות. מחברים ערוצי תקשורת, מאגר ידע ומערכת ניהול: הרשאות גישה, טיפול בחזרות בעת תקלה, התנהגות כשירות חיצוני לא זמין.
  4. הבעות פנים, מחוות ודיבור. מגדירים התנהגות בהפסקות, קצב, סנכרון ארטיקולציה עם הקול. בנפרד בודקים תשובות ארוכות – דווקא שם העוזר מאבד לרוב את הטבעיות.
  5. הרצות בדיקה. מריצים דיאלוגים טיפוסיים וגבוליים, מנהלים רגרסיה: אחרי כל עריכה בתסריט בודקים מחדש ענפים שנסגרו קודם.
  6. קבלה על דיאלוגים חיים. משיקים על חלק מוגבל מהתעבורה ובודקים את שיעור ההחלטות העצמאיות, זמן התשובה וסיבות האסקלציות.
  7. העברה לצוות הלקוח. מוסרים תיעוד, הרשאות והוראות לעריכת תסריטים, כדי ששינויים יבוצעו בלעדינו.

מה אנחנו מוסרים לידיים: מודלים, תכניות, נהלים

הפרויקט מסתיים לא בהדגמה, אלא בהעברה: אצל צוות הלקוח נשאר כל מה שהעוזר הווירטואלי חי ומשתנה איתו בהמשך. הרכב העבודות נקבע מראש – מה בדיוק עובר לידיים, באיזו צורה ובאיזה תיעוד, כדי לא לברר זאת כבר בשלב ההרצה לעבודה.

  • מודל עוזר מוגדר עם גרסת עבודה מקובעת – ונוהל ברור לחזרה לגרסה קודמת, אם לאחר עריכות האיכות ירדה.
  • תכניות דיאלוגים: ענפים ופיצולים, גבולות הנושא, ביטויי יירוט ותנאים שבהם השיחה עוברת לנציג אנושי.
  • מדיניות גישה: אילו תפקידים רואים את היסטוריית הדיאלוגים, מי רשאי לשנות תסריטים והבעות פנים, היכן נשמרות ההקלטות ולפי איזה כלל נמחקות.
  • מטריצת הבעות פנים ומחוות: איזה רגש משויך לאיזו אמירה, היכן העוזר שותק, איך מגיב להפרעה ולהפסקה.
  • נהל הפעלת העוזר: סדר עדכון תסריטים, ניקוי לוגים, בקרת השהיית תגובה, פעולות תורן בעת תקלה.
  • נקודות מדידת איכות: שיעור הדיאלוגים שהובלו למטרה, תדירות הסטיות מהנושא, מהירות התשובה – עם ציון היכן נאספים המספרים האלה.
  • חומרי הדרכה לצוות הלקוח: ניתוחים קצרים מהמסך, היכן לערוך אמירה בלי מפתח, וצ'ק-ליסט לפני הוצאת גרסה חדשה.

אנחנו מלמדים את צוות הלקוח על אותם ארטיפקטים: משנים אמירה, מריצים אותה בתכנית, בודקים כיצד המדדים השתנו. בנפרד מדברים על אילו עריכות בטוחות לעשות בעצמם, ואילו דורשות תיאום – לאחר מכן עדכון טיפוסי של תסריט אורך דקות ולא גורר פיתוח.

מקרה בוחן: עוזר בשירות לקוחות, לפני ואחרי

לפני ההטמעה שירות הלקוחות נשען על נציגים: הפנייה נכנסה לתור כללי וחיכתה לתשובה, בשעות שיא זמן התגובה התארך לכמה דקות. בלילה ובסופי שבוע הקו לא פעל, חלק מהשאלות עברו לדואר אלקטרוני ונשארו שם. כל נציג הרכיב מחדש את ההקשר – מספר הזמנה, היסטוריה, הבטחות קודמות ללקוח.

שינינו את נקודת הכניסה. העוזר הווירטואלי מקבל ראשון את הפנייה, מזהה את הכוונה ומנהל דיאלוג עד לפתרון: סטטוס הזמנה, החזרה, העברת תור. אם השאלה חורגת מהתסריט, הנציג מקבל כרטיס עם היסטוריה ונתונים שכבר נאספו, ולא בקשה ריקה.

מדדים אחרי: שיעור הדיאלוגים שנסגרו ללא נציג – כשבעה מתוך עשרה, זמן התגובה לפנייה הצטמצם מדקות לכמה שניות, הקו פועל 24/7. לפי הערכות ענפיות של Gartner, שירות עצמי מסיר מהקו הראשון כשליש מהפניות הטיפוסיות – אצלנו יצא יותר, כי העוזר סוגר לא רק תרחישי מידע, אלא גם תרחישי עסקאות.

בנפרד הסרנו סוג סירובים של 'פנייה אבדה בהעברה בין משמרות וערוצים'. כרטיס הדיאלוג חי ללא תלות במי שעונה – עוזר או נציג, ולכן ההקשר לא מתפרק והלקוח לא צריך להסביר הכל מחדש. תופעת לוואי של אותו מנגנון: פניות חוזרות על שאלה שכבר נפתרה הצטמצמו בערך בחצי.

במה שונה אנימציית פנים מסינתזת דיבור

סינתזת דיבור אחראית על רצועת השמע: היא מפיקה צליל יחד עם סימון – גבולות פונמות, משכים, הפסקות והטעמות. עבור בוט קולי באוזניות זה מספיק, אבל לעוזר וירטואלי עם פנים דרושה גם ארטיקולציה – ואותה בשלב הזה אף אחד לא חישב.

אנימציית פנים נבנית בדיוק על הסימון הזה. סנכרון השפתיים והצליל הוא לא 'פגיעה בקצב', אלא קישור הארטיקולציה לפונמות ברמת דיוק של פריים: הפה נסגר במקום שבו נגמר הצליל, ולא אחריו.

אם מלבישים את הבעות הפנים על גבי הקלטה מוכנה במעבר נפרד, הפער מצטבר עד סוף המשפט, והפנים מתחילות 'לצוף' – באמירה קצרה זה לא מורגש, בתשובה מפורטת זה בולט לעין.

ניהול המחוות הוא השכבה השלישית, והיא לא נגזרת מהשמע. הנהון, סיבוב הגוף או הדגשה ביד קשורים למשמעות: הם מופיעים בהפסקה, בשינוי נושא, בשאלת בן השיח. לכן המחווה מתוכננת יחד עם הטקסט והאינטונציה, ולא מצוירת לאחר מכן.

ההבדל בין 'ראש מדבר' לבין העוזר הוא במעגל יצירה אחיד. את האמירה מסמנים בשלמותה: איפה המשפט, איזו אינטונציה, היכן נכנסת המחווה – ומתוך ציר זמן אחד נאספים הקול, הבעות הפנים והתנועה.

את השכבות האלה לא מעריכים בנפרד: סינתזת דיבור נקייה בלי הבעות פנים נשארת פודקאסט, ואנימציית פנים בלי מחוות נשלטות היא אנימציה. לכן את הקבלה עושים בחיבורים: האם סגירת הפה תואמת לסוף הצליל, האם הפנים לא מתפרקות באמירה ארוכה, האם המחווה מגיבה להדגשה משמעותית.

ספקות טכניים: השהיה, שפות, עומס, תקלות

ההשהיה בתשובה מורכבת לא רק מיצירה: היא כוללת זיהוי דיבור, סינתזה והעברת שמע. אמת המידה – להיכנס להפסקה טבעית של הדיאלוג, כדי שהעוזר לא יפריע לאדם. זה מה שנותן מסירה בזרימה: האמירה מתחילה לפני שהטקסט המלא שלה מוכן, והבעות הפנים מסונכרנות לפי הקטע שכבר התקבל.

עוזר רב-לשוני מזהה שפה לפי האמירה עצמה, ולא לפי פרופיל, ולכן דיבור מעורב בתוך הדיאלוג לא שובר את התסריט. עומס שיא ותקלות ערוץ הם מצבים נפרדים שמתכננים מראש.

איזו השהיית תשובה נחשבת קבילה?

אמת המידה – הפסקה המקובלת בשיחה חיה. נתיב האמירה מחולק לקטעים עם תקציב לכל אחד: אם סינתזת הבעות הפנים מתחילה לפגר, חלק מהמחוות מפושטות, והדיבור ממשיך בלי נפילה.

איך העוזר מחליף בין שפות?

ההחלפה מתבצעת לפי האמירה של המשתמש, כולל ביטויים מעורבים. השפות נקבעות בתחילת הפרויקט: עבור כל אחת נבדקים בנפרד זיהוי, תשובה וארטיקולציה.

מה קורה בעומס שיא?

העוזר עובר לתור: חלק מהדיאלוגים מטופלים במקביל, והשאר מקבלים השהיה מובנת במקום ניתוק. סף ההידרדרות נקבע מראש.

איך העוזר מתנהג בעת תקלת ערוץ?

תסריט גיבוי ממשיך את הדיאלוג במצב מוקל – קול וטקסט בלי וידאו. לאחר שחזור הקשר, השיחה ממשיכה מאותה נקודה, והמשתמש לא מתחיל מחדש.

נדון במשימה ונחזור עם הערכה ותכנית

כדי לחזור עם הערכה ותכנית הטמעה, אנחנו צריכים מינימום של הקשר: לשם מה העוזר – חלון ראווה, תמיכה, הדרכה – על אילו תרחישים הוא צריך לעבוד ואיזו רמה של הבעות פנים ומחוות אתה מחשיב כמספקת. הוסף רפרנסים: איך הוא נראה, מדבר וזז, ומי בצד שלך מקבל החלטות לגבי המראה והטון.

לאחר מכן הולכים לפי שלבים, ובכל שלב אתה רואה תוצאה, ולא דוח:

  • ניתוח המשימה והתרחישים: אוספים רשימת אמירות, שאלות וענפים ללא מוצא, שבהם העוזר צריך להעביר את השיחה לאדם בצורה נכונה.
  • הערכה ותכנית הטמעה: תכנית הפתרון, הרכב הצוות – טק-ליד, מהנדס סינתזת דיבור ואנימציית פנים, מפתח אינטגרציות – וזמני השלבים.
  • הרצת פיילוט של העוזר: תרחיש אחד באתר אחד, בודקים השהיית תשובה וטבעיות הבעות הפנים על אנשים חיים.
  • שכלול לאחר הפיילוט: מתקנים ארטיקולציה בהתאם לקול, מוסיפים מחוות עבור ביטויי מפתח, סוגרים פערים בדיאלוג.
  • אינטגרציה והעברה: חיבור למערכות שלך, כללי עדכון תוכן, תיעוד והדרכה למי שינהל את העוזר בהמשך.

כמה שיותר מוקדם ננתח את התרחישים, כך יהיו פחות שינויים בשלב האנימציה. תאר את המשימה – נחזור עם הערכה, תכנית וזמני השלבים.