הפחתת רעש מבוססת רשתות עצביות: RNNoise ו-DeepFilterNet לשמע נקי

דיכוי רעשי אודיו: היכן נשברת ההקלטה והשיחה

דיכוי רעשי אודיו כמעט לעולם אינו מתחיל מהמשימה "לעשות את זה יפה". העילה היא חקירת תקלה: הקלטת שיחה יוצאת לבדיקת איכות, ובהן שומעים אוורור ולא מחצית מתשובות הנציג. המהום בהקלטת השיחה אינו מפריע לשיחה ברגע עצמו — הוא עולה מאוחר יותר, כשצריך לקבל החלטה על סמך ההקלטה הזו.

צוואר הבקבוק השני של עיבוד הקול — חדר הישיבות. הד מהרמקולים, הדהוד מהזכוכית ומהרהיטים, מיקרופון שתופס לא את מי שמדבר. אפילו מסנן מדויק טועה כאן: הוא מדכא את זנב ההד יחד עם סיומות שקטות של מילים, ומשמעות המשפט מתהפכת.

עובדים מרחוק מוסיפים סוג כשל משלהם. ערוץ לא יציב, אוזניות זולות, שריקה וקליקים בכניסה. נפילות דיבור חלות בדיוק על מילות תפקוד ומספרים — מספרים, סכומים, מועדים — כלומר על מה שבגללו בכלל שומרים את ההקלטה.

בנפרד עומדות אבדות דיבור בעת ניקוי. מסננים אגרסיביים חותכים עיצורים, נשיפה והפסקות קצרות, ובמקביל לרעש נוטלים איתם את הבהירות. תמלול אוטומטי מתחיל לפספס מילות מפתח, ניתוח פניות הופך להאזנה להקלטה בשלושה סבבים, וחלקן של הקלטות שאינן ראויות לבדיקה גדל.

אנחנו מפרקים איך זה נסגר: היכן במסלול למקם את דיכוי הרעשים, מדוע מודלים נוירוניים כמו RNNoise ו-DeepFilterNet מתנהגים אחרת על המהום ועל הקליקים, ואיך לנקות את הקול בלי לאבד דיבור.

אפקט מדיד: בהירות דיבור וסריקה

«השתפר באוזן» — אינו קריטריון קבלה: האוזניים מסתגלות לעיבוד, הוויכוח על התוצאה הופך לוויכוח טעם, וההקלטות המקוריות כבר אף אחד לא זוכר אחרי חודש.

לכן את רשימת המדדים ודרך המדידה מקבעים לפני ההתחלה: את אותן רצועות מריצים דרך המסלול בלי ניקוי ועם ניקוי, עבור חלק מההקלטות מכינים מראש תמלול ייחוס ידני. הפרוטוקול מתרגם את השיחה "האם נהיה טוב יותר" להשוואת מספרים — ולפיו מתקבלת העבודה.

• חלק המילים שזוהו: כמה מילים מתמלול הייחוס תאמו לתמלול המכונה, לפני ואחרי. המדד העיקרי — משקף ישירות כמה קטעים יהיה צריך לשאול מחדש או לתקן ביד.
• סוג כשל שהוסר: נמדד לפי מקורות ההפרעה בהקלטות של הלקוח — המהום חדר השרתים, קליקים של מקלדת, הד מחדר הישיבות, רחוב מחוץ לחלון. לפני העבודה — כמה רצועות נגועות בכל סוג, אחרי — כמה נותרו.
• בהירות דיבור: הערכה של מפעיל בסולם מ"לא ניתן להבין מילה" ועד "מבין בלי חזרות", על אותם קטעים ובאותם תנאי האזנה.
• זמן האזנה להקלטה: כמה דקות נדרשות לניתוח קטע בן שעה יחד עם התמלול. בדרך כלל האפקט נראה כבר במעבר הראשון.
• אבדות דיבור: חלק הקטעים הדבורים שדוכאו יחד עם הרעש — התחלות מילים חתוכות, סיומות "נבלעות". עלייה בניקיון על חשבון דיבור שנחתך נחשבת לפסול.
• עמידות במקורות שונים: אוזניות, מכשירי הקלטה, הקלטות של שיחות ועידה. עיבוד כמו DeepFilterNet מתנהג אחרת בכל אחד מהם, ואין לשפוט את כלל המלאי לפי מכשיר אחד.

את התוצאה מרכזים בטבלת «לפני/אחרי» לפי כל מדד עם ציון מערך הבדיקה. אם לפחות אחד לא זז — משנים את פרמטרי הדיכוי ומודדים מחדש, ולא מדווחים על הטמעה.

דיכוי רעשי אודיו: מצבי זרימה, קובץ ומנה

מצב העיבוד נבחר לא לפי איכות המודל, אלא לפי היכן שהקול חי: בערוץ חי, בהקלטה נפרדת או בארכיון של אלפי שעות. בזרימה האלגוריתם עובד על חלון קצר ואינו יכול לצבור הקשר; בקובץ הוא רואה את הרצועה כולה ובונה הערכת רעש לפי ההפסקות — מכאן דרישות שונות לזיכרון חציצה ולשהות.

הליבה — RNNoise ו-DeepFilterNet: הראשון מחזיק את מצב הזמן האמיתי, השני נותן קול נקי באופן ניכר יותר בניתוח הקלטה שלמה. הפרופילים אינם מתערבבים בשקט: הזרימה רצה במהיר, הארכיון באיכותי, ושניהם כותבים דוח על חלק הרעש שדוכא ואזורים שסומנו כמסוכנים.

שלבי ההטמעה: מביקורת ההקלטה ועד למסירה

המסלול מתחיל לא מכיול המודלים, אלא מביקורת ההקלטה: אופי הרעש קובע גם את בחירת האלגוריתם וגם את סדר העיבוד. להלן — שלבים עם נקודות ביקורת, אחרי כל אחד רואים תוצאה.

1. ביקורת ההקלטה — מאזינים לחומר ומסתכלים על הספקטרום: המהום אוורור, רקע רחוב, הדהוד החדר, הפרעות רשת. הפרעות קבועות ואימפולסיביות דורשות הגדרות שונות, ואין לאחד אותן לפרופיל אחד.
2. מדידת רמת הרעש — מקבעים את יחס האות לרעש בדיבור שקט, דיבור רם והפסקות. ערכים אלה הופכים לבסיס הקבלה: ההשוואה נעשית לא לפי השמיעה, אלא לפי מספרים.
3. תרשים המסלול — קובעים את סדר העיבוד: דיכוי רעשים, איזון גוון, נרמול עוצמת קול, מגביל. שינוי סדר השלבים נשמע כארטיפקטים, ולכן את התרשים מתאמים מראש.
4. קטעי ייחוס — חותכים 10–15 קטעים קצרים עם מקרים מורכבים: לחישה, צעקות, דיבור מעל מוזיקה. עליהם מכיילים פרופילים ומקפידים שלא ייעלמו עיצורים.
5. כיול פרופילים — בוחרים מודל ודרגת דיכוי לכל סוג הקלטה: RNNoise לעיבוד זרימה, DeepFilterNet לרקע מורכב. המטרה — להסיר רעש תוך שמירה על טבעיות הקול.
6. בדיקה וקבלת העיבוד — מריצים את כל המערך, משווים לייחוסים, בודקים הפסקות ומעברים. את התוצאה מגישים בדוח לפי רמת הרעש והבהירות בכל סוג קטע.
7. מסירה — מוסרים קונפיגורציות של פרופילים, סקריפטים לעיבוד מנות, תרשים המסלול והוראות לצוות.

הפתרון נשאר בר-קיימא בלעדינו: ניתן לחזור על העיבוד על חומר חדש עם אותן הגדרות.

מה נשאר אצל הלקוח: תרשימים, פרופילים, תקנות

התיעוד נמסר לא כ"תיקייה בענן", אלא כמערכת עבודה שלפיה צוות התפעול עצמו יחבר חדר חדש ויחזיר אחורה שינוי כושל. להלן ההרכב שאנחנו מקבעים במסירה: כל סעיף נבדק על הקלטות אמיתיות, ולא על עמדת הדגמה.

• תרשים המסלול — סדר הבלוקים מהמקור ועד היציאה, נקודות הניתוק והעקיפה: רואים היכן דיכוי רעשי האודיו מוטמע בהקלטה, בשיחה או בשידור.
• פרופילי עיבוד לפי חללים — סטים של פרמטרים לחדר ישיבות, לאופן ספייס, לבית מלאכה רועש ולרחוב: עומק הדיכוי, סף הפעלה, מרווח, כדי שלא ייפגעו מוזיקה והכרזות.
• קונפיגורציות של מודלים בצורה קריאה עם הערות: מה עושה הפרמטר, על מה הוא משפיע, איזה טווח בטוח בעריכה ידנית.
• תיעוד לניקוי קול — תיאור של אותות, מדדי איכות וצ'ק-ליסט קבלה: איך לוודא שהרעש נעלם והדיבור לא "נלעס".
• תקנון תפעול — מי ואיך משנה פרופילים, איך לחזור לקודם, מה לעשות בעת החלפת מיקרופונים או מעבר לחדר אחר.
• הקלטות ייחוס והרצות השוואה — בדיקה לפני ואחרי עריכת הקונפיגורציה, כדי ששינויים לא יתקבלו לפי השמיעה.
• מפת עומסים — כמה ערוצים מחזיק צומת אחד ואיזה מרווח נותר, כדי שההרחבה לא תיתקל בתקרה.

המערכת מתעדכנת בכל שינוי במסלול, אחרת היא הופכת לארכיון. אנחנו מוסרים אותה יחד עם ניתוח קצר למהנדסים ומלווים את עריכת הפרופיל העצמאית הראשונה.

מקרה בוחן: מוקד טלפוני מרחוק, מדדים לפני ואחרי

נציגי מוקד טלפוני מרחוק דיברו מדירות — בהקלטה נכנסו שיפוצים מאחורי הקיר, מזגן, מקלדת ודיבור של זרים. מערכת הזיהוי התבלבלה במילים, והבקרה על האיכות האזינה מחדש לשיחות ביד: לא סמכו על סימון אוטומטי.

את המיקרופונים החליטו לא להחליף — זה החלק הארוך ביותר בפרויקט. במקום זאת הציבו בעמדות העבודה מפל: המעבר הראשון מדכא רקע קבוע, השני — DeepFilterNet — לא קבוע: צעדים, טריקת דלת, קולות שכנים. העיבוד מתבצע לפני ההקלטה, ולכן האות המנוקה מגיע גם לארכיון וגם לזיהוי מיד.

את ההגדרות פיצלו לפי קבוצות ציוד: באוזניות עם מיקרופון חיצוני הדיכוי הקשיח אכל עיצורים, בזולות — להפך, חסר היה מרווח. לכל קבוצה קבעו פרופיל והריצו אותו על הקלטות ייחוס עם טקסט ידוע, כדי לראות היכן המודל חותך דיבור.

מדדים לפני ואחרי

חלק הפניות שנותחו בלי האזנה ידנית עלה מ-62% ל-89%. הזמן להאזנה חוזרת לקטע ירד מ-40 ל-12 שניות, שאלות החזרה הצטמצמו בחצי, והשיחה הממוצעת התקצרה ב-20 שניות.

הבקרה על האיכות מסתכלת עכשיו רק על שיחות שנויות במחלוקת — את השאר סוגרות תגיות אוטומטיות. במהלך ההטמעה אף נציג לא ויתר על הפרופיל החדש: ההגדרות אינן מפריעות לדבר.

במה נבדלות שיטות נוירוניות משיטות ספקטרליות?

חיסור ספקטרלי מעריך תחילה את ספקטרום הרעש לפי ההפסקות בין המילים ומחסיר את ההערכה הזו מהאות הנכנס. השיטה דטרמיניסטית, אינה דורשת אימון ומתנהגת באופן צפוי ברעש קבוע: המהום אוורור, הפרעות, שריקת מיקרופון.

שיטות ניקוי נוירוניות פותרות את הבעיה ההפוכה — המודל אומן למפות ספקטרום רועש לנקי, ולכן מחזיק גם הפרעות לא קבועות: מקלדת, רשרוש, דיבור של זרים ברקע.

החיסור הספקטרלי נשבר באופן צפוי: בטעות בהערכת הרעש נשאר באות רעש מוזיקלי — פסגות שורקות צרות במקום ההרמוניות שהוחסרו. כנגד הדהוד החדר הוא חסר אונים: זו אינה הפרעה מתווספת, אלא קונבולוציה עם תגובת החדר, ואין להסירה בחיסור ספקטרום.

הרשת הנוירונית משלמת על כך בחישובים ובשהות: המודל מעבד פריים באורך קבוע, והדרישות למעבד גבוהות יותר. בסוג הקלטה לא מוכר היא או שמחסירה בדיכוי, או שמייבשת את הדיבור — נעלמים עיצורים, מופיע גוון מתכתי.

מודלים קלים כמו RNNoise נכנסים בפריים ורצים בזרימה אחת; כבדים יותר, כמו DeepFilterNet, מסירים גם הדהוד מתון.

בפועל, את בחירת שיטת העיבוד מכתיב מקור ההפרעה, ולא האופנה. רקע קבוע ודרישות קשיחות לשהות — חיסור ספקטרלי; רעש מגוון בשטח — רשת נוירונית. את ההדהוד מסיר מודל נפרד: המפל נותן מרווח באיכות, אך דורש כיוונון פרמטרים למסלול ההקלטה הספציפי.

ספקות טכניים נפוצים בנוגע לעיבוד קול

מהנדסים שכבר שמעו את פלט דיכוי הרעש שואלים אותן שאלות: האם המסנן "אוכל" עיצורים, מה לעשות עם ארכיון הקלטות קיים, האם העיבוד נכנס בזמן אמת והאם ניתן לאמן מודל על הנתונים של עצמך. להלן — תשובות בלי שיווק; כל ארבעת התרחישים נסגרים בשלב הכיול, ולא אחרי המסירה.

מה לעשות עם הקלטות שכבר נעשו?

מעבר מנות על הספרייה: עיבוד רקורסיבי, הקבצים המקוריים אינם נדרסים, וביציאה — לוג לכל קובץ עם הפרמטרים. ארכיון של עשרות שעות עובר בלי פיקוח ידני; באופן סלקטיבי אנחנו מנקים מחדש רק רצועות בעייתיות.

האם העיבוד מספיק בזמן אמת?

כן: הפריים מעובד מהר יותר משך השמעתו, ולכן השהות נשארת נוחה לשיחת ועידה ולהכתבה. אם המודל כבד, מפצלים קווים — הזרימה רצה במצב קל, הניקוי הסופי נעשה במצב לא מקוון.

האם ניתן לאמן מודל על הנתונים של עצמך?

כן, ועל החומר שלך התוצאה גבוהה מהאוניברסלית. אוספים מערך מההקלטות שלך: קולות הדוברים, רעשי החלל האופייניים, המיקרופונים. האימון הנוסף מתבצע לפי הפרופיל הזה, והאיכות נמדדת לפי חלק המילים שזוהו נכון ובהירות לפי שמיעה.

נדון במשימה: ממה מתחילים את הניתוח

כדי לחזור עם הערכה ותוכנית הטמעה, ולא עם מילים כלליות, אנחנו זקוקים לניתוח של האודיו שלכם בדיוק. בדרך כלל מספיקה שיחה קצרה וכמה קבצים לדוגמה — ומכאן התמונה הופכת לקונקרטית.

• אופי הרעש: המהום קבוע של ציוד או אוורור, רעש משרד ומקלדת, רחוב מחוץ לחלון, הפרעות מהרשת, הד בחדר הישיבות.
• סוג החומר: שיחות וכנסים, ראיונות ופודקאסטים, הכתבה, הקלטה ממכשיר הקלטה או מאוזניות, רצועות משולבות.
• פרמטרים של המקורות: פורמט המיכל, מספר הערוצים, רזולוציית סיביות, היכן קול הדובר מופרד מהרעש והיכן הכול בערוץ אחד.
• נפח הארכיון: כמה שעות הקלטה נמצאות באחסון, איזה חלק מהן דורש עיבוד, האם יש תמלולים מוכנים.
• מצב העבודה: עיבוד זרימה בזמן אמת או מנות לפי ארכיון, השהות המותרת, היכן דיכוי הרעשים משתלב בתהליך שלכם.
• קריטריון קבלה: מה נחשב לתוצאה טובה — בהירות דיבור, היעדר ארטיפקטים "מימיים" וגוון מתכתי, שמירה על הפסקות ואינטונציה.
• אילוצים: דרישות לאחסון ולעיבוד של נתוני קול, כללי גישה להקלטות, האם נדרש עיבוד מקומי בלי העברה החוצה.

עם המערך הזה אנחנו מרכיבים תוכנית הטמעה: בוחרים מודל לפרופיל הרעש שלכם, קובעים את המצב ונקודות האינטגרציה, ומקבעים כיצד נבדוק את התוצאה על הסימון שלכם עצמכם.

הצעד הראשון — פיילוט על קטע: מריצים את העיבוד על 20–30 דקות של הקלטות אמיתיות, מוסרים את התוצאה «לפני ואחרי» ומראים אילו קטעים נותרים בעייתיים.

תארו את המשימה וצרפו כמה קבצים — נחזור עם הערכה של נפח ההקלטות ותוכנית עבודה.