פיתוח מערכת לבדיקת דקדוק ואיות עם מודל שפה

מדוע בדיקת איות מבוססת כללים נשברת על טקסט חי

מילון עם מערכת כללים עובד היטב על טקסט מוגה, ונשבר באופן צפוי על טקסט חי. בדיקת איות בטקסטים עם שמות מותג, ראשי תיבות ותעתיק יוצרת התראות שווא של המילון: צורה ביחסה עקיפה אינה נמצאת בלקסיקון, והמערכת מסמנת מילה תקינה כשגיאה. העורך או מכבה קווים תחתונים כאלה בעיניים עצומות, או מפרק כל אחד מהם ידנית.

שגיאות נטייה הן סוג נפרד. הכלל דורש התאמה של מין, מספר ויחסה, ואת החריגים לו מוסיפים ידנית לכל מקרה חדש. ברגע ששם מורכב או צירוף מחובר נכנס לטקסט, הכלל שותק — ואז או שמפספסים שגיאת הקלדה אמיתית, או שמסמנים משפט תקין.

סימון הטקסט החי מוסיף שכבה שנייה של רעש. מילה שנחתכת במעבר שורה או שנצמדת לתו פונקציונלי מתפצלת לשני קטעים, והבדיקה רואה שתי «שגיאות» במקום מילה אחת. קישורים, אזכורים ואימוג'ים מהודעות וצ'אטים מעובדים כאוצר מילים רגיל, אף שאינם אוצר מילים.

טקסט מצ'אט ומהודעות מחמיר את התמונה: אין רישיות, אין פיסוק, בשורה אחת מתערבבים שפות וקיצורים. המילון רושם כל רצף לא מוכר כשגיאה, שיעור הסימונים התקינים יורד, ופיד כזה כבר אי אפשר לפרק ידנית.

בזרימה זה מתגלגל לכך שאיכות הטקסט במערכת הופכת מתלות בכלי ושוב נשענת על האדם: את הבדיקה מכבים או מתעלמים ממנה. המודל מסיר את השכבה הזו — נפרק כיצד בדיוק.

מה נותנת מערכת על מודל שפה: האפקט במטריקות

בדיקה מילונית לפי כללים תופסת שגיאות הקלדה, אך מפספסת את מה שנראה רק בהקשר: אי-התאמה ביחסה, מילה מיותרת, ניהול תחבירי שגוי. שיעור השגיאות המוחמצות בסוגים כאלה נשאר גבוה, והן מגיעות לעורך כבר בפריסה או בהודעה שנשלחה.

מודל שפה קורא את המשפט בשלמותו, ולא מילים בודדות, ולכן הוא מוצא שגיאת התאמה והדבקה של שני צירופים במקום שבו המילון שותק.

מונחים ותחומיים ושמות מוציאים לרשימות נפרדות, ואת השימושים השנויים במחלוקת מאמתים מול קורפוס — למשל, מול הקורפוס הלאומי של השפה הרוסית, כדי שהכלל יישען על שימוש ממשי ולא על טעמו של המחבר.

הצד האחר — סימוני שווא: ראשי תיבות, מינוח וסלנג מקצועי הופכים לשגיאות אם לא מגבילים את המודל במילון חריגים ובסף ביטחון. התראות מתחת לסף אינן נכנסות לתיקון אוטומטי, אלא נאספות לרשימה נפרדת, ולכן שיעור סימוני השווא אצל העורך יורד — יש לבדוק לא את כל הטקסט, אלא רק מקומות דו-משמעיים.

זמן ההגהה הידנית מצטמצם בזכות הנפח, ולא בזכות מהירות הקריאה: העורך מקבל טקסט עם תיקונים חד-משמעיים שכבר הוחלו ורשימה קצרה של מקרים שנויים במחלוקת. תקן טקסט אחיד נשען על הקונפיגורציה — טון, האות yo, מרכאות, מקף, עיצוב מספרים — ופועל באותה מידה לאתר, להודעות ולמסמכים.

מקרים שנויים במחלוקת בכתיב אינם נעלמים: הם נאספים לדוח עם שכיחות לפי סוגים. ממנו רואים היכן הכלל התיישן או המילון חסר, והעדכון אורך דקות — בלי לתקן קוד.

גישות לבדיקת איות: מילונים, כללים ומודל

שלוש דרכי ניתוח פותרות משימות שונות, ואף אחת מהן לא סוחבת את הבדיקה כולה. ניתוח מילוני תופס בביטחון שגיאות הקלדה, כתיב מחובר ורווחים מיותרים, אך נכשל מול התאמה בתוך המשפט: המילה כתובה נכון, אבל הצורה — לא.

כללי פיסוק נותנים תוצאה צפויה במבנים תבניתיים, אך כל חריג צריך לתאר בנפרד, ונפח התמיכה הידנית גדל יחד עם השפה.

מודל שפה בניתוח רואה הקשר ומשמעות, ולכן מתמודד עם יחסות, זמנים וסדר מילים במקום שבו הכללים חסרי אונים. הצד האחר — תיקונים «לפי הטעם» והצעות בטוחות במקום שבו לא הייתה שגיאה, ולכן המודל זקוק לסף ביטחון ולסימון סוגי תיקונים.

בפועל, בהפעלה חי ניתוח טקסט היברידי: המילון והכללים חוסמים שגיאות מכניות, והמודל מתמודד עם מקרים מורכבים.

המצב נבחר לפי סוג הטקסט, ולא לפי שם מפוצץ של השיטה: עבור זרימת פניות ההיברידי נותן את התוצאה הטובה ביותר, ולנהל פנימי מספיקים כללים ומילון. מינוח משלך מחובר בכל מצב — אחרת מקטים וראשי תיבות נכנסים לדוח כשגיאות. נראה על הטקסטים שלכם היכן עובר הגבול בין המצבים ואיזו מערכת בדיקות תכסה את עיקר שיעור התיקונים.

הטמעה שלב אחר שלב: מביקורת הקורפוס ועד מסירת המערכת

בדיקת איות נשברת לא על המודל, אלא על הנתונים. כל עוד לא נותח קורפוס טקסטים ממשי, לא ברור מה נחשב לשגיאה ואיזו רמת הצעות העובדים מוכנים לסבול: בבקשות ובהודעות יש פגמים מסוג אחד, בנהלים ובחוזים — מסוג אחר. לכן את העבודה מתחילים בביקורת הקורפוס וקובעים קריטריוני קבלה מדידים עוד לפני שורת הקוד הראשונה.

1. ביקורת קורפוס הטקסטים. אוספים מדגם אנונימי של מסמכים לפי ערוצים וסוגים: הודעות, בקשות, הוראות, חוזים. מחשבים את שיעור שגיאות ההקלדה, החזרות, ההתאמות הקרועות ועירוב השפות — ומקבלים מפה של מה שבאמת צריך לתקן ומה שאפשר לא לגעת בו.
2. סכמת הניתוח. מסכימים איזה סוג פגמים נחשב לשגיאה ובאיזו עדיפות: איות, פיסוק, יחסות והתאמה, מינוח, סגנון. לכל סוג קובעים משקל וסף התראה, כדי שהמערכת לא תסמן הכול באופן גורף ולא תאבד אמון מהימים הראשונים.
3. התאמה למינוח. בונים מילון של מונחים ענפיים ומוצריים, חריגים וכללי נטייה, ובנפרד מפרקים ראשי תיבות ושמות ממסמכים פנימיים. לאחר מכן הלקסיקון המקצועי מפסיק להיות מסומן כשגיאה.
4. הכנת מערך ייחוס. מסמנים את הקורפוס ידנית ומחלקים אותו לחלק אימון ולחלק מושהה, כדי שההערכה תתבצע על טקסטים שהמערכת לא ראתה.
5. בדיקה על מדגם מושהה. בודקים דיוק וכיסוי לכל סוג שגיאה ושיעור התראות שווא בנפרד לפי סוגי מסמכים. סוגים שבהם יש יותר מדי הצעות נשלחים לכיול נוסף, ולא לקבלה.
6. קבלת איכות. משווים את התוצאה לספים שהוסכמו בהתחלה: דוח לפי סוגים, לפי ערוצים ולפי חלקי דיבר, ובנוסף ניתוח של הפערים שנותרו. סוגים שלא עברו את הסף מושלמים לפני המסירה.
7. מסירה וליווי. מוסרים קונפיגורציות, מילונים, מערך ייחוס ותקנון עדכון: כיצד להוסיף מונחים, כיצד למדוד שוב את האיכות ומה לעשות בעת החלפת תבניות מסמכים.

מילונים וכללים חיים יותר מהמודל, ולכן במסירה מכניסים מדידה חוזרת לאחר כל עדכון מינוח — האיכות נשארת ברמת הקבלה ולא נסוגה כעבור חצי שנה.

הרכב האספקה: קונפיגורציות, סימון, תקנוני עדכון

אנחנו מוסרים לא «קופסה שחורה», אלא מערכת שהלקוח מתקן את כלליה בעצמו. קונפיגורציית הניתוח מתארת מה נחשב למילה ולצירוף, באיזה סף ביטחון פועל החלפה אוטומטית ואילו מבנים הוצאו מבדיקת האיות — מקטים, קודים, אותיות לטיניות בתוך צירופים ברוסית.

בנפרד מגיע מילון המונחים: שמות ענפיים, ראשי תיבות ומותגים שהשירות לא אמור לספור כשגיאות הקלדה. סימון הדוגמאות מתעד מקרים שנויים במחלוקת עם הפתרון הצפוי, והרצה על הקורפוס הזה לפני כל עדכון מראה מה בדיוק נשבר. בלי מערך כזה, עדכון המילון הופך לבדיקה עיוורת.

• קונפיגורציית הניתוח — כללי פילוח הטקסט, ספי ביטחון, רשימת החריגים.
• מילון המונחים — שמות תחומיים וראשי תיבות עם סימון «לא לתקן».
• סימון הדוגמאות — קורפוס של מקרים שנויים במחלוקת עם תשובת ייחוס והסבר.
• מערך בדיקות לרגרסיה — הרצת הקורפוס לאחר החלפת מודל או כללים.
• תיעוד המערכת — סכמת עיבוד הבקשה, נקודות כשל, סדר החזרה לגרסה הקודמת.
• תקנון עדכון המילונים — מי מוסיף מונחים חדשים, באיזה מועד ובאישור של מי.
• יומן שינויים — מה ולשם מה השתנה בכללים, עם תוצאות ההרצה האחרונה.

דוגמת הטמעה: שיעור השגיאות המוחמצות לפני ואחרי

מה היה בהתחלה ומה נרשם במדידות

מערכת עריכה של שישה אנשים הגהה כ-40 אלף תווים במשמרת, ושיעור השגיאות המוחמצות נשמר ברמה של 12–14% — בעיקר מה שהעין מפסיקה להבחין בו בשעה השלישית של העריכה. הצבנו מודל שפה לצד מנוע כללים LanguageTool: הכללים מכסים את המכניקה, והמודל — את ההקשר שחסר לכללים.

את המדידות ביצענו על מדגם מושהה של 5,000 קטעים, שסומנו ידנית בידי העורכים ולא השתתפו בכיול. שיעור השגיאות המוחמצות ירד ל-1.8%, והדיוק של ההצעות עלה מ-61% ל-89%: העורך הפסיק לפרק התראות שווא וחזר למשמעות הטקסט.

איזה סוג שגיאות נעלם ומה נותר עתיר עבודה

הרווח העיקרי — התאמה במבנים ארוכים, יחסות ברשימות, פיסוק בצירופי פתיחה ובצירופים מחולצים, אחידות המינוח בתוך גיליון. שגיאות הקלדה מכניות הכללים תפסו גם קודם, ושגיאות הקשריות, שבהן הכתיב תלוי במשמעות המשפט הסמוך, הגיעו לפני ההטמעה עד לפריסה.

עתיר העבודה ביותר היה פיסוק וסגנון של המחבר. אותם לא מסרנו למודל לתיקון אוטומטי: מקומות שנויים במחלוקת מסומנים כ«דורש תשומת לב» ועוברים לעורך — אחרת המערכת מתחילה ליישר את קול המחבר אל הממוצע.

לאחר מסירת ההגדרות הליווי נמשך: תיקונים טריים של העורכים הופכים אחת לשבועיים לדוגמאות בקרה, המטריקות מחושבות מחדש על אותו מערך — אחרת האיכות מחליקה בעת החלפת נושא.

מה לעשות אם כבר פרסתם מילון וכללים משלכם?

מילון וכללים משלכם הם מומחיות מצטברת: המינוח של הענף, שמות השירותים, החריגים שכל שירות בדיקה כללי מסמן כשגיאה. אסור לזרוק אותם, עליהם נשען הדיוק. לכן מודל השפה מוטמע לא במקום המילון, אלא לצידו — כשכבה נוספת מעל ניתוח הטקסט.

הסכמה היא כזאת: המשפט עובר נירמול וניתוח מורפולוגי, ורק אחר כך נכנסות הבדיקות לפעולה. ראשונים פועלים השכבות הדטרמיניסטיות — המילון, כללי תצורת המילים וההתאמה, רשימות החסימה של ניסוחים אסורים. הם נותנים תוצאה ניתנת לשחזור ואינם תלויים באופן שבו המודל יתנהג בטקסט המסוים הזה.

המודל מתחבר על השארית — במקום שבו חסרים כללים: שגיאות משמעות, סדר מילים לא מוצלח, חוסר אחידות במונחים בתוך פסקה. סדר הפעלת הכללים כאן עקרוני: אם מריצים את המודל ראשון, הוא יתחיל «לשפר» טקסט שכבר תקין, ושיעור התראות השווא גדל פי כמה. השכבה הדטרמיניסטית לפני המודל גם מצמצמת את נפח הטקסט שעובר לניתוח — מסמך ארוך נבדק באותן שניות.

העברת המילון היא שלב נפרד: הרשומות מומרות לפורמט של השכבה החדשה תוך שמירה על עדיפויות, רמות הקפדה וחריגים. כללים שתיארו מקרים לא שגרתיים נשארים בתוקף ומקבלים עדיפות גבוהה מפלט המודל; אם הם נשמרו בפורמט LanguageTool, הממיר מעביר אותם כמות שהם.

העבודה המצטברת לא נעלמת — ביומן ההתראות רואים איזו שכבה מצאה את השגיאה, וזה מאפשר לאמן נקודתית את שתי השכבות, בלי לשכתב את המערכת מאפס.

ספקות טכניים: התראות שווא, שפות, עומס

שאלות לפני ההתחלה לעתים רחוקות נוגעות לממשק — הן על ההתנהגות בגבולות: מה תציג הבדיקה על ז'רגון פנימי, כיצד תעבד מסמך עם שפות מעורבות, והאם תעמוד בשיא בסוף תקופת הדיווח.

להלן הספקות שעולים לרוב במפגשים הטכניים, וכיצד כל אחד נסגר בארכיטקטורה, ולא בהבטחות.

מסמכים במספר שפות — כיצד מעובדים?

השפה נקבעת לפי קטע, ולא לפי כל הקובץ: פסקה בשפה אחרת נבדקת במודל משלה ובמערך כללים משלה. שורות מעורבות, שבהן מונח באותיות לטיניות עומד בתוך משפט ברוסית, עוברות לענף נפרד — אחרת כל מילה כזו מייצרת שגיאה.

מה קורה בעומס שיא?

מסמכים ארוכים עוברים במנות, קצרים — בעדיפות, כדי שהממשק יגיב מיד. בגידול של פי עשרה בנפח מוסיפים מעבדים, והלוגיקה לא נכתבת מחדש. את המגבלות על בקשות במקביל מתאמים מראש עם הצוות שלכם.

אפשר לאמן את המערכת נוספות על הטקסטים שלנו?

כן: הקורפוס משמש כמקור למילון ולדוגמאות כיול, ולא כנתונים פומביים. בנפרד מוגדרים כללי סגנון — מינוח אחיד, עיצוב קיצורים, ניסוחים אסורים בנהלים.

מי אחראי לאיכות לאחר ההפעלה?

לפני ההתחלה מתאמים מטריקות: שיעור השגיאות המוחמצות, שיעור התראות השווא, זמן התגובה למסמך. לפיהן מקבלים את העבודה ועוקבים אחר נסיגה לאחר עדכונים. מקרים שנויים במחלוקת מפרקים על מדגם בקרה, ולא לפי תחושות.

ממה להתחיל: נתונים, נפחים ודרישות לדיוק

ההערכה מתחילה לא בבחירת המודל, אלא בנתונים להערכה ובדרישות לדיוק. אם קובעים את נפח העיבוד ואת מטריקת הקבלה לפני ההתחלה, הוויכוח «עובד או לא» במסירה לא מתעורר: לשני הצדדים אותו מערך דוגמאות ואותו סף.

מה לשלוח כדי שנחזור עם תוכנית עבודה — לפי סעיפים:

• קורפוס דוגמאות: כמה מאות קטעים של טקסטים ממשיים עם שגיאות שכבר סומנו. הסימון חשוב יותר מהנפח — מדגם מסומן נותן יותר מארכיון לא מסומן הגדול ממנו פי עשרה.
• דרישות לדיוק: בנפרד שיעור השגיאות שנמצאו ובנפרד שיעור התראות השווא. «דיוק של כמעט מאה אחוז» בלי פירוט לא ניתן לבדיקה: מערכות עם אותה ספרה מסכמת מתנהגות אחרת על טקסט חי.
• נפח העיבוד: תווים ביום, זרימת שיא, אורך מרבי של מסמך אחד, האם נדרשת תגובה בזמן אמת או שמתאימה בדיקה באצוות.
• מעגל המילון: מינוח מקצועי, שמות, ראשי תיבות, טקסט מעורב רוסי-אנגלי — כל מה שהמערכת לא אמורה לסמן כשגיאה. זה הופך לרשימת חריגים.
• מגבלות על הנתונים: היכן מותר לעבד את הטקסט, למי יש גישה, כמה זמן נשמרת העתקה.
• נקודות החזרת התיקונים: עורך, מסמך, שירות פנימי — מזה תלוי פורמט התשובה של המערכת.
• מצב התיקונים: הצעה לאדם או החלפה אוטומטית. החלפה אוטומטית דורשת שיעור נמוך בהרבה של התראות שווא.

סדר הדיון במשימה פשוט: שולחים דוגמאות טקסטים ואת האופן שבו השגיאות מעובדות כעת — ומשם עובדים לפי הנתונים שלכם, ולא לפי דוגמאות הדגמה. בתמורה מחזירים תוכנית עבודה: שלבים, הרכב הסימון, מטריקת הקבלה ונקודות בקרה בכל שלב. המטריקה משתנה רק לפי החלטתכם ועם חישוב מחדש של לוחות הזמנים — אחרת הקבלה הופכת למשא ומתן.