פיתוח מערכת AI ליצירה אוטומטית של מבחנים ובחינות

יצירה אוטומטית של מבחנים: היכן נשבר התהליך הידני

כל עוד בבנק המבחנים הידני יש מאתיים-שלוש מאות פריטים, ההרכבה נשענת על מומחה אחד: הוא זוכר מה כבר שאל ושומר את הניסוחים בראשו. כשהבנק גדל מעבר למידות האלה — מופיעים בו חוסרים, נושאים שאינם מכוסים, אף שבתוכנית הלימודים הם קיימים.

הראשון להתפורר הוא בקרת האיכות. כפילויות בפריטים כמעט אינן נראות לעין: אותה עובדה נשאלת בשלוש גרסאות ברצף, והנבחן מקבל ניקוד על זיכרון ולא על הבנה.

לצד זה — חוסר אחידות בניסוחים: במקום אחד «בחרו אפשרות אחת», במקום אחר «סמנו את כל הנכונות», המשקלות והסולמות של מחברים שונים אינם תואמים, ואותה רמת ידע מוערכת באופן שונה.

מטריצת הכיסוי בדרך כלל אינה מנוהלת כלל. להבין אילו פרקים בתוכנית מכוסים בפריטים ואילו ריקים אפשר רק בסריקה ידנית — וזה ימי עבודה. לכן נושאים מורכבים מיוצגים ביתר, ונושאים נדירים אינם מכוסים, וההסמכה מפסיקה להוכיח דבר: היא מודדת לא את הכישורים, אלא אוסף מקרי של שאלות שנקרו בדרך.

עומס הבדיקה גדל לא ממספר הנבחנים, אלא מהיקף ההשוואה. המומחה מבזבז את עיקר זמנו על חיפוש כפילויות, עריכה של ניסוחים ובירור מפתחות שנויים במחלוקת — כלומר על סידור הבנק במקום על הערכת ידע. כשהעבודה הזו מתנהלת במקביל ללימודים, פיגור בלוחות הזמנים של ההסמכה הופך לעניין של זמן ולא לסיכון.

נפרט כיצד זה נסגר: במודל פורמלי של כישורים — רמות לפי Bloom, כללי ניסוח ובדיקה אוטומטית של הבנק לאיתור כפילויות וחסרים לפני מסירת הפריטים לנבחן.

מה נותנת האוטומציה: אפקטים מדידים של ההטמעה

הרשימה שלהלן היא מה שהמזמין רואה במערכת לאחר ההפעלה. כל סעיף נבדק בקבלה, ואם אין אפקט מדיד — הסעיף אינו סגור, וחוזרים להגדרות היצירה.

• המהדורות נאספות מהר פי כמה. המחולל מוסר ערכה מוכנה לפי מספר הקבוצות ורמות הקושי שהוגדרו, ולכן המרצה משקיע זמן בעריכה ולא בהרכבה ידנית של פריטים ובסידורם מחדש.
• שיעור הכפילויות יורד לכמה אחוזים בודדים. החפיפות נבדקות לפי ניסוחים מנורמלים ולפי המשמעות, ולא לפי התאמה מדויקת של מחרוזות, ולכן פריטים זהים במהותם אינם מתפזרים בין מהדורות שונות.
• תקן איכות אחיד. מבנה השאלה, מספר אפשרויות התשובה והרמות לפי טקסונומיית בלום נקבעים בכללי היצירה ולא בהרגלים של מחברים בודדים — הערכות נשארות אחידות ברמת הקושי.
• בנק הפריטים מתרחב בלי גידול פרופורציונלי בצוות. מקצוע חדש מחובר באמצעות מילון מונחים ותקנון: היקף הבנק גדל בכפולות, ועבודה ידנית נוספת נדרשת רק בעריכה.
• הבדיקה הופכת שקופה. עבור כל שאלה נשמרים המקור, הגרסה והנימוק לתשובה הנכונה — בערעור ניתן לראות מהיכן הגיע הפריט ולפי איזה כלל הורכבה המהדורה.
• מחלקה שלמה של שגיאות נעלמת. שגיאות הקלדה, אפשרויות תשובה שאבדו ופערים בין המפתח לניסוח נתפסים על ידי הוולידטור לפני הפרסום, ולא בבחינה עצמה.

מצבי יצירת פריטים: השוואת גישות

את מצב היצירה בוחרים לא לפי «עוצמת» המודל, אלא לפי מחיר הטעות בסוג פריט מסוים ולפי קיומו של מקור מובנה. דוגמה מספרית עם הצבת פרמטרים נבנית בבטחה בתבנית, ואילו שאלת הבנה של נושא דורשת טקסט מקור — אחרת נבדק הזיכרון ולא ההבנה.

בפלט, כל מצב מניב בנק פריטים בסכמה אחידה: ניסוח, אפשרויות, תשובה נכונה, תגיות של נושא ורמת קושי, קישור לקטע המקור. זה מסיר את בעיית התאימות — ייצוא ל-QTI או JSON שטוח מתחבר למערכת הלמידה שלכם בלי עיצוב מחדש ידני.

המצב ההיברידי הוא שבדרך כלל הופך לעובד: פריט עובר לתבנית או ליצירה לפי סימן הסוג, והמומחה בודק לא הכול ברצף, אלא מדגם וכל מה שנכנס למקבץ ההסמכה. כך שיעור הפריטים שעוברים ולידציה בניסיון הראשון עולה, והמומחה עוסק בניסוחים שנויים במחלוקת ולא בעריכה של דוגמאות מאותו סוג.

המגבלה העיקרית של כל מצב היא המקור. על חומרים לא מובנים שיעור הפריטים הראויים יורד, ולכן אנחנו שומרים את השיוך של כל פריט לקטע טקסט: ניתן לייצר מחדש מנה שלמה לאחר תיקון המדריך, בלי להרכיב את הבנק מחדש.

כיצד מתבצעת ההטמעה: שלבי העבודה ההנדסית

סדר העבודות נבנה כך שכל שלב נשען על השלב הקודם שכבר נבדק. להלן הרצף שאנו עוברים במשימות של יצירה אוטומטית של מבחנים: מביקורת החומרים ועד מסירה לצוות.

1. ביקורת חומרי הלימוד. מנתחים הרצאות, מדריכים ובנקי פריטים קודמים, מסמנים נושאים עם חומר מספק וחוסרים. את החוסרים סוגרים לפני ההתחלה — אחרת היצירה מניבה שאלות סבירות למראה אך שגויות.

2. סכמת היצירה. מתארים את הקלט (נושא, קטע חומר, רמת קושי יעד) ואת סוג הפריט בפלט. הסכמה נשמרת כקונפיגורציה שמומחה המתודיקה מתקן, ולא המפתח.

3. הגדרת כללי הבדיקה. עבור פריטים סגורים — תשובות ייחוס וסובלנויות בניסוח; עבור פריטים פתוחים — רובריקות עם עיקרים מחייבים ותנאי לשליחה לבדיקה ידנית.

4. מדגם בדיקה. מריצים את הסכמה על חומרים שהיא לא ראתה, מחשבים את שיעור הפריטים שאושרו על ידי המתודיקן ואת שיעור השגיאות העובדתיות. לפי התוצאות מתקנים את הכללים ומריצים שנית.

5. הרכבת מהדורות. הערכות נאספות מהבנק לפי נושאים ורמת קושי, כך שהמהדורות בקבוצה לא יחזרו על עצמן, וכל ערכה שנמסרה ניתן לשחזר ולנתח.

6. מסירה והדרכה. מוסרים תיאור של הסכמה, הרובריקות ומבנה הבנק, ומראים למתודיקנים כיצד להוסיף נושאים ולבחון בדיקות שנויות במחלוקת.

לאחר ההפעלה מקבעים תקנון לעדכון הבנק ולהרצה חוזרת של הבדיקה לאחר תיקוני הסכמה — כך איכות הפריטים אינה מתרחקת מתוכנית הקורס.

מה נשאר בפרויקט: פריטים, סכמות, תקנונים

אנחנו מוסרים את הפרויקט כערכה של ארטיפקטים, שאיתם צוות המזמין ממשיך לעבוד ללא מעורבותנו, ולא כהדגמה של שירות פעיל. להלן מה בדיוק נשאר לאחר ההפעלה ולשם מה נדרש כל רכיב.

• ערכת תיעוד — ארכיטקטורת המחולל, מודל הנתונים של בנק הפריטים, נקודות אינטגרציה עם פלטפורמת הלמידה, רשימת השירותים החיצוניים ותפקידם.
• סכמת זרימות הפריטים — המסלול מהעלאת חומר הלימוד ותיוג הנושאים ועד היצירה, הבדיקה על ידי המומחה, הפרסום והמסירה לסטודנט, עם סימון נקודות בקרה.
• תקנון עדכון — כיצד להוסיף סוגי פריטים ונושאים, לשנות תבניות של שאילתות למודל, להוציא גרסאות ולחזור אחורה אם האיכות ירדה.
• מדיניות גישה — תפקידים של מתודיקן, מומחה, מנהל וסטודנט: מי מתקן את בנק הפריטים, מי רואה את היומנים, מי מייצא נתונים.
• הוראות למומחים — קריטריוני קבלה של פריט, פגמים אופייניים בניסוחים ובאפשרויות תשובה שגויות, סדר הדחייה והעיבוד מחדש.
• מדדי איכות — שיעור הפריטים שאושרו בניסיון הראשון, כיסוי הנושאים, שיעור הכפילויות; הסיכום נאסף אוטומטית מיומן הבדיקות.
• תקנון תפעול — גיבוי הבנק, סדר עדכון הסביבה והשוואה מול תוכנית הלימודים לאחר כל שינוי.

כל ארטיפקט מוצג בקבלה ומוסבר כיצד להשתמש בו: התיעוד והסכמות צריכים להיות שמישים ולא דקורטיביים.

מקרה בוחן: כיצד צמצמנו את העבודה הידנית על בנק הפריטים

מרכז לימודי עם בנק של 12,000 פריטים מעדכן את התוכנית כל סמסטר, והרכבת המהדורות נשענה על ארבעה מומחי תוכן. מהדורה אחת בת 30 שאלות הורכבה ידנית במשך 6–8 שעות: אוספים פריטים לפי נושאים, משווים רמת קושי ומנקים חפיפות בין המהדורות. בדיקת טיוטה אחת ארכה למומחה 12–15 דקות, ולכן הבנק כמעט לא גדל — לא היה מי שיתחזק אותו כמעודכן.

כיסוי הנושאים במהדורות המוכנות עמד על 60–70%: פרקים נדירים נותרו בלי שאלות, כי לא היו מספיק תבניות עבורם. שיעור החזרות על ניסוחים בין המהדורות הגיע ל-18% — סטודנטים החליפו תשובות, ואיש לא עקב אחר החפיפות באופן שיטתי.

מה אורגן מחדש

את היצירה חילקו לשלושה שלבים: טיוטות לפי מפת הנושאים, ולידציה אוטומטית להתאמה לפרק ולרמת הקושי, ועריכה ידנית. הפתרון שעובד התבסס על מודלים של OpenAI בשילוב שכבה נפרדת של בדיקות לכפילויות ולחריגה מגבולות הנושא.

מה יצא בפועל

הרכבת מהדורה התקצרה ל-20 דקות יחד עם העריכה הסופית, וכיסוי הנושאים בכל מהדורה — 100% מהתוכנית. שיעור החזרות ירד מתחת ל-2%, ובדיקת פריט אחד אצל המומחה אורכת 3–4 דקות: ההשוואות הפורמליות עברו לאוטומציה, והאדם מקבל החלטה לגופו של עניין.

מחלקת השגיאות «הפריט אינו תואם את הנושא או הרמה המוצהרים» נסגרת בכניסה — טיוטות כאלה נפסלות עוד לפני המומחה. את הזמן שהתפנה משקיעים מומחי התוכן בהרחבת הבנק ובבירור ניסוחים שנויים במחלוקת, ולא בבדיקה חוזרת של המובן מאליו.

מה עושים אם בנק הפריטים כבר נאסף ידנית?

אין תשובה אחידה: בנק של כמה אלפי פריטים כמעט תמיד משתלם יותר להעביר מאשר להרכיב מחדש — אבל רק אם יש לו תיוג פורמלי. אם הפריטים מונחים בקבצים מפוזרים עם הערות בתוך הטקסט, ההעברה הופכת לעבודה ידנית חוזרת ומאבדת את טעמה.

ההגירה מתחילה בספירת מלאי: החומרים מיוצאים לצורה מובנית אחידה, וכפילויות ופריטים פגומים (מפתח שגוי, אפשרות תשובה חסרה, ניסוח מיושן) נפסלים מיד. לאחר מכן כל פריט מתויג לפי נושא ותת-נושא בתוכנית, רמת הקושי וסוג הכישור הנבדק, ואז מושווה לתוכנית. התוצאה — מפת כיסוי: רואים היכן הפרקים מכוסים ביתר, והיכן חוסרים שאותם תשלים היצירה האוטומטית.

לאחר ההעברה הבנק מתקיים כמקור אחיד: פריטים חדשים נוצרים באותו תיוג ועוברים את אותן בדיקות, ולכן כיסוי התוכנית אינו מתפרס. זה מסיר את הסיכון העיקרי — אוסף של קבצים ידניים שאי אפשר לא לבדוק ולא להרחיב.

ספקות נפוצים בנוגע לאיכות ולבדיקת הפריטים

ספקות בנוגע לאיכות אינם מופיעים יש מאין: אם היצירה נשענת רק על טקסט חופשי של המודל, הפריטים סוטים מהתוכנית, מאפשרים פרשנות כפולה ונשענים על מקורות שכבר איבדו את הרלוונטיות.

לכן היצירה אצלנו פועלת לא מעל טקסט «גולמי», אלא מעל מבנה פורמלי של הקורס — רשימת נושאים, קריטריוני שליטה ובנק דוגמאות מאושר. כל פריט שנוצר נושא הפניה לסעיף מסוים בתוכנית, ולא לחומר «בכללותו».

לאחר מכן נכנסים שני מסננים: ניתוח אוטומטי לאיתור עמימות ופערים בין אפשרויות התשובה, ואחריו בדיקה על ידי מומחה תוכן, שמאשר את הנכונות ומסיר ניסוחים שנויים במחלוקת. סדר כזה מעניק עקיבות: בכל שלב רואים מדוע הפריט הופיע ולאיזה דרישה הוא משויך.

מה עושים עם ניסוחים דו-משמעיים?

כללי החד-משמעות טבועים בבדיקה: אפשרות נכונה אחת, היעדר שלילה כפולה, היעדר רמזים במסיחים, סגנון אחיד של תנאי השאלה. מקרים שנויים במחלוקת אינם נזרקים בשקט — הם נכנסים לדוח עם נימוק, כדי שהמומחה יקבל החלטה על תיקון או דחייה.

כיצד מתעדכנים חומרים מיושנים?

המקורות מנוהלים בגרסאות: כשהתוכנית או הבסיס הרגולטורי משתנים, הסעיפים המושפעים מסומנים, והפריטים הקשורים מורכבים מחדש. גרסאות ישנות נשארות זמינות להשוואה, ולכן שינויים בדרישות הנבדקות אינם הולכים לאיבוד בין מהדורות.

מי אחראי לאיכות לאחר המסירה?

אנחנו מוסרים את כללי היצירה, קריטריוני הוולידציה ותקנון הקבלה על ידי מומחה — ניתן לשנות אותם בצוות שלכם בלי מעורבותנו. האחריות למשמעות הפריטים בצד המזמין מוטלת על מומחה תוכן; אנחנו אחראים לכך שהיצירה תעמוד בכללים שהוגדרו. לאחר המסירה זמינים ליווי וטיפול בתקלות איכות.

נדון במשימה: מהיכן מתחילה ההטמעה

השיחה הראשונה נחוצה לא כדי להציג מצגת, אלא כדי לשרטט את גבולות המשימה: איזה מקצוע, איזה קהל, אילו פורמטים של שאלות כבר מקובלים בארגון. לפי הנתונים האלה אנחנו מחשבים את היקף העבודה ומרכיבים תוכנית הטמעה — מחיבור המקורות ועד מסירת מהדורות מוכנות. כדי שההערכה תהיה ענייניות ולא «פחות או יותר», נדרש מהמזמין סט נתונים קצר:

• סוגי ההסמכות וייעודן — בקרת כניסה, מדידה אמצעית, בחינה מסכמת, הסמכה;
• היקף ומצב החומרים: טקסטים לימודיים, מדריכים, בנק הפריטים שנאסף ובאיזו צורה הם נשמרים;
• תפקידים של הבודקים והמאשרים — מי מאשר ניסוחים, מי אחראי לנכונות התוכן;
• דרישות לסוגי הפריטים: אפשרות נכונה אחת, כמה נכונות, תשובה פתוחה, שיוך לרמות קושי;
• כללי בקרה פנימית — שיעור החזרות המותר, רגישות לניסוחים, דרישות לשחזוריות;
• קריטריוני קבלה: מה נחשב לתוצאה — שיעור השאלות התקפות לאחר הביקורת, הזמן להכנת מהדורה, היקף התיקון הידני.

בהמשך אנחנו מציעים הרצת ניסיון על נושא אחד: מריצים את המחזור המלא על חומר מצומצם, משווים את התוצאה לקריטריונים שלכם, ורק אחר כך מרחיבים לכל הקורס. תארו את המשימה — נחזור עם הערכת היקף ותוכנית הטמעה.