הערכת מטלות היברידית ב-LMS: אוטומציה ובדיקה אנושית

עם הגידול במספר הסטודנטים, בדיקת שיעורי בית הופכת לצוואר בקבוק בכל מערכת LMS. מרצה אינו יכול פיזית לבדוק 500 הגשות ב-24 שעות, והאיכות נפגעת. אנו פותרים זאת בגישה היברידית: בדיקה אוטומטית למבחנים וקוד, וממשק מותאם לבדיקה ידנית של חיבורים ומטלות מורכבות. הניסיון שלנו מראה שעד 70% מהמטלות האופייניות ניתנות לבדיקה אוטומטית, מה שמקצר את זמן המרצה פי 3–5. לדוגמה, בפרויקט אוניברסיטאי, יישמנו בדיקת קוד אוטומטית בפייתון — המרצה בודק כעת 200 הגשות בשעה אחת במקום 5. החיסכון בתקציב הבדיקה מגיע ל-40% בהשוואה לעבודה ידנית, כלומר חיסכון ממוצע של 8,000 דולר לסמסטר למוסדות בינוניים. עלות הפיתוח מתחילה ב-5,000 דולר, עם החזר השקעה אופייני תוך 2–4 חודשים. אנו מבטיחים סקלביליות עד 1000 בדיקות במקביל ומספקים משוב על כל הגשה. זמן הפיתוח הממוצע הוא 2–3 שבועות. במאמר זה, נשתף כיצד אנו מתכננים מערכת בדיקה, אילו רכיבים כלולים, וכיצד ניתן להזמין פיתוח כזה במפתח מלא.

אילו בעיות פותרת בדיקה היברידית?

עומס על המרצה. בדיקה ידנית של 50+ הגשות ביום מובילה לשחיקה ושגיאות. האוטומציה מסירה את השגרה: המרצה בודק רק מטלות מורכבות, בעוד מבחנים וקוד נבדקים אוטומטית.

מטלות מגוונות. קורס אחד עשוי לכלול מבחנים, חיבורים, קוד וקבצים. מערכת אוניברסלית חייבת לתמוך בכל הפורמטים. אנו משלבים רובריקות בדיקה, הערות PDF מובנות, וארגז חול Docker לקוד.

גניבת עין. העתקת טקסט והעתקת קוד נפוצות. אינטגרציה עם Unicheck ו-MOSS (או מנוע מותאם על TF-IDF) מסמנת הגשות חשודות לפני שהמרצה בכלל רואה אותן.

כיצד אנו מיישמים בדיקה ידנית

ממשק הבדיקה חייב למזער מעברים בין הקשרים. על מסך אחד: עבודת הסטודנט משמאל, טופס ההערכה מימין. רכיבים מרכזיים שאנו מיישמים:

• רשימת הגשות שלא נבדקו עם מסננים לפי מטלה, קבוצה, תאריך
• צפייה בתשובת הסטודנט (טקסט, קובץ מובנה, או קישור)
• רובריקת בדיקה עם תיבות סימון (אם קריטריונים מוגדרים)
• שדה ציון והערת טקסט עם תמיכה ב-Markdown
• כפתורים: "קבל", "החזר לתיקון", "הגשה הבאה"
• הערות מובנות על PDF (אם העבודה בפורמט PDF)

למטלות מסוג מבחן עם תשובות נכונות, אנו מיישמים בדיקה בקבוצות: המרצה רואה טבלה של כל ההגשות עם תשובות ויכול להקצות ציונים בכמות גדולה.

כיצד פועלת בדיקה אוטומטית

מבחן / שאלות סגורות:

async function autoGradeQuizSubmission(submissionId) { const submission = await db.submissions.findOne(submissionId, { include: ['assignment.questions'] }); let totalPoints = 0; let earnedPoints = 0; const results = []; for (const question of submission.assignment.questions) { totalPoints += question.points; const studentAnswer = submission.answers[question.id]; const isCorrect = checkAnswer(question, studentAnswer); if (isCorrect) earnedPoints += question.points; results.push({ questionId: question.id, correct: isCorrect, studentAnswer, correctAnswer: question.correctAnswer, }); } const score = Math.round((earnedPoints / totalPoints) * submission.assignment.maxScore); await db.submissions.update(submissionId, { status: 'graded', score, autoGradeResults: results, gradedAt: new Date(), }); await notifyStudent(submission.studentId, submissionId, score); } 

בדיקת קוד באמצעות טסטים: לקורסי תכנות, אנו מריצים קוד סטודנט במכולות Docker מבודדות מול ערכת טסטים. זה מבטיח אבטחה ושחזוריות.

async function runCodeTests(submissionId, code, language, testCases) { const result = await dockerRunner.run({ image: `lms-runner-${language}:latest`, // python:3.11, node:20, etc. code, tests: testCases, timeout: 10000, // 10 секунд memoryLimit: '256m', networkDisabled: true, // Нет сети в sandbox }); return { passed: result.passedTests, total: testCases.length, output: result.stdout, errors: result.stderr, executionTime: result.durationMs, }; } 

FROM python:3.11-slim RUN pip install pytest COPY tests/ /tests/ ENTRYPOINT ["pytest", "/tests/"] 

submitted ↓ (auto-grade или manual) reviewing ↓ преподаватель открыл работу graded → уведомление студенту returned → студент получает уведомление, может доработать ↓ повторная отправка resubmitted → снова в reviewing