שחזור גיבוי אוטומטי בעת תקלה: תרגול

# postgresql.conf
wal_level = replica
archive_mode = on
archive_command = 'aws s3 cp %p s3://mybackups/wal/%f'
restore_command = 'aws s3 cp s3://mybackups/wal/%f %p'

תמונות מצב בסיסיות באמצעות pgBackRest או pg_basebackup — פעם ביום ל-S3.

אוטומציית שחזור

def auto_restore_postgres(target_time: datetime, db_config: dict):
    # 1. Найти ближайший базовый снапшот до target_time
    base_backup = find_latest_base_backup_before(target_time)
    # 2. Развернуть новый PostgreSQL инстанс
    instance = provision_postgres_instance(db_config)
    # 3. Восстановить базовый снапшот
    restore_base_backup(instance, base_backup)
    # 4. Применить WAL-логи до target_time
    apply_wal_until(instance, target_time)
    # 5. Проверить целостность
    verify_database_integrity(instance)
    return instance

כלים: pgBackRest (הבחירה הטובה ביותר עבור PostgreSQL), Barman, WAL-G (מינימלי, פופולרי בענן). לפרטים נוספים, עיינו ב-תיעוד PITR של PostgreSQL.

השוואת כלי PITR של PostgreSQL

pgBackRest מהיר פי 2 מ-Barman במהירות שחזור.

שחזור קבצים ומדיה

עבור S3/אחסון אובייקטים: AWS S3 Versioning + S3 Object Lock מגנים מפני מחיקה מקרית. שחזור גרסת קובץ ספציפית — באמצעות AWS Lambda, המופעל על ידי אירוע SNS או בקשת יישום.

עבור מערכות קבצים: תמונות מצב EBS (AWS) או Persistent Disk (GCP) מתוזמנות כל 4-6 שעות. סקריפט Terraform משחזר נפח מתמונת מצב ומתקין אותו למופע חדש.

אימות ובדיקות

אימות לאחר שחזור

שחזור אוטומטי ללא אימות הוא פתרון לא שלם. בדיקות חובה:

def verify_restoration(instance):
    checks = [
        check_db_connectivity(instance),
        check_row_counts(instance, expected_counts),
        check_referential_integrity(instance),
        check_recent_data_present(instance, min_age_minutes=5),
        run_application_smoke_tests(instance),
    ]
    return all(checks)

אם האימות נכשל, האוטומציה מנסה נקודת שחזור קודמת או מעלה התראה לצוות.

בדיקת שחזור אוטומטי

בדיקה מתוזמנת שבועית: האוטומציה מריצה עותק מבודד מגיבוי בסביבה נפרדת, מריצה אימות, ושולחת דוח. אם האימות עובר — הגיבויים תקינים. אם לא — התראה ללא המתנה לאירוע אמיתי.

תזמור שחזור

AWS Systems Manager Automation או playbook של Ansible המופעל על ידי אירועים:

1. CloudWatch Alarm → SNS Topic → פונקציית Lambda
2. Lambda יוזם SSM Automation Document
3. SSM מבצע שלבים: provision → restore → verify
4. בהתבסס על התוצאה: העברת Route 53 או העלאה ל-PagerDuty

עבור Kubernetes: Velero משחזר namespace מתמונת מצב. דפוס Operator — Kubernetes Operator מותאם אישית מנטר מצב PVC ומשחזר אוטומטית בעת זיהוי תקלה.

מדדים ויישום

מדדים לניטור

מה כלול

• תצורת ארכיון WAL ו-PITR עבור PostgreSQL
• סקריפטים של Terraform לשחזור תשתית אוטומטי
• צינור CI/CD לבדיקות שחזור שבועיות
• תיעוד על הנוהל והמדדים
• הכשרת צוות (מפגש אחד)
• תמיכה למשך שבועיים לאחר ההשקה

לוחות זמנים ליישום

סה"כ: 2-3 שבועות למערכת מלאה. חיסכון משוער בעלויות: עד $15,000 לכל השבתה שנמנעה. הזמינו ביקורת — נעריך את הפרויקט שלכם.