הגדרת סריקה אוטומטית עם Screaming Frog

קישורים שבורים הם לא כאב הראש היחיד של ליד טכני. קנוניקלים עקומים, כותרות כפולות, שרשראות הפניות N+1—כל אחד מהבאגים האלה מוריד את דירוגי החיפוש. Screaming Frog SEO Spider הוא הסטנדרט דה-פקטו לבדיקות טכניות. אנחנו משתמשים בו בכל פרויקט ומגדירים סריקה אוטומטית לניטור שוטף. עם ניסיון הייצור שלנו של 10+ שנים ולמעלה מ-40 פרויקטים שהושלמו, אנחנו מאשרים: שום בעיה לא נעלמת מעינינו. אוטומציה של בדיקות ידניות חוסכת 70–90% מהמאמץ. מאמץ התצורה מוערך לאחר ניתוח קצר—צרו קשר לקבלת הגדרה מותאמת.

אילו בעיות Screaming Frog פותר?

• קישורים שבורים והפניות: מצא שגיאות 4xx ו-5xx, שרשראות הפניות, הפניות מעגליות. בפרויקט אחד עם קטלוג של 20,000 מוצרים גילינו שרשרת הפניות של 12 קפיצות—הדירוג ירד ב-30%.
• בעיות מטא-תגים: כותרות חסרות או כפולות, תיאורי מטא ארוכים מדי, H1 לא תקינים. הסורק מדגיש את כל הפערים.
• בעיות אינדוקס: דפים ללא קנוניקל, hreflang שגוי, כתובות URL חסומות ב-robots.txt שצריכות להיות באינדוקס. לדוגמה, חסימת דפי פילטרים הובילה לאובדן של 40% מהתנועה.

סריקה אוטומטית דרך CLI מהירה פי 5 מהפעלות ידניות של GUI ומאפשרת שילוב הבדיקה ב-CI/CD. עבור אתר עם 20,000 כתובות URL עם רינדור JS, צפו לשימוש של 4-8 GB RAM; השבתה עקב שגיאות שלא זוהו גבוהה פי 3–5. צרו קשר כדי להעריך את החיסכון בפרויקט שלכם.

למה סריקה אוטומטית היא הסטנדרט לבדיקות טכניות

גרסת GUI מתאימה לבדיקות חד-פעמיות, אבל ניטור שוטף דורש CLI. השוואה:

טעויות תצורה נפוצות:

0 3 * * 1 /usr/bin/screamingfrogseospider --crawl https://example.com --headless --config /etc/screamingfrog/standard-audit.seospiderconfig --output-folder /var/reports/$(date +\%Y\%m\%d) --export-tabs "Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,Canonical:All,Directives:All,Hreflang:All,Structured Data:All,Links:All,Sitemaps:All" --timestamped-output 

הגדרת סריקה אוטומטית

התקנה ורישיון

Screaming Frog הוא יישום Java. הגרסה החינמית מוגבלת ל-500 כתובות URL; הרישיון בתשלום מיועד לפרויקטים מסחריים.

# Ubuntu/Debian
wget https://download.screamingfrog.co.uk/products/seo-spider/screamingfrogseospider_21.0_all.deb
sudo dpkg -i screamingfrogseospider_21.0_all.deb

הפעלת CLI

מצב מפתח: 0 3 * * 1 /usr/bin/screamingfrogseospider --crawl https://example.com --headless --config /etc/screamingfrog/standard-audit.seospiderconfig --output-folder /var/reports/$(date +\%Y\%m\%d) --export-tabs "Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,Canonical:All,Directives:All,Hreflang:All,Structured Data:All,Links:All,Sitemaps:All" --timestamped-output . פרמטרים: # Ubuntu/Debian wget https://download.screamingfrog.co.uk/products/seo-spider/screamingfrogseospider_21.0_all.deb sudo dpkg -i screamingfrogseospider_21.0_all.deb , --headless, --crawl, --save-crawl.

screamingfrogseospider \
  --crawl https://example.com \
  --headless \
  --save-crawl \
  --export-tabs "Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,Canonical:All,Directives:All,Hreflang:All,Structured Data:All,Links:All,Sitemaps:All" \
  --output-folder /var/reports/example-com/$(date +%Y%m%d) \
  --timestamped-output

תצורה ורינדור

כדי לתקנן, שמור תצורה ב-GUI והעבר דרך --export-tabs. עבור אתרים מבוססי JavaScript, אפשר רינדור עם ה-Chromium המובנה (--output-folder). זמן הסריקה עם JS גדל פי 3–5, אז השתמש רק במקומות קריטיים.

אימות

# Cookie screamingfrogseospider --crawl https://example.com/admin/ --headless --set-cookies "PHPSESSID=abc123; laravel_session=xyz789" --output-folder /var/reports/
# HTTP Basic screamingfrogseospider --crawl https://example.com --headless --auth-details "user:password" --output-folder /var/reports/

איך לתזמן ריצות CLI?

השתמש ב-cron job עם הנתיב המלא לבינארי והפרמטרים שלמעלה. ודא שזיכרון ה-Java מספיק: עבור אתר עם 50,000 כתובות URL עם רינדור JS, 4-8 GB RAM (screamingfrogseospider \ --crawl https://example.com \ --headless \ --save-crawl \ --export-tabs "Internal:All,Response Codes:All,Page Titles:All,Meta Description:All,H1:All,Canonical:All,Directives:All,Hreflang:All,Structured Data:All,Links:All,Sitemaps:All" \ --output-folder /var/reports/example-com/$(date +%Y%m%d) \ --timestamped-output ). הוסף התראות (Telegram/אימייל) לשגיאות 4xx ו-5xx.

מתי נדרש רינדור JavaScript?

עבור אתרים ב-React, Vue, או Angular שבהם התוכן נטען דינמית. ללא רינדור, הסורק רואה רק תבנית ריקה—ומפספס עד 80% מהקישורים. אנו ממליצים להפעיל --config עבור SPA.

למה רינדור JS קריטי עבור SPA

ל-SPA אין דפי HTML סטטיים. ללא רינדור, הסורק לא יכול למצוא קישורים פנימיים, מטא-תגים, או נתונים מובנים. לפי התיעוד הרשמי של Screaming Frog, headless Chrome חיוני לבדיקת SPA מלאה. זו הדרך היחידה לחשוף את כל הבעיות הטכניות.

תהליך העבודה שלנו

1. ניתוח: הגדרת מטרות הבדיקה, רשימת כתובות URL, robots.txt, sitemap.
2. עיצוב: יצירת תצורת סורק (User-Agent, עומק, החרגות).
3. יישום: הגדרת הפעלת CLI, ייצוא נתונים, סקריפטים לעיבוד.
4. בדיקות: אימות על תת-דומיין בדיקה, אימות תוצאות.
5. פריסה: פריסה לשרת, הגדרת cron, התראות דרך Telegram/אימייל.

מה כלול בתוצאה

• קובץ תצורת סורק (--use-rendered).
• סקריפט Bash להפעלה אוטומטית עם לוגים.
• סקריפט Python לניתוח מדדים מרכזיים (קודי תגובה, כותרות/H1 כפולות, קישורים שבורים).
• הגדרת התראות (Telegram/אימייל) לאנומליות.
• הוראות תחזוקה ועדכון.

עיבוד התוצאות

Screaming Frog מייצא CSV לכל טאב. אנו מספקים סקריפטים של Python לטעינה וסיכום.

import pandas as pd
from pathlib import Path

def load_crawl_results(output_dir: str) -> dict[str, pd.DataFrame]:
    results = {}
    for csv_file in Path(output_dir).glob('*.csv'):
        name = csv_file.stem.lower().replace(' ', '_')
        try:
            df = pd.read_csv(csv_file, encoding='utf-8-sig', low_memory=False)
            results[name] = df
        except Exception as e:
            print(f'Could not load {csv_file}: {e}')
    return results

def audit_summary(results: dict) -> dict:
    summary = {}
    if 'internal_all' in results:
        internal = results['internal_all']
        summary['total_urls'] = len(internal)
        summary['indexable'] = len(internal[internal.get('Indexability', '') == 'Indexable'])
    if 'response_codes_all' in results:
        codes = results['response_codes_all']
        for code, prefix in [('2xx','2'),('3xx','3'),('4xx','4'),('5xx','5')]:
            summary[code] = len(codes[codes['Status Code'].astype(str).str.startswith(prefix)])
    if 'page_titles_all' in results:
        titles = results['page_titles_all']
        summary['missing_title'] = titles['Title 1'].isna().sum() + (titles['Title 1']=='').sum()
        summary['duplicate_title'] = titles['Title 1'].duplicated().sum()
    if 'h1_all' in results:
        h1 = results['h1_all']
        summary['missing_h1'] = h1['H1-1'].isna().sum() + (h1['H1-1']=='').sum()
        if 'H1-1 Count' in h1:
            summary['multiple_h1'] = (h1['H1-1 Count'] > 1).sum()
    return summary

הסיכום מדגיש מיד בעיות קריטיות ומקנה קנה מידה למאמץ. לדוגמה, יותר מ-5% שגיאות 4xx מאותת על צורך דחוף בעיצוב מחדש מבני. אוטומציה של הסריקה מקצצת את עלות הבדיקות הטכניות ב-70–90% בהשוואה לבדיקות ידניות. קבלו ייעוץ ותצורה לדוגמה לאתר שלכם—צרו קשר להערכה ראשונית.