אופטימיזציה של תקציב הסריקה לאתר

אופטימיזציה של תקציב סריקה (Crawl Budget)

דפים חדשים נשארים ללא אינדוקס במשך שבועות, בעוד Googlebot נתקע במסנני קטלוג — בעיה אופיינית למסחר אלקטרוני. תקציב סריקה הוא המגבלה של מספר כתובות URL שמנוע חיפוש מעבד ביום. אם התקציב מתבזבז על זבל (פרמטרים של סשן, כפילויות, דפי שירות), תוכן חשוב לא מקבל תשומת לב. אופטימיזציה יכולה להגדיל את מספר הדפים המאונדקסים ב-40–60% תוך 2–3 ימים בלבד — הפרויקטים שלנו מאשרים זאת. לדוגמה, חנות מקוונת עם 50,000 מוצרים איבדה 70% מתקציב הסריקה שלה על דפי מסנן. לאחר חסימת פרמטרים והגדרת קנוניקלים, האינדוקס של מוצרים חדשים הואץ מ-14 ימים ליומיים — עלייה של 45% במספר הדפים המאונדקסים.

למה Googlebot לא מאנדקס דפים חשובים

עומס יתר על תקציב הסריקה עם כתובות URL חסרות תועלת הוא הגורם העיקרי. חנות מסחר אלקטרוני טיפוסית מבזבזת עד 70% מהתקציב שלה על דפים עם פרמטרי מיון, סינון ותגי UTM. כתוצאה מכך, מוצרים חדשים לא נכנסים לאינדקס, בעוד כפילויות ישנות תופסות מקום. ניתוח של 50 לוגים של אתרים הראה שבממוצע, 80% מהבקשות של Googlebot פוגעות בכתובות URL שאינן מביאות תנועה. לפי Google, שימוש יעיל בתקציב סריקה הוא גורם מפתח לאינדוקס מהיר של תוכן חדש. למידע נוסף על המושג, ראו התיעוד של Google.

איך לפנות תקציב סריקה ביום אחד

ניתוח לוגים ידני לוקח יום, אבל סקריפט אוטומטי מתמודד עם זה ב-10 דקות. ניתוח התקציב הנוכחי הוא הצעד הראשון. אנו משתמשים ב-Google Search Console (Crawl Stats) ובמנתח לוגים כמו Screaming Frog. פקודה לחילוץ סורקים מ-access.log:

grep "Googlebot" /var/log/nginx/access.log | \
awk '{print $7}' | sort | uniq -c | sort -rn | head -50 | \
grep "?" | sed 's/=.*/=X/g' | sort | uniq -c | sort -rn | head -30

הסקריפט הזה מראה אילו כתובות URL עם פרמטרים הסורק סורק. בהתבסס על הדוח, אנו מחליטים מה לחסום. בכך, אנו חוסכים עד 10 שעות של ניתוח ידני.

robots.txt: קו ההגנה הראשון

אנו חוסמים קטעים לא קריטיים:

User-agent: *
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /admin/
Disallow: /*?session_id=
Disallow: /*?utm_source=
Disallow: /*?utm_medium=
Disallow: /*?ref=
Disallow: /wp-json/
Disallow: /wp-admin/
Disallow: /*.pdf$
Allow: /sitemap.xml
Allow: /robots.txt

חשוב לא להגזים — חסימה מקרית של דפים חשובים. אנו בודקים כיסוי לאחר כל שינוי.

קנוניקל לתוכן כפול

כפילויות עם פרמטרים, קו נטוי בסוף, ו-http/https — קישורים קנוניקליים פותרים הכל:

<!-- /catalog/shoes?color=red&size=42 -->
<link rel="canonical" href="https://site.com/catalog/shoes">

לאחר הגדרת קנוניקלים, התקציב מפסיק להתבזבז על גרסאות מסנן. בשילוב עם robots.txt, החיסכון בתקציב מוכפל בהשוואה לשימוש בכל שיטה בנפרד.

אופטימיזציה של Sitemap.xml

כלול רק דפים הניתנים לאינדוקס עם תאריך שינוי אחרון < שנתיים. דוגמה ליצירה ב-Python:

def generate_optimized_sitemap(db):
    pages = db.query("""
        SELECT url, updated_at, priority
        FROM pages
        WHERE status = 'published'
          AND noindex = false
          AND updated_at > NOW() - INTERVAL '2 years'
        ORDER BY priority DESC, updated_at DESC
    """)
    # ... (полный код в статье)

אל תוסיף דפים עם noindex, 404, או הפניות.

השוואה בין שיטות חסימת סריקה

קנוניקל בשילוב עם robots.txt מניב את התוצאה הטובה ביותר: robots.txt חוסם גישה, בעוד קנוניקל מציין את הגרסה המועדפת חיצונית.

הוראות שלב-אחר-שלב: ניתוח לוגים ב-10 דקות

1. הורד את access.log מהשרת (7 הימים האחרונים).
2. הרץ את פקודת ה-grep מהקטע שלמעלה.
3. מיין כתובות URL לפי תדירות וזהה תבניות זבל.
4. הוסף חסימות ל-robots.txt או הגדר קנוניקל.
5. נתח שוב את הלוגים לאחר שבוע — אמת סריקה מופחתת של זבל.

מה כלול

אנו מספקים תיעוד והדרכה לצוות שלך. אנו מבטיחים שתוך 2–3 ימים תראה צמיחה במספר הדפים המאונדקסים. צור קשר לבדיקת תקציב סריקה — ננתח את המצב שלך ונציע צעדים ספציפיים.

לוח זמנים

בדיקה ואופטימיזציה — בין יום אחד ליומיים עבודה. העלות מחושבת באופן אישי, בהתאם לגודל האתר. בקש ייעוץ — נבחר את התוכנית האופטימלית.

טעויות נפוצות

• robots.txt אגרסיבי מדי: חסימה מקרית של קטעים שצריכים אינדוקס
• שכחת ה-sitemap: לאחר חסימה, חשוב לעדכן את מפת האתר
• אי התחשבות בגרסה הניידת: אם האתר ב-m.domain.com, הכללים חלים בנפרד

אנו צוות עם ניסיון של 10+ שנים, ביצענו 40+ פרויקטים של אופטימיזציית אינדוקס. הימנע מטעויות אלה — קבל ייעוץ על הגדרות תקציב סריקה והאץ את האינדוקס של דפים חשובים.