ביקורת וכיוונון כיסוי אינדקס טכני

אתם משקיעים בתוכן, אבל גוגל לא רואה חצי מהעמודים שלכם. תרחיש טיפוסי: ב-Google Search Console דוח Index Coverage מלא באזהרות Crawled - currently not indexed ו-Discovered - currently not indexed. עבדנו על פרויקטים שבהם מתוך 10,000 כרטיסי מוצר רק 3,000 היו באינדקס. הסיבה אינה איכות התוכן אלא בעיות טכניות: תוכן כפול ללא canonical, תוכן דל מתחת ל-300 מילים, תגית noindex בעמודים חשובים. בפרויקט אחד מצאנו ש-70% מעמודי הפילטרים לא היו באינדקס בגלל כפילויות. לאחר מיזוג עמודים דלים והוספת canonical, חלק האינדקס עלה מ-40% ל-85% תוך שבועיים. אופטימיזציית אינדקס יכולה להגדיל תנועה אורגנית ב-30% או יותר ולחסוך עד $4.5k–6.5k בשיווק תוכן — זה הסכום שהחזרנו ללקוח לאחר ביטול כפילויות.

כיצד לבצע ביקורת אינדקס

1. ייצאו נתונים מ-GSC — הורידו את כל כתובות ה-URL עם שגיאות דרך API.
2. סווגו — קבצו כתובות URL לפי קטגוריית שגיאה (נסרק ולא באינדקס, התגלה ולא באינדקס, כפול, noindex, robots.txt).
3. בדקו כל עמוד — עבור תוכן דל, canonical, noindex, חסימה.
4. בנו תוכנית — הגדירו פעולות לכל קטגוריה (מיזוג, הוספת תוכן, הגדרת canonical).
5. יישמו ועקבו — החילו שינויים, בצעו ביקורת חוזרת אחרי שבועיים ומדדו דינמיקה.

קטגוריות שגיאות ב-Index Coverage

גוגל מחלקת את כל כתובות ה-URL בדוח למספר סוגים. נפרק כל אחד עם טבלה.

למה "Crawled - currently not indexed" היא הקטגוריה הקשה ביותר?

גוגל רואה את העמוד אך מחשיבה אותו חסר ערך למשתמשים. סיבות עיקריות:

• תוכן דל (מתחת ל-300 מילים) — מזגו עמודים דומים או הוסיפו תוכן.
• ייחודיות נמוכה — כותרת ותיאור חוזרים על עצמם במאות עמודים.
• כפילויות ללא canonical — כל גרסת URL מתחרה על מקום באינדקס.

מקרה בוחן: באתר מסחר אלקטרוני, 70% מעמודי התגיות היו "Crawled - not indexed". בכל עמוד תגית היו רק 2–3 שמות מוצרים. פתרון: מיזוג תגיות לקטגוריות עם תיאורים של 500 מילים. לאחר חודש, חלק האינדקס עלה מ-40% ל-85%. ניתוח 1,000 כתובות URL לקח שעתיים באמצעות אוטומציה.

כיצד לבצע אבחון אוטומטי

אנו משתמשים ב-Google Search Console API כדי לייצא את כל כתובות ה-URL והסטטוסים שלהן. ראשית, קבלו את רשימת כתובות ה-URL הבעייתיות:

from googleapiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials

credentials = ServiceAccountCredentials.from_json_keyfile_name(
    'gsc-credentials.json',
    ['https://www.googleapis.com/auth/webmasters.readonly']
)
service = build('searchconsole', 'v1', credentials=credentials)

# Получить список всех URL с ошибками
request = {
    'siteUrl': 'https://example.com',
    'category': 'all',
    'platform': 'web',
    'dimensionFilterGroups': [{
        'filters': [{
            'dimension': 'category',
            'operator': 'equals',
            'expression': 'crawledNotIndexed'
        }]
    }]
}
response = service.searchanalytics().query(siteUrl='https://example.com', body=request).execute()

לאחר מכן בדקו כל עמוד עבור תוכן דל, canonical, noindex ו-robots. אנו כותבים פונקציה:

def check_page(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'html.parser')
    text = ' '.join(soup.get_text().split())
    word_count = len(text.split())
    canonical = soup.find('link', rel='canonical')
    noindex = soup.find('meta', attrs={'name': 'robots'}) and 'noindex' in soup.find('meta', attrs={'name': 'robots'}).get('content', '')
    return {'wc': word_count, 'canonical': canonical, 'noindex': noindex}

אספו נתונים, זהו עמודים בעייתיים והכינו תוכנית תיקון.

Google Search Central מסביר: "Crawled - currently not indexed" נגרם לעיתים קרובות מתוכן דל או כפילויות. פרטים נוספים: תיעוד.

כיצד אנו מתקנים בעיות טיפוסיות

תוכן דל

עמודים עם פחות מ-300 מילים אנו ממזגים עם עמודים קשורים או מוסיפים טקסט ייחודי. חשוב: אל תייצרו תוכן אוטומטי — גוגל מזהה טקסט תבניתי. ב-80% מהמקרים, הוספת 200–300 מילים של תיאור ייחודי מספיקה.

תוכן כפול ללא canonical

בכל גרסאות ה-URL של עמוד אחד, הגדירו canonical יחיד:

<link rel="canonical" href="https://site.com/page"> 

זה חל על עמודים עם פרמטרים, HTTP/HTTPS, עם/בלי www.

noindex מקרי

בדקו תבניות דרך סריקה: אם לעמוד חשוב יש noindex, הסירו אותו. בפרויקט אחד מצאנו 500 עמודים עם noindex שגוי — הסרתם החזירה 90% לאינדקס.

עמודים מאחורי התחברות

תוכן ציבורי חייב להיות נגיש ללא עוגיות. אנו משתמשים ב-curl כדי לוודא.

Sitemap ו-IndexNow להאצת אינדוקס

Sitemap הוא בסיסי, אבל IndexNow נותן האצה של פי 3 בהשוואה להמתנה לסריקות חוזרות טבעיות. העיקרון: שלחו רשימת כתובות URL ששונו למנועי חיפוש.

דוגמת sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://company.com/products/iphone-15</loc>
    <lastmod>2023-01-01</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.9</priority>
  </url>
</urlset>

שליחת Ping ל-IndexNow:

curl -X POST https://api.indexnow.org/IndexNow \
  -H "Content-Type: application/json" \
  -d '{"host": "example.com", "key": "your-key", "urlList": ["https://example.com/new-page"]}'

מה כלול בביקורת אינדקס?

למה להפקיד בידינו משימה זו

ביצענו ביקורות אינדקס ל-50+ פרויקטים — מחנויות מסחר אלקטרוני ועד יישומי אינטרנט מורכבים. המהנדסים שלנו בעלי ניסיון ממוצע של 7 שנים. אנו מבטיחים תיקון של 90% משגיאות האינדוקס הטיפוסיות בשלב העבודה הראשון. המומחים שלנו מחזיקים בהסמכות גוגל ובעלי ניסיון ברמת ייצור עם GSC API. צרו קשר לייעוץ — נעזור להחזיר את העמודים שלכם לאינדקס. בקשו ביקורת אינדקס כדי לקבל הערכה מדויקת לפרויקט שלכם.

לוחות זמנים ועלות

ביקורת Index Coverage אורכת בדרך כלל 2–5 ימי עבודה בהתאם לגודל האתר. העלות מחושבת באופן אישי וכוללת ייצוא נתונים, ניתוח, תוכנית תיקון ודוח סופי.

ניטור דינמיקה

לאחר יישום השינויים, חשוב לעקוב אחר אחוז העמודים באינדקס. אנו ממליצים להגדיר התראה שבועית אם הוא יורד ביותר מ-5%. השתמשו בסקריפט פשוט להתראות.