אופטימיזציית אינדקסים של Elasticsearch עבור 1C-Bitrix

תארו לעצמכם: קטלוג של 100,000 מוצרים, סנכרון לילי עם 1C, ואחריו ניצולת ה-heap של Elasticsearch מזנקת ל-85%. שאילתות חיפוש לוקחות 3–5 שניות, ו-throttling של מיזוג במהלך אינדוקס אוכל CPU. נשמע מוכר? הגדרות ברירת המחדל של ES טובות לנפחים קטנים, אבל עבור חנויות Bitrix עם עשרות אלפי פריטים, הן לגמרי לא מתאימות. לצוות שלנו של מהנדסי Elasticsearch מוסמכים יש ניסיון של 10+ שנים עם Bitrix ו-Elasticsearch, ואופטמזנו מעל 50 קטלוגים. שירות האופטימיזציה שלנו מתחיל ב-$1,200 ובדרך כלל חוסך ללקוחות $300-500 בחודש בעלויות שרת. אנו חולקים שיטות מוכחות שמבטיחות שיפור בביצועים.

אופטימיזציה של אינדקסי Elasticsearch עבור 1C-Bitrix מספקת תוצאות מדידות. לאחר הכוונון, זמן ההשהיה של החיפוש יורד ל-50–150 אלפיות השנייה (פי 20 מהר יותר מהגדרות ברירת המחדל), ניצולת ה-heap יורדת ב-30–50%, ואינדוקס מחדש לילי מואץ פי 3–5. להלן מדדים טיפוסיים לפני ואחרי.

ההשוואה ברורה: הבדל של פי 20 בזמן השהיה ופי 3 באינדוקס. זה נותן למשתמשים חיפוש מהיר באופן עקבי ומפחית את עומס השרת. התצורה האופטימלית שלנו מהירה פי 20 מהגדרות ברירת המחדל לשאילתות חיפוש ופי 3 מהר יותר לאינדוקס.

איך להאיץ חיפוש Bitrix עם Elasticsearch?

למה תצורת ES ברירת המחדל לא יעילה?

Bitrix מייצר עומס ספציפי: אינדוקס מחדש בכמות גדולה תכוף (סנכרון עם 1C), מספר עצום של שדות טקסט לחיפוש, פילטרים פאקטיים על עשרות מאפיינים. מחוץ לקופסה, ES מקצה 3–5 shards לקטלוג—מעט מדי עבור 200 GB של נתונים, ו-fielddata על שדות טקסט אוכל heap. התוצאה היא הידרדרות שמחמירה עם הזמן. עבור אופטימיזציית elasticsearch bitrix, כוונון elasticsearch תקין ל-1c bitrix כולל התאמת sharding ומדיניות מיזוג. ביצועי חיפוש Bitrix תלויים בתצורת אינדקסי elasticsearch bitrix. Sharding ומדיניות מיזוג של Elasticsearch הם המפתח.

# Состояние кластера
GET /_cluster/health?pretty
# Статистика индексов
GET /bitrix_catalog/_stats?pretty
# Горячие потоки (что грузит CPU)
GET /_nodes/hot_threads
# Использование памяти
GET /_nodes/stats/jvm?pretty

תצורת אינדקס שלב אחר שלב

בצעו את הצעדים הבאים כדי לבצע אופטימיזציה לאינדקסי Elasticsearch עבור Bitrix.

שלב 1: תצורת Sharding

הטעות הנפוצה ביותר היא יותר מדי shards. כל shard הוא אינדקס Lucene עם תקורה של ~50 MB heap. 100 shards = 5 GB heap רק עבור מטא-דאטה.

לקטלוג Bitrix הכלל: shard אחד לכל 20–40 GB של נתונים, לא יותר מ-3–5 shards לחנות טיפוסית:

PUT /bitrix_catalog { "settings": { "number_of_shards": 3, "number_of_replicas": 1 } } 

אי אפשר לשנות את מספר ה-shards הראשיים אחרי יצירת האינדקס—יש ליצור אינדקס חדש ולבצע אינדוקס מחדש דרך Reindex API. תכננו נכון מההתחלה.

שלב 2: אופטימיזציה של מרווח רענון ומדיניות מיזוג

כברירת מחדל, ES מרענן את האינדקס כל שנייה—מסמכים חדשים הופכים לזמינים לחיפוש תוך שנייה אחת. זה יקר במהלך אינדוקס בכמות גדולה. במהלך סנכרון 1C (אינדוקס בכמות גדולה), אנחנו משביתים רענון, ואז משחזרים אותו ומפעילים רענון ידני לאחר הסיום.

מדיניות המיזוג מכוונת לסוג הדיסק: עבור HDD הגבלה לפתיל אחד, עבור NVMe שניים עד ארבעה. פרמטרים טיפוסיים:

PUT /bitrix_catalog/_settings
{
  "index.merge.policy.max_merged_segment": "5gb",
  "index.merge.policy.segments_per_tier": 10,
  "index.merge.scheduler.max_thread_count": 1
}

שלב 3: אופטימיזציה של Fielddata ו-Doc Values

Fielddata נטען לתוך heap במהלך אגרגציות ומיון על שדות indices.merges.current_size_in_bytes. עבור פילטרים פאקטיים בקטלוג, השתמשו אך ורק ב-PUT /bitrix_catalog { "settings": { "number_of_shards": 3, "number_of_replicas": 1 } } עם doc values (מאוחסנים על דיסק, לא ב-heap):

PUT /bitrix_catalog/_mapping
{
  "properties": {
    "brand": {
      "type": "keyword",
      "doc_values": true,
      "eager_global_ordinals": true
    }
  }
}

PUT /bitrix_catalog/_settings { "index.merge.policy.max_merged_segment": "5gb", "index.merge.policy.segments_per_tier": 10, "index.merge.scheduler.max_thread_count": 1 } עבור שדות פילטר עם קרדינליות גבוהה (מותג, קטגוריה) בונה ordinals בזמן רענון, לא בשאילתת האגרגציה הראשונה. מבטל "התחלה קרה" אחרי אינדוקס מחדש לילי.

שלב 4: Force Merge עבור אינדקסים סטטיים

אם הקטלוג משתנה רק בלילה (סנכרון 1C פעם ביום), מיזגו את אינדקס היום ל-segment יחיד. זו פעולה כבדה, יש להריץ רק בחלון תחזוקה. Segment אחד = מהירות חיפוש מקסימלית, תקורה מינימלית.

שלב 5: הגדרת אינדוקס מ-Bitrix

בצד PHP, במהלך אינדוקס בכמות גדולה השתמשו ב-Bulk API עם גודל אצווה אופטימלי:

$batchSize = 500; // оптимум для товаров с описанием
$body = [];
foreach ($products as $product) {
    $body[] = ['index' => ['_index' => 'bitrix_catalog', '_id' => $product['ID']]];
    $body[] = $this->prepareDocument($product);
}
$client->bulk(['body' => $body]);

גודל האצווה מכוון ניסיונית: קטן מדי פירושו הרבה round-trips, גדול מדי פירושו לחץ על GC. בדרך כלל 200–500 מסמכים למוצרים עם תיאורים.

ניטור אחרי אופטימיזציה

חברו מדדי ES ל-Prometheus דרך text והתריעו על:

• heap_used_percent > 80% למשך יותר מ-5 דקות
• זמן GC > שנייה אחת לדקה
• זמן השהיית חיפוש p99 > 500 אלפיות השנייה
• shards לא משויכים > 0

תוצאות במספרים: לפני ואחרי

חיסכון במשאבי שרת מגיע ל-30–50%, מה שמפחית ישירות את עלויות התשתית.

מה כלול בעבודה

• ביקורת על תצורת ES הנוכחית ו-infoblocks של Bitrix
• חישוב מספר אופטימלי של shards ו-replicas
• כוונון mapping לספציפיות הקטלוג (keyword, doc_values, eager_global_ordinals)
• אופטימיזציה של מדיניות מיזוג ו-refresh_interval למצב אינדוקס
• כוונון אינדוקס בכמות גדולה בצד Bitrix (גודל אצווה, כיוונונים)
• שילוב ניטור (Prometheus + Grafana) והתראות
• תיעוד תפעולי

צרו קשר לביקורת של הקלאסטר שלכם. נעריך מדדים ונציע תוכנית אופטימיזציה סוהר. קבלו ייעוץ—זה לוקח לא יותר משעה. בקשו ביקורת עכשיו כדי לראות את ההבדל במהירות החיפוש. התוצאות המובטחות שלנו כוללות שיפורים מתועדים.

למדו עוד על Elasticsearch ב-ויקיפדיה ו-Lucene.