מנתח Python עבור Bitrix: ארכיטקטורה ויישום

import scrapy

class CatalogSpider(scrapy.Spider):
    name = 'catalog'
    start_urls = ['https://example.com/catalog/']

    def parse(self, response):
        for product in response.css('.product-card'):
            yield {
                'name': product.css('h2::text').get(),
                'price': product.css('.price::text').get(),
                'description': product.css('.desc::text').get(),
                'image': product.css('img::attr(src)').get(),
                'url': product.css('a::attr(href)').get(),
            }
        next_page = response.css('.pagination .next::attr(href)').get()
        if next_page:
            yield response.follow(next_page, self.parse)

צינור לכתיבה לטבלת הביניים:

import psycopg2

class BitrixPipeline:
    def open_spider(self, spider):
        self.conn = psycopg2.connect(
            host='localhost',
            port=5433,
            dbname='bitrix_db',
            user='bitrix'
        )

    def process_item(self, item, spider):
        cursor = self.conn.cursor()
        cursor.execute("""
            INSERT INTO parser_staging (name, price, description, image_url, source_url, status)
            VALUES (%s, %s, %s, %s, %s, 'new')
            ON CONFLICT (source_url) DO UPDATE SET
                price = EXCLUDED.price,
                updated_at = NOW()
        """, (item['name'], item['price'], item['description'], item['image'], item['url']))
        self.conn.commit()
        return item

דפדפן ללא ראש עבור SPAs

אתרים הבנויים עם React או Vue מגישים HTML ריק. Playwright פותר את זה:

from playwright.async_api import async_playwright

async def parse_spa(url):
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        await page.goto(url, wait_until='networkidle')
        content = await page.content()
        await browser.close()
        return content

צריכת משאבים: כל מופע Chromium משתמש ב-100–300 MB RAM. לעיבוד המוני, השתמש במאגר של 3–5 מופעים ותור משימות.

איך להעביר נתונים ל-Bitrix

סקריפט PHP בצד Bitrix מביא נתונים מטבלת הביניים:

$rows = $DB->Query("SELECT * FROM parser_staging WHERE status = 'new' LIMIT 100");
while ($row = $rows->Fetch()) {
    $elementId = (new CIBlockElement())->Add([
        'IBLOCK_ID' => CATALOG_IBLOCK_ID,
        'NAME' => $row['name'],
        'XML_ID' => md5($row['source_url']),
        // ...
    ]);
    if ($elementId) {
        $DB->Query("UPDATE parser_staging SET status='imported', bx_id={$elementId} WHERE id={$row['id']}");
    }
}

הסקריפט רץ דרך cron כל 5–15 דקות ומעבד רשומות חדשות בקבוצות.

פריסה וניטור

מנתח ה-Python נפרס בנפרד מ-Bitrix. השתמש בשירות systemd או cron להרצות מתוזמנות. סביבה וירטואלית (import scrapy class CatalogSpider(scrapy.Spider): name = 'catalog' start_urls = ['https://example.com/catalog/'] def parse(self, response): for product in response.css('.product-card'): yield { 'name': product.css('h2::text').get(), 'price': product.css('.price::text').get(), 'description': product.css('.desc::text').get(), 'image': product.css('img::attr(src)').get(), 'url': product.css('a::attr(href)').get(), } next_page = response.css('.pagination .next::attr(href)').get() if next_page: yield response.follow(next_page, self.parse) ) מבודדת תלויות. רישום לוגים משתמש במודול import psycopg2 class BitrixPipeline: def open_spider(self, spider): self.conn = psycopg2.connect( host='localhost', port=5433, dbname='bitrix_db', user='bitrix' ) def process_item(self, item, spider): cursor = self.conn.cursor() cursor.execute(""" INSERT INTO parser_staging (name, price, description, image_url, source_url, status) VALUES (%s, %s, %s, %s, %s, 'new') ON CONFLICT (source_url) DO UPDATE SET price = EXCLUDED.price, updated_at = NOW() """, (item['name'], item['price'], item['description'], item['image'], item['url'])) self.conn.commit() return item עם רוטציה. ניטור — סקריפט בודק שהמנתח רץ בשעות האחרונות ושולח התראה אם הוא תקוע.

crontab טיפוסי:

0 1 * * * cd /opt/parsers && /opt/parsers/venv/bin/scrapy crawl catalog 2>> /var/log/parser.log
0 */4 * * * cd /opt/parsers && /opt/parsers/venv/bin/python news_parser.py 2>> /var/log/parser.log

אנחנו משתמשים בבדיקת בריאות מותאמת: כל 4 שעות אנחנו מוודאים שהמנתח סיים ללא שגיאות. אם תקוע — הפעלה מחדש אוטומטית והתראה בטלגרם. לפרויקטים קריטיים, אנחנו מוסיפים התראות מבוססות Prometheus ו-Grafana.

מתי להשתמש במנתח Python במקום PHP?

אם המקור הוא SPA (React/Vue/Angular), נפח הנתונים עולה על 10,000 פריטים, נדרש סיווג תוכן, או נדרשת הגנה מפני DDoS — Python מספק יתרון משמעותי. השוואה: Scrapy מעבד 10,000 כתובות URL ב-5–10 דקות, בעוד פתרון PHP עם curl_multi לוקח 30–40 דקות. Playwright יציב פי 3 מעטיפות PHP עבור Puppeteer בשל תמיכה עמוקה יותר בדפדפן.

מה כלול בעבודה

אנחנו מספקים מחזור פיתוח מלא עם התוצרים הבאים:

• תיעוד טכני ודיאגרמות ארכיטקטורה.
• גישה לקוד המקור של המנתח ולמסד הנתונים של הביניים.
• הדרכה למנהלי מערכת על תפעול ופתרון תקלות.
• תמיכה לאחר השקה למשך 30 יום, כולל תיקוני באגים והתאמות קטנות.

איך אנחנו מפתחים את המנתח

אנחנו מספקים מחזור פיתוח מלא:

1. ניתוח מקור והסכמה על ארכיטקטורה.
2. פיתוח עכביש על Scrapy או מנתח אסינכרוני על aiohttp.
3. הגדרת מייבא Bitrix (בלוקי מידע, HL-blocks, הצעות SKU).
4. יצירת מסד נתונים של ביניים וסקריפטים לסנכרון.
5. פריסה על השרת (systemd, cron, ניטור).
6. תיעוד לתפעול והדרכת מנהלי מערכת.

לוחות זמנים משוערים

זמן הפיתוח נע בין 5 ל-20 ימי עבודה, תלוי במורכבות המקור ובנפח הנתונים. העלות מחושבת באופן אישי לאחר ניתוח הפרויקט שלך, בדרך כלל נעה בין $1,000 ל-$5,000.

אנחנו מבטיחים פעולה יציבה של המנתח 24/7 ומספקים תמיכה לאחר השקה. בקש ייעוץ: ספר לנו על מקור הנתונים שלך, ואנחנו נציע פתרון אופטימלי תוך יום.