REST API עבור בוטים של מנתחים: ניהול, ניטור, Webhooks

POST /api/v1/scrapers — создать новый скрапер
GET /api/v1/scrapers — список скраперов
GET /api/v1/scrapers/{id} — конфигурация скрапера
PATCH /api/v1/scrapers/{id} — обновить конфигурацию
DELETE /api/v1/scrapers/{id} — удалить скрапер
POST /api/v1/scrapers/{id}/run — запустить немедленно
POST /api/v1/scrapers/{id}/stop — остановить запущенный
GET /api/v1/scrapers/{id}/status — текущий статус
GET /api/v1/scrapers/{id}/runs — история запусков
GET /api/v1/scrapers/{id}/runs/{runId} — детали запуска
GET /api/v1/scrapers/{id}/results — результаты парсинга

דוגמת יישום ב-FastAPI עם משימות רקע וולידציה:

from fastapi import FastAPI, HTTPException, BackgroundTasks
from pydantic import BaseModel
from typing import Optional

app = FastAPI()

class ScraperConfig(BaseModel):
    name: str
    url: str
    schedule: Optional[str] = None  # cron expression
    proxy_pool: Optional[str] = None
    rate_limit: int = 5  # req/sec
    headers: dict = {}

@app.post('/api/v1/scrapers', status_code=201)
async def create_scraper(config: ScraperConfig):
    scraper = await ScraperRepository.create(config.dict())
    if config.schedule:
        await Scheduler.register(scraper.id, config.schedule)
    return scraper

@app.post('/api/v1/scrapers/{scraper_id}/run')
async def run_scraper(scraper_id: int, background_tasks: BackgroundTasks):
    scraper = await ScraperRepository.get_or_404(scraper_id)
    if scraper.status == 'running':
        raise HTTPException(409, 'Scraper is already running')
    run = await ScraperRun.create(scraper_id=scraper_id, status='pending')
    background_tasks.add_task(execute_scraper, scraper, run.id)
    return {'run_id': run.id, 'status': 'started'}

@app.get('/api/v1/scrapers/{scraper_id}/status')
async def get_status(scraper_id: int):
    scraper = await ScraperRepository.get_or_404(scraper_id)
    last_run = await ScraperRun.get_latest(scraper_id)
    return {
        'id': scraper_id,
        'status': last_run.status if last_run else 'idle',
        'last_run': last_run.started_at if last_run else None,
        'items_count': last_run.items_collected if last_run else 0,
    }

אימות ואבטחה

מפתחות API עם רמות גישה: POST /api/v1/scrapers — создать новый скрапер GET /api/v1/scrapers — список скраперов GET /api/v1/scrapers/{id} — конфигурация скрапера PATCH /api/v1/scrapers/{id} — обновить конфигурацию DELETE /api/v1/scrapers/{id} — удалить скрапер POST /api/v1/scrapers/{id}/run — запустить немедленно POST /api/v1/scrapers/{id}/stop — остановить запущенный GET /api/v1/scrapers/{id}/status — текущий статус GET /api/v1/scrapers/{id}/runs — история запусков GET /api/v1/scrapers/{id}/runs/{runId} — детали запуска GET /api/v1/scrapers/{id}/results — результаты парсинга , from fastapi import FastAPI, HTTPException, BackgroundTasks from pydantic import BaseModel from typing import Optional app = FastAPI() class ScraperConfig(BaseModel): name: str url: str schedule: Optional[str] = None # cron expression proxy_pool: Optional[str] = None rate_limit: int = 5 # req/sec headers: dict = {} @app.post('/api/v1/scrapers', status_code=201) async def create_scraper(config: ScraperConfig): scraper = await ScraperRepository.create(config.dict()) if config.schedule: await Scheduler.register(scraper.id, config.schedule) return scraper @app.post('/api/v1/scrapers/{scraper_id}/run') async def run_scraper(scraper_id: int, background_tasks: BackgroundTasks): scraper = await ScraperRepository.get_or_404(scraper_id) if scraper.status == 'running': raise HTTPException(409, 'Scraper is already running') run = await ScraperRun.create(scraper_id=scraper_id, status='pending') background_tasks.add_task(execute_scraper, scraper, run.id) return {'run_id': run.id, 'status': 'started'} @app.get('/api/v1/scrapers/{scraper_id}/status') async def get_status(scraper_id: int): scraper = await ScraperRepository.get_or_404(scraper_id) last_run = await ScraperRun.get_latest(scraper_id) return { 'id': scraper_id, 'status': last_run.status if last_run else 'idle', 'last_run': last_run.started_at if last_run else None, 'items_count': last_run.items_collected if last_run else 0, } , read. המפתחות נשמרים כ-hashes (bcrypt), ומועברים ב-header write. אנו תומכים גם ב-OAuth2 עבור לקוחות ארגוניים — זה מפשט ביקורת ומגביר אבטחה.

Webhooks להודעות

הירשם לאירועים: סיום ריצה, שגיאות, נתונים חדשים. דוגמת הרשמה ל-webhook:

@app.post('/api/v1/webhooks')
async def create_webhook(url: str, events: list[str]):
    return await WebhookRepository.create(url=url, events=events)

מה כלול בעבודה (תוצרים)

• עיצוב ארכיטקטורת API המותאם לתהליכים העסקיים שלך.
• יישום על FastAPI או מחסנית אחרת (Django, Node.js).
• תיעוד OpenAPI אוטומטי (Swagger).
• אימות דרך מפתחות API או OAuth2.
• Webhooks לאירועים מרכזיים.
• Deployment על השרת שלך או בענן (Docker Compose, Kubernetes).
• 30 ימי תמיכה חינם לאחר ההשקה.
• קוד מקור, מפתחות API וסקריפטים ל-deployment מסופקים.
• הדרכה לצוות שלך (שעה אחת).

למהנדסים שלנו יש ניסיון של למעלה מ-5 שנים בפיתוח מערכות כאלה, עם הסמכות ב-FastAPI ו-Kubernetes, ו-30+ פרויקטים שהושלמו.

לוחות זמנים ועלות

לוחות זמנים משוערים: 5–8 ימי עסקים לפונקציונליות בסיסית (CRUD, הפעלה/עצירה, סטטוס). עלות: מ-$2,000 (בסיסי) עד $3,500 (עם webhooks וניטור). אינטגרציות מורכבות עשויות לעלות עד $8,000. לדוגמה, לקוח אחד חסך $3,000 בחודש הראשון לאחר המעבר ל-API שלנו. כתבו אלינו להערכה — ניתן לך מחיר קבוע תוך יום עסקים אחד.

השוואת כדאיות: REST API מול ניהול ידני

REST API מספק אמינות גבוהה בהרבה ומהירות פיתוח. אוטומציה מפחיתה עלויות תמיכה בעד 40% בהשוואה לניהול ידני. פרויקט טיפוסי מחזיר את ההשקעה תוך 2–3 חודשים, וחוסך $5,000 בחודש.

הזמן פיתוח REST API מפתח-בצורה מלאה עוד היום. קבל ייעוץ על ארכיטקטורת ה-API שלך — נעזור להפחית את זמן האינטגרציה פי 3. צור קשר להצעת מחיר ללא התחייבות.