ניטור משימות רקע: לוחות בקרה של Sidekiq, Bull Board, Flower

ניטור משימות רקע: הגדרת לוחות מחוונים ל-Sidekiq, Bull Board ו-Flower

תור ללא ניטור הוא קופסה שחורה: משימות נתקעות, נכשלות, מצטברות לאלפים, ואתה לומד על כך מהמשתמשים. בפרויקט אחד גילינו ש-30% מהמשימות בתור 'media' נכשלו עקב timeout של 60 שניות — לאחר הגדלתו ל-300 שניות, שיעור ההצלחה עלה ל-99.5%. הניסיון שלנו: יותר מ-50 הטמעות עבור מחסני טכנולוגיה של Ruby, Node.js ו-Python. אנו מבטיחים שקיפות לתורים שלכם.

אילו בעיות אנו פותרים?

תרחישים אופייניים: משימות נכשלות עם שגיאות לא מתועדות, התור גדל ללא שליטה, אין התראות על כשלים, וניפוי באגים במשימות תקועות הוא קשה. לוח מחוונים פותר זאת: אתה רואה את המצב של כל משימה, מספר הניסיונות שנכשלו וזמן ההמתנה. לדוגמה, בפרויקט עם תור התראות, זמן התגובה ירד ב-70% לאחר הגדרת ניטור והתראות.

כיצד לבחור את לוח המחוונים המתאים

הבחירה תלויה במחסן הטכנולוגיה. עבור Ruby + Sidekiq — Sidekiq Web UI. עבור Node.js + BullMQ — Bull Board. עבור Python + Celery — Flower. כל אחד מספק ממשק אינטרנט ו-REST API. להלן השוואה.

Sidekiq Web UI מנצח בהתראות מובנות — הוא דורש 100% פחות תלות חיצונית מאשר Bull Board או Flower.

למה ניטור תורים הוא קריטי

מערכות מבוזרות מורכבות תלויות במשימות רקע. ללא ניטור, אתה לא רואה היכן נמצא הצוואר בקבוק: בקוד ה-worker, בתצורת התור או בתשתית. לדוגמה, קנה המידה האוטומטי של Laravel Horizon (balance: auto) מגדיל את מספר התהליכים ככל שהתור גדל — אבל רק אם אתה רואה את המדדים. הטמעת ניטור מקצרת את זמן גילוי הבעיות משעות לדקות.

הגדרת Laravel Horizon

config/horizon.php מגדיר pools של workers. דוגמה לתצורה עם איזון:

'environments' => [
    'production' => [
        'supervisor-1' => [
            'connection' => 'redis',
            'queue' => ['high', 'default', 'low'],
            'balance' => 'auto',
            'minProcesses' => 2,
            'maxProcesses' => 10,
            'tries' => 3,
            'timeout' => 60,
        ],
    ],
],

'environments' => [ 'production' => [ 'supervisor-1' => [ 'connection' => 'redis', 'queue' => ['high', 'default', 'low'], 'balance' => 'auto', 'minProcesses' => 2, 'maxProcesses' => 10, 'tries' => 3, 'timeout' => 60, ], ], ], — Horizon מגדיל אוטומטית את מספר התהליכים בהתאם לעומק התור. בסביבת production, אנו מפעילים אותו דרך Supervisor:

[program:horizon] command=php /var/www/artisan horizon autostart=true autorestart=true user=www-data 

אימות ללוח המחוונים מוגדר דרך service provider:

protected function gate(): void
{
    Gate::define('viewHorizon', function ($user) {
        return in_array($user->email, config('horizon.admin_emails', []));
    });
}

הגדרת Bull Board עבור Node.js

התקן את balance: auto ואת [program:horizon] command=php /var/www/artisan horizon autostart=true autorestart=true user=www-data . דוגמה לחיבור שלושה תורים:

import { createBullBoard } from '@bull-board/api';
import { BullMQAdapter } from '@bull-board/api/bullMQAdapter';
import { ExpressAdapter } from '@bull-board/express';
import { Queue } from 'bullmq';

const emailQueue = new Queue('email', { connection });
const serverAdapter = new ExpressAdapter();
serverAdapter.setBasePath('/admin/queues');
createBullBoard({ queues: [new BullMQAdapter(emailQueue)], serverAdapter });
app.use('/admin/queues', authMiddleware, serverAdapter.getRouter());

Bull Board מציג משימות פעילות, ממתינות, שהושלמו ונכשלו. ממשימות שנכשלו ניתן לנסות שוב ידנית.

הגדרת Flower עבור Python

Flower רץ כשירות נפרד. באמצעות Docker Compose:

---
flower:
  image: mher/flower:2.0
  command: celery --broker=redis://redis:6379/0 flower --port=5555
  environment:
    - FLOWER_BASIC_AUTH=admin:secretpass
  ports:
    - "5555:5555"

Flower מספק REST API לאוטומציה: סטטוס workers, רשימת משימות, ביטול משימות.

כיצד להגדיר התראות לתורים

עבור Horizon, הגדר את protected function gate(): void { Gate::define('viewHorizon', function ($user) { return in_array($user->email, config('horizon.admin_emails', [])); }); } ב-@bull-board/express — התראה אם משימה ממתינה יותר מהזמן שצוין. אינטגרציה מותאמת אישית עם Telegram דרך אירוע bullmq (אנו מתארים זאת בקוד, אך משמיטים לקיצור). עבור Bull Board ו-Flower, ההתראות מוגדרות בנפרד דרך כלים חיצוניים כמו Prometheus + Alertmanager.

'waits' => [ 'redis:default' => 60, ], 

Event::listen(function (LongWaitDetected $event) { // Отправка уведомления });