אילוף צינורות ML: CI/CD, ניטור ופריסה

---
stages:
  - validate
  - train
  - evaluate
  - register
  - deploy

validate-data:
  stage: validate
  image: python:3.11-slim
  script:
    - pip install -r requirements.txt
    - dvc pull data/train
    - python scripts/validate_data.py --schema schemas/training_data.json
  artifacts:
    reports:
      junit: validation_report.xml

train-model:
  stage: train
  image: ${CI_REGISTRY_IMAGE}/ml-training:latest
  tags: [gpu]
  variables:
    MLFLOW_TRACKING_URI: "https://mlflow.internal"
    MLFLOW_EXPERIMENT_NAME: ${CI_PROJECT_NAME}
  script:
    - dvc pull data/
    - python scripts/train.py --config configs/model_config.yaml --experiment-id ${CI_PIPELINE_ID} --commit ${CI_COMMIT_SHA}
  artifacts:
    paths:
      - outputs/model/

evaluate-model:
  stage: evaluate
  script:
    - python scripts/evaluate.py --model-path outputs/model/ --test-data data/test/ --threshold-config configs/quality_gates.yaml
  rules:
    - if: '$CI_PIPELINE_SOURCE == "merge_request_event"'

register-model:
  stage: register
  script:
    - python scripts/register_model.py --model-path outputs/model/ --version ${CI_COMMIT_SHORT_SHA} --stage Staging
  only:
    - main

deploy-to-production:
  stage: deploy
  script:
    - python scripts/promote_model.py --model-name ${MODEL_NAME} --from-stage Staging --to-stage Production
    - kubectl apply -f k8s/model-deployment.yaml
  when: manual
  only:
    - main

שער איכות הוא המפתח. המודל לא נרשם אם המדדים מתחת לספים. דוגמת תצורה requirements.txt:

accuracy: 0.92 f1_score: 0.88 precision: 0.90 recall: 0.86 

הבדיקה מיושמת על ידי הסקריפט stages: - validate - train - evaluate - register - deploy validate-data: stage: validate image: python:3.11-slim script: - pip install -r requirements.txt - dvc pull data/train - python scripts/validate_data.py --schema schemas/training_data.json artifacts: reports: junit: validation_report.xml train-model: stage: train image: ${CI_REGISTRY_IMAGE}/ml-training:latest tags: [gpu] variables: MLFLOW_TRACKING_URI: "https://mlflow.internal" MLFLOW_EXPERIMENT_NAME: ${CI_PROJECT_NAME} script: - dvc pull data/ - python scripts/train.py --config configs/model_config.yaml --experiment-id ${CI_PIPELINE_ID} --commit ${CI_COMMIT_SHA} artifacts: paths: - outputs/model/ evaluate-model: stage: evaluate script: - python scripts/evaluate.py --model-path outputs/model/ --test-data data/test/ --threshold-config configs/quality_gates.yaml rules: - if: '$CI_PIPELINE_SOURCE == "merge_request_event"' register-model: stage: register script: - python scripts/register_model.py --model-path outputs/model/ --version ${CI_COMMIT_SHORT_SHA} --stage Staging only: - main deploy-to-production: stage: deploy script: - python scripts/promote_model.py --model-name ${MODEL_NAME} --from-stage Staging --to-stage Production - kubectl apply -f k8s/model-deployment.yaml when: manual only: - main , שמשווה מדדים בפועל מול ספים ומחזיר סטטוס.

שירות מודלים ב-Kubernetes

Seldon Core פורס מודלים כשירותים native ל-Kubernetes והוא מהיר עד פי 3 מ-TensorFlow Serving:

---
apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: fraud-detection
  namespace: ml-production
spec:
  predictors:
    - componentSpecs:
        - spec:
            containers:
              - name: fraud-model
                image: ${ECR_URL}/fraud-detection:${MODEL_VERSION}
                resources:
                  requests:
                    memory: "2Gi"
                    cpu: "500m"
                  limits:
                    memory: "4Gi"
                    cpu: "2"
    graph:
      name: fraud-model
      type: MODEL
    name: default
    replicas: 3
    traffic: 100

בדיקות A/B בין גרסאות — דרך הפצת configs/quality_gates.yaml בין predictors.

ניטור Drift והתדרדרות

Evidently AI מייצר דוחות על data drift וביצועי מודל. אם חלק התכונות הסוטות עולה על 30%, מופעל צינור אימון מחדש. לוחות Grafana מציגים accuracy: 0.92 f1_score: 0.88 precision: 0.90 recall: 0.86 , evaluate.py, apiVersion: machinelearning.seldon.io/v1 kind: SeldonDeployment metadata: name: fraud-detection namespace: ml-production spec: predictors: - componentSpecs: - spec: containers: - name: fraud-model image: ${ECR_URL}/fraud-detection:${MODEL_VERSION} resources: requests: memory: "2Gi" cpu: "500m" limits: memory: "4Gi" cpu: "2" graph: name: fraud-model type: MODEL name: default replicas: 3 traffic: 100 , traffic — כל המדדים מ-Prometheus דרך נקודת הקצה של מדדים של Seldon Core.

כיצד אנו מיישמים MLOps: תהליך שלב-אחר-שלב

תהליך היישום מחולק לארבעה שלבים:

1. ביקורת ועיצוב — אנו מנתחים את זרימת העבודה הנוכחית של ML, התשתית ודרישות SLA. אנו מתכננים את הארכיטקטורה: GitOps, versioning, צינור CI/CD. הביקורת אורכת 1-2 ימים, העיצוב עד שבוע.
2. פריסת סטack — אנו מתקינים MLflow, Seldon Core, מגדירים ניטור (Prometheus, Grafana, Evidently). אנו מאמנים את הצוות על הכלים.
3. פיתוח צינורות — אנו כותבים צינורות CI/CD ב-GitLab CI או Argo Workflows, משלבים שערי איכות, מגדירים autoscaling (Karpenter, HPA).
4. השקה ואופטימיזציה — אנו פורסים את המודל הראשון, מגדירים התראות ב-PagerDuty/Slack, מתעדים את ה-runbook. אנו מעבירים את הפרויקט לתפעול.

מה כלול

בנוסף: ביקורת אבטחה, הגדרת RBAC, אינטגרציה עם מערכות קיימות (Jira, Slack).

מדוע ליישם MLOps איתנו

אנחנו צוות עם חמש שנות ניסיון ב-DevOps ו-MLOps. השלמנו למעלה מ-15 יישומי צינורות עבור מוצרי ML. אנו משתמשים בסטack מוכח, כותבים תיעוד ומאמנים את הצוות שלכם. אנו מבטיחים SLA על זמן תגובה — אנו חותמים על חוזה עם אחריות.

יתרונות מרכזיים:

• מומחיות מוסמכת: Kubernetes, GitOps, ArgoCD, Seldon Core
• תבניות צינור משלנו — זמן השקה מופחת ב-40%
• עבודה עם AWS EKS, GCP GKE, Yandex Cloud, Selectel
• גישה אישית: פתרון מותאם לסטack שלכם, לא תבנית כפויה

עלות פרויקט נעה בדרך כלל בין $80,000 ל-$150,000 בהתאם להיקף, נקבעת לאחר ביקורת. ניסיון מעשי מראה שאוטומציה של MLOps מפחיתה עלויות תפעול ב-30–50% על ידי צמצום עבודה ידנית ותקלות. הלקוחות שלנו מדווחים על הפחתה של 40% במספר התקלות.

פנו אלינו לייעוץ. קבלו הערכת פרויקט תוך 48 שעות.