הגדרת Kubernetes Cluster Autoscaler (אוטוסקיילינג של צמתים)

kubectl get pods --field-selector=status.phase=Pending kubectl describe pod pending-pod-name 

שים לב לאירועים ולתנאים. אם הסיבה היא kubectl describe node <node> | grep -A5 "Annotations", CA אמור לפעול.

כיצד Cluster Autoscaler מתקשר עם HPA?

HPA מגדיל את מספר ה-pods תחת עומס. כאשר משאבי הצומת הנוכחיים מנוצלים, pods חדשים עוברים למצב kubectl get pods --field-selector=status.phase=Pending kubectl describe pod pending-pod-name , ו-CA מוסיף צומת. חשוב להגדיר עיכובים: 0/1 nodes are available: 1 Insufficient cpu מונע מ-CA להסיר צומת מיד לאחר הופעתו, ו-Pending קובע זמן סרק לפני הסרה. זה מונע תנודות בזמני עומס שיא. לפי הנתונים שלנו, עיכובים נכונים מפחיתים קנה מידה מיותר ב-40%.

תצורה עבור ספקי ענן

AWS (EKS)

---
command:
  - ./cluster-autoscaler
    - --v=4
    - --stderrthreshold=info
    - --cloud-provider=aws
    - --skip-nodes-with-local-storage=false
    - --expander=least-waste
    - --node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/my-cluster
    - --balance-similar-node-groups
    - --scale-down-delay-after-add=10m
    - --scale-down-unneeded-time=10m
---

--scale-down-delay-after-add=10m בוחר את קבוצת הצמתים שמנצלת ביעילות את משאבי הצומת החדש. חלופות: --scale-down-unneeded-time=10m, command: - ./cluster-autoscaler - --v=4 - --stderrthreshold=info - --cloud-provider=aws - --skip-nodes-with-local-storage=false - --expander=least-waste - --node-group-auto-discovery=asg:tag=k8s.io/cluster-autoscaler/enabled,k8s.io/cluster-autoscaler/my-cluster - --balance-similar-node-groups - --scale-down-delay-after-add=10m - --scale-down-unneeded-time=10m , --expander=least-waste (עם עדיפויות קבוצת צמתים מוגדרות במפורש).

random מאזן צמתים בין קבוצות דומות — חשוב לפריסה מרובת אזורי זמינות כדי לפזר צמתים על פני אזורי זמינות.

GKE (Standard)

ב-GKE, Cluster Autoscaler מנוהל דרך most-pods בעת יצירת מאגר צמתים:

gcloud container node-pools create general \
  --cluster=my-cluster \
  --enable-autoscaling \
  --min-nodes=1 \
  --max-nodes=20 \
  --machine-type=n2-standard-4

ב-bare metal או בקלאסטרים של kubeadm, CA עובד רק אם קיים API לניהול צמתים — לדוגמה, דרך cloud-controller-manager או ספק מותאם אישית.

מתי לבחור ב-Karpenter במקום Cluster Autoscaler?

ב-AWS, Karpenter הוא פתרון גמיש יותר. הוא לא קשור לקבוצות Auto Scaling שנוצרו מראש: הוא בוחר את סוג המופע בהתבסס על דרישות ה-pod ומספק אותו דרך EC2 API. ההבדל: CA מוסיף צומת ממאגר צמתים קבוע עם סוג מופע ספציפי, בעוד Karpenter מסתכל על הבקשות של כל ה-pods הממתינים ובוחר את הסוג הזול ביותר המתאים — יכול להיות priority או --balance-similar-node-groups. מופעי Spot נתמכים באופן טבעי.

Karpenter gcloud:

---
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: general
spec:
  template:
    spec:
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["spot", "on-demand"]
        - key: kubernetes.io/arch
          operator: In
          values: ["amd64"]
      limits:
        cpu: 1000
  disruption:
    consolidationPolicy: WhenUnderutilized
    consolidateAfter: 1m

gcloud container node-pools create general \ --cluster=my-cluster \ --enable-autoscaling \ --min-nodes=1 \ --max-nodes=20 \ --machine-type=n2-standard-4 — Karpenter ממזג באופן אגרסיבי: אם צמתים לא מנוצלים, הוא מעביר pods ומסיר צמתים מיותרים. זה מפחית עלויות AWS ב-30-50% לפי ההערכות שלנו. Karpenter מגיב מהר יותר לשינויים: המיזוג מתרחש תוך דקה, לא תוך 10 דקות כמו עם CA.

השוואה בין Cluster Autoscaler ל-Karpenter

פרמטרי עיכוב טיפוסיים של CA

כיצד לאבחן בעיות קנה מידה?

1. בדוק את מצב CA: apiVersion: karpenter.sh/v1 kind: NodePool metadata: name: general spec: template: spec: requirements: - key: karpenter.sh/capacity-type operator: In values: ["spot", "on-demand"] - key: kubernetes.io/arch operator: In values: ["amd64"] limits: cpu: 1000 disruption: consolidationPolicy: WhenUnderutilized consolidateAfter: 1m .
2. צפה ביומנים: consolidateAfter: 1m.
3. ודא ש-metrics-server פועל: scale-down-delay-after-add.
4. ודא של-pods יש בקשות: CA לא מגדיל pods ללא בקשות.
5. השתמש ב-scale-down-delay-after-delete לניתוח אירועים.

מה כוללת העבודה שלנו

• ביקורת על תצורת הקלאסטר והעומס הנוכחיים.
• בחירת אסטרטגיה: CA או Karpenter.
• הגדרת CA עם expander מתאים, עיכובים, איזון.
• הגדרת PDB עבור pods מערכתיים.
• אינטגרציה עם ניטור (Prometheus+Grafana).
• תיעוד תפעולי ו-runbook.

לוחות זמנים ועלות

הגדרת CA בסיסית עבור ספק ענן אחד עם פרמטרים סטנדרטיים — מיום אחד. הגדרה מלאה עם ריבוי אזורי זמינות, PDB, ניטור — מיום עד 3 ימים. מעבר ל-Karpenter — מיומיים. העלות מחושבת באופן אישי לאחר ביקורת. בפנייתך אלינו, אתה מקבל אחריות לפעולה נכונה של Cluster Autoscaler בייצור. צור קשר להערכת פרויקט — נעזור לייעל את עלויות משאבי הענן.

המהנדסים שלנו מביאים 5+ שנות ניסיון עם Kubernetes, מעל 30 פרויקטים מוצלחים של אוטומציית תשתית. הגדרת CA נכונה חוסכת בין $500 ל-$3,000 בחודש בהתאם להיקף.

ניטור

מדדי CA ב-Prometheus: scale-down-delay-after-failure, scale-down-unneeded-time, kubectl get pods -n kube-system | grep cluster-autoscaler. התראה על kubectl logs -n kube-system deployment/cluster-autoscaler --tail=50 — סימן ש-CA לא יכול להגדיל עקב שגיאות API של ספק הענן. הגדר לוח מחוונים של Grafana להמחשת מגמות.

מקור: תיעוד רשמי של Cluster Autoscaler ב-GitHub