ניטור טמפרטורת שרתים: היכן מתחילות תקלות
טמפרטורת הצומת אינה מספר אחד, אלא מערכת תלויות: עומס המעבד, טמפרטורת האוויר בכניסה, מהירות סיבוב המאווררים, מיקום בארון. כל עוד כל החיישנים בתוך הסף, הציוד עובד במהירויות מופחתות ושותק.
הסימפטום המורגש הראשון הוא בדרך כלל לא התחממות יתר, אלא השבתה פתאומית של הציוד: הגנת חום מסירה את העומס לפני שהתורן מספיק להבחין באזהרה.
כשל מאוורר נראה ערמומי יותר. מודול אחד מתוך שישה מתקלקל, הנותרים מאיצים למקסימום ושומרים על טמפרטורה ממוצעת תקינה — אבל מקררים את הצומת בצורה לא אחידה, ומודול זיכרון או התקן אחסון מתחמם באופן מקומי.
אם מהירות כל מאוורר לא נמדדת כמדד נפרד, התקלה מתגלה בביקור מתוכנן הבא של המהנדס או בירידה חוזרת בביצועים.
אוורור לא אחיד של הארון יוצר תמונה דומה כבר ברמת התשתית. חריצים ריקים ללא מכסים, מארזים בעומק שונה, זרימה שחוזרת במעגל במקום לעבור דרך החזית — והצמתים התחתונים מקבלים אוויר חם בכמה מעלות מהעליונים.
ניטור טמפרטורת שרתים מראה זאת רק בהשוואת קריאות בכניסה וביציאה של כל יחידה, ולא לפי נקודה אחת במסדרון הקר.
הסיבה בכל התרחישים משותפת: לא נלקחים האותות הנכונים או שהם נלקחים לעתים רחוקות. סף ההפעלה מוגדר לערך קריטי, התראות נשלחות לזרם כללי, היסטוריית הקריאות לא נשמרת — לא ניתן לבנות מגמה. בסופו של דבר התחממות יתר של השרת נרשמת רק לאחר כשל, והדיון הוא כבר על שחזור, לא על מניעה.
נבחן כיצד מכסים זאת: אילו חיישנים ומהירויות מאווררים לאסוף, כיצד להגדיר ספים בנפרד עבור הצומת ועבור הארון, כך שהסטייה תיראה לפני עצירת הציוד.
מה נותן ניטור טמפרטורה ומהירות מאווררים
הטמפרטורה לא חורגת מהסף באופן מיידי — זוהי מגמה איטית: מסנן סתום, הידרדרות משחת תרמית, מיסב שחוק. התראת סף מופעלת כאשר מאגר הזמן כבר נגמר, ולתורן נשאר לא זמן לתגובה, אלא זמן לטפל בהשלכות.
לכן אנו אוספים קריאות מחיישני כניסה ויציאה, אזורי מעבדים וסלי דיסקים, ובנפרד — מהירות כל מאוורר דרך IPMI, ישירות מהפלטפורמה וללא סוכנים בתוך מערכת ההפעלה.
ניטור מהירות סיבוב הוא סימן מוקדם יותר מאשר התחממות. המיסב נשחק, המהירות באותה הגדרה יורדת בכמה אחוזים, ורק לאחר שבועות זה מתבטא בטמפרטורה ובהאטת ביצועים. באות כזה ההתראה מגיעה לפני הכשל: זמן התגובה לאירוע נמדד בדקות, לא בשעות של חיפוש האשם בלוגים.
מאותה מגמה מחושב משאב המאווררים. לפי שיפוע המהירות ושעות העבודה אנו בונים תחזית מתי יהיה צורך להחליף מודול, ומתכננים תחזוקה לפי שחיקה בפועל, לא לפי לוח שנה. במקביל רואים שהבעיה אינה בחומרה: אם כל המודולים בארון ירדו — השאלה היא בטמפרטורה באולם המכונות ובמסננים.
התוצאה — הפחתת שיעור הכשלים: כיבויים חירום עקב התחממות יתר והידרדרות דיסקים יוצאים מהקטגוריה של "פתאומיים". התורן מקבל לא "השרת חם" מופשט, אלא מאוורר מסוים, ארון מסוים ומרווח זמן להחלפה בחלון מתוכנן.
אפשרויות ניטור: חיישנים מקוריים, איסוף נתונים, סקר חיצוני
בחירת המצב נתקלת בתאימות עם הציוד: דורות שונים של פלטפורמות מוסרים טמפרטורת מעבדים, דיסקים, ספקי כוח ומהירויות מאווררים דרך ממשקים משלהם, וחלק מהמדדים היצרן סוגר לחלוטין.
לכן תחילה אנו עורכים מלאי של הציוד, ולפי כל דגם מתעדים אילו חיישנים באמת זמינים — אחרת ערכי הסף יוגדרו על מערך נתונים ריק, והתקלה בארון לא תצוף.
גישות נבדלות בתדירות הסקר, בעומק ובמורכבות התחזוקה. חיישנים מקוריים נותנים מקסימום בפלטפורמות מודרניות, סקר חיצוני של הציוד — בארונות הטרוגניים ובצמתי רשת, מדידות חד-פעמיות מכסות קבלה וניתוח של אירוע שכבר קרה.
| אפשרות | מתי מתאימה | מגבלות |
|---|---|---|
| חיישנים מקוריים דרך ממשק הניהול של הפלטפורמה | מלאי הומוגני, ולשרתים יש בקר ניהול | חלק מהחיישנים חסומים על ידי היצרן, המערך שונה בין דגמים, נקרא רק בדרך המקורית |
| סוכן על מערכת ההפעלה | יש גישה לתוך הצומת, יש צורך במדדים יחד עם העומס | רואה רק את מה שהמערכת מוסרת; כאשר הצומת נתקע, הנתונים מפסיקים לזרום |
| סקר חיצוני של הציוד ברשת | מלאי הטרוגני, ציוד רשת, מקטעים מבודדים | דורש הרשאות מתואמות ולוח זמנים לסקר; פער בין סקרים נשאר בלתי מזוהה |
| מדידות חד-פעמיות במצלמה תרמית ובחיישנים על הארון | קבלה לאחר התקנה, ביקורת אזורים חמים, איתור סיבת התחממות יתר | אין היסטוריה וספים אוטומטיים, המגמה לא נעקבת |
ערכי סף מגדירים רק לאחר קו בסיס: אוספים מדדים תחת עומס עבודה ובמצב סרק, ומהם מחשבים אזהרה ורמה קריטית. מערכת כללים כזו לא מופעלת על תנודות רגילות, אך תופסת עליית טמפרטורה וירידת מהירות מאוורר לפני שהגנת הצומת מופעלת.
סדר הטמעת הניטור: מביקורת ועד מסירה
סדר השלבים כאן אינו פורמליות: אם מגדירים ספים לפני תרשים פריסת החיישנים, המערכת מגיבה לחימום של ציוד שכן ולטיוטה במסדרון, ולא להתחממות יתר אמיתית. משמרת תורנית מתרגלת להתראות שווא ומפסיקה להגיב להן — הניטור קיים פורמלית, אך אין הגנה מפני כשל. לכן המסלול הולך מהתמונה הפיזית של הציוד להגדרות, ולא להפך.
- מלאי ציוד. משווים את הציוד לארונות: היכן טמפרטורה ומהירות מאווררים נאספות באופן מקורי, היכן אין חיישנים פיזית, אילו צמתים קריטיים לשירות. בפלט — רשימת יחידות מבוקרות עם שיוך למקום.
- תרשים פריסת חיישנים. נקודות ממקמים בכניסת ויציאת אוויר, ביחידות העליונות של הארון ובאזורי זרימה חוזרת — שם התחממות יתר מופיעה ראשונה. עבור ארונות ללא חיישנים מובנים בוחרים חיישנים חיצוניים.
- איסוף ושיוך מדדים. מרכזים נתונים ב-Zabbix: נקודת איסוף אחודה, כל מדד משויך לארון וליחידה, כך שהתראה מציינת מיד חומרה מסוימת.
- הגדרת ספים. שתי רמות לכל מדד — אזהרה וקריטי, עם ערכים שונים עבור ציוד בעומס וציוד רזרבי, ועם השהיית אישור כדי להחליש קפיצות קצרות.
- בדיקת התראות. נותנים עומס אמיתי, בודקים את מסלול ההתראה עד התורן ואת ההסלמה, מודדים את הזמן מהסטייה עד לאות. התראות שווא מנתחים ומתקנים לפני המסירה.
- מסירה לתפעול. מוסרים תיאורי חיישנים, נוהל תגובה והדרכת משמרת; נשארים בקשר עד שהמערכת תעבוד במחזור עומס מלא.
תצורות, תרשימי סקר ונוהלי תגובה
העבודה נמסרת לא כדוח, אלא כערכה שאפשר ליישם בלעדינו: לפרוס באתר שני, להעביר למשמרת חדשה, להשתמש בניתוח אירוע. כל הארטיפקטים נשמרים במערכת בקרת גרסאות — שינויים עוברים בדיקה, והמהדורה הקודמת נשארת זמינה לחזרה.
- תצורות סקר: רשימת צמתים, מרווחי איסוף, רשימת חיישנים (מעבד, זיכרון, דיסקים, ספק כוח, אוויר נכנס), ספי אזהרה ותקלה עם היסטרזיס נגד התראות שווא.
- תרשים סקר: אילו צמתים נסקרים ישירות, היכן נמצא אוסף ביניים, כיצד הנתונים מגיעים לאחסון ומה נרשם בעת אובדן קשר עם הצומת.
- מפת אזורי טמפרטורה: שיוך ארונות ויחידות לאזורים, טווח תקין לכל אחד, נקודות שבהן יש חיישן על המארז, ומקומות שבהם דרוש חיישן חיצוני.
- מדיניות גישה: תפקידי תורן, מהנדס וקבלן חיצוני, מה ניתן לשנות ללא תיאום, מי מקבל התראות, כיצד נסגרות גישות כשעובד עוזב.
- נוהל תגובה: מטריצת "אירוע → פעולה → מועד", הפרדה בין אזהרה לתקלה, מי מקבל החלטה על העברת עומס.
- הנחיות למשמרת תורנית: פעולות שלב אחר שלב בעת התחממות יתר, ניקוי מסננים וכשל מאוורר — עם פקודות בדיקה ונקודות הסלמה.
- יומן עבודות מתוכננות: ניקויים, החלפת מאווררים, הפעלות בדיקה של התראות — עם סימונים, כך ששקט בהתראות לא יתפרש כ"הכול תקין".
הערכה חיה יחד עם התשתית: עם הכנסת ארון חדש, מפת האזורים והספים נבחנים מחדש לפני הפעלת הציוד, ולא אחרי התחממות היתר הראשונה.
מקרה בוחן: התחממות יתר בארון צפוף ומה הראו המדידות
פנו אלינו לאחר סדרה של הפעלות מחדש ספונטניות ונפילות ביצועים בשרתים בארון צפוף. החיישן באולם הראה תקין, ולכן את הסיבה חיפשו תחילה בשכבת האפליקציה. בהיסטוריית האירועים במשך רבעון הצטברו שבעה אירועים, וכמעט כולם — בחלון הגיבוי הלילי, כאשר העומס על המעבדים והדיסקים הוא מקסימלי.
המדדים לפני הטמעת הניטור נראו מטעים: הטמפרטורה בכניסה ביחידות התחתונות תאמה את זו של האולם, והפער בין השרתים העליונים לתחתונים באותו ארון הגיע לשמונה מעלות. המאווררים הסתובבו כל הזמן במהירויות מוגברות — ההגנה לא כיבתה את הצמתים, אך מרווח החימום כבר נגמר.
מה הראו המדידות
מיקמנו חיישנים בכניסה של כל קבוצת יחידות וביציאה, אספנו טלמטריה במרווחים של כמה שניות וסיכמנו אותה עם מהירויות המאווררים וטמפרטורת המעבדים ב-Prometheus. מפת החום של הארון הראתה התחממות יתר מקומית בשליש העליון: לשם נשאב אוויר חם מהשורה הסמוכה. חיישן האולם לא רואה סחרור כזה באופן עקרוני.
מה שינו
סידור מחדש של הציוד סגר את המקור: מכסים ביחידות ריקות, הפרדה בין מסדרון קר לחם, העברת שני השרתים החמים ביותר מתחת לרמת הסחרור.
מעל זה — כללי התראה לפי ספים: אזהרה בעת התקרבות לגבול, קריטי — לפני שהצומת נכנס למצב הפחתת תדר, ובנוסף בדיקה נפרדת של אי-סנכרון החיישנים עצמם, אחרת הניטור משקר בשקט.
מדדים אחרי: פיזור הטמפרטורות בארון הצטמצם משמונה מעלות לשתיים-שלוש, הטמפרטורה בכניסה בכל היחידות השתוותה, המאווררים הורידו מהירות, וברבעון הבא לא הופיע בהיסטוריית האירועים אף אירוע התחממות יתר. המדידות עברו לדיווח קבוע — כעת כל סידור מחדש של ציוד באולם מלווה בבדיקת מפת חום.
במה שונה ניטור התחממות יתר מאקלים בארון?
אקלים באולם השרתים וניטור התחממות יתר של צומת מסוים — משימות שונות עם אזורי אחריות שונים. מערכת האקלים שומרת על מצב לפי חיישן בזרם החוזר: כל עוד האוויר באולם עומד בתקן, מבחינתה הכול תקין. אך בכניסה למארז הוא כבר אחר — וזו נקודת ההבדל המרכזית.
הכול תלוי בנקודת המדידה. מערכת האקלים מודדת אוויר שחוזר ליחידה, ואילו חיישן מקומי — זה שעומד בכניסת האוויר לשלדה ובאזור המעבדים והספק. בשורות צפופות הפער בין הנקודות האלה הוא עניין שבשגרה, והוא בדיוק קובע אם הצומת יעבור להפחתת תדר כפויה או לא.
| מה משווים | מערכת אקלים באולם | ניטור הנדסי של הצומת |
|---|---|---|
| נקודת מדידה | זרם חוזר, ממוצע בחדר | כניסת אוויר למארז, אזור מעבדים |
| מושא הניטור | שורת ארונות, האולם בכללותו | שרת ושלדה מסוימים |
| מה רואה | כשל במזגן, עליית טמפרטורה באולם | כשל מאוורר, רדיאטור סתום, התחממות יתר מקומית |
| נקודה עיוורת | התחממות יתר של צומת בודד | תקלת אקלים כללית בכל השורה |
מכאן גם גבול אזורי האחריות. מערכת האקלים לא תראה מאוורר שהתקלקל או תריס מסובב של שרת שכן — מבחינתה האולם עדיין קר. חיישן מקומי, להפך, לא יבין שהמזגן יצא מכלל פעולה וכל השורה נמצאת במסדרון חם.
לכן דרג ניטור אחד אינו מספיק: הראשון עונה על השאלה "האם באולם תקין?", השני — "האם הצומת בטווח?". ניטור טמפרטורת שרתים מאחד את שני הזרמים, כדי לתפוס התחממות יתר לפני הפעלת ההגנה וניתוק הציוד.
ספקות טכניים: מתאימות ועד גישה
לפני תחילת הפרויקט הלקוח בדרך כלל מעלה אותן שאלות טכניות — על רשת הניהול, מלאי ציוד ישן והרשאות. להלן תשובות קצרות שלרוב מסירות את ההתנגדויות האלה.
האם ניטור הטמפרטורה יעמיס על רשת הניהול?
הסקר עובר דרך ממשק ניהול נפרד ואינו מתערבב בתעבורת העבודה של הארונות. התדירות נקבעת לפי כל סוג ציוד: לעתים קרובות יותר היכן שהעומס צפוף, לעתים רחוקות יותר עבור צמתים ארכיוניים. האיסוף עצמו תופס שברי אחוז מהערוץ, ובשעת שיא תור הסקר נדחה.
ומה אם חלק מהשרתים כבר לא מוסרים טלמטריה?
דגמים שאינם מוסרים קריאות באופן מקורי, מכסים בחיישנים חיצוניים בכניסה וביציאה של הארון. עבורם נשענים על דינמיקה בקבוצת צמתים, ולא על דיוק של חיישן בודד — זה מספיק כדי לתפוס התחממות יתר מקומית וכשל מאוורר.
אילו הרשאות דרושות לצוות שלכם?
חשבון שירות לקריאה בלבד — בלי זכות לשנות תצורה ולהפעיל מחדש ציוד. סודות נשמרים במאגר מאובטח ומתחלפים, יומן הפניות נשאר אצלכם. ניתן לבטל את הגישה בכל רגע: איסוף הנתונים פשוט נעצר.
אצלנו כבר מוטמעת מערכת ניטור — האם נצטרך להחליף אותה?
לא. אנו מתחברים כצרכן שני ולא נוגעים בכללים הקיימים. מתנהל תקופה מקבילה עם השוואת קריאות וספים, פערים מנותחים, ורק אחר כך ההתראות מועברות ללוגיקה החדשה — עם אפשרות לחזרה.
עד כמה אפשר לסמוך על חיישנים מקוריים?
יש להם שגיאה עצמית ופיזור בין משלוחים, ולכן ספים בונים על דינמיקה: קצב עליית הטמפרטורה וההפרש בין כניסת ליציאת האוויר. הערך המוחלט נשאר לעיון — כך נעלמות התראות שווא, והתחממות יתר אמיתית נשארת גלויה.
נדון במשימה ונחזור עם הערכה ותוכנית עבודה
כדי שהערכת העבודה תישען על מלאי אמיתי, ולא על מספרים ממוצעים, אנחנו צריכים הקשר פתיחה קצר. תארו את המשימה בצורה חופשית — מספיקים כמה פסקאות: איזה ציוד קיים, כיצד כיום נודע לכם על התחממות יתר, מה כבר ניסיתם. זה מספיק כדי להבין את היקף הפרויקט ולהציע תרשים ניטור שלא ידרוש לשנות את חדרי השרתים.
מה עוזר לנו לחזור עם תוכנית הטמעה מדויקת:
- הרכב מלאי הציוד — כמה ארונות ושרתים, דגמים, האם כבר יש חיישנים ובאילו נקודות הם ממוקמים.
- המצב הנוכחי — האם היו כיבויים עקב טמפרטורה, כיצד כיום מנוטרים מאווררים וזרימות אוויר בארונות.
- תרשים הניטור — אילו ספים אתם מחשיבים כחירום עבור אזורים שונים ולמי צריכות להגיע ההתראות.
- מגבלות תשתית — הרשאות, מקטעים מבודדים, נוהלי תחזוקה וחלונות עבודה.
- מה כבר ניסיתם — מדוע פתרונות קודמים לא נקלטו או לא נתנו את רמת הפירוט הנדרשת.
- ציפיות לוחות זמנים — האם יש תאריך שעד אליו הניטור צריך לעבוד ללא השתתפותכם.
לפי הנתונים האלה נחזור עם הערכת עבודה, תרשים הטמעה לפי שלבים והרכב משימות — עם הפרדה ברורה מה אנחנו עושים ומה נשאר בצד שלכם. תארו את המשימה בדרך נוחה: מכתב עם פירוט הארונות או שיחה קצרה לפי עובדות. נדון במשימה ונחזור עם תוכנית שבה רואים את סדר השלבים ואת הנקודה שבה הניטור כבר עובד.