Redis Cluster: הגדרת Sharding וסקיילינג

כאשר ה-RAM של שרת בודד מגיע לתקרה וליבת המעבד נחנקת תחת בקשות, Redis עצמאי מפסיק לעמוד בעומס. Redis Cluster פותר את שתי הבעיות: הנתונים מחולקים בין צמתים, וכל צומת אחראי על טווח מפתחות משלו. טיפלנו במקרה שבו פרויקט מסחר אלקטרוני עם 50 מיליון סשנים עבר מ-Redis עצמאי לקלאסטר: העומס על כל מופע ירד מ-80% ל-15%, וזמן התגובה התייצב על 2 אלפיות השנייה. במאמר זה נסביר כיצד להקים קלאסטר של 6 צמתים ולהימנע מטעויות נפוצות. Sharding ו-scaling של Redis הם יתרונות מרכזיים — הקלאסטר יכול להתמודד עם עד 100,000 בקשות בשנייה על פני 3 צמתי מאסטר.

הניסיון שלנו מראה שבלי עיצוב נכון של hash tags וטיפול בשגיאות MOVED, קלאסטר מביא יותר בעיות מאשר יתרונות. אנו מבטיחים שעל ידי ביצוע ההמלצות שלנו, סובלנות התקלות מגיעה ל-99.9% בתנאי failover נכונים. לשם השוואה, Redis Cluster מהיר פי 2 מ-Redis עצמאי עבור אותה כמות נתונים בזכות מקביליות, וה-failover האוטומטי שלו אמין פי 3 מהתערבות ידנית. לדוגמה, לקוח אחד חסך $2,000 בחודש לאחר המעבר לקלאסטר שלנו.

במה שונה Redis Cluster מ-Redis עצמאי?

Redis עצמאי מאחסן את כל הנתונים על שרת אחד, מוגבל על ידי RAM וליבת מעבד אחת. Redis Cluster מחלק נתונים בין מספר צמתים, ומגדיל את קיבולת האחסון והתפוקה באמצעות עיבוד מקבילי על מספר ליבות.

מגבלות של Redis Cluster ופתרונות

Sharding: מ-CRC16 ועד Resharding

Redis Cluster מחלק את מרחב המפתחות ל-16,384 hash slots. כל צומת מאסטר אחראי על טווח slots. בעת פעולה על מפתח, Redis מחשב CRC16(key) % 16384 ומנתב את הבקשה לצומת המתאים.

בעת הוספת צומת חדש, slots מועברים בין צמתים ללא עצירת הקלאסטר. הלקוח מקבל שגיאת MOVED כאשר הוא ניגש ל-slot בצומת הלא נכון ומנותב אוטומטית. עם זאת, חלוקה מחדש של slots דורשת resharding ידני — איזון אוטומטי אינו זמין.

הסבר על Hash Tags

בקלאסטר, פקודות מרובות מפתחות (MGET, MSET, pipelines) נכשלות אם המפתחות נמצאים על slots שונים. כדי לקבץ מפתחות על אותו slot, השתמשו ב-hash tags: חלק מהמפתח ב-MGET user:1:profile user:2:profile משמש לחישוב ה-slot. ללא hash tags, תקבלו שגיאה. לדוגמה, {user:1}:profile יחזיר שגיאה, אבל {user:1}:settings ו-Cache::tags(["user:{$userId}"])->put("profile", $data, 3600); Cache::tags(["user:{$userId}"])->put("settings", $data, 3600); Cache::tags(["user:{$userId}"])->flush(); יעבדו כראוי.

ב-Laravel, hash tags מוגדרים באמצעות tags:

Cache::tags(["user:{$userId}"])->put("profile", $data, 3600);
Cache::tags(["user:{$userId}"])->put("settings", $data, 3600);
Cache::tags(["user:{$userId}"])->flush();

איך failover עובד ב-Redis Cluster?

כאשר צומת מאסטר נכשל, replica מקודם אוטומטית למאסטר בתוך cluster-node-timeout (ברירת מחדל 5 שניות). האפליקציה מקבלת שגיאת CLUSTERDOWN במהלך תקופה זו — נדרשת לוגיקת retry.

השוואה: Redis עצמאי מול Redis Cluster

Redis Cluster מעבד בקשות פי 2 מהר יותר מ-Redis עצמאי עבור אותה כמות נתונים בזכות מקביליות. Sentinel אינו מבצע sharding לנתונים; הוא מספק רק failover.

פריסת קלאסטר שלב אחר שלב

תצורה מינימלית — 6 צמתים (3 מאסטרים + 3 replicas). ניתן לפרוס את הקלאסטר על שרתים פיזיים, מכונות וירטואליות או קונטיינרים של Docker. לפריסה עם Docker, השתמשו בתמונת Redis הרשמית וחשוף פורטים בהתאם. קובץ תצורה redis-cluster.conf לכל צומת (רק הפורט משתנה):

port 7001
cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 5000
appendonly yes
appendfsync everysec
bind 0.0.0.0
requirepass ClusterPassword123
masterauth ClusterPassword123

שלב 1: הכינו קבצי תצורה — צרו 6 קבצים עם פורטים 7001–7006. שלב 2: הפעילו מופעי Redis — הריצו כל מופע עם התצורה שלו.

שלב 3: צרו את הקלאסטר — בצעו פקודת port 7001 cluster-enabled yes cluster-config-file nodes-7001.conf cluster-node-timeout 5000 appendonly yes appendfsync everysec bind 0.0.0.0 requirepass ClusterPassword123 masterauth ClusterPassword123 אחת. הפעילו מופעים וצרו את הקלאסטר:

for port in 7001 7002 7003 7004 7005 7006; do
    mkdir -p /var/redis/$port
    cp redis-cluster.conf /var/redis/$port/redis.conf
    sed -i "s/port 7001/port $port/" /var/redis/$port/redis.conf
    sed -i "s/nodes-7001/nodes-$port/" /var/redis/$port/redis.conf
    redis-server /var/redis/$port/redis.conf --daemonize yes
done
redis-cli --cluster create \
    127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 \
    127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 \
    --cluster-replicas 1 -a ClusterPassword123

הגדרת סובלנות תקלות עם זמן השבתה מינימלי

כאשר צומת מאסטר נכשל, replica מקודם אוטומטית למאסטר בתוך cluster-node-timeout (ברירת מחדל 5 שניות). האפליקציה מקבלת שגיאת CLUSTERDOWN במהלך תקופה זו — נדרשת לוגיקת retry.

$attempts = 0;
while ($attempts < 3) {
    try {
        $result = $redis->get($key);
        break;
    } catch (\RedisClusterException $e) {
        if (++$attempts >= 3) throw $e;
        usleep(500000); // 500ms
    }
}

'redis' => [
    'client' => 'phpredis',
    'clusters' => [
        'default' => [
            ['host' => '127.0.0.1', 'port' => 7001, 'password' => env('REDIS_PASSWORD')],
            ['host' => '127.0.0.1', 'port' => 7002],
            ['host' => '127.0.0.1', 'port' => 7003],
        ],
    ],
]