Балансування навантаження

Налаштуйте розподіл трафіку між екземплярами, health checks і стратегії балансування для стабільної роботи сервісу.

Що таке балансування навантаження

Балансування навантаження розподіляє вхідні запити між кількома екземплярами Node.js-сервісу.

Замість схеми:

text

Клієнти → один Node.js-процес

використовується схема:

text

Клієнти → балансувальник → Node.js-1
                         → Node.js-2
                         → Node.js-3

javascript

const http = require('node:http');

const port = Number(process.env.PORT || 3000);

let isReady = true;
let isShuttingDown = false;

function sendJson(response, statusCode, body) {
  const payload = JSON.stringify(body);

  response.writeHead(statusCode, {
    'content-type': 'application/json; charset=utf-8',
    'content-length': Buffer.byteLength(payload),
  });

  response.end(payload);
}

const server = http.createServer((request, response) => {
  if (request.method === 'GET' && request.url === '/health/live') {
    sendJson(response, 200, {
      status: 'ok',
      pid: process.pid,
    });
    return;
  }

  if (request.method === 'GET' && request.url === '/health/ready') {
    if (!isReady || isShuttingDown) {
      sendJson(response, 503, {
        status: 'not_ready',
      });
      return;
    }

    sendJson(response, 200, {
      status: 'ready',
      pid: process.pid,
    });
    return;
  }

  if (request.method === 'GET' && request.url === '/') {
    sendJson(response, 200, {
      message: 'Hello from Node.js',
      pid: process.pid,
    });
    return;
  }

  sendJson(response, 404, {
    error: 'not_found',
  });
});

server.listen(port, '0.0.0.0', () => {
  console.log(`Server ${process.pid} is listening on port ${port}`);
});

function shutdown(signal) {
  if (isShuttingDown) {
    return;
  }

  isShuttingDown = true;
  isReady = false;

  console.log(`Received ${signal}. Stopping new requests`);

  // Припиняємо приймати нові з'єднання, але даємо поточним завершитися.
  server.close((error) => {
    if (error) {
      console.error('Failed to close server', error);
      process.exitCode = 1;
      return;
    }

    console.log('Server closed gracefully');
    process.exit(0);
  });

  // Захист від завислого з'єднання або обробника.
  setTimeout(() => {
    console.error('Forced shutdown after timeout');
    process.exit(1);
  }, 10_000).unref();
}

process.on('SIGTERM', () => shutdown('SIGTERM'));
process.on('SIGINT', () => shutdown('SIGINT'));

haproxy

global
    log stdout format raw local0

defaults
    mode http
    log global
    timeout connect 5s
    timeout client 30s
    timeout server 30s

frontend http_in
    bind *:80
    default_backend node_api

backend node_api
    balance roundrobin

    option httpchk GET /health/ready
    http-check expect status 200

    server api_1 127.0.0.1:3001 check inter 3s fall 3 rise 2
    server api_2 127.0.0.1:3002 check inter 3s fall 3 rise 2

Балансування навантаження

Що таке балансування навантаження

Головна умова: сервіс має бути масштабованим горизонтально

Екземпляри Node.js

Health checks

Liveness check

Readiness check

Приклад HTTP-сервісу з health checks

Graceful shutdown

Стратегії балансування

Round robin

Weighted round robin

Least connections

IP hash

Приклад конфігурації HAProxy

Вибір інтервалів health checks

Readiness під час запуску

Що відбувається при відмові екземпляра

Обробка помилок балансувальником

Спостережуваність

Типові помилки

Перевірка лише порту

Використання одного endpoint для liveness і readiness

Збереження сесій у пам’яті процесу

Відсутність graceful shutdown

Надто агресивні health checks

Невраховані довгі запити

Залежність від sticky sessions

Практична перевірка

Підсумок