Đi tới nội dung chính
System Design Lab
Case Studies

Thiết kế dịch vụ Rate Limiter

Áp luật "100 request mỗi giây cho mỗi API key" trên nhiều node gateway: counter cục bộ cho một client lọt qua gấp N lần, counter chung trong Redis thì chính xác nhưng có thể kéo sập tất cả, còn dự phòng cục bộ giữ được giới hạn khi nó hỏng.

Trung cấp 5 phút đọc· Cập nhật 2026-11-18

Sau bài này bạn sẽ

  • Thấy vì sao giới hạn theo từng node không cộng lại thành giới hạn toàn cục.
  • Làm counter chung trong Redis bằng phép tăng atomic.
  • Chọn giữa fail open, fail closed và dự phòng.
  • Trả về response rate limit hữu ích cho client.

Nên đọc trước

Yêu cầu

  • Chức năng: giới hạn mỗi client (API key, user hoặc IP) theo tốc độ cấu hình cho từng luật; từ chối phần vượt bằng 429 Too Many Requests và cho client biết khi nào thử lại.
  • Phi chức năng: thêm tối đa một hai mili giây mỗi request; giới hạn đúng trên toàn bộ các node gateway; limiter hỏng không được kéo sập API.
  • Quy mô: mọi request API đều đi qua limiter — đây là đường nóng nhất trong hệ thống.

Ước lượng nhanh

Đại lượngGiả địnhKết quả
Lượt kiểm tra50.000 request API/giây50.000 lượt tăng counter/giây
Redis~100.000 thao tác đơn giản/giây mỗi nodeMột primary là đủ; vượt nữa thì shard theo key
Bộ nhớ1 triệu key đang hoạt động × vài luật × ~50 B~150 MB — counter hết hạn cùng cửa sổ của nó

Tiến hoá thiết kế

Giai đoạn 1 / 3

Mỗi gateway một counter

Kiến trúc hiện tại
Mỗi node gateway giữ counter theo key trong bộ nhớ và tự áp luật 100/s.
Giới hạn
Load balancer rải một client ra mọi node, và node nào cũng cho đủ giới hạn.
Điểm nghẽn
API: scraper lọt qua 4 × 100 = 400 req/s và API bắt đầu từ chối cả người dùng bình thường.
Cải tiến
Đếm ở một chỗ mà mọi node cùng dùng.
Tác động tới hiệu năng
Hơn một nghìn request bình thường lỗi trong 30 s.
Độ phức tạp & chi phí vận hành
Không tốn thêm gì — và giới hạn sai đúng bằng số node.
Trade-off
Nhanh và đơn giản, nhưng không phải giới hạn toàn cục (và cứ scale là nó đổi).
Đang tải mô phỏng…

Counter dùng chung

Counter fixed window dưới dạng một script Redis atomic
-- KEYS[1] = "rl:{api_key}:{rule}:{window}"   ARGV[1] = giới hạn   ARGV[2] = số giây của cửa sổ
local count = redis.call('INCR', KEYS[1])
if count == 1 then
  redis.call('EXPIRE', KEYS[1], ARGV[2])   -- counter biến mất cùng cửa sổ của nó
end
if count > tonumber(ARGV[1]) then
  return {0, redis.call('TTL', KEYS[1])}   -- bị từ chối, còn bao nhiêu giây tới cửa sổ mới
end
return {1, tonumber(ARGV[1]) - count}      -- cho qua, còn lại bao nhiêu
  • Atomic: INCR + EXPIRE trong một script tránh race kiểu đọc-rồi-ghi giữa các gateway.
  • Thuật toán: fixed window đơn giản nhất; sliding window hoặc token bucket (lưu dạng hash gồm số token + thời điểm) làm mượt burst ở mép cửa sổ — xem rate limiting.
  • Hot key: một client cực lớn dồn vào một shard Redis; một bộ lọc cục bộ đặt trước (bỏ luôn request vượt xa giới hạn mà không cần hỏi Redis) sẽ bảo vệ nó.
  • Response: trả về 429 kèm header Retry-After và RateLimit-* để client tử tế biết lùi lại.

Khi limiter hỏng

ĐượcMất
Fail closedGiới hạn không bao giờ bị vượt.Limiter sập là cả API sập theo.
Fail openNgười dùng không bao giờ bị chính limiter chặn.Kẻ lạm dụng và đợt tăng đột biến đập thẳng vào backend.
Dự phòng cục bộVẫn sống và vẫn giới hạn gần đúng.Chỉ gần đúng khi suy giảm; thêm một luồng code phải test.

Checklist khi phỏng vấn

  • Làm rõ giới hạn theo cái gì (key, user, IP), các luật, và limiter đặt ở đâu (gateway hay sidecar).
  • Chọn thuật toán và giải thích vì sao counter theo từng node là chưa đủ.
  • Trình bày thao tác Redis atomic và cách counter hết hạn.
  • Bàn về fail open, fail closed hay dự phòng, hot key và response 429.

Đọc thêm

Bài liên quan