Case Studies
Thiết kế dịch vụ Rate Limiter
Áp luật "100 request mỗi giây cho mỗi API key" trên nhiều node gateway: counter cục bộ cho một client lọt qua gấp N lần, counter chung trong Redis thì chính xác nhưng có thể kéo sập tất cả, còn dự phòng cục bộ giữ được giới hạn khi nó hỏng.
Trung cấp 5 phút đọc· Cập nhật 2026-11-18
Sau bài này bạn sẽ
- Thấy vì sao giới hạn theo từng node không cộng lại thành giới hạn toàn cục.
- Làm counter chung trong Redis bằng phép tăng atomic.
- Chọn giữa fail open, fail closed và dự phòng.
- Trả về response rate limit hữu ích cho client.
Nên đọc trước
Yêu cầu
- Chức năng: giới hạn mỗi client (API key, user hoặc IP) theo tốc độ cấu hình cho từng luật; từ chối phần vượt bằng
429 Too Many Requestsvà cho client biết khi nào thử lại. - Phi chức năng: thêm tối đa một hai mili giây mỗi request; giới hạn đúng trên toàn bộ các node gateway; limiter hỏng không được kéo sập API.
- Quy mô: mọi request API đều đi qua limiter — đây là đường nóng nhất trong hệ thống.
Ước lượng nhanh
| Đại lượng | Giả định | Kết quả |
|---|---|---|
| Lượt kiểm tra | 50.000 request API/giây | 50.000 lượt tăng counter/giây |
| Redis | ~100.000 thao tác đơn giản/giây mỗi node | Một primary là đủ; vượt nữa thì shard theo key |
| Bộ nhớ | 1 triệu key đang hoạt động × vài luật × ~50 B | ~150 MB — counter hết hạn cùng cửa sổ của nó |
Tiến hoá thiết kế
Giai đoạn 1 / 3
Mỗi gateway một counter
- Kiến trúc hiện tại
- Mỗi node gateway giữ counter theo key trong bộ nhớ và tự áp luật 100/s.
- Giới hạn
- Load balancer rải một client ra mọi node, và node nào cũng cho đủ giới hạn.
- Điểm nghẽn
- API: scraper lọt qua 4 × 100 = 400 req/s và API bắt đầu từ chối cả người dùng bình thường.
- Cải tiến
- Đếm ở một chỗ mà mọi node cùng dùng.
- Tác động tới hiệu năng
- Hơn một nghìn request bình thường lỗi trong 30 s.
- Độ phức tạp & chi phí vận hành
- Không tốn thêm gì — và giới hạn sai đúng bằng số node.
- Trade-off
- Nhanh và đơn giản, nhưng không phải giới hạn toàn cục (và cứ scale là nó đổi).
Đang tải mô phỏng…
Counter dùng chung
-- KEYS[1] = "rl:{api_key}:{rule}:{window}" ARGV[1] = giới hạn ARGV[2] = số giây của cửa sổ
local count = redis.call('INCR', KEYS[1])
if count == 1 then
redis.call('EXPIRE', KEYS[1], ARGV[2]) -- counter biến mất cùng cửa sổ của nó
end
if count > tonumber(ARGV[1]) then
return {0, redis.call('TTL', KEYS[1])} -- bị từ chối, còn bao nhiêu giây tới cửa sổ mới
end
return {1, tonumber(ARGV[1]) - count} -- cho qua, còn lại bao nhiêu- Atomic:
INCR+EXPIREtrong một script tránh race kiểu đọc-rồi-ghi giữa các gateway. - Thuật toán: fixed window đơn giản nhất; sliding window hoặc token bucket (lưu dạng hash gồm số token + thời điểm) làm mượt burst ở mép cửa sổ — xem rate limiting.
- Hot key: một client cực lớn dồn vào một shard Redis; một bộ lọc cục bộ đặt trước (bỏ luôn request vượt xa giới hạn mà không cần hỏi Redis) sẽ bảo vệ nó.
- Response: trả về
429kèm headerRetry-AftervàRateLimit-*để client tử tế biết lùi lại.
Khi limiter hỏng
| Được | Mất | |
|---|---|---|
| Fail closed | Giới hạn không bao giờ bị vượt. | Limiter sập là cả API sập theo. |
| Fail open | Người dùng không bao giờ bị chính limiter chặn. | Kẻ lạm dụng và đợt tăng đột biến đập thẳng vào backend. |
| Dự phòng cục bộ | Vẫn sống và vẫn giới hạn gần đúng. | Chỉ gần đúng khi suy giảm; thêm một luồng code phải test. |
Checklist khi phỏng vấn
- Làm rõ giới hạn theo cái gì (key, user, IP), các luật, và limiter đặt ở đâu (gateway hay sidecar).
- Chọn thuật toán và giải thích vì sao counter theo từng node là chưa đủ.
- Trình bày thao tác Redis atomic và cách counter hết hạn.
- Bàn về fail open, fail closed hay dự phòng, hot key và response 429.
Đọc thêm
Bài liên quan
Microservice Patterns
Giới hạn tốc độ (Rate Limiting)
Giới hạn số request mỗi client được gửi trong một khoảng thời gian để chống quá tải và lạm dụng — và chọn thuật toán có hành vi lúc cao điểm mà bạn chấp nhận được.
Microservice Patterns
API Gateway
Cho client một cửa vào duy nhất: gateway định tuyến request tới đúng service và lo luôn xác thực, rate limit, gộp dữ liệu ở một chỗ.
Microservice Patterns
Gatekeeper
Đặt một host chuyên trách, quyền tối thiểu trước các service tin cậy để kiểm tra và làm sạch mọi request, để tấn công và rác bị từ chối rẻ ngay ở rìa, còn service giữ secret thì không bao giờ lộ trực tiếp ra ngoài.
Microservice Patterns
Fallback
Khi dependency lỗi, trả về thứ gì đó vẫn dùng được — giá trị mặc định, dữ liệu cache hay một tính năng rút gọn — để phần phụ hỏng không làm hỏng cả trang chính.
Microservice Patterns
Timeout
Đặt giới hạn thời gian chờ cho mọi lời gọi ra ngoài, để một dependency bị treo không âm thầm giữ chặt toàn bộ thread, connection và request của người dùng.