Microservice Patterns
Pipes and Filters
Chia một job xử lý nhiều bước thành các filter độc lập nối với nhau bằng queue (pipe), để mỗi bước được scale, deploy và chẩn đoán riêng — và bước chậm lộ ra ngay bằng hàng đợi phình to trước nó.
Sau bài này bạn sẽ
- Tách một job xử lý thành các filter và pipe.
- Thấy pipeline khoanh điểm nghẽn vào đúng một bước ra sao.
- Chỉ scale bước cần scale.
- Xử lý lỗi, retry và thứ tự giữa các bước.
Nên đọc trước
Tổng quan
Nhà máy ô tô không bắt mỗi công nhân lắp nguyên một chiếc xe. Họ có các trạm — khung, sơn, động cơ, kiểm tra — với linh kiện chờ ở giữa. Nếu khâu sơn chậm, bạn thấy xe ùn lại trước xưởng sơn và mở thêm một dây chuyền sơn, chứ không xây thêm một nhà máy.
Với pipes and filters, mỗi bước xử lý là một filter: một thành phần nhỏ, độc lập, đọc đầu vào, làm đúng một việc và ghi đầu ra. Các filter nối nhau bằng pipe — thường là queue hoặc topic. Vì các bước độc lập nên mỗi bước có số worker, công nghệ và nhịp release riêng, và độ sâu hàng đợi trước mỗi bước cho bạn biết việc đang chờ ở đâu.
Chạy thử
Ảnh đi qua decode → resize → watermark → publish. Tại t = 10 s một định dạng máy ảnh mới làm bước resize chậm gấp ba. So sánh backlog xuất hiện ở đâu và cần gì để dọn sạch nó.
Thiết kế filter
- Mỗi filter một trách nhiệm, với hợp đồng đầu vào và đầu ra rõ ràng (mỗi pipe một schema).
- Filter idempotent: queue có thể giao lại, nên xử lý một item hai lần phải vô hại.
- Truyền tham chiếu cho dữ liệu lớn (claim check): pipe mang vị trí ảnh, không mang cả ảnh.
- Dead-letter cho từng bước để một item lỗi không chặn cả pipeline (dead letter queue).
- Thứ tự: worker song song sẽ đảo thứ tự item; chỉ giữ thứ tự ở bước thật sự cần.
Một filter
@RabbitListener(queues = "images.resize", concurrency = "5") // scale riêng bước này
void resize(ImageRef in) {
BufferedImage image = storage.read(in.location());
String out = storage.write(in.id() + "-1200.webp", Thumbnails.of(image).width(1200).asBufferedImage());
rabbit.convertAndSend("images.watermark", new ImageRef(in.id(), out)); // pipe kế tiếp
}Đánh đổi
| Được | Mất | |
|---|---|---|
| Scale | Chỉ scale bước chậm; bước nhẹ vẫn giữ nhỏ. | Bước nào cũng cần lập kế hoạch năng lực và giám sát. |
| Thay đổi | Thêm, thay hay đổi thứ tự filter độc lập. | Hợp đồng giữa các bước phải có version. |
| Độ trễ | Throughput scale được và lỗi chỉ nằm cục bộ. | Mỗi pipe thêm thời gian xếp hàng và serialize; trace đầu-cuối cần công sức. |
Lưu ý khi chạy production
- Đưa độ sâu và tuổi của hàng đợi ở mọi pipe lên dashboard — đó là bản đồ điểm nghẽn của bạn.
- Autoscale từng bước theo độ sâu hàng đợi của chính nó.
- Truyền correlation id qua mọi bước để lần theo được một item từ đầu tới cuối.
- Với pipeline rất đơn giản và nhanh, một chuỗi hàm chạy trong process có thể là đủ.