Cloudflare cắt 100 TB RAM bằng cách giảm 90% số hash server trong Pingora
Cloudflare saves 100 TB of RAM again, this time by slashing server hashes by 90% — cutting 100,000 entries down to 10,000 eliminates massive cache bloat
Tóm tắt nhanh
- Cloudflare tiết kiệm khoảng 100 TB RAM bằng cách tinh chỉnh thuật toán ánh xạ hash trong framework mã nguồn mở Pingora.
- Hệ thống dùng Ketama để ánh xạ URL tới server cache, và trước đây mỗi máy lưu tới 100.000 hash server, gây phình RAM lớn.
- Để cân bằng tải khi server biến mất, Cloudflare tạo nhiều hash cho mỗi server; nhưng đội ngũ phát hiện 100.000 hash vượt quá điểm lợi ích biên.
- Tính toán cho thấy chỉ cần 10.000 hash (10% trước đây) là đủ vì lỗi giảm rất ít khi tăng số hash trên mốc đó.
- Kỹ sư tối ưu hóa cấu trúc dữ liệu Rust, tiết kiệm 2 byte cho mỗi mục trong bản đồ hash-server, cộng dồn thành con số lớn.
- Thay đổi được triển khai dưới dạng đường dẫn mã 'v2' riêng để có thể quay lại thuật toán cũ nếu gặp sự cố.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
Cloudflare has saved 100 TB of RAM again, but this time by tuning its hash-mapping algorithm.Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của Tom's Hardware.
