Homelab chạy mô hình AI 2.8 nghìn tỷ tham số trên CPU với Optane PMem 200

Tóm tắt nhanh

• Một người chơi homelab trên Reddit đã chạy Moonshot AI Kimi K3, mô hình 2.8 nghìn tỷ tham số, trên CPU 40 nhân Xeon Scalable thế hệ 3 và bộ nhớ Optane PMem 200 đã ngừng sản xuất, không dùng GPU cho suy luận.
• Thiết lập này chỉ đạt 0,85 token mỗi giây với lượng tử hóa 1-bit; khi tăng lên 3-bit, tốc độ còn 0,75 token mỗi giây, trong khi mô hình Kimi K3 cần ít nhất 610GB RAM theo bản community quantization nhỏ nhất.
• Người dùng này chọn Optane cũ vì DRAM đã tăng giá mạnh và nói bộ nhớ Optane chỉ tốn “một phần nhỏ” so với phương án tương đương.
• Intel ra mắt Optane Persistent Memory 200 Series năm 2020 cho CPU Xeon Scalable thế hệ 3, với các dung lượng 128GB, 256GB và 512GB.
• Trên nền tảng Xeon hai socket, PMem 200 có tốc độ MT/s hiệu dụng cao hơn thế hệ đầu và có thể mang lại trung bình tới 32% băng thông bộ nhớ cao hơn.
• Bộ nhớ Optane có thể chạy ở Memory Mode hoặc App Direct Mode; trong dự án này, builder dùng App Direct Mode để phần mềm ánh xạ trực tiếp vùng Optane như một vùng nhớ bền vững riêng biệt.
• Dù vậy, Optane DIMM nóng rất nhanh khi suy luận kéo dài, nên người dùng khuyên phải có làm mát chủ động cho DIMM, với hai quạt blower 12W thổi trực tiếp để giữ nhiệt độ dưới kiểm soát.
• Intel khuyến nghị luồng gió cưỡng bức 2,4 đến 2,7 m/s cho các module này; mỗi module tiêu thụ 12W hoặc 15W, có thể tạo ra tới 60W nhiệt nếu dùng bốn thanh.
• Optane sẽ throttle ở 83°C và tự tắt ở 85°C, còn bộ nhớ DDR4 server thông thường được định mức 85°C và có thể tới 95°C ở dải mở rộng, nên nhiệt từ Optane có thể ảnh hưởng tới DRAM lân cận.
• Builder cho biết đây mới là số đo trước khi tinh chỉnh thread count hay NUMA affinity, và dự định sẽ bổ sung GPU cùng đưa một phần mô hình vào DRAM để làm tầng nhanh hơn, với thêm benchmark trong thời gian tới.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.