Intel Arc B580 chạy mô hình 125B nhanh gấp gần 3 lần với XeStrata trong thử nghiệm mới

Tóm tắt nhanh

• PC Watch thử nghiệm cho thấy Intel Arc B580 12GB đạt 31,1 token/giây khi chạy mô hình 125 tỷ tham số với XeStrata, so với 10,9 token/giây khi dùng Strata.
• Kết quả tương đương khoảng 2,85x tốc độ thế hệ văn bản hoặc cải thiện ~185% mà không đổi phần cứng GPU.
• Thiết lập thử nghiệm dùng ASRock Intel Arc B580 Challenger 12GB OC, Intel Core Ultra 5 250KF Plus và 64GB DDR5 trên Ubuntu 26.04 LTS.
• Mô hình là Qwen3.8-Flash-Next với IQ3_S quantisation, ngữ cảnh 64K token và bộ nhớ đệm KV 8-bit, các thông số này ảnh hưởng lớn tới hiệu năng.
• Strata và XeStrata tận dụng cả bộ nhớ hệ thống lẫn GPU, nên 12GB VRAM không có nghĩa là toàn bộ mô hình nằm trong VRAM.
• Theo thông tin cấu hình Strata, quantisation dùng trong thử nghiệm cần khoảng 50GB RAM hệ thống, vì vậy 64GB RAM là yếu tố thiết yếu.
• So sánh dùng Strata 0.2.1 và XeStrata (gói Ubuntu 0.1.43-2 tương ứng xe0.1.43.1); cả hai chạy cùng mô hình và cấu hình.
• XeStrata mô tả tối ưu hóa đường dẫn thực thi cho GPU Intel, gồm dùng phần cứng ma trận XMX cho một số phép toán, nhưng chưa xác định chính xác đóng góp từng tối ưu.
• Kết quả chỉ phản ánh throughput sinh văn bản (tokens/s) và không khẳng định cải thiện về độ trễ phản hồi, xử lý prompt hay độ chính xác mô hình.
• Bản XeStrata được PC Watch dùng không phải bản mới nhất; bản phát hành ngày 24/10 có thay đổi thêm và ghi chú vấn đề hiệu năng liên quan driver Intel trên một số cấu hình Linux.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.