Nghiên cứu: Phần mềm và thuật toán có thể giảm mạnh tiêu thụ điện của trung tâm dữ liệu AI
Software could be the easiest fix for hyperscalers' AI power squeeze, researchers say
Tóm tắt nhanh
- Theo IEA, đến 2030 AI có thể tiêu thụ 945 TWh điện, tương đương mức dùng điện hiện nay của Nhật Bản.
- Uptime Institute 2025 cho biết PUE trung bình gần như không đổi sáu năm liên tiếp, chỉ ra vấn đề không chỉ là phần cứng và làm mát.
- Các nhà nghiên cứu ML.Energy và Jae-Won Chung cho rằng tối ưu phần mềm và thuật toán có thể giúp tiết kiệm năng lượng đáng kể.
- Thử nghiệm với Qwen 3 235B A22B cho thấy chạy suy diễn ở FP8 tiêu thụ ít hơn một phần ba năng lượng so với bfloat16 trên nhiệm vụ giải quyết vấn đề.
- Bộ tối ưu hóa Perseus của Chung giảm tới 30% năng lượng đào tạo bằng cách làm chậm các phần ít việc để chúng hoàn thành cùng lúc mà không giảm thông lượng.
- Nvidia dùng Blackwell power profiles điều chỉnh tần số compute/memory, giới hạn công suất, NVLink và cache, có thể tiết kiệm tới 15% năng lượng và giữ >=97% hiệu năng.
- Những GPU hiệu năng cao nhưng nguồn điện hạn chế có thể chạy nhiều GPU hơn, nâng thông lượng tới 13% nhờ tối ưu phần mềm của Nvidia.
- SHI và chuyên gia chỉ ra thiết bị cũ chạy mã lỗi thời là nguồn lãng phí rõ rệt, dễ tìm và tiết kiệm nhanh.
- Tối ưu kích thước cloud instance, lưu cache prompt hay dùng mô hình nhỏ cho tác vụ thường xuyên giúp giảm tính toán thừa.
- Các biện pháp như batching tốt hơn, compiler tối ưu, giới hạn token đầu ra và điều chỉnh thời/địa điểm dùng điện cũng góp giảm tiêu thụ.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
The industry is spending billions on more efficient chips, cooling, and grid connections. But what about making computers do less work – or doing it at a better time?Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của Tom's Hardware.
