Google và Meta đưa TPUs vào chạy PyTorch production qua SGLang-TorchTPU và vLLM-TorchTPU
Google’s TPUs for AI workloads now run in Meta's data centers
Tóm tắt nhanh
- Google công bố phiên bản PyTorch-native của SGLang inference engine, cho phép TPUs chạy AI production tại Meta qua SGLang-TorchTPU.
- vLLM cũng có phiên bản tương thích PyTorch và được phát hành mã nguồn mở theo thông báo của Google.
- Meta cho biết SGLang-TorchTPU đang chạy production tại Meta sau hợp tác ba bên giữa Meta, Google và đội SGLang do RadixArk phát triển.
- Google nói đã đồng phát triển TorchTPU với đội PyTorch của Meta để tránh buộc Meta phải chuyển sang JAX.
- Trước đây Meta từng dùng PyTorch/XLA để kết nối tới TPUs từ 2020–2023; có báo cáo Meta đã ký hợp đồng thuê TPU đám mây nhiều năm bắt đầu 2026 và mua 2027.
- Thử nghiệm tuned vLLM trên Ironwood TPU thế hệ bảy đạt ~700 token/s mỗi user cho mô hình Kimi K3 (2.8T) trên 16 chip, so với 452 token/s trên 16 Nvidia GB200.
- RadixArk cho biết SGLang-TorchTPU sẽ thêm mô hình bắt đầu với DeepSeek V4.1 Flash và Reflection Beam và hướng tới Day 0 TPU support cho mô hình open vào Q1/2027.
- Thông tin chi tiết hơn sẽ được ba bên chia sẻ tại SGLang Summit 2026, diễn ra 12–13 Nov tại San Francisco.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
Google’s TPUs now serve AI in production at Meta, through new open-source engines that run PyTorch models natively on the chips.Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của Tom's Hardware.
