Google mở rộng TPU thế hệ 8 với TPU 8tx và TPU 8i Max cho inference bảo mật và agent

Tóm tắt nhanh

• Google đã mở rộng dòng TPU thế hệ 8 với hai biến thể mới: TPU 8tx cho inference bảo mật, tách biệt phần cứng và TPU 8i Max cho tác vụ agent dài ngữ cảnh.
• TPU 8tx dùng cùng silicon như TPU 8t nhưng thay host Arm Axion bằng CPU 5th Gen AMD EPYC và dùng mạng Boardfly, nhắm tới các doanh nghiệp được quản lý chặt và chính phủ.
• TPU 8i Max ghép hai chip TPU 8i trên một package, nhân đôi compute, SRAM và băng thông HBM so với TPU 8i gốc.
• Theo Google, TPU 8i Max đạt khoảng 20.2 FP4 PFLOPS, 768 MB SRAM và khoảng 17.2 TB/s băng thông HBM, đồng thời vẫn nằm trong “existing rack footprint”.
• Google cho biết thiết kế mô-đun hơn có thể tạo ra các hệ thống chuyên biệt “trong vài tháng thay vì vài năm”, giúp TPU ngày càng phổ biến hơn.
• Công ty nói TPU đã có gần 100 khách hàng, trong đó có Meta, và TPU đang trở thành mảng kinh doanh tăng trưởng nhanh.
• Vấn đề băng thông bộ nhớ là trọng tâm với các agent AI làm việc trên toàn bộ codebase, đặc biệt khi cửa sổ ngữ cảnh lớn hơn và KV cache tăng lên.
• Google cũng ra TPU Sync, lớp mã nguồn mở để chuyển KV cache khỏi HBM của chip xuống host DRAM hoặc thử nghiệm sang shared storage, với mục tiêu giảm hơn 90% độ trễ truyền KV.
• Bên cạnh đó, Google giới thiệu Agent Compute Engine trên Google Cloud để tạm dừng phiên agent nhàn rỗi và cất working memory đi, rồi khôi phục khi cần dùng lại.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.