Google ra mắt 2 chip TPU mới cho confidential inference và mô hình lớn

Tóm tắt nhanh

• Google giới thiệu 2 biến thể mới của tensor processing units là TPU 8tx và TPU 8i Max, mở rộng danh mục chip AI tự phát triển cho các tác vụ confidential inference và workloads cần nhiều bộ nhớ hơn.
• TPU 8tx, do Google thiết kế cùng AMD và dựa trên TPU 8t, được tối ưu cho việc huấn luyện và chạy mô hình AI trong môi trường bảo mật, với lớp an ninh tích hợp ngay ở phần cứng.
• Google cho biết TPU 8tx giữ dữ liệu nhạy cảm và model weights được bảo vệ, cách ly ngay cả khi đang hoạt động, đồng thời có custom inferencing network để chạy reasoning song song với training.
• Nhờ đó, chip có thể dùng để distill và train các mô hình nhỏ ngay khi vận hành, hữu ích trong các trường hợp doanh nghiệp muốn huấn luyện trên dữ liệu độc quyền mà không phải chuyển dữ liệu giữa các thiết bị.
• TPU 8i Max về cơ bản gộp 2 chip TPU 8i ra mắt hồi tháng 4, qua đó tăng gấp đôi dung lượng bộ nhớ, sức mạnh xử lý và băng thông trong một gói duy nhất.
• Google nói TPU 8i Max giúp các mô hình AI xử lý dải thông tin rộng hơn trong mỗi truy vấn, phù hợp với các workload cần ngữ cảnh lớn hơn.
• Động thái này diễn ra khi Microsoft, Amazon, OpenAI và Anthropic đều đang phát triển chip AI riêng và phần mềm đi kèm để giảm phụ thuộc vào Nvidia.
• Hai chip mới là một phần của thế hệ TPU thứ 8 mà Google công bố hồi tháng 4 năm nay, sau khi thế hệ này ban đầu đã tăng khả năng inference và hỗ trợ nhu cầu training lớn.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.