AWS ra mắt TorchNeuron giúp chuyển app PyTorch sang chip Trainium chỉ bằng một dòng cấu hình
Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool
Tóm tắt nhanh
- Amazon Web Services ra mắt công cụ TorchNeuron để giúp các startup AI dễ dàng chạy ứng dụng PyTorch trên chip Trainium bằng một dòng cấu hình, không cần viết lại mã.
- TorchNeuron làm từ PyTorch nên các developer đã biết PyTorch có thể dùng ngay, và AWS cho biết khoảng 85% ứng dụng AI được viết bằng PyTorch.
- Nvidia trước đó xây dựng lợi thế phần mềm với CUDA để gắn chặt GPU Nvidia vào hệ sinh thái PyTorch, khiến Nvidia trở thành lựa chọn phần cứng mặc định cho AI.
- Amazon cho biết Trainium xử lý cả training và inference trên cùng một chip, tích hợp chặt với hạ tầng cloud của AWS để cải thiện giá-hiệu suất cho toàn bộ workload.
- AWS dẫn chứng Deepgram chuyển sang Trainium với hỗ trợ native PyTorch, xử lý được 70% nhiều audio hơn mỗi đôla ở độ chính xác cấp production.
- TorchNeuron không chỉ là công cụ cho AWS; Amazon sẽ đóng góp mã lên PyTorch để giảm sự phụ thuộc mặc định vào Nvidia và làm PyTorch ít gắn với chip cụ thể hơn.
- AWS lập luận rằng dùng Trainium trên AWS giúp startup tránh phụ thuộc vào neoclouds gắn chặt với Nvidia như Coreweave, Nebius và Firmus.
- Colin Brace (VP Technology Software, AWS Annapurna Labs) nói hạ tầng AWS cho phép từ prototype tới production sẵn có, giúp founders mở rộng nhanh khi cần.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
Amazon wants to break Nvidia’s hold on PyTorch, the free toolkit used to build most AI apps, so that more developers run their apps on alternative chips like its own.Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của TechCrunch.
