PrismML đưa LLM nhỏ chạy trên kính thông minh dùng chip Snapdragon của Qualcomm
PrismML brings its tiny LLMs to Qualcomm-powered smart glasses
Tóm tắt nhanh
- PrismML đã tạo phiên bản LLM nhỏ cho kính thông minh chạy chip Qualcomm Snapdragon và được trình diễn tại Snapdragon Summit của Qualcomm.
- Model là 1-bit Bonsai, phiên bản kính thông minh có 2 tỷ tham số, được tinh chỉnh cho cả thị giác và ngôn ngữ để người đeo hỏi về những gì họ đang nhìn thấy theo thời gian thực.
- PrismML cho biết phương pháp của họ thu nhỏ mô hình lớn khoảng 4x nhưng giữ gần như toàn bộ hiệu năng trên các benchmark tiêu chuẩn.
- Mục tiêu lớn hơn của PrismML là phát triển AI open-weight chạy tại thiết bị để tận dụng phần cứng hiện có và giảm phụ thuộc vào các AI lab sở hữu quyền riêng tư và cần nhiều compute.
- PrismML đã phát hành model cho nền tảng Snapdragon AR1 Gen 1, nhưng hiện chưa có kính thông minh nào tích hợp PrismML được công bố.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
Prism's larger goal is open-weight AI that runs on devices and makes better use of the computing power they already have.Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của TechCrunch.
