PrismML nén LLM để chạy trên PC và smartphone, ra mắt Bonsai 2 27B nặng 5.9 GB

Tóm tắt nhanh

• PrismML vừa ra mắt Bonsai 2 27B, model nén từ Qwen3.8 27B của Alibaba xuống còn 5.9 GB, đủ nhỏ để chạy trên PC và có thể trên smartphone cao cấp.
• Công ty cho biết đây là mức giảm bộ nhớ 9–10x so với bản gốc Qwen3.8 27B.
• Theo PrismML, Bonsai 2 đạt 98% điểm chuẩn tổng hợp của Qwen, cải thiện so với Bonsai đầu tiên (95%).
• Bonsai đầu tiên đã được tải xuống hơn 11 triệu lần và các model nhỏ hơn khác của PrismML thêm 2.6 triệu lượt tải.
• PrismML được thành lập bởi nhóm nghiên cứu Caltech, do giáo sư Babak Hassibi lãnh đạo, với cố vấn gồm Ion Stoica và nhà đầu tư như Khosla Ventures, Cerberus Capital, Caltech.
• Hassibi mô tả phương pháp nén dùng trọng số 'ternary' (+1, −1, 0) thay vì 16 bit truyền thống để giảm đáng kể dung lượng lưu trữ.
• Công ty khẳng định việc nén hầu như không làm giảm hiệu năng thực nghiệm, dù Hassibi thừa nhận việc đạt 100% so với bản gốc có thể khó và luôn tồn tại tác động từ nén.
• Mục tiêu tiếp theo là áp dụng kỹ thuật nén cho các model vài trăm tỷ tham số, dự kiến ra mắt trong vài tháng tới, với kỳ vọng dễ giữ được 'trí tuệ' vì mô hình lớn hơn có nhiều chỗ nén hơn.
• PrismML đang trong các tin đồn đàm phán với Apple, nhưng CEO Hassibi từ chối bình luận về chuyện này với TechCrunch.
• Stoica nói kỹ thuật này có thể giúp các model tiên tiến chạy trực tiếp trên thiết bị người dùng, mang lại 'trí tuệ trong tầm tay' và miễn phí khi chạy trên thiết bị đã mua.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.