PS5 bẻ khóa giờ có thể chạy mô hình AI cục bộ dùng GPU, đạt >100 token/s với model nhỏ

Tóm tắt nhanh

• Một bản fork của PS5LM do Reddit user u/AdIllustrious7246 phát hành cho phép chạy llama.cpp native trên PS5 và tận dụng GPU để chạy mô hình LLM lớn hơn.
• u/AdIllustrious7246 chạy được Qwen3.8-27B trên PS5 ở ~20 token/giây và các mô hình nhỏ hơn như Gemma 4 E4B và Llama 3.2 3B ở 61 và 124 token/giây tương ứng.
• Trước đó, GitHub user cobanov port llama.cpp để chạy dưới dạng payload trên CPU, nhưng bị giới hạn RAM khoảng 6–6.25 GiB và dễ gây treo hệ thống.
• PS5_Vulkan (port RADV) được dùng để gửi lệnh tới GPU PS5, mở khóa khả năng sử dụng GPU cho các dự án homebrew và xử lý LLM nhanh hơn CPU.
• Chạy native trên GPU cho phép PS5 dùng nhiều RAM hơn, u/AdIllustrious7246 báo cáo có thể sử dụng tới 11.4 GiB RAM cho mô hình và KV cache.
• Tác giả cũng bổ sung dashboard hiển thị token/s, sử dụng GPU/CPU, công suất, nhiệt độ và phân bổ bộ nhớ, và tích hợp với web UI của llama.cpp để chat từ thiết bị cục bộ khác.
• Việc này làm tăng danh sách khả năng của PS5 bẻ khóa nhưng người bình luận lo ngại về tác động tương tự cuộc khủng hoảng GPU khai thác tiền mã hoá; bài báo cho rằng khả năng đó thấp do nhu cầu data center AI hiện tại.
• Phiên bản gốc của cobanov nhằm chạy nhanh nhất có thể trên CPU, còn fork của u/AdIllustrious7246 ưu tiên tận dụng GPU để chạy mô hình lớn hơn và nhanh hơn.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.