NPU là gì và vì sao laptop ngày càng có chip này?

Tóm tắt nhanh

• NPU là Neural Processing Unit, một khối silicon chuyên xử lý tác vụ AI với mức điện năng khoảng 2W, thấp hơn nhiều so với hơn 100W mà GPU rời laptop thường cần cho cùng công việc.
• Theo Gartner, máy tính có AI như laptop trang bị NPU hiện chiếm hơn một nửa lượng xuất xưởng toàn cầu, nhưng động lực chính là yêu cầu chứng nhận chứ không phải nhu cầu từ người mua.
• Năm 2024, Microsoft yêu cầu laptop mới muốn có các tính năng Windows AI phải đạt 40 TOPS NPU chuyên dụng, nếu không có thể mất quyền truy cập các tính năng này.
• NPU chủ yếu được dùng cho AI inference, tức giai đoạn “chạy mô hình”, thay vì “huấn luyện mô hình” như GPU thường làm.
• Trong thực tế, NPU phù hợp với các tác vụ luôn bật và tiết kiệm điện như hiệu ứng webcam, khử ồn, dịch thời gian thực và local search indexing.
• NPU không phù hợp để train AI models, và để chạy các LLM lớn cục bộ như Llama 70B vẫn cần GPU rời với bộ nhớ video đủ lớn.
• Các dịch vụ như ChatGPT hay Gemini không cần NPU trên máy vì chúng chạy trên hạ tầng của nhà cung cấp.
• Để đạt chuẩn Copilot+ PC, laptop phải có NPU 40 TOPS, cùng 16GB RAM và 256GB storage; con số 40 TOPS này phải đến từ NPU chứ không phải GPU.
• Qualcomm Snapdragon X Elite và Plus là các chip đầu tiên đạt 45 TOPS NPU, sau đó Intel Lunar Lake lên tới 48 TOPS, AMD Ryzen AI 300 đạt 50 TOPS, Intel Panther Lake có 50 NPU TOPS, và Snapdragon X2 Elite được Qualcomm nâng lên tới 85 TOPS.
• Dù phần cứng NPU tăng mạnh qua từng thế hệ, phần mềm khai thác các TOPS này vẫn còn rất hiếm, và trên laptop ASUS Zenbook Duo của tác giả, mức sử dụng NPU trong Task Manager là 0.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.