PC cần phần cứng gì để chạy local AI model

Tóm tắt nhanh

• PC 16GB RAM có thể chạy các local model nhỏ khoảng 7–8 tỷ tham số, như Meta's Llama 3.1 8B hoặc Alibaba's Qwen3 8B; nếu có GPU 8GB VRAM thì cũng chạy được khá ổn. Nhưng mức này còn xa các frontier model như ChatGPT hay Claude.
• Muốn chạy model gần hơn với các hệ thống hàng đầu, bài viết nói cần ít nhất 32GB bộ nhớ và GPU có 16GB VRAM trở lên, và mức phần cứng này hiện không rẻ.
• Dung lượng bộ nhớ tăng gần tuyến tính theo kích thước model; với bản quantized, Ollama cho biết Llama 3.1 8B tốn 4.9GB, Phi-4 là 9.1GB, Gemma 3 27B là 17GB và Llama 3.3 70B là 43GB.
• Ollama nêu quy tắc chung: 8GB RAM cho model 7B, 16GB cho 13B và 32GB cho 33B. OpenAI gpt-oss-20b có 21 tỷ tham số nhưng chỉ dùng 3,6 tỷ mỗi token nhờ kiến trúc mixture of experts.
• Tốc độ chạy phụ thuộc nhiều hơn vào băng thông bộ nhớ hơn là sức mạnh xử lý thô, vì mỗi token đều phải đọc qua toàn bộ tham số. VRAM của GPU nhanh hơn RAM hệ thống nhiều lần nên model nằm trọn trên GPU sẽ chạy nhanh hơn.
• Bài viết lấy mốc tham chiếu 5–10 tokens mỗi giây là đủ theo kịp tốc độ đọc của đa số người dùng. Trong thử nghiệm LMSYS, RTX 5090 tạo văn bản từ gpt-oss-20b với tốc độ 205 tokens mỗi giây.
• Benchmark của llama.cpp cho thấy Apple base M4 đạt khoảng 24 tokens mỗi giây trên model 7B. Ollama đo Nvidia DGX Spark, mẫu PC AI 3.999 USD bán từ năm ngoái, đạt 38 tokens mỗi giây với Llama 3.1 8B nhưng chỉ 4,42 tokens mỗi giây với bản 70B.
• Tác giả thử Mistral 7B trên Asus Zenbook Duo 2024 với 32GB RAM và Intel AI Boost NPU; qua Ollama, máy dùng 52% CPU và khoảng 17GB bộ nhớ, đủ chạy nhưng dễ chậm nếu còn tác vụ nặng khác.
• Khi chạy bằng Intel OpenVINO thay vì Ollama, cùng model đó dùng NPU 98% và CPU 3%, giúp laptop vẫn mượt trong lúc tạo 2.500 từ trong khoảng ba phút. Ở chiều ngược lại, Artificial Analysis xếp Qwen3.5 27B và Gemini 4 31B thấp hơn frontier cloud model, và Qwen3.5 27B cần 17GB–20GB bộ nhớ nên vượt quá PC 16GB.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.