AI agents tạo lưu lượng token gấp nhiều lần con người, chủ yếu do cached prompts và gây áp lực bộ nhớ HBM

Tóm tắt nhanh

• Theo dữ liệu OpenRouter trích trong bài của Andreessen Horowitz, AI agents dùng 7.3 nghìn tỷ token so với 1.4 nghìn tỷ của con người tính đến tháng 8, tức khoảng 5x.
• Futurum Group CEO Daniel Newman nói trên X rằng con số 5x sẽ tăng lên 10x rồi cao hơn nữa.
• a16z và OpenRouter báo cáo hơn 85% token của agents đến từ cached prompts (KV cache), và cached tokens chiếm gần toàn bộ tăng trưởng tương đối.
• OpenRouter phân loại API key thành agentic, mixed và human theo điểm ghép 7 tín hiệu; nhóm mixed tăng 4.7x trong cùng kỳ.
• Dữ liệu là khối lượng token, không phải chi tiêu, và chỉ từ một nền tảng; xu hướng có các đợt giảm vào tháng 4 và 7.
• McKinsey 2026 khảo sát cho thấy 40% tổ chức lớn đang mở rộng AI agents, tăng từ 27% một năm trước, chỉ ra tăng trưởng ở nơi khác.
• Cached tokens rẻ hơn xử lý lại nhưng vẫn cần giữ trong bộ nhớ, khiến nhu cầu bộ nhớ băng thông cao (HBM) tăng mạnh và có nguy cơ vượt HBM trên GPU.
• Micron dự báo thiếu hụt RAM và lưu trữ trầm trọng hơn vào 2027–2028, với nhà sản xuất ưu tiên HBM cho trung tâm dữ liệu AI, ảnh hưởng tới người mua PC.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.