Apple dùng 'Minions' biến Mac nhàn rỗi thành một đám mây GPU ảo cho xử lý AI nội bộ

Tóm tắt nhanh

• Apple mô tả một hệ thống nội bộ tên “Minions” trên arXiv và trang Machine Learning Research để biến các Mac nhàn rỗi thành một “virtual GPU cloud” giúp xử lý khối lượng công việc AI.
• Minions giảm thời gian chờ GPU từ hàng chục giờ xuống còn vài phút bằng cách phân phối các công việc bị dừng sang các Mac trên mạng khi có người gửi yêu cầu qua Slack.
• Hệ thống chỉ thực hiện suy luận AI trên Apple Silicon và chạy hai loại job: embeddings với mô hình Hugging Face mã nguồn mở và sinh văn bản qua Ollama cài trên từng Mac.
• Kiến trúc gồm Minion Server, Minion Executor trên mỗi Mac và Minion Watchdog; Minion Server chia task thành các subtask lưu trong PostgreSQL.
• Mỗi Minion Executor theo mô hình pull-based gọi REST API để lấy subtask, đọc input từ Amazon S3, tải mô hình nếu cần, chạy trên GPU của máy rồi trả kết quả về S3.
• Minion Watchdog theo dõi heartbeat mỗi 5 phút; subtask chưa hoàn thành sẽ trở lại hàng đợi nếu Mac ngủ, mất mạng, tắt máy hoặc người dùng dừng executor.
• Chủ sở hữu Mac có thể ưu tiên job cho đội hoặc dự án bằng 'dynamic task binding' hoặc để mặc định FIFO; paper không đề xuất chia một mô hình trên nhiều Mac.
• Apple cho biết Minions không cần yêu cầu GPU mới và hạ chi phí hạ tầng, đồng thời chuyển việc scale từ thủ công sang tự nhiên, nhưng không tính chi phí điện và hao mòn phần cứng.
• Việc tham gia được xử lý không chính thức, ví dụ người dùng gửi Slack nhờ người khác chạy Minion Executor tạm thời để phục vụ dự án cụ thể.
• Apple thừa nhận hạn chế về tài nguyên tính toán trong báo cáo quý 7/2024; Minions được nhìn nhận như một giải pháp thực tế khi dữ liệu trung tâm và đám mây vẫn có giới hạn.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.