Nhà phát triển huấn luyện mô hình nhỏ trên một RTX 3080 Ti để 'chơi' Pokémon Red

Tóm tắt nhanh

• Nhà phát triển tên stmonty đã huấn luyện một world model ~12.5 triệu tham số trên một GPU RTX 3080 Ti để chơi Pokémon Red, viết chi tiết trong bài blog 'Teaching a World Model to Play Pokémon' (20/9).
• Mô hình học từ một save trong phòng thí nghiệm của Professor Oak, dùng 42.382 khung xám trong hơn 1.000 lần chạy ngắn bao gồm đường đi có kịch bản, đường đi với nhấn ngẫu nhiên và lang thang ngẫu nhiên.
• Thay vì dự đoán toàn bộ màn hình tiếp theo, mô hình nén màn hình thành 192 số và ban đầu huấn luyện 'không có phần thưởng' — mục tiêu được đưa vào sau khi mô hình học lên kế hoạch.
• Kế hoạch được phát triển dưới dạng 14 lần nhấn nút, mỗi vòng lấy 512 mẫu kế hoạch và giữ một phần tám (64) để thử nghiệm trên trình giả lập; mô hình thử kế hoạch thay vì thao tác trực tiếp trên game.
• Kết quả ban đầu thất bại do lỗi tích lũy khi dự đoán trên chính dự đoán, nhưng sau tinh chỉnh mô hình thành công chọn Squirtle; trong hơn 100 lần chạy từ cùng save có 52 kế hoạch lấy được starter.
• So sánh: nhấn nút ngẫu nhiên đạt 0 starter và mô hình chưa huấn luyện chỉ được 1 starter, cho thấy mô hình nhỏ hiệu quả hơn cho nhiệm vụ cụ thể.
• stmonty cho rằng tăng kích thước mô hình đơn giản có thể không đủ để giải quyết độ khó khi tăng độ dài kế hoạch, và cho biết mục tiêu tiếp theo là bắt đầu từ lab, qua đối thoại rồi mới chọn Pokémon.
• Mã nguồn dự án mở trên GitHub là lePokeRed, khuyến nghị dùng CUDA GPU; cách tiếp cận mô hình nhỏ là lựa chọn thực tế cho người đam mê so với các phương pháp phức tạp hơn.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.