Hugging Face: đánh giá AI nhúng chưa phải giải pháp dễ dàng do vấn đề chuẩn hóa và tái hiện kết quả
Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
Tóm tắt nhanh
- Irene Solaiman (Hugging Face) nói tại TechCrunch Disrupt rằng phương pháp đánh giá mô hình AI phức tạp và đang trưởng thành, nên cần thành một khoa học nhất quán nếu ngành muốn dựa vào chúng.
- Solaiman nêu tái hiện kết quả là yếu tố then chốt để tin tưởng đánh giá, và truy cập tới mô hình (ví dụ open weights) ảnh hưởng lớn tới khả năng tái hiện.
- Bà cho rằng so sánh giữa các bài kiểm tra hiện còn khó khăn vì chúng chưa có chuẩn chung và nhanh chóng mất hiệu lực.
- Xu hướng đặt các evaluator nhúng (third-party) vào bên trong tổ chức AI được ưa chuộng sau các sự cố an toàn, nhưng vẫn có nghi ngờ về tính trung lập và hiệu quả.
- Việc Anthropic thuê Accenture làm evaluator đã gây tranh cãi, với nhiều chỉ trích về năng lực của bên được thuê.
- Đánh giá giờ đây mở rộng từ mô hình thuần túy sang toàn bộ hệ thống xung quanh mô hình, gồm cả harness và agent, ảnh hưởng lớn tới hiệu năng thực tế.
- Solaiman cảnh báo agentic evals rất khó và tốn kém; hiện có nhiều đánh giá cho mô hình hơn là cho harness, và cần phát triển đánh giá toàn diện cho agent.
- Bà kết luận không gian benchmarking đang mang tính bát nháo và cần chuẩn hóa trên toàn ngành để đánh giá tiếp tục có giá trị.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
AI labs have staked their reputations on model benchmarking — the supposedly neutral and accurate system of evaluations that are designed to measure whether one AI product is better than another. However, the methods behind these evaluations are complicated and still maturing, said Irene Solaiman, Hugging Face’s chief policy officer, during a discussion at TechCrunchTapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của TechCrunch.
