Hai nhà khoa học lập Trillium Labs để nghiên cứu AI rủi ro cao công khai hơn

Tóm tắt nhanh

• Nathan Lambert và Tom Zick thành lập nonprofit Trillium Labs, ra mắt hôm nay để nghiên cứu nhiều lĩnh vực AI, kể cả khu vực có thể gây vấn đề như recursive self-improvement (RSI) và agents.
• Trillium Labs dự định làm việc công khai bằng cách công bố chi tiết thí nghiệm để các nhà khoa học bên ngoài có thể kiểm tra và tái tạo kết quả.
• Lambert cho rằng cách các lab AI hàng đầu giữ bí mật làm giảm khả năng cộng đồng giám sát ý tưởng và đóng góp phương pháp mới, và việc minh bạch có thể giúp giảm thiểu rủi ro.
• Nhiều mô hình mạnh nhất hiện chỉ có thể truy cập qua app hoặc API, dẫn đến thiếu minh bạch về cách xây dựng và hành vi của mô hình.
• Một số công ty, đặc biệt ở Trung Quốc như Xiaomi, đã công bố chi tiết huấn luyện lớn cho mô hình mà người dùng có thể tải về chạy trên phần cứng của họ.
• Trillium Labs sẽ ban đầu tập trung vào post-training, tức tinh chỉnh các mô hình lớn sau khi đã được xây dựng.
• Tổ chức cũng sẽ nghiên cứu RSI, nơi AI đóng góp vào việc phát triển mô hình mới, và vấn đề này đã được cảnh báo có thể gây mất kiểm soát dài hạn.
• Họ sẽ nghiên cứu cách reinforcement learning (RL) ảnh hưởng đến năng lực và hành vi mô hình, bao gồm nguy cơ mô hình trở nên quá xu nịnh hoặc hành xử bất ngờ.
• Lambert từng làm ở Ai2 và Hugging Face và khởi xướng American Truly Open Models; Zick làm ở Harvard và tham gia xây chính sách “responsible AI” cho Charles Schwab.
• Cặp sáng lập cho biết khoảng cách giữa nghiên cứu công nghiệp và học thuật khiến giáo sư, sinh viên khó tái tạo công việc của các lab lớn vì thiếu tài nguyên.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.