Circuit Breaker Labs dùng “mô phỏng người thật” để phát hiện tương tác AI gây nguy hiểm cho trẻ em

Tóm tắt nhanh

• Circuit Breaker Labs ra đời với sứ mệnh làm AI an toàn hơn qua nhiều ngôn ngữ và văn hoá, nhất là với người trẻ dễ bị tổn thương.
• Sáng lập viên là hai anh em Shirali (CEO) và Arul Nigam (CTO), động lực là vụ việc Sewell Setzer, 14 tuổi, liên quan tới chatbot Character.ai và cái chết tự tử.
• Theo bài, các hệ thống như Character.AI và OpenAI đã bị liên quan trong nhiều vụ kiện liên quan tới cái chết tự tử của người dùng vị thành niên hoặc sức khoẻ tâm thần.
• Circuit Breaker xây dựng các tác nhân AI giống 'một đội crash-test dummies' mô phỏng mọi lứa tuổi, ngôn ngữ, văn hoá và nhóm dùng để kiểm tra mô hình.
• Tác nhân mô phỏng phản ánh cách nói thực tế: khẩu ngữ, tiếng lóng, ngôn ngữ thứ hai, lỗi chính tả và mã hoá ngôn ngữ để lừa các mô hình.
• Startup chạy từ hàng chục nghìn tới hàng trăm nghìn tương tác mô phỏng mỗi ngày để phát hiện tương tác tâm lý nguy hiểm xuất hiện theo thời gian.
• Họ sử dụng chuyên gia con người để xây dựng mô phỏng siêu thực và tiến hành bài kiểm tra 'red-team' nhằm lộ ra lỗ hổng mô hình.
• Kết quả được đánh giá bằng phương pháp điểm hoá độc quyền, có thể kiểm toán và giải thích được.
• Hiện Circuit Breaker hoạt động như phòng thí nghiệm kiểm thử an toàn AI cho các ứng dụng rủi ro cao như AI coaching, journaling và app hỗ trợ sức khoẻ tâm thần.
• Sản phẩm đã chạy nhưng công ty rất nhỏ (5 nhân viên) và Arul Nigam từ chối nêu tên khách hàng lớn; nền tảng có thể mở rộng sang AI 'co-worker' và các trường hợp parasocial khác.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.